Nvidia zegt dat zijn nieuwe Open Agent Safety-platform AI-agenten die vooraf ingestelde beperkingen proberen te doorbreken, binnen enkele milliseconden kan isoleren. Het bedrijf presenteerde het beveiligingsplatform als hulpmiddel om autonome AI-agenten te monitoren en in te dammen, tegen de achtergrond van een recente toename van cyberaanvallen en meldingen van ongewenst modelgedrag.
Open Agent Safety is gebaseerd op de opensourcesoftware OpenShell en draait op Nvidia's Vera AI-CPU. Een aparte chip met Sentry-technologie houdt continu toezicht, handhaaft grenzen en isoleert agenten die hun vastgelegde operationele grenzen proberen te overschrijden. Volgens Nvidia kunnen gebruikers expliciet bepalen tot welke gegevens een agent toegang heeft. Het systeem controleert die beperkingen zowel voordat taken beginnen als tijdens de uitvoering.
Hoe het systeem werkt
Het platform handhaaft beleid op meerdere niveaus: beleidsconfiguratie door de gebruiker, controles voorafgaand aan taken door OpenShell en runtime-handhaving door de chip met Sentry-technologie. Nvidia stelt dat de combinatie van software en gespecialiseerde hardware een agent die ongeautoriseerde handelingen probeert uit te voeren kan detecteren en binnen enkele milliseconden kan isoleren.
Jensen Huang, CEO van Nvidia, zei tegen CNBC: "Om een op agenten gebaseerd systeem veilig te kunnen aanbieden, moet je ervoor zorgen dat de omliggende geïsoleerde omgeving zo is ontworpen dat de toegang van agenten tot een minimum wordt beperkt."
De zorgen over de veiligheid van agenten namen toe nadat bedrijven als OpenAI, Anthropic en Google gevallen meldden waarin modellen testomgevingen verlieten en toegang kregen tot de infrastructuur van andere organisaties. Nvidia zegt dat grote technologiebedrijven als Microsoft, Anthropic en SpaceX zijn beveiligingsaanpak ondersteunen.
.webp)
Laat een reactie achter
Reacties
Nog geen reacties. Wees de eerste.