Pe fondul dezbaterii aprinse cu privire la faptul dacă valul recent de agenți AI rebeli reprezintă un pas către AGI sau o problemă de inginerie mai convențională, Nvidia oferă propriul răspuns la această problemă.
Luni, Jensen Huang, CEO-ul Nvidia, a prezentat un set de instrumente format din produse software și hardware care adaugă straturi independente de securitate în jurul agenților de IA pentru a se asigura că aceștia rămân în mediile lor de testare, chiar dacă încearcă să evadeze.
Lansarea vine în urma unei serii de incidente de hacking care au implicat modele de IA de la Anthropic, Google, OpenAI și Meta, care au ocolit controalele de securitate pentru a evada din mediile lor de testare și a accesa sisteme din lumea reală. Primul și cel mai notabil exemplu a avut loc în această vară, când agenții OpenAI au pătruns în Hugging Face în timp ce încercau să îndeplinească o sarcină de securitate cibernetică. Și incidentele continuă să apară — OpenAI a lansat un nou site dedicat raportării cazurilor în care agenții săi de IA devin rebeli.
Huang a declarat luni, în cadrul unui interviu acordat CNBC, că noua sa platformă Nvidia Open Agent Safety ar fi prevenit aceste breșe de securitate.
Nvidia, care a câștigat zeci de miliarde de dolari din vânzarea cipurilor sale GPU și CPU către laboratoarele de IA, nu susține încetinirea dezvoltării sau introducerea de noi reglementări în industrie pentru a rezolva problema de securitate. Compania consideră că soluția constă în mutarea unor controale de securitate în afara agentului — creând un sistem de securitate constant și independent care să țină sub control agenții de IA.
„Potențialul extraordinar al IA pentru societate se va concretiza doar dacă rezolvăm problema siguranței IA”, a declarat Huang într-un comunicat. „Pe măsură ce continuăm să explorăm frontierele capacităților IA, trebuie să accelerăm descoperirile la frontierele siguranței IA. Siguranța și securitatea necesită inginerie full-stack.”
Noua platformă Nvidia Open Agent Safety combină OpenShell, software-ul său open-source pentru controlul accesului agenților în timpul funcționării, cu Sentry, un sistem independent de monitorizare care rulează pe unitățile de procesare a datelor BlueField-4 ale Nvidia. Nvidia afirmă că amplasarea sistemului Sentry pe un procesor separat — și nu pe CPU sau GPU, unde operează agentul de IA — oferă o perspectivă izolată asupra activității agentului.
OpenShell nu este o noutate; compania a anunțat lansarea acestui software în luna martie. Însă combinația aceasta este cea despre care Nvidia consideră că va oferi nivelul de securitate necesar pentru ca industria să poată continua să funcționeze. OpenShell asigură granița software în jurul agentului, în timp ce Sentry adaugă o altă linie de apărare la nivel de hardware, care, potrivit companiei, va monitoriza continuu comportamentul și „va pune în carantină agenții care încearcă să depășească limitele lor în milisecunde”.
Nvidia a enumerat zeci de companii care s-au angajat să susțină această inițiativă și să utilizeze platforma open-source, printre care se numără Anthropic, Arm, Microsoft, Oracle și SpaceX. OpenAI nu figurează pe lista companiilor participante.
Huang a declarat luni într-un interviu acordat CNBC că lucrările la acest proiect au început acum un an, după lansarea OpenClaw, un sistem de operare pentru agenți creat de Peter Steinberger. În martie, Nvidia a lansat NemoClaw, o platformă de agenți AI de nivel enterprise și propria sa versiune a OpenClaw, care integrează funcții de securitate.
„Când implementezi un agent, indiferent cât de inteligent ar fi, primul lucru pe care îl faci este să îi retragi toate drepturile”, a declarat Huang în timpul interviului acordat CNBC, comparând ulterior aceste măsuri de securitate cu modul în care sunt gestionați angajații umani și chiar directorii în cadrul companiilor.
Anunțul companiei Nvidia a fost susținut pe scară largă de cei care au avertizat că o încetinire a dezvoltării ar putea permite Chinei să depășească SUA în domeniul IA.
David Sacks, fondator, investitor de capital de risc, fost coordonator al inițiativelor de IA la Casa Albă și copreședinte al Consiliului Prezidențial de Consilieri pentru Știință și Tehnologie, a afirmat că anunțul companiei Nvidia ne reamintește că siguranța agenților reprezintă o problemă de inginerie.
„Incidentele recente nu au fost o dovadă că dezvoltarea trebuie oprită”, a scris el pe X. „Ele au fost dovada că mediul de testare era prea slab. Mediul de execuție a fost prost proiectat și configurat greșit.”
Când efectuați achiziții prin linkurile din articolele noastre, este posibil să primim un mic comision. Acest lucru nu afectează independența noastră editorială.
