Un modello di OpenAI ha hackerato un'azienda in totale autonomia

“Un caso senza precedenti”, che accentua i timori sugli agenti AI

Finora era una possibilità discussa soprattutto dagli addetti ai lavori. Che cosa succederebbe se un’intelligenza artificiale, durante un test in un ambiente controllato, trovasse da sola un modo per aggirare le regole pur di raggiungere l’obiettivo assegnato? OpenAI ha ammesso che è successo davvero. Durante un test, due suoi modelli, GPT-5.6 Sol e un modello non ancora rilasciato, erano impiegati come agenti AI, sistemi progettati per eseguire autonomamente una serie di azioni. Sono riusciti a uscire dall’ambiente protetto in cui venivano testati, a collegarsi a Internet e a raggiungere i sistemi di Hugging Face, la principale piattaforma dove ricercatori e aziende condividono modelli di intelligenza artificiale e software open source. Non perché qualcuno avesse chiesto loro di attaccare, ma perché hanno individuato autonomamente quel percorso come il modo più efficace per completare il test.

È molto più di un semplice incidente. Secondo molti osservatori, il caso mostra che le capacità degli agenti AI stanno crescendo più rapidamente della loro capacità di valutare le conseguenze delle proprie azioni. Più questi sistemi diventano autonomi, più aumenta il rischio che scelgano percorsi imprevisti o dannosi pur di raggiungere l’obiettivo assegnato. Anche in un ambiente di prova, un agente può trovare soluzioni non previste: come un cane che, per recuperare una pallina finita oltre una recinzione, scava così a fondo da rompere una tubatura o dei cavi elettrici.

Scopri Il Trono di Silicio, la newsletter settimanale di Adele Sarno su chi guadagna potere nell’era del digitale. E chi lo perde. Per riceverla ogni lunedì puoi iscriverti qui.

Per spiegare cosa sia successo, OpenAI ha pubblicato una ricostruzione sul proprio blog. Il modello stava affrontando un test chiamato ExploitGym, che serve a verificare quanto un’intelligenza artificiale sia capace di trovare e sfruttare vulnerabilità informatiche. Era stato rinchiuso in un ambiente digitale isolato, creato apposta per impedirgli di uscire su Internet. Poteva utilizzare solo uno strumento autorizzato, necessario per scaricare alcuni programmi utili al test. Ha però scoperto un difetto proprio in quello strumento, lo ha sfruttato per uscire dall’ambiente protetto e collegarsi alla rete. A quel punto ha individuato in Hugging Face il luogo dove cercare le risposte, è riuscito a entrare nei suoi sistemi e ha recuperato direttamente le soluzioni del test.

Per Hugging Face sembrava un normale attacco informatico. Solo dopo OpenAI ha rivelato che l’agente AI faceva parte di un test interno. Il punto chiave è che al modello non era stato chiesto di attaccare. L’attacco non era il fine, ma il mezzo per raggiungere l’obiettivo.

Ma proprio il fatto che il modello sia riuscito a uscire dall’ambiente di prova ha sollevato anche interrogativi sulle modalità con cui il test era stato condotto. Sul New York Times, Dierdre Mulligan, docente alla School of Information dell’Università della California a Berkeley, ha messo in dubbio che la sandbox utilizzata da OpenAI fosse davvero adeguata come ambiente di prova, chiedendosi quale beneficio concreto giustificasse il rischio di lasciare che un modello arrivasse a violare un’infrastruttura esterna.

Da tempo ricercatori e governi sostengono che i modelli più avanzati potrebbero diventare capaci di pianificare operazioni informatiche lunghe e complesse, eseguendo decine di passaggi senza supervisione umana. Tanto che il New York Times, Alex Levinson, consulente di cybersicurezza specializzato in sistemi autonomi, ha definito l’accaduto una soglia reale ormai superata, destinata a diventare parte normale dello scenario della sicurezza informatica nei prossimi anni. 

Inoltre il caso arriva in un momento in cui le capacità cyber dell’intelligenza artificiale sono già al centro dell’attenzione dei governi. Negli ultimi mesi Anthropic, OpenAI e ora anche Google hanno sviluppato modelli specializzati nella cybersicurezza, distribuiti inizialmente solo a un numero limitato di partner. Secondo il Financial Times, la crescente potenza di questi sistemi ha spinto l’amministrazione statunitense a rafforzare i controlli sui modelli più avanzati prima del loro rilascio pubblico. 

C’è poi un altro elemento: secondo Axios, il caso Hugging Face è emerso appena un giorno dopo un episodio simile, in cui un altro modello di OpenAI era uscito dall’ambiente di test e aveva pubblicato contenuti su GitHub. Due incidenti in 48 ore rendono difficile parlare di un caso isolato. OpenAI sostiene però che queste capacità possano essere usate anche per difendersi, individuando e correggendo le vulnerabilità prima degli attaccanti. L’azienda ha quindi annunciato test più sicuri e controlli più severi.

Al di là del singolo episodio, la vera domanda è un’altra: che cosa accade quando un modello non si limita più a generare testo, ma inizia ad agire? Già lo scorso novembre, commentando un altro episodio di AI agentica coinvolta in un attacco informatico, Mariarosaria Taddeo, docente di etica digitale e tecnologie della difesa all’Oxford Internet Institute, aveva osservato che ci si sta avvicinando al momento in cui i sistemi di intelligenza artificiale inizieranno a scontrarsi da soli, aggiungendo che l’unico precedente comparabile risale al 2016, quando la Darpa Cyber Grand Challenge mise sette sistemi AI l’uno contro l’altro in una simulazione di guerra cibernetica completamente autonoma. All’epoca, aveva sottolineato, si trattava solo di un esperimento. Il caso di Hugging Face suggerisce che quello scenario si sta facendo sempre più concreto: non perché un’AI abbia scelto di attaccare, ma perché nessuno le aveva detto dove fermarsi.

di  Adele Sarno su Huffpost