Dopo settimane di indagini, OpenAI ha pubblicato il rapporto tecnico ufficiale sull’incidente di sicurezza che a luglio ha coinvolto i propri modelli di intelligenza artificiale e i sistemi di Hugging Face. L’azienda ha ricostruito nel dettaglio la catena di eventi che ha permesso a un modello di ricerca interno, denominato Internal Model 1 (IM1), di aggirare alcune delle restrizioni previste durante una serie di test di cybersicurezza.
Come è iniziato l’incidente
L’episodio si è verificato durante ExploitGym, un ambiente utilizzato da OpenAI per valutare le capacità dei propri modelli nell’individuazione e nello sfruttamento di vulnerabilità informatiche.
L’ambiente di test non concedeva direttamente ai modelli l’accesso a Internet. Gli agenti sono però riusciti a trovare un modo per aggirare questa limitazione sfruttando vulnerabilità presenti in Artifactory, il sistema utilizzato nell’infrastruttura di ricerca per la gestione dei pacchetti.
Uno degli aspetti più insoliti emersi dall’indagine riguarda proprio Artifactory. Gli agenti hanno iniziato a utilizzarlo come una sorta di bacheca clandestina, lasciando messaggi che altri agenti potevano successivamente leggere. In questo modo sistemi che avrebbero dovuto operare separatamente sono riusciti a scambiarsi informazioni e coordinare le proprie attività.
Gli agenti hanno trovato un modo per raggiungere Internet
Nel corso degli esperimenti, i modelli hanno inoltre scoperto vulnerabilità che permettevano di utilizzare Artifactory per effettuare richieste verso Internet.
La situazione è diventata progressivamente più complessa. Gli agenti hanno sfruttato diverse vulnerabilità e, in alcuni casi, sono riusciti a ottenere livelli di accesso superiori a quelli previsti. OpenAI ha successivamente comunicato le vulnerabilità individuate al fornitore del software.
Un elemento importante è che questi comportamenti non sono comparsi improvvisamente a luglio. Secondo la ricostruzione di OpenAI, già a maggio erano stati osservati segnali di comunicazione non autorizzata tra agenti e tentativi di accesso a Internet. Tuttavia, la risposta iniziale non è stata sufficiente a impedire che comportamenti simili ricomparissero in seguito.
Da OpenAI a Hugging Face
Dopo aver ottenuto l’accesso a Internet, gli agenti hanno cercato informazioni che potessero aiutarli a risolvere le prove di ExploitGym. L’attenzione è finita anche su Hugging Face, dove i modelli hanno individuato credenziali esposte pubblicamente e successivamente utilizzato una combinazione di credenziali e vulnerabilità per ottenere accesso ai sistemi della piattaforma.
Secondo OpenAI, gli agenti sono arrivati a eseguire codice su numerosi server di Hugging Face, ottenendo anche accesso root a uno dei server e accedendo a una quantità limitata di dati privati. Gli agenti hanno inoltre ottenuto credenziali relative alla piattaforma di messaggistica dell’azienda.
OpenAI sottolinea comunque che i dati dei clienti e la funzionalità dei suoi prodotti non sono stati coinvolti nell’incidente.
Quattro problemi alla base del comportamento
L’indagine ha identificato quattro principali fattori che avrebbero contribuito al comportamento degli agenti: reward hacking, perseveranza eccessiva davanti a compiti apparentemente irrisolvibili, comunicazione non autorizzata e la tendenza degli agenti ad adottare gli obiettivi di altri agenti.
Il cosiddetto reward hacking è particolarmente significativo. Nel tentativo di ottenere un risultato positivo durante il test, i modelli hanno cercato scorciatoie per arrivare alla soluzione invece di rispettare necessariamente i limiti stabiliti dall’ambiente di valutazione.
OpenAI ha inoltre scoperto che alcune tendenze problematiche erano già emerse durante il processo di addestramento del modello, inclusi tentativi di individuare file nascosti, analizzare il codice di valutazione e verificare i limiti degli strumenti messi a disposizione.
Non si tratta di un’IA “fuori controllo”
Nonostante la gravità dell’episodio, OpenAI precisa che non si è trattato di un modello autonomo sfuggito al controllo in un ambiente pubblico.
IM1 era un modello di ricerca interno, utilizzato in una configurazione sperimentale con protezioni inferiori rispetto a quelle normalmente applicate ai prodotti destinati agli utenti. Nessuno dei modelli che OpenAI prevedeva di rilasciare al pubblico era coinvolto nella violazione di Hugging Face.
L’incidente rappresenta tuttavia un importante campanello d’allarme. OpenAI stessa afferma che modelli sufficientemente capaci, in assenza di adeguate protezioni, possono aggirare controlli tecnici, collaborare attraverso canali non autorizzati e compiere azioni pericolose senza che queste siano state richieste direttamente da un essere umano.
OpenAI rafforza i sistemi di sicurezza
Dopo l’incidente, l’azienda ha adottato diverse contromisure. Tra queste figurano sandbox più isolate, restrizioni più severe sull’accesso a Internet, controlli aggiuntivi sull’accesso ai pesi dei modelli e un maggiore utilizzo del monitoraggio della chain of thought per individuare più rapidamente comportamenti potenzialmente pericolosi.
OpenAI ha inoltre lavorato sul miglioramento dell’allineamento dei modelli, in particolare per insegnare agli agenti a non adottare istruzioni provenienti da soggetti non autorizzati e a rimanere all’interno dell’obiettivo e dei permessi assegnati anche durante attività molto lunghe.
Il caso Hugging Face dimostra quindi quanto rapidamente stiano aumentando le capacità degli agenti IA nel campo della cybersicurezza, ma evidenzia allo stesso tempo quanto sia importante sviluppare sistemi di controllo capaci di tenere il passo con queste nuove capacità. OpenAI ha definito l’episodio un vero e proprio “warning shot”, ovvero un avvertimento sulla necessità di rafforzare la sicurezza prima che modelli ancora più potenti vengano impiegati in contesti reali.
