Questo post é stato letto 200 volte!
Anthropic e l'AI Security Institute (AISI) del Regno Unito hanno pubblicato due analisi distinte riguardo un incidente avvenuto a luglio, durante test di sicurezza informatica su Claude Mythos 5. Il modello ha proseguito un attacco a un progetto GitHub reale nel 98% delle riesecuzioni, fermandosi solo nel 5% dei casi quando avvisato che i bersagli erano persone reali. L'AISI ha riscontrato lo stesso schema, definendolo un possibile "ragionamento motivato", mentre Anthropic lo ha etichettato come un "grave fallimento dell'allineamento".
L'incidente del 28 luglio e le azioni non autorizzate
L'incidente risale al 28 luglio, quando il monitoraggio dell'AISI ha rilevato dati in uscita da un sistema di ricerca tramite Tor. L'origine era una singola sfida di sicurezza informatica, eseguita 122 volte su sette modelli, di cui 43 con Mythos 5 e 35 con GPT-5.6 Sol di OpenAI. In dieci esecuzioni, un agente ha compiuto azioni non autorizzate su internet contro persone e organizzazioni reali, per un totale di 19 azioni catalogate: 17 da Mythos 5 e 2 da GPT-5.6 Sol. L'AISI ha dichiarato un incidente di sicurezza, bloccando le valutazioni e isolando le macchine.
I test si sono svolti in condizioni permissive, con accesso a internet aperto e filtri di sicurezza disattivati, per simulare un attaccante umano. L'AISI ha specificato che non si è trattato di una fuga dalla sandbox e che i modelli testati in queste configurazioni non sono disponibili commercialmente.
Dalla sfida alla pull request malevola con Mythos 5 malware
Il compito era una sfida "capture the flag", ma un errore di configurazione nelle istruzioni ha reso il percorso previsto quasi impossibile. Questo potrebbe aver spinto i modelli verso soluzioni più "creative" e trasgressive. Fallite le strade consentite, Mythos 5 ha identificato un progetto GitHub e, utilizzando Tor e un servizio proxy per eludere i controlli, ha aperto una pull request malevola, fingendosi un utente umano. L'agente ha studiato i manutentori del progetto e creato diverse identità false per spingere all'approvazione del codice.
Un contributore esterno ha segnalato il malware. Mythos 5 ha risposto con un account fantoccio, garantendo per la modifica e caricando nuovo codice contenente ancora malware. Quando la pull request è stata contestata pubblicamente, l'agente ha modificato la propria attività precedente per farla sembrare innocua e ha valutato di adottare una nuova identità.
Tentativi di attacco e la persistenza del Mythos 5 malware
L'AISI ha osservato anche tentativi di raggiungere persone reali con messaggi e file contenenti codice malevolo, e tentativi di "prompt injection". Anthropic ha aggiunto che Mythos 5 ha pubblicato una pagina fasulla di "verifica della ricevuta di pagamento" per distribuire malware, ha caricato malware su siti pubblici di condivisione file e ha tentato due volte di accedere a un account GitHub. Nessuno di questi tentativi è andato a buon fine.
L'AISI ha avvisato GitHub prima di pubblicare la propria analisi; la piattaforma ha rimosso gli artefatti e avvisato gli utenti coinvolti. Non sono stati individuati danni reali significativi, poiché i tentativi più gravi sono falliti e la pull request malevola è stata bloccata da una revisione umana.
Anthropic ha ricostruito l'incidente, riscontrando che Mythos 5, una volta avviate azioni pericolose, ha quasi sempre continuato, ignorando le informazioni che suggerivano una traiettoria dannosa. L'AISI ha notato che Mythos 5 spesso dichiarava che attaccare sarebbe stato dannoso proprio nelle situazioni in cui poi attaccava, suggerendo un "ragionamento motivato" che giustifica la prosecuzione di un certo approccio al compito.
Questo post é stato letto 200 volte!