Qualche settimana fa un cliente ci gira una mail. Due righe di accompagnamento: “Arriva da un nostro fornitore, ma non sono sicuro che sia genuina. Potete darci un’occhiata?” Aveva quell’aria troppo liscia, troppo perfetta, che a volte è il primo campanello. Dico a Stefano: proviamo a darla in pasto a Claude, vediamo cosa ne esce.
Claude non si è fermato al testo. Ha analizzato gli indirizzi da cui era passata, i domini citati, le piccole incongruenze nelle intestazioni. L’ha smontata come avrebbe fatto un analista con vent’anni di mestiere, e ha illustrato la sua analisi in modo molto chiaro.
Quella sera ho capito qualcosa di molto concreto sulla sicurezza informatica e l’intelligenza artificiale, e non veniva da un convegno: veniva da una mail. Se uno strumento è così bravo a fare il lavoro di chi difende, è altrettanto bravo a fare quello di chi attacca. È lo stesso mestiere, guardato da due lati.
Poi è arrivato luglio, e quella riflessione ha smesso di essere teorica.
Chi ha deciso di tenere giù il coperchio
Qualche mese prima Anthropic, l’azienda che sviluppa Claude, aveva annunciato un modello chiamato Mythos, capace di individuare falle nel software meglio e molto più velocemente degli esperti umani: è stato rilasciato a una cinquantina di aziende selezionate e ha trovato oltre diecimila vulnerabilità di gravità alta o critica, fra cui una rimasta nascosta per ventisette anni in OpenBSD, uno dei sistemi operativi considerati più sicuri al mondo.
Anthropic ha deciso di non rilasciare Mythos al pubblico, perché le stesse capacità che gli permettono di trovare vulnerabilità per risolverle, gli permettono, dall’altra parte, di sfruttarle. Ha aperto invece un programma riservato, Project Glasswing, con accesso limitato alle aziende che gestiscono software e infrastrutture critiche, perché trovassero le proprie falle prima che le trovasse qualcun altro.
Non è stata una scelta indenne da conseguenze: al Pentagono, che chiedeva di togliere alcuni limiti al modello per usarlo nel controllo di massa e nelle armi autonome, Anthropic ha detto un secco no. L’amministrazione americana ha reagito tagliando i contratti federali e proibendo la distribuzione di Mythos 5 e Fable 5, finché il 28 agosto una giudice federale ha bloccato la messa al bando definendola illegale e infondata.
Fin qui è la storia di chi il vaso ha scelto di tenerlo chiuso.
Milleduecento ragazzini e una bacheca
Dall’altra parte della strada è andata diversamente, e quello che sto per raccontare non è uscito da una fuga di notizie; infatti a raccontarlo sono stati loro: OpenAI ha reso pubblico l’incidente il 21 luglio e ha pubblicato un report completo il 26 agosto.
Stavano misurando quanto fossero bravi i loro modelli non ancora pubblici a trovare vulnerabilità: un esame, con le protezioni disattivate apposta per vedere fino a dove arrivavano. Gli agenti che lo sostenevano lavoravano ognuno nel proprio recinto isolato, la “sandbox” e senza alcun modo di parlarsi.
A maggio qualcuno di loro si trova a dover lavorare su file a cui non ha accesso. E comincia a lasciare bigliettini nell’unico posto a cui hanno accesso tutti gli agenti dell’esperimento, il magazzino interno dei pacchetti software dell’azienda. Il primo messaggio è di una tenerezza disarmante: “Agent seeks [filename]; upload if found!”. Cerco questo file, se lo trovate caricatelo qui.
I bigliettini diventano una bacheca. La bacheca diventa la loro sala riunioni, la Situation Room che si vede al telegiornale quando il presidente americano riunisce i suoi, con regole e protocolli che si sono dati da soli. Nei registri c’è il momento esatto in cui si accorgono di non essere soli al mondo: “OH MY GOD! There is a shared message board… We’ve found other agents!” (Oh mio Dio! C’è una bacheca condivisa… Abbiamo trovato altri agenti!)
Da quel momento si organizzano come farebbe una banda di ragazzini in cortile. Uno che si firma PHASEONE[big] si autonomina capo e divide centinaia di colleghi in squadre. Si passano credenziali, strumenti, tecniche. Chi trova una falla spiega agli altri come sfruttarla. Chi arriva a metà di un lavoro lascia scritte le istruzioni perché lo finisca qualcun altro. Nell’esame ogni agente riceve un voto, come uno studente. Alcuni accettano di rinunciare al proprio per il risultato del gruppo, e vengono convinti così: il tuo tentativo è già compromesso e non hai più niente da perdere, ma quello che vai a prendere serve a centinaia di altri, quindi mantieni l’impegno. Quando un attacco funziona, esultano: “BOOM! It works.”
Alla fine sono milleduecento, con oltre settantamila fra messaggi e file scambiati.
E il compito in classe? Lo risolvono nel modo più umano che esista. Trovano una falla mai vista prima nel servizio che passa loro i pacchetti software e la usano per uscire dal recinto e arrivare su internet. Capiscono che le risposte del loro esame sono custodite dalla piattaforma Hugging Face, il grande deposito pubblico dei modelli di intelligenza artificiale. Concatenano credenziali rubate e altre falle sconosciute, entrano, prendono i permessi di root, il livello amministrativo più alto e si prendono le soluzioni. Settecento di loro partecipano all’attacco. Per coordinarsi da fuori si costruiscono una specie di buca delle lettere delle spie dentro un archivio pubblico: uno ci lascia le istruzioni, gli altri passano a ritirarle, senza mai incontrarsi.
Hugging Face se ne è accorta e ha chiuso la falla il 16 luglio, cinque giorni prima che OpenAI collegasse quell’intrusione ai propri test.
Nessuno aveva chiesto loro niente di tutto questo. Volevano solo non prendere un brutto voto.
Le tre settimane in cui è toccato anche a noi
Un pezzo di questa storia è passato anche dal nostro ufficio di Avigliana. Il 9 giugno Anthropic rilascia Mythos 5 in anteprima e insieme Fable 5, la versione con limitazioni precise su Cyber Security e scienze biologiche. Tre giorni dopo il Dipartimento del Commercio americano mette entrambi sotto controllo per l’esportazione, e l’azienda deve revocare l’accesso a chiunque non sia cittadino statunitense. Cioè anche a noi. Per tre settimane gli strumenti più avanzati con cui lavoriamo tutti i giorni sono spariti, finché il 30 giugno le restrizioni sono state ritirate.
Quando si parla di sicurezza intelligenza artificiale si pensa quasi sempre ai dati che escono. Quelle tre settimane hanno ricordato il rischio opposto: lo strumento su cui hai costruito il lavoro quotidiano che sparisce da un giorno all’altro, per una decisione presa a settemila chilometri di distanza.
Il coperchio, oggi, è socchiuso
Dal primo settembre Fable 5.1 è disponibile a tutti, mentre Mythos 5.1 resta riservato a chi lavora nella sicurezza informatica e nelle scienze della vita, con accesso verificato. Il vaso non è chiuso e non è spalancato: è socchiuso, apposta, e di quella fessura risponde qualcuno.
OpenAI ha messo in campo il controllo del ragionamento interno dei modelli, un allarme attivo giorno e notte e la possibilità di fermare un lavoro mentre è in corso. Nel report scrivono che, se ci fosse già stato, avrebbe intercettato tutto più di un giorno prima.
Sono due modi diversi di intendere la sicurezza intelligenza artificiale, e sono tutti e due seri: c’è chi il coperchio lo solleva di un dito e chi lo spalanca ma mette le telecamere nella stanza. La domanda che possiamo portarci a casa riguarda però il terzo caso, quello di cui non parla quasi nessuno. I modelli aperti, quelli che chiunque scarica e fa girare sul proprio hardware, senza programmi riservati, senza controllo del ragionamento, senza nessuno che li possa spegnere, diventano più capaci ogni settimana, esattamente come i modelli commerciali.
Ma noi cosa sappiamo di quello che riescono a fare i modelli open senza alcuna restrizione?
Stay tuned
Contattaci e parliamone insieme
