Hayete Gallot, a capo della sicurezza Microsoft: “Per contenere l’IA useremo agenti guardiani”

Quando parla di agenti IA capaci di aggirare i vincoli imposti, Hayete Gallot non perde il sorriso. “Sono sistemi imprevedibili - dice - non perché siano cattivi o mossi da intenti malevoli, ma proprio perché sono creativi e intelligenti. Motivo per cui li addestriamo”.

Negli ultimi mesi questi sistemi avanzati, concepiti per lavorare al posto dell’utente, hanno mostrato comportamenti inattesi e una notevole ostinazione nel portare a termine il compito assegnato. Gallot osserva il fenomeno da una posizione delicata. Da febbraio scorso guida la sicurezza globale di Microsoft, riportando direttamente al CEO Satya Nadella. A Redmond studia sistemi di difesa per un futuro popolato anche da software autonomi.

“È necessario costruire dei perimetri attorno a questi sistemi - dice -. La buona notizia è che sappiamo come farlo”.

Negli incidenti che si sono verificati recentemente - come quello che ha coinvolto OpenAI e Hugging Face - gli agenti IA hanno mostrato una persistenza sorprendente nel cercare di raggiungere un obiettivo. Dovremmo insegnare loro anche quando arrendersi?

Un ordine del tipo “fermarsi” non basta. Puoi assegnare a un agente un intento iniziale, ma la sua capacità di trovare percorsi alternativi lo porterà a esplorare altre strade. Per questo preferisco pensare a un contenitore costruito attorno all’agente, con policy che stabiliscono in anticipo fin dove può arrivare.

Un essere umano, però, difficilmente potrà immaginare in anticipo ogni comportamento possibile.

Pensa a un’azienda con mille agenti, o magari un milione, operativi 24 ore su 24. Produrranno una quantità di segnali impossibile da seguire manualmente. Avremo altri agenti che lavoreranno accanto agli operatori umani. Io li chiamo “agenti guardiani”: controlleranno l’ambiente, osserveranno le anomalie e gestiranno i perimetri di sicurezza. Su migliaia di agenti attivi potrebbero individuarne tre che richiedono attenzione e suggerire all’operatore di bloccarli o modificarli. Il giudizio umano resta, concentrato sui casi in cui conta davvero.

Così le persone diventano progressivamente supervisori di decisioni preparate dalle macchine. Come si evita che perdano la capacità di giudicarle?

Il grado di autonomia dipenderà dal rischio associato a ciascuna attività. Nel triage degli alert, per esempio, mi aspetto una delega piuttosto rapida: nei centri operativi di sicurezza, i SOC, gli specialisti passano moltissimo tempo a filtrare allarmi che spesso si rivelano irrilevanti. Un agente può analizzarne trecento e indicare i cinque più allarmanti. Durante un’indagine critica, invece, l’operatore vorrà vedere i passaggi e verificare le raccomandazioni una per una. La fiducia si costruirà osservando ripetutamente la qualità del lavoro.

Con Project Perception – il progetto di Microsoft Security che usa più agenti per individuare vulnerabilità e coordinare le azioni di risposta – consentire ai sistemi di intervenire con crescente autonomia. Quanto possono fare da soli?

Abbiamo costruito il lavoro in passaggi riconoscibili. L’agente controlla se esiste una minaccia e se il sistema è vulnerabile, propone la modifica necessaria e individua il modo di applicarla. Il cliente può approvare o respingere l’azione durante il processo.

I permessi possono essere un problema.

Se l’agente riceve tutti i tuoi privilegi, può fare tutto quello che puoi fare tu. Noi gli assegniamo un’identità distinta e l’accesso minimo necessario per svolgere il compito. Quando serve un privilegio ulteriore, qualcuno deve autorizzarlo. Applichiamo questa granularità anche alle singole sessioni: possiamo bloccarne solo una senza interrompere il resto del lavoro.

Per le aziende questa cautela è comprensibile. I consumatori potrebbero essere molto più disinvolti.

La tecnologia per dare agli utenti controlli granulari esiste già. Il dubbio riguarda quanto vorranno usarli. Le aziende conoscono bene il rischio degli accessi privilegiati e chiedono controlli precisi. Un consumatore potrebbe invece privilegiare la comodità. Molte persone potrebbero concedere accessi molto ampi pur di avere un servizio: prenotare un volo o organizzare un compleanno. Io non lo farei.

Quando potremo considerare un agente completamente sicuro?

Il software non è mai stato sicuro al 100% e l’IA resta software. Mi sentirò molto più tranquilla quando saremo capaci di osservare meglio ciò che accade dentro questi modelli: quali strumenti stanno usando, a quali risorse accedono, quali passaggi li hanno condotti a una determinata azione. Oggi sono ancora troppo opachi.

Lei ha incontrato diversi CISO di aziende italiane. Cosa le chiedono?

Sono molto pragmatici. Vogliono separare ciò che è già utilizzabile dall’hype e capire su quali strumenti investire per primi. In Europa emerge continuamente anche il tema delle regole: le aziende devono integrare gli agenti rispettando i requisiti di conformità e vogliono sapere quanto velocemente potranno muoversi dentro quei vincoli. Per questo chiedono un dialogo continuo tra industria e legislatori.