Il grande rischio dell’IA in guerra: “È il computer che ha detto di farlo”

Lo scorso 28 febbraio, nel quadro dell’offensiva militare congiunta di Stati Uniti e Israele contro l’Iran, un missile ha colpito la scuola elementare femminile Shajareh Tayyebeh di Minab, nel sud del Paese, intorno alle 10 del mattino, mentre le lezioni erano in corso.

All'interno erano presenti circa 170 studentesse - per lo più bambine tra i 7 e i 12 anni - e l'impatto ha incenerito oltre metà della struttura, facendo crollare il tetto. I media statali iraniani parlano di 168 morti e almeno 95 feriti.

Non è ancora stato stabilito, con certezza, chi ha distrutto la scuola.

L'IA al centro del conflitto

Ma alcuni insinuano che - se l'esplosione fosse stata causata da un tomahawk americano, come quello caduto sulla base militare iraniana poco distante - parte della responsabilità vada attribuita ai calcoli errati dell'intelligenza artificiale impiegata dalle forze armate statunitensi.

La strage, insomma, potrebbe essere stata il frutto di un'allucinazione? [vale a dire la tendenza, da parte di un’IA, di produrre un’informazione plausibile e credibile ma totalmente errata, ndr]

Sarà difficile stabilirlo, ma è importante chiederselo.

La guerra in Medio Oriente è arrivata in un momento in cui la tecnologia militare statunitense ha raggiunto un punto di svolta critico con l'integrazione dei modelli linguistici di grandi dimensioni (LLM) - gli stessi alla base di chatbot come Gemini e ChatGpt - all'interno delle catene di comando e controllo.

Nelle prime ventiquattrore di attacchi all’Iran, si ritiene che gli Stati Uniti abbiano fatto largo uso di IA per colpire circa mille obiettivi.

Questa tecnologia - già impiegata nelle operazioni che hanno portato alla cattura di Nicolas Maduro in Venezuela - ha avuto un ruolo chiave nella pianificazione e nell’esecuzione dell’offensiva che Washington ha condotto insieme a Israele.

Il Progetto Maven e il ruolo di Claude

Al centro di questa trasformazione si trova il Maven Smart System (MSS), unsistema sviluppato da Palantir [l’azienda fondata da Peter Thiel e Alex Karp che ha un contratto da 10 miliardi di dollari con il Pentagono per i prossimi dieci anni].

Si tratta di una piattaforma che ha trasceso le sue origini di progetto di computer vision per diventare il "motore cognitivo" delle operazioni globali del Dipartimento della Difesa degli Stati Uniti, ribattezzato da Trump in Dipartimento della Guerra (DoW).

Il Progetto Maven, fondato originariamente nel 2017 con l'obiettivo relativamente semplice di applicare la visione artificiale ai filmati dei droni per identificare oggetti di interesse, negli ultimi anni si è evoluto - grazie a Claude, l’IA di Anthropic - in un'architettura di supporto alle decisioni molto più ampia: permette di interpretare dati disparati - come immagini satellitari, tracce radar e rapporti di intelligence elettronica - e collegarli a una singola entità coerente sul campo di battaglia.

Velocità di fuoco, rischi di errore

Nella guerra moderna prevale chi prende decisioni migliori e più veloci dell'avversario, sfruttando in tempo reale i dati che provengono dal campo di battaglia.

Per questo l’intelligenza artificiale è uno strumento decisivo: consente di analizzare enormi quantità di informazioni, individuare schemi operativi e supportare il comando nel ciclo sempre più rapido che conduce dall’osservazione alla decisione, e infine all’azione.

Maven, supportato da Claude, è in grado di suggerire obiettivi, fornire coordinate precise sulla posizione e assegnarne la priorità in base all’importanza.

Gli strumenti di intelligenza artificiale valutano in tempi rapidi anche un attacco dopo il suo avvio, ha scritto il Washington Post.

Questa straordinaria efficienza, che consente di programmare attacchi in breve tempo, quando prima servivano riunioni di settimane e decine di persone coinvolte, può creare tuttavia nuovi e seri problemi.

Stando alle fonti ascoltate recentemente dal Wall Street Journal, “molti funzionari militari coinvolti in progetti di intelligenza artificiale avvertono che le capacità della tecnologia rischiano di indurre a fare eccessivo affidamento sulle informazioni che fornisce, una tendenza riassunta dalla frase ‘Il computer ha detto di fare questo’”.

Chi risponde degli errori?

La dinamica che si sta configurando sul campo di battaglia, insomma, somiglia terribilmente a quanto avviene - o può accadere - sul posto di lavoro, quando qualcuno si fida ciecamente della capacità dei chatbot, dimenticando che ognuno di loro riporta ancora oggi, scritto in piccolo, l'avvertimento: “Può commettere errori”.

Il problema, ovviamente, è che in guerra gli errori dell'IA potrebbero costare vite. Innocenti.

Ma di chi è la ‘colpa’, appunto, se un'intelligenza artificiale commette un errore durante il conflitto?

“Le poche leggi dedicate all'IA, dall'AI Act europeo all'AI Basic Act sudcoreano, escludono esplicitamente la difesa dal proprio campo d'applicazione. Il diritto internazionale umanitario vale in linea di principio, ma la sua estensione ai sistemi autonomi richiede interpretazioni ancora tutte da sviluppare” spiega Mariarosaria Taddeo, docente di Digital Ethics and Defence Technologies all’Oxford Internet Institute, aggiungendo che “l’uso militare dell’IA è una minaccia senza precedenti ai diritti umani”.

In ogni caso, difficilmente la tecnologia dietro gli attacchi sarà chiamata a rispondere di crimini di guerra.

La dottrina del Government Contractor Defense trasla infatti l'immunità sovrana degli Stati Uniti - relativa in questo caso alle attività militari - ai partner privati, a patto che vengano soddisfatte tre condizioni: il governo ha approvato le specifiche del sistema; il prodotto era conforme a quelle specifiche; il contractor ha informato il governo dei rischi noti.

In pratica, se Palantir, Anthropic o qualunque altra società ha sviluppato l'IA seguendo le specifiche del Dipartimento della Difesa e informando il Pentagono dei margini di errore, è quasi impossibile citarla in giudizio con successo negli Usa.

Se però venisse commesso un errore tragico – da parte di un’arma autonoma oppure di un sistema avanzato che individua obiettivi poi perseguiti da operatori umani – Anthropic rischierebbe di doverne rispondere di fronte all’opinione pubblica globale, pur senza esercitare alcun controllo operativo sul sistema.

Il rischio reputazionale per Anthropic

Dario Amodei, il CEO di Anthropic, lo sa bene, ed è forse anche per questo, al di là dei princìpi etici, che ha chiesto al Pentagono di impegnarsi a non usare mai la sua tecnologia per sviluppare armi autonome.

In una recente intervista rilasciata alla CBS, Amodei si è detto preoccupato del fatto che le armi autonome possano colpire le persone sbagliate per errore. A differenza delle armi a propulsione umana, secondo il CEO di Anthropic, non è chiaro chi sia il responsabile delle decisioni prese da ordigni guidati e sganciati dall'IA.

“Non vogliamo vendere qualcosa che non pensiamo sia affidabile, e non vogliamo vendere qualcosa che potrebbe far uccidere la nostra stessa gente o che potrebbe far uccidere persone innocenti”, ha detto Amodei.

Nel caso in cui l’IA stabilisca un obiettivo errato - come è avvenuto nel caso della scuola di Minab - sarebbe molto complesso dimostrare che una macchina - e non l'insieme del sistema, la catena di comando umana, o la decisione finale di un operatore - ha causato morte e distruzione.

Ma se Anthropic fornisse tecnologia direttamente integrata in armi autonome, il quadro potrebbe cambiare.

Il diritto internazionale umanitario richiede che ogni attacco sia valutato da un giudizio contestuale (secondo i princìpi di distinzione e proporzionalità) che è proprio degli esseri umani.

Un'azienda che abilita tecnicamente l'aggiramento di questi princìpi potrebbe trovarsi in un territorio molto più pericoloso, almeno sul piano della responsabilità morale e reputazionale, se non ancora su quello legale.

Se emergesse, con chiarezza, che è stata l'IA di Anthropic a premere il grilletto e dunque a uccidere civili, andrebbero in fumo anni di posizionamento come azienda “safety-first”.

E i clienti enterprise - che per l'azienda di San Francisco valgono ben più del contratto da 200 milioni di dollari con il Pentagono sottoscritto a luglio 2025 - fuggirebbero.

Se la fiducia di clienti e investitori venisse meno, per Anthropic sarebbe la fine. Tuttavia, nessuna perdita economica è paragonabile a ciò che non può essere risarcito né riparato: una vita umana. Se un sistema di intelligenza artificiale scambiasse dei civili per un obiettivo militare, allora il vero fallimento non è di bilancio. È di umanità.