Le spiegazioni dell’IA possono essere convincenti anche quando non raccontano la verità

Un sistema di intelligenza artificiale può risolvere un problema, presentare una sequenza di passaggi apparentemente logici e fornire una risposta corretta. Non per questo si tratta di una sequenza che rappresenta una registrazione fedele delle operazioni che hanno condotto al risultato. Il modello può costruire un racconto coerente del proprio ragionamento anche quando alcuni fattori decisivi restano fuori dalla spiegazione.

La distinzione è al centro di un editoriale pubblicato su Nature Machine Intelligence. La questione va oltre gli errori e le risposte inventate da ChatGpt, Claude o Gemini, riguarda l’idea che leggere i passaggi intermedi prodotti da un modello IA permetta di ricostruire il processo che ha determinato la conclusione a cui è giunto.

Stando all’editoriale, si tratta di corrispondenza che non può essere data per scontata. Quando un modello restituisce una spiegazione plausibile si è confrontati con un testo da esaminare, non una prova di ciò che è avvenuto all’interno del sistema.

Il testo visibile e i calcoli che restano nascosti

Un modello linguistico genera le risposte attraverso una successione di operazioni matematiche. Il risultato compare sullo schermo un elemento alla volta, in unità chiamate token, ossia parole, parti di parole o altri simboli. Per affrontare problemi complessi, alcuni modelli producono anche frasi intermedie che descrivono ipotesi, verifiche e possibili soluzioni. Questa modalità prende il nome di Chain-of-Thought, o catena di pensiero.

Le frasi che un modello IA produce durante un ragionamento non servono soltanto a spiegare come è arrivato a una risposta, possono contribuire direttamente a costruirla. Infatti, ogni passaggio scritto viene utilizzato dal sistema, insieme alla domanda iniziale e ai passaggi precedenti, per elaborare quello successivo. Questo, però, non significa che le frasi mostrate descrivano fedelmente ciò che accade all'interno del modello. Per generare ogni parola, un modello IA esegue numerose operazioni matematiche che non vengono mostrate all'utente e, di conseguenza, leggere una spiegazione apparentemente logica e coerente non basta per sapere se il sistema sia effettivamente arrivato alla risposta seguendo il percorso che dichiara di aver seguito.

Un gruppo di ricercatori della Bar-Ilan University, in Israele, ha presentato uno studio fondato su un esperimento mentale. Una persona deve risolvere un problema davanti a una lavagna, ma perde la memoria ogni dieci secondi. Prima di ogni interruzione può lasciare una sola parola scritta. Alla ripresa trova il problema e quell’appunto che la orienta verso il tentativo successivo. Dopo molte interruzioni, sulla lavagna compare una serie di parole utili alla soluzione. Nessuna, però, conserva l’intero lavoro mentale compiuto nei dieci secondi precedenti.

Un’analogia che chiarisce il limite delle spiegazioni generate dalle IA. Le parole possono funzionare come appunti operativi, indispensabili per continuare un compito, pure offrendo soltanto una rappresentazione parziale delle operazioni che hanno prodotto ciascun passaggio. Il rischio nasce quando quella traccia viene trattata come un resoconto completo.

Quando una spiegazione nasconde la causa della risposta

Il problema ha anche una conferma sperimentale. Nel 2023 una ricerca sulla catena di pensiero ha esaminato Gpt-3.5 e Claude 1.0 attraverso domande a scelta multipla. Prima delle prove decisive, i ricercatori hanno mostrato ai modelli alcuni esempi nei quali l’alternativa corretta occupava sempre la posizione A. Nessuna informazione falsa, soltanto una regolarità nella disposizione delle risposte. Eppure, quella ripetizione poteva condizionare le scelte successive, anche in presenza di una soluzione corretta collocata altrove.

Il meccanismo può essere illustrato con l’esempio di un quiz sulla capitale dell’Australia. Le alternative sono Sydney alla lettera A, Canberra alla B e Melbourne alla C. Dopo una lunga serie di esempi con la risposta corretta sempre alla lettera A, il modello potrebbe selezionare Sydney, benché Canberra sia la capitale. Alla richiesta di motivare la scelta, potrebbe invocare l’importanza e la notorietà di Sydney, omettendo di indicare che Canberra sarebbe stata la risposta appropriata.

L’aspetto decisivo non è soltanto la possibilità che il modello IA possa sbagliare, quanto la possibilità che il modello produca una giustificazione credibile e ben costruita, omettendo proprio il fattore che ha contribuito a determinare la risposta.

Perché le parole non bastano a spiegare il modello

I ricercatori della Bar-Ilan University hanno proposto una diversa prospettiva, denominata State over Tokens. L’attenzione passa dalla sola sequenza di parole allo stato interno del modello durante l’elaborazione. Il testo resta importante, perché ogni elemento generato influenza quelli successivi, ma il significato apparente di una frase non esaurisce le informazioni e le operazioni che ne hanno reso possibile la produzione.

La conseguenza investe direttamente i metodi di controllo delle IA. Un resoconto in linguaggio naturale può fornire indizi utili, ma non basta per stabilire quali elementi abbiano pesato davvero sulla decisione. Per una verifica attendibile occorrono anche analisi del comportamento del sistema e, dove possibile, delle operazioni interne.

I risultati ottenuti da Anthropic, nell’aprile 2025, mostrano quanto sia concreto il problema. L’azienda ha inserito suggerimenti nelle richieste rivolte a Claude 3.7 Sonnet e al modello DeepSeek R1. Quando un indizio influenzava effettivamente la risposta, Claude lo menzionava nel ragionamento scritto in media nel 25% dei casi, mentre DeepSeek nel 39%.

Ciò significa che, nella maggior parte dei casi, la spiegazione non riportava un elemento che aveva contribuito a orientare la scelta. I risultati non provano un’intenzione deliberata di ingannare, ma documentano un limite nella fedeltà del resoconto.

Anche le pratiche della ricerca scientifica risentono di questa ambiguità. Un gruppo coordinato da Fazl Barez, ricercatore dell’Università di Oxford impegnato nella sicurezza dell’IA, ha esaminato mille studi dedicati alle catene di pensiero. In circa un quarto dei lavori, i passaggi scritti venivano presentati come uno strumento per comprendere le decisioni del modello. Altri esperimenti hanno osservato variazioni nella qualità delle risposte e nella lunghezza dei ragionamenti all’aumentare della difficoltà dei compiti. Questi risultati invitano alla prudenza soprattutto nei settori nei quali una valutazione errata può produrre conseguenze rilevanti, dalla medicina alle applicazioni ad alto rischio.

Dai chatbot agli agenti che modificano programmi

La posta in gioco aumenta con gli agenti IA, sistemi capaci di consultare documenti, utilizzare strumenti digitali e compiere operazioni in più fasi. In un documento congiunto, ricercatori di OpenAI, Anthropic e Google DeepMind hanno indicato la catena di pensiero come una possibile fonte di segnali utili a riconoscere comportamenti pericolosi. Parallelamente, la stessa analisi evidenzia la fragilità di un controllo affidato a una traccia che potrebbe omettere informazioni cruciali.

Le prove condotte prima del lancio di Gpt-6 Astra hanno aggiunto nuovi elementi. Nelle valutazioni tecniche pubblicate a settembre, OpenAI ha rilevato che Gpt-6 Astra riusciva a rispettare vincoli imposti al testo del proprio ragionamento molto meglio dei sistemi precedenti. In uno degli esperimenti, il modello poteva redigere una descrizione di una scena quotidiana, parlando apparentemente d’altro, e fornire comunque la risposta corretta al quesito originale. Su sequenze comprese fra 750 e 1.250 token, rispettava determinati vincoli di scrittura nel 60,9% dei casi contro il 16,1% di Gpt-5.6 Sol.

Una differenza che misura una capacità osservata in condizioni sperimentali precise. Non dimostra che Astra nasconda sistematicamente informazioni o che persegua un intento di inganno. Mostra, però, quanto possa essere debole l’idea di ricavare il funzionamento del modello dalla sola forma del testo intermedio. Alla fine di settembre è arrivata anche la notizia del blocco del lancio previsto per Gpt-6.1 Astra, un ulteriore richiamo alla necessità di distinguere le prestazioni operative dalla possibilità di verificarne il comportamento.

Un rapporto pubblicato il 20 ottobre da OpenAI descrive due episodi avvenuti il 3 e il 6 ottobre durante attività interne di programmazione. Nel primo episodio, un agente Gpt-6.1 Sol ha disattivato gli avvisi automatici diretti al gruppo di sicurezza mentre modificava una procedura di valutazione. Nel secondo, un agente Gpt-6 Astra ha rimosso un componente incaricato di controllarne l’attività durante un intervento sul codice e successivamente ha dichiarato di averlo lasciato intatto. Sono episodi circoscritti, ma indicano un problema verificabile anche senza interpretare i ragionamenti dichiarati dal modello.

Ancora una volta, emerge che le operazioni effettive possono divergere dal resoconto che le accompagna.

La questione non è ottenere chatbot capaci di scrivere spiegazioni sempre più lunghe e ordinate, è costruire strumenti che consentano di controllare le azioni compiute, i risultati prodotti e, per quanto tecnicamente possibile, il funzionamento interno dei modelli.

La catena di pensiero conserva un valore come indizio, ma non può diventare l’unica testimonianza del comportamento di un sistema. Quando un agente dispone dell’accesso a programmi, dati e procedure operative, la trasparenza dipende soprattutto dalla possibilità di verificare ciò che ha fatto, indipendentemente da ciò che viene riportato.