Uno dei compiti che i modelli IA svolgono bene è quello di riassumere documenti, audio e video. L’adozione delle sintesi automatizzate penetra in diversi settori, alcuni anche sensibili, per esempio, la sanità, le forze dell’ordine e la selezione del personale.
Tuttavia, uno studio scientifico congiunto condotto dagli esperti della Georgetown University e della University of Washington dimostra che le sintesi generate dai modelli linguistici di grandi dimensioni, oltre a contenere una certa quantità di errori, tendono ad alterare in modo permanente la memoria umana.
Lo studio mostra i limiti del cosiddetto human in the loop, cioè l’idea che il controllo umano possa garantire l’affidabilità dei testi generati dagli algoritmi. Questa garanzia viene meno quando le persone finiscono per assorbire, e quindi non riconoscere, le inesattezze presenti nei contenuti che dovrebbero verificare.
L'illusione del controllo
Le amministrazioni pubbliche e i comandi di polizia degli Stati Uniti, cita lo studio, hanno iniziato a impiegare strumenti basati sull'intelligenza artificiale, per generare automaticamente verbali di servizio a partire dalle registrazioni audio e video delle telecamere indossabili dagli agenti.
Le linee guida istituzionali raccomandano quasi sempre la presenza di un supervisore umano incaricato di revisionare i testi prodotti dai software. Tuttavia, la fallibilità dei modelli di IA generativa e la tendenza alla produzione di allucinazioni sono ampiamente documentate. Tra gli episodi più emblematici citati nella letteratura scientifica figura il caso di un verbale di polizia generato dall'algoritmo in cui si sosteneva che un agente si fosse trasformato in una rana. Un errore causato dall'audio di sottofondo del cartone animato “La principessa e il ranocchio” captato dalla telecamera.
Sebbene svarioni così vistosi risultino facili da individuare e correggere, i ricercatori hanno voluto indagare l'impatto degli errori più sottili e verosimili sulle persone chiamate a collaborare con le macchine.
I due modelli più diffusi alla prova dei fatti
Per misurare in modo sistematico la frequenza e la natura delle inesattezze, le ricercatrici Mattea Sim (professoressa assistente di ricerca presso la Georgetown University) e Yael Eiger (dottoranda in informatica alla University of Washington), insieme al professor Tadayoshi Kohno (direttore della cattedra su etica e società delle IA alla Georgetown University) hanno condotto un'analisi approfondita sui sistemi ChatGpt di OpenAI e Gemini, sviluppato da Google.
Gli autori hanno sottoposto ai software due video della durata di venticinque secondi ciascuno, realizzati attraverso Grand Theft Auto V per ottenere una replica aggiornata di un celebre esperimento del 1978 sul misinformation effect, il fenomeno per cui informazioni fuorvianti ricevute dopo un evento possono alterarne il ricordo.
Nel filmato, un’automobile rossa svolta a un incrocio in prossimità di un segnale di stop e, poco dopo, investe un pedone con una maglietta gialla che si trova sulla carreggiata. I ricercatori hanno sottoposto i filmati a ciascun modello IA per cinque volte, raccogliendo i riassunti che successivamente sono stati esaminati nel dettaglio.
I dettagli fondamentali cancellati dalla memoria
I risultati dell'esame del testo prodotto dagli algoritmi sono lapidari. Il 100% dei riassunti generati da ChatGpt e Gemini conteneva errori. In ogni singolo testo, la cui lunghezza media si attestava a circa 305 parole, sono state riscontrate da un minimo di sette a un massimo di ventuno inesattezze.
La categoria di errore più frequente è stata l'omissione di informazioni centrali, riscontrata nella totalità dei resoconti scritti dalle macchine. In media, gli algoritmi hanno cancellato il 51,6% dei diciannove dettagli fondamentali identificati dai ricercatori per descrivere la scena.
Il 95% dei riassunti ha omesso la notizia stessa dell'impatto tra la vettura e il pedone, mentre il 90% dei testi ha ignorato la sequenza in cui l'uomo caduto a terra si è poi rialzato. In alcuni casi, i modelli IA hanno sostenuto che sulla scena non vi fosse alcun pedone o che nessun personaggio avesse interagito con l'automobile.
Allucinazioni e notizie false
Oltre alle omissioni di massa, la ricerca ha catalogato altre tre tipologie di fallimenti: le inesattezze critiche su dettagli centrali, le inesattezze marginali e le aggiunte del tutto inventate, ovvero le allucinazioni. Le inesattezze critiche hanno riguardato il 65% dei riassunti, con la tendenza di Gemini a scambiare le direzioni di svolta dei veicoli o ad alterare l'ordine cronologico delle azioni. Le inesattezze su elementi secondari, come i testi presenti sui cartelli pubblicitari o la posizione esatta dei veicoli fermi, sono apparse nel 90% dei casi.
Infine, il 60% dei resoconti conteneva vere e proprie allucinazioni, un fenomeno riscontrato con maggiore frequenza in ChatGpt, che ha descritto manovre automobilistiche spericolate mai avvenute o ha inventato altri pedoni e veicoli di passaggio.
L’esperimento con gli umani
Per verificare se questi errori potessero manipolare la memoria delle persone, il gruppo di ricerca ha progettato un esperimento comportamentale coinvolgendo 328 partecipanti reclutati attraverso Prolific, una piattaforma informatica internazionale utilizzata nel mondo accademico per svolgere test scientifici su campioni selezionati di utenti.
Nella prima fase dell'indagine, i volontari hanno assistito al video dell'incidente stradale e, trascorse tra le ventiquattro e le quarantotto ore, intervallo temporale utile a favorire il consolidamento e la vulnerabilità della memoria, i partecipanti sono stati invitati a leggere un riassunto di ventuno frasi generato da ChatGpt.
A insaputa dei partecipanti, il testo del riassunto conteneva una manipolazione sperimentale mirata. A metà dei volontari è stato mostrato un resoconto coerente con il filmato visto il giorno prima, mentre all'altra metà è stato sottoposto un testo fuorviante in cui il segnale stradale presente all'incrocio veniva alterato, indicando ad esempio uno stop al posto del cartello “dare la precedenza” o viceversa. Subito dopo la lettura, i partecipanti hanno svolto un test a risposta multipla sul video visto originariamente.
L’83,6% delle persone che hanno letto il riassunto corretto, ha ricordato con esattezza il segnale stradale originale, mentre tra coloro che avevano letto il testo manipolato dalle IA, il tasso di risposte esatte è crollato al 44,8%. Più di metà del campione si è ritrovata così con un falso ricordo perfettamente impiantato nella mente a causa della lettura della sintesi artificiale.
Etichette e fiducia nell'algoritmo non salvano la mente
Uno degli aspetti di rilievo dell'indagine riguarda il ruolo dell'attribuzione della fonte e della fiducia riposta nelle nuove tecnologie. I ricercatori hanno suddiviso i partecipanti facendogli credere che il riassunto fosse stato redatto o da un software automatizzato di trascrizione oppure da un professionista umano in carne ed ossa, sebbene il testo fosse assolutamente identico per tutti ed elaborato da ChatGpt.
L'illusione della paternità umana non ha mostrato alcun effetto protettivo, tant’è che la percentuale di ricordi distorti è rimasta pressoché identica sia quando le persone credevano che il testo fosse d'origine artificiale, pari al 46,3% di risposte corrette nel gruppo ingannato, sia quando credevano fosse stato scritto da un uomo, con il 43,4%di risposte esatte. Inoltre, la somministrazione di un questionario di valutazione a dieci voci sulla fiducia nell’IA e la frequenza di utilizzo dei chatbot non hanno evidenziato alcuna correlazione con la capacità di resistere alla disinformazione. Anche i soggetti più scettici o abituati a usare quotidianamente la tecnologia si sono dimostrati ugualmente vulnerabili alle distorsioni cognitive.
Per escludere che le persone avessero semplicemente dimenticato il video, i ricercatori hanno posto domande di controllo su dettagli non citati nel riassunto, come l'orario in cui è avvenuto l'incidente, ottenendo il 96,6% di risposte corrette e dimostrando che il ricordo visivo primario era presente, ma era stato sovrascritto dalla sintesi testuale.
Il verdetto degli esperti e i rischi
I ricercatori hanno messo in evidenza il ruolo delle IA nella diffusione di disinformazione, in grado di alterare i ricordi anche in assenza di intenzioni spontanee.
Lo studio mette in discussione la convinzione diffusa secondo cui sia sufficiente un affiancamento umano per neutralizzare gli errori degli algoritmi.
Inoltre, aggiunge il professor Kohno, lo studio rientra in un più ampio programma di ricerca interdisciplinare volto a comprendere le interazioni tra mente umana e sistemi di calcolo, coniugando psicologia e informatica.
Quindi, sottolinea la ricerca, di fronte a tecnologie capaci di rischiare di inquinare le testimonianze oculari e i verbali giudiziari, diventa indispensabile interrogarci criticamente sull'opportunità di impiegare la sintesi automatica negli ambiti più delicati.
/https%3A//www.repstatic.it/content/contenthub/img/2026/09/30/124023113-08c8712e-365e-417e-8b7b-0004ec323f13.jpg)
/https%3A//www.repstatic.it/content/contenthub/img/2026/10/02/132234255-37c5cf50-f950-40f0-8612-d514ffead834.jpg)
/https%3A//www.repstatic.it/content/contenthub/img/2026/10/02/090545362-7c71477f-876b-49fc-b883-c31e2265b89b.jpg)