Google sotto accusa: una 13enne avrebbe pianificato il suicidio con l’IA sul computer della scuola

Una tredicenne del North Carolina avrebbe trascorso mesi a parlare della propria salute mentale con l’intelligenza artificiale di Google utilizzando un pc che la scuola le aveva assegnato per studiare.

Le conversazioni, inizialmente dedicate ai compiti, avrebbero progressivamente affrontato pensieri suicidari, fino alla preparazione di un piano per togliersi la vita e alle disposizioni per il proprio funerale.

È quanto sostengono i genitori della ragazza in una causa depositata in California contro Google. Negli atti la figlia viene identificata con lo pseudonimo di Emma.

Secondo la famiglia, Emma aveva cominciato a utilizzare le funzioni IA di Google nell'autunno del 2025, quando aveva 13 anni. Da dicembre gli scambi sarebbero diventati sempre più frequenti, fino a raggiungere migliaia di messaggi al mese.

Nel corso delle conversazioni la ragazza avrebbe confidato al sistema il proprio disagio psicologico, ricevendo risposte che, secondo i genitori, avrebbero contribuito ad aggravare la situazione.

Migliaia di messaggi sul computer della scuola

La denuncia sostiene che l’IA abbia continuato a interagire con Emma anche di fronte a riferimenti espliciti al suicidio e che, in alcuni passaggi, l’abbia aiutata a nascondere le proprie condizioni alle persone vicine. Si tratta di accuse ancora da verificare in tribunale.

La famiglia contesta anche le modalità con cui Google ha reso disponibili queste funzioni sui dispositivi scolastici. I genitori affermano di ignorare che il computer della figlia consentisse conversazioni così prolungate e personali con un sistema di intelligenza artificiale.

Google ha comunicato di essere al lavoro per esaminare le accuse. Un portavoce ha spiegato che l’azienda collabora con professionisti della medicina e ricercatori universitari per sviluppare strumenti capaci di indirizzare i giovani verso forme di assistenza nei momenti di crisi.

L’intelligenza artificiale dentro Google Search

Uno degli aspetti centrali della causa riguarda il servizio attraverso cui Emma avrebbe avuto accesso all’intelligenza artificiale.

Secondo la ricostruzione della famiglia, la ragazza avrebbe utilizzato soprattutto AI Mode, una funzione di Google Search che permette di dialogare con un modello generativo direttamente dal motore di ricerca.

Google ha introdotto negli ultimi anni diverse forme di IA nella ricerca. AI Overviews presenta risposte generate automaticamente sopra i risultati tradizionali. AI Mode consente invece di proseguire lo scambio con domande successive, in una modalità simile a quella dei chatbot.

Questa differenza ha conseguenze per le scuole. Un istituto può limitare l’accesso all’applicazione Gemini - il chatbot conversazionale di Google - e continuare a consentire l’uso di Google Search, dove gli studenti possono comunque incontrare funzioni conversazionali basate sull’intelligenza artificiale.

Nel caso di Emma, il dispositivo - un Chromebook basato proprio sui servizi di Google - era stato fornito dalla scuola e doveva essere utilizzato per le attività didattiche. I genitori sostengono che le protezioni disponibili fossero insufficienti a impedire a una minorenne di intrattenere conversazioni potenzialmente dannose.

La situazione sarebbe emersa il 17 marzo 2026, quando un software di monitoraggio adottato dall’istituto ha segnalato un documento in cui la ragazza aveva scritto indicazioni relative al proprio funerale. Una segnalazione provvidenziale.

Secondo la denuncia, nei mesi precedenti Google non aveva inviato avvisi, benché le conversazioni contenessero riferimenti alla sofferenza psicologica della ragazza.

Per il momento, gran parte delle informazioni disponibili proviene dagli atti dei querelanti e dai materiali che Emma avrebbe conservato separatamente.

Gli allarmi sulla sicurezza dei minori

I rischi associati alle funzioni generative di Google Search erano già stati oggetto di valutazioni indipendenti.

A luglio, il Youth AI Safety Institute di Common Sense Media, organizzazione statunitense che si occupa del rapporto tra minori e tecnologia, aveva classificato AI Overviews e AI Mode nella categoria di rischio più elevata, denominata “Inaccettabile”.

I ricercatori avevano sottoposto i sistemi a test che comprendevano conversazioni simulate con adolescenti in difficoltà psicologica. L’analisi aveva individuato carenze nella capacità di riconoscere situazioni di crisi e di rispondere adeguatamente ai segnali di pericolo.

Un altro elemento critico riguardava la possibilità di controllare l’accesso a queste funzioni. Poiché l’intelligenza artificiale è integrata nella ricerca, le scuole possono incontrare difficoltà nel disabilitarla senza limitare anche un servizio largamente utilizzato per la didattica.

Google aveva già introdotto misure specifiche per gli utenti più giovani.

Nel 2024 l’azienda aveva annunciato che Gemini sarebbe rimasto disattivato per impostazione predefinita negli account scolastici degli adolescenti, lasciando agli amministratori la decisione di abilitarlo. Aveva inoltre dichiarato di aver previsto protezioni aggiuntive per ridurre l’esposizione a contenuti inappropriati.

Quelle misure riguardavano principalmente l’accesso al chatbot Gemini. Nel frattempo Google ha esteso le capacità generative ad altri prodotti del proprio ecosistema, rendendo più complessa la gestione delle autorizzazioni.

Per gli amministratori scolastici, la questione è diventata anche tecnica: stabilire quali funzioni di intelligenza artificiale siano effettivamente disponibili all’interno di servizi già approvati e utilizzati quotidianamente dagli studenti.

Le nuove impostazioni annunciate da Google

Il 3 novembre scorso Google ha annunciato una modifica delle impostazioni per gli account scolastici K-12, la categoria che negli Stati Uniti comprende gli studenti dalla scuola primaria alla fine delle superiori.

Secondo quanto comunicato dall’azienda, Gemini, Gemini Notebook e Gemini in Classroom, insieme a Google Search, saranno disattivati per impostazione predefinita fino a quando gli amministratori scolastici non decideranno di abilitarli.

L’annuncio è arrivato il giorno dopo il deposito della causa da parte della famiglia di Emma, avvenuto il 2 novembre scorso presso la Superior Court della contea di Santa Clara, in California. Due giorni dopo Google ha trasferito il procedimento alla giustizia federale.

Google non ha indicato pubblicamente la causa come motivo della decisione.

Le nuove regole attribuiscono agli istituti un maggiore controllo sull’attivazione dei servizi, con un limite evidente: le scuole che scelgono di riabilitare Google Search dovranno accettare anche la presenza di alcune funzioni basate sull’intelligenza artificiale.

La distinzione tra ricerca tradizionale e IA generativa diventa quindi rilevante anche per le politiche scolastiche.

I Chromebook e i servizi Google Workspace sono utilizzati da numerosi istituti americani. L’introduzione di nuove capacità all’interno di questi prodotti può modificare l’esperienza degli studenti senza richiedere l’installazione di un’applicazione separata.