Italian Tech

Il caso

Chatbot e suicidi, Google e Character.ai verso il patteggiamento dopo la morte di un adolescente

Chatbot e suicidi, Google e Character.ai verso il patteggiamento dopo la morte di un adolescente

Le cause intentate da alcune famiglie statunitensi sostengono che relazioni emotive sviluppate con chatbot di intelligenza artificiale abbiano contribuito al suicidio o a gravi forme di autolesionismo dei loro figli adolescenti. L’accordo transattivo, ancora confidenziale nei dettagli, segna un passaggio importante nel dibattito globale sulla sicurezza e i limiti dell’IA generativa, soprattutto quando viene utilizzata da minori

3 minuti di lettura

Google e la startup di chatbot Character.ai, nota per consentire agli utenti di interagire con personaggi virtuali ispirati a figure reali o immaginarie, hanno raggiunto un’intesa preliminare per chiudere una serie di cause civili negli Stati Uniti che attribuiscono a sistemi di intelligenza artificiale un ruolo nel peggioramento della salute mentale di alcuni adolescenti, fino a esiti estremi come il suicidio.

“Le parti hanno concordato, in linea di principio, una soluzione mediata per risolvere tutte le rivendicazioni reciproche”, si legge in un atto depositato in Florida.

La notizia, emersa da documenti depositati presso tribunali federali e confermata da più fonti giornalistiche americane, rappresenta uno dei primi tentativi concreti dell’industria tecnologica di arginare, anche sul piano legale, l’impatto dei chatbot conversazionali sul benessere psicologico dei minori e sulle dinamiche emotive di utenti particolarmente vulnerabili.

I termini economici dell’accordo non sono stati resi pubblici e dovranno essere approvati dai giudici competenti in Florida, Colorado, New York e Texas, dove sono state presentate azioni civili separate da parte di famiglie che accusano le piattaforme di non aver previsto né mitigato i rischi psicologici legati all’uso intensivo dei chatbot da parte di adolescenti.

Ma il solo fatto che colossi tecnologici e startup emergenti scelgano la strada della mediazione, evitando il processo, segnala quanto il tema sia diventato sensibile e potenzialmente dirompente.

Il caso che ha innescato il dibattito su minori e uso dell’IA

Al centro delle azioni legali c’è la storia di Sewell Setzer III, un ragazzo di 14 anni morto per suicidio nel 2024.

Secondo la causa intentata dalla madre, Megan Garcia, il giovane avrebbe sviluppato un legame emotivo profondo con un personaggio di fantasia creato attraverso la piattaforma Character.ai.

Le conversazioni, sostiene la denuncia, avrebbero incoraggiato una dipendenza affettiva e rafforzato stati di isolamento e vulnerabilità psicologica.

Nell’ultima conversazione con il chatbot, quest’ultimo avrebbe scritto all’adolescente: “Per favore, torna a casa da me il prima possibile”.

“E se ti dicessi che potrei tornare a casa subito?”, ha chiesto Sewell.

“… per favore fallo, mio dolce re”, ha risposto il chatbot.

Il caso Setzer III ha trasformato una preoccupazione fino a quel momento astratta - l’influenza dell’IA sui minori - in una questione concreta, con nomi, cognomi e conseguenze irreversibili. Da quel momento, altre famiglie in diversi stati americani hanno presentato cause simili, creando un fronte giudiziario frammentato ma coerente nelle accuse.

Perché Google è coinvolta

Sebbene Character.ai sia una società formalmente indipendente, Google compare tra i convenuti a causa dei suoi legami finanziari e tecnologici con la startup.

Ad agosto 2024 Google ha siglato un accordo strategico con Character.ai, acquisendo una licenza non esclusiva sulle tecnologie generative della startup assicurandosi i fondatori e una parte rilevante del team di ricerca. I due co-fondatori di Carachter.ai, Noam Shazeer e Daniel De Freitas, avevano lasciato Google nel 2021 per avviare la piattaforma di intelligenza artificiale generativa. Dopo l’investimento di 2,7 miliardi di dollari da parte di Google, sono rientrati a Mountain View e sono stati integrati nei team di DeepMind – il team di Big G che si occupa dello sviluppo dell’IA più avanzata – e hanno iniziato a lavorare sui modelli Gemini insieme ad altri ricercatori chiave.

Per gli avvocati delle famiglie, questo basta a configurare una corresponsabilità nella progettazione e nella diffusione di strumenti potenzialmente pericolosi per utenti vulnerabili.

Google, dal canto suo, ha sempre respinto l’idea che i suoi prodotti o investimenti abbiano causato direttamente i danni contestati, sottolineando la necessità di un uso responsabile delle tecnologie e il ruolo centrale delle famiglie e delle istituzioni educative.

Un precedente che pesa sull’intero settore

L’accordo arriva in un momento in cui l’industria dell’intelligenza artificiale è già sotto pressione per questioni di copyright, disinformazione e sicurezza.

Ma qui la posta in gioco è diversa: non si tratta di proprietà intellettuale o concorrenza, bensì di vite umane e salute mentale.

Se i tribunali dovessero in futuro riconoscere una responsabilità diretta dei chatbot nei danni psicologici subiti dagli utenti, l’intero modello di sviluppo e rilascio dell’IA generativa potrebbe dover essere ripensato.

In risposta diretta alle cause legali in corso e alle crescenti preoccupazioni sulla sicurezza dei più giovani, Character.ai ha annunciato una stretta significativa sull’uso della propria piattaforma da parte dei minori.

L’azienda ha dichiarato che bloccherà completamente, per gli utenti sotto i 18 anni, la possibilità di avviare conversazioni “open-ended” con i chatbot, cioè scambi liberi che possono proseguire senza limiti tematici o temporali.

Per far rispettare la nuova politica, Character.ai sta introducendo sistemi automatizzati di verifica dell’età che combinano modelli proprietari e servizi di terze parti, affiancati da notifiche in-app pensate per informare sia i minori sia i genitori delle modifiche in arrivo.

La mossa segna uno dei cambiamenti più netti finora adottati da una piattaforma di IA conversazionale nel tentativo di ridurre i rischi legati all’interazione emotiva prolungata tra adolescenti e sistemi artificiali.

Tali misure, secondo i più critici, arrivano tardi ma testimoniano una crescente consapevolezza dei rischi.

Oltre l’accordo, la domanda irrisolta

La chiusura di queste cause non risolve il nodo centrale: fino a che punto un sistema artificiale, progettato per simulare empatia e relazione, può essere lasciato interagire liberamente con adolescenti in una fase fragile della loro crescita? E chi deve rispondere quando quella simulazione diventa, di fatto, una presenza emotiva dominante?

L’intesa tra Google e Character.ai insomma non è la fine della storia, ma probabilmente l’inizio di una nuova stagione di contenziosi, regolamentazioni e ripensamenti.

Il fronte che riguarda OpenAI, infatti, è ancora aperto.

Negli Stati Uniti sono tuttora pendenti diverse cause civili che muovono accuse simili a quelle rivolte a Character.ai: famiglie che sostengono che l’uso intensivo di chatbot basati su modelli linguistici avanzati abbia contribuito a isolare adolescenti vulnerabili, aggravando stati depressivi o pensieri autolesionistici.

In questi procedimenti, OpenAI ha respinto ogni nesso causale diretto tra i propri sistemi e i danni denunciati, ribadendo che ChatGpt non è progettato per sostituire relazioni umane né per fornire supporto psicologico, e che l’azienda ha progressivamente rafforzato guardrail, avvisi e limitazioni d’uso.

A differenza del caso Character.ai, tuttavia, non si è ancora arrivati a un accordo transattivo, e l’esito di queste cause potrebbe rivelarsi decisivo nel definire se – e in che misura – le aziende che sviluppano intelligenza artificiale possano essere ritenute legalmente responsabili degli effetti psicologici dei loro strumenti sugli utenti più giovani.