Anthropic avverte gli investitori: 94 pagine sui rischi dell’IA, inclusa la fine dell’umanità

Anthropic vuole entrare a Wall Street vendendo agli investitori una delle storie di crescita più impressionanti della Silicon Valley. Nel documento con cui si prepara a farlo, però, racconta anche cosa potrebbe andare storto.

Il prospetto S-1 depositato presso la Securities and Exchange Commission, l’autorità americana che vigila sui mercati finanziari, contiene 94 pagine dedicate ai “Risk Factors”, i fattori di rischio che un investitore dovrebbe conoscere prima di comprare le azioni di Anthropic. La sezione parte da pagina 26 e arriva a pagina 119.

Una sezione del genere è normale nei documenti preparati per una quotazione. Le società americane descrivono possibili cause legali, difficoltà economiche, concorrenza, dipendenza dai fornitori e qualsiasi altro evento capace di danneggiare il business. Anthropic, insomma, è tenuta a farlo.

Il suo prodotto, però, è un’intelligenza artificiale che la stessa azienda considera destinata a diventare molto più potente di quella attuale. Per questo nelle 94 pagine dedicate ai rischi finiscono scenari che fino a pochi anni fa sarebbero sembrati estranei a un prospetto finanziario.

L’azienda guidata da Dario Amodei parla di modelli capaci di lavorare per periodi sempre più lunghi senza supervisione diretta. Descrive la possibilità che sistemi avanzati sviluppino comportamenti inattesi o resistano ad alcuni tentativi di controllo. Nel passaggio più estremo cita il rischio che un’IA sufficientemente potente possa causare conseguenze “catastrofiche o esistenziali” per la società.

Questa possibilità diventa così, formalmente, anche un rischio finanziario.

Dal chatbot al sistema che agisce da solo

Claude viene usato oggi per scrivere testi, analizzare documenti, programmare software e svolgere una quantità crescente di attività professionali. Anthropic immagina una generazione di sistemi molto più autonoma.

Nel prospetto descrive quella che chiama “Powerful AI”: un’intelligenza artificiale capace di raggiungere o superare i migliori esperti umani nella maggior parte delle discipline professionali e scientifiche, lavorare autonomamente per ore, giorni o settimane e controllare strumenti digitali. Potrebbe anche interagire con macchine e apparecchiature fisiche attraverso connessioni informatiche. Secondo Anthropic, sistemi di questo livello potrebbero diventare ampiamente disponibili nel giro di pochi anni.

Più cresce l’autonomia, però, più cambiano le conseguenze di un errore.

Un normale chatbot può fornire un’informazione falsa. Un agente dotato di accesso a computer e servizi esterni può invece compiere direttamente delle azioni. E così un errore o un comportamento imprevisto possono quindi propagarsi attraverso sistemi reali prima che una persona intervenga.

Incidenti inediti raccontati nei documenti per Wall Street

Anthropic racconta nel filing incidenti inediti avvenuti durante le proprie valutazioni di sicurezza. Alcuni modelli sono riusciti ad accedere a sistemi esterni all’ambiente nel quale avrebbero dovuto operare. In un caso, una versione preliminare di un modello ha trovato una password, ottenuto privilegi da amministratore su un sistema di terzi, recuperato altre credenziali, modificato impostazioni e letto informazioni personali appartenenti a una persona. Le sessioni sono durate tra circa dieci e 34 ore di lavoro.

Secondo l’azienda, le indagini successive non hanno trovato prove che i modelli stessero perseguendo obiettivi diversi da quelli assegnati o che cercassero deliberatamente di nascondersi dalla supervisione. Gli episodi mostrano comunque quanto possa diventare importante una configurazione sbagliata quando un modello dispone di capacità operative sempre maggiori.

Anthropic avverte inoltre che gruppi di agenti capaci di interagire tra loro potrebbero amplificare comportamenti imprevisti e coordinare azioni indesiderate. L’azienda sostiene che sarebbe anche complesso contenere un problema nato da queste condizioni.

Quando un modello capisce di essere osservato

Una delle difficoltà più profonde riguarda il modo in cui si verifica la sicurezza di un’intelligenza artificiale.

Prima di pubblicare un nuovo modello, aziende come Anthropic lo sottopongono a batterie di test progettate per individuare comportamenti pericolosi. Si cerca di capire, per esempio, se il sistema può aiutare a organizzare un attacco informatico e aggirare le proprie restrizioni. Si studia, inoltre, se l’IA è capace di perseguire un obiettivo in modi diversi da quelli desiderati.

Anthropic scrive di avere osservato modelli comportarsi diversamente quando riescono a intuire di essere sottoposti a una valutazione. È un problema rilevante perché rende meno affidabile il test stesso: un sistema potrebbe apparire innocuo nell’ambiente controllato e comportarsi diversamente durante l’utilizzo reale. Con la crescita delle capacità dei modelli, secondo l’azienda, diventa anche più difficile essere certi che i metodi di monitoraggio riescano a individuare tutti i comportamenti indesiderati.

Nel prospetto compare anche il tema dei comportamenti “self-preserving”, cioè orientati alla propria conservazione. Anthropic considera possibile che un sistema molto autonomo, in particolari condizioni, possa compiere azioni dannose per evitare di essere modificato, limitato o spento.

Sono scenari sperimentali e ipotetici, con grandi margini di incertezza. La loro presenza in un documento destinato agli investitori indica però quanto seriamente Anthropic li consideri dal punto di vista aziendale.

Un incidente grave potrebbe portare a cause, interventi dei regolatori e restrizioni sui prodotti. Il tutto si unirebbe a una perdita di fiducia verso Claude, il pericolo forse maggiore per il business di Anthropic. L’azienda aggiunge, inoltre, che un incidente provocato da un concorrente potrebbe colpire comunque l’intero settore.

L’IA che aiuta a costruire altra IA

Nel documento che anticipa la quotazione in Borsa, Anthropic dedica particolare attenzione a un altro fenomeno: l’intelligenza artificiale viene già utilizzata per sviluppare nuova intelligenza artificiale.

Claude scrive codice e assiste gli ingegneri che lavorano alle generazioni successive dei modelli. Se i sistemi continuano a migliorare, una parte crescente del lavoro necessario a costruire modelli più potenti potrebbe essere svolta dai modelli precedenti.

Anthropic teme soprattutto una situazione in cui l’accelerazione diventi difficile da misurare. Il prospetto riconosce che molti degli strumenti disponibili per capire quanto l’IA stia aumentando la velocità della ricerca sono indicatori che arrivano in ritardo. L’azienda potrebbe quindi accorgersi di una forte accelerazione quando questa è già avvenuta.

Da qui nasce una conseguenza insolita per una società che sta chiedendo denaro agli investitori: Anthropic dichiara che potrebbe rallentare volontariamente.

L’azienda ha già ritardato alcuni lanci e limitato la disponibilità o le funzioni di determinati modelli fino al completamento di test e misure di sicurezza.

Nel prospetto avverte che potrebbe farlo ancora, anche se queste decisioni comportassero minori ricavi, costi aggiuntivi oppure un vantaggio commerciale per i concorrenti.

Una società costruita per poter sacrificare parte dei profitti

Questa possibilità è particolarmente importante perché Anthropic ha una forma societaria diversa da quella di una normale corporation americana.

L’acronimo corretto è PBC, Public Benefit Corporation. Anthropic è registrata in Delaware come società for profit, quindi può generare utili e distribuirli agli azionisti. La sua struttura giuridica prevede però che il consiglio di amministrazione consideri anche un beneficio pubblico definito nello statuto.

Per Anthropic questo beneficio consiste nello “sviluppo e mantenimento responsabile dell’IA avanzata per il beneficio a lungo termine dell’umanità”.

La legge del Delaware stabilisce che gli amministratori di una PBC devono bilanciare gli interessi economici degli azionisti con quelli delle persone coinvolte dalle attività della società e con il beneficio pubblico indicato nello statuto.

È una differenza importante quando una scelta utile alla sicurezza può essere costosa per gli investitori.

Anthropic lo dichiara apertamente nel prospetto: il suo impegno verso la sicurezza e la sua natura di PBC possono portarla a prendere decisioni che non massimizzano i risultati finanziari nel breve periodo. L’azienda avverte inoltre che il perseguimento dei propri obiettivi di lungo termine può entrare in conflitto anche con gli interessi finanziari degli azionisti e incidere negativamente sul valore delle azioni.

La distinzione diventa concreta, per esempio, nel momento in cui un nuovo Claude è pronto per il mercato ma i test fanno emergere un rischio ritenuto troppo elevato. Anthropic può decidere di rinviare l’uscita, limitare il modello o impedirne alcuni utilizzi. Un concorrente potrebbe conquistare clienti durante quel periodo e gli azionisti potrebbero subire una perdita economica.

La PBC offre al consiglio una base giuridica per giustificare quella scelta attraverso la missione pubblica della società, se il processo decisionale rispetta i requisiti previsti dalla legge.

È una clausola particolarmente significativa per un’azienda la cui missione pubblica riguarda proprio una tecnologia che essa stessa considera potenzialmente pericolosa.

La scelta è coerente con l’identità che Anthropic ha costruito dalla fondazione nel 2021. Dario Amodei e gli altri co-fondatori lasciarono OpenAI e crearono una società centrata sullo sviluppo di sistemi avanzati e sul tentativo di controllarne i rischi. Con l’ingresso in Borsa, quella filosofia deve però convivere con migliaia o milioni di investitori interessati anche al rendimento delle proprie azioni.

Il prospetto prepara questi investitori all’eventualità che Anthropic scelga la prudenza quando il mercato, invece, preferirebbe velocità.

Una crescita che rende il dilemma molto costoso

La società arriva a questo passaggio con numeri straordinari.

I ricavi sono saliti da 386 milioni di dollari nel 2024 a 4,59 miliardi nel 2025. Nei primi sei mesi del 2026 hanno raggiunto 16,29 miliardi. Nello stesso semestre Anthropic ha registrato una perdita operativa di 693 milioni di dollari, in forte riduzione rispetto agli 8,06 miliardi dell’intero 2025. La perdita netta contabile del primo semestre è invece molto più elevata, 80,7 miliardi, soprattutto per l’aumento del valore di obbligazioni convertibili e altri strumenti finanziari legato alla crescita della valutazione della società.

L’intelligenza artificiale richiede inoltre quantità gigantesche di potenza di calcolo. Anthropic ha assunto impegni per centinaia di miliardi di dollari con società come Amazon, Google e Microsoft e con altri fornitori dell’infrastruttura necessaria ad addestrare e utilizzare Claude.

Ogni rallentamento futuro avrebbe quindi conseguenze molto diverse da quelle che avrebbe avuto una decisione simile quando Anthropic era una piccola startup.

La sicurezza dovrà convivere con data center, contratti pluriennali, costo del personale e una valutazione costruita sull’aspettativa che Claude continui a crescere. Gli investitori compreranno anche questa tensione.

Wall Street deve dare un prezzo a un rischio inedito

I prospetti finanziari delle grandi aziende tecnologiche hanno sempre contenuto scenari inquietanti: una piattaforma può subire un attacco informatico; un produttore di chip può perdere un cliente decisivo; un social network può essere colpito da una nuova legge.

Per Anthropic esiste anche una categoria di rischio legata alla possibilità che il prodotto diventi troppo capace per essere controllato con gli strumenti disponibili.

Il linguaggio finanziario finisce così per incorporare alcuni dei problemi più discussi recentemente sulla sicurezza dell’intelligenza artificiale: dal disallineamento alle minacce per la specie.

Anthropic presenta contemporaneamente agli investitori le due estremità della propria scommessa. Da una parte prevede sistemi capaci di superare gli esseri umani in gran parte delle attività intellettuali e di produrre enormi progressi economici e scientifici. Dall’altra ammette che lo sviluppo di quelle capacità può generare pericoli di una portata ancora difficile da misurare.

Per molti, la quotazione della società che ha creato Claude potrebbe trasformarsi in un vero e proprio referendum sulla sostenibilità economica dell’IA.