Italian Tech

Metriche IA

Anthropic propone tre indicatori pubblici per misurare il progresso delle IA

Anthropic propone tre indicatori pubblici per misurare il progresso delle IA

Il laboratorio americano Anthropic rende pubblici i dati interni sul grado di automazione raggiunto dai propri sistemi intelligenti. Dalle trentamila macchine operative alla mappa dei calcoli di sicurezza, tutti i dettagli dell'indagine che misura la velocità del progresso tecnologico

3 minuti di lettura

I sistemi di IA stanno acquisendo la capacità di automatizzare una quota crescente delle attività di ricerca e sviluppo necessarie per creare modelli sempre più avanzati.

Un’affermazione fondante dello studio con cui Anthropic propone indicatori per misurare quanto rapidamente l’IA stia accelerando la propria ricerca e sviluppo nei laboratori di frontiera e, parallelamente, un’affermazione che suggerisce la direzione verso il miglioramento ricorsivo - processo con cui un'IA contribuisce a rendere più capaci le versioni successive di sé stessa - benché non dichiari in modo esplicito che tale processo sia già in atto.

Anthropic, azienda che sviluppa la famiglia di modelli IA Claude riconosce che, mentre nel mondo si discute la possibilità di rallentare o coordinare il ritmo dello sviluppo delle tecnologie di frontiera, l'opinione pubblica necessita di informazioni chiare e misurabili.

Per rispondere a questa esigenza, ha deciso di pubblicare per la prima volta una serie di metriche interne che fotografano la velocità del progresso tecnologico.

Dario Amodei, Ceo di Anthropic, ha evidenziato come i ritmi dello sviluppo muterebbero qualora si raggiungesse un accordo internazionale sul coordinamento del progresso delle IA.

Un’ iniziativa che, come obiettivo primario, vuole fornire a governi, istituzioni e cittadini una visibilità diretta su ciò che accade all'interno dei laboratori di frontiera, permettendo alla società di decidere in modo informato come gestire la svolta tecnologica.

Per garantire la massima credibilità, Anthropic ha annunciato l'intenzione di ospitare valutatori terzi indipendenti provenienti da diverse organizzazioni, ai quali verrà concesso un accesso ai sistemi interni e ai dati del tutto paragonabile a quello delle squadre aziendali di valutazione del rischio.

Trasparenza aziendale e nuove regole per il settore

La pubblicazione di questi parametri si inserisce in una strategia più ampia di monitoraggio e regolamentazione. Le misurazioni diffuse vanno a integrare le valutazioni periodiche sulle capacità dei modelli, pubblicate separatamente attraverso i rapporti di rischio previsti dalla Responsible Scaling Policy (politica di scalabilità responsabile, RSP) che costituisce il protocollo aziendale interno che definisce le soglie di sicurezza prima dell'avanzamento dei sistemi.

Parallelamente, nella propria proposta Advanced AI Framework, Anthropic suggerisce alcune norme generali per il settore, tra le quali obblighi di trasparenza che i governi potrebbero imporre a tutti i laboratori prima del rilascio dei modelli sul mercato.

L'indice di automazione e la quota del lavoro svolto da Claude

Per capire quanto lavoro sia ormai passato dalle mani umane alle macchine, il laboratorio ha creato un prototipo denominato Anthropic R&D Automation Index (Indice di automazione per la ricerca e lo sviluppo), utile per conoscere in quale misura Claude sta progettando e realizzando le versioni successive di sé stesso.

Per classificare i compiti è stata adottata la scala Automation Level (AL, scala dei livelli di automazione) ideata dall’organizzazione di ricerca indipendente Epoch AI per tracciare i progressi delle intelligenze artificiali.

La scala varia dal livello zero a livello cinque. Il primo indica la totale assenza di interventi delle IA, mentre il livello cinque coincide con IA che lavorano in modo autonomo senza bisogno di intervento umano.

Al livello tre della scala, l’IA svolge ampie porzioni di lavoro sotto la stretta direzione di supervisore umano. Al livello quattro, il sistema completa la maggior parte del compito dall'inizio alla fine a partire da un'istruzione generale, lasciando all'essere umano solo la supervisione finale.

I risultati della misurazione del lavoro di sviluppo

I dati aggiornati al mese di agosto del 2026 rivelano che Claude non opera ancora al livello cinque di piena autonomia in nessuna delle attività analizzate.

Tuttavia, relativamente al quarto livello, i modelli Claude svolgono in autonomia il 26% dell’intero lavoro di ricerca e sviluppo.

Inoltre, se si include anche la quota di mansioni in cui la macchina collabora con gli ingegneri al livello tre o superiore, la percentuale di lavoro svolto con il contributo fattivo dell'intelligenza artificiale supera il 90%.

Per arrivare a queste cifre, durante il mese di luglio del 2026 i ricercatori hanno campionato ogni settimana il 20% e un agente IA basato su Claude ha catalogato 15mila compiti. Il confronto con i dati del paniere di gennaio del 2026 ha dimostrato che non vi è stato un aumento di mansioni del tutto nuove svolte dagli umani, confermando la stabilità della struttura del lavoro di ricerca.

Trentamila agenti in funzione e le strategie di controllo

Un secondo pilastro dell'indagine riguarda la gestione dei cosiddetti agenti intelligenti, ovvero programmi informatici che lavorano in modo semiautonomo per lunghi periodi e che possono delegarsi compiti a vicenda.

Nella piattaforma interna maggiormente utilizzata da Anthropic, al mese d’agosto appena trascorso si contavano circa 30mila agenti operativi contemporaneamente in attività di ingegneria e ricerca.

Sebbene le anomalie dei singoli agenti si verifichino di rado, gli esperti sottolineano che quando milioni o miliardi di macchine saranno attive nell'economia globale, anche gli eventi rari diventeranno frequenti.

Il sistema di monitoraggio valuta tre elementi chiave, ovvero la copertura delle azioni verificate prima o dopo l'esecuzione, la latenza di revisione temporale e il tasso di escalation, cioè la percentuale di attività bloccate o segnalate.

Per prevenire danni irreparabili, come la copia non autorizzata dei pesi dei modelli al di fuori dei sistemi aziendali, Anthropic impiega monitor online in tempo reale capaci di interrompere immediatamente le operazioni pericolose, affiancati da monitor offline per l'analisi a posteriori. Inoltre, ogni agente possiede un'identità individuale persistente che mantiene la memoria anche dopo l'aggiornamento dei modelli informatici sottostanti, mentre le comunicazioni avvengono su canali aperti e condivisi per permettere verifiche reciproche ed evitare distorsioni nelle informazioni.

La mappa della potenza di calcolo e l'impegno per la sicurezza

Il computer (la potenza di calcolo), rappresenta la risorsa fondamentale per l'addestramento dei modelli e costituisce uno degli elementi più facilmente verificabili per eventuali accordi di moderazione dello sviluppo.

Anthropic ha analizzato un'istantanea dell'uso di tutta la propria potenza di calcolo tra il tredici e il venti luglio scorsi, valutando come venissero ripartite le risorse tra la ricerca generica e gli studi dedicati alla sicurezza. Infine, esaminando un campione pari al 14% di circa 10mila sessioni di calcolo, l'azienda ha verificato la fattibilità di questa rendicontazione.

I risultati hanno mostrato una concordanza tra le valutazioni automatiche e quelle dei revisori umani con un margine di scarto compreso tra uno e due punti percentuali.