L’organizzazione americana senza scopo di lucro Model Evaluation and Threat Research (METR) ricopre un ruolo di rilievo nel sistema di controllo dei modelli IA.
METR lavora a stretto contatto con i Big delle IA a cominciare da OpenAI che produce i modelli Gpt che, con l’organizzazione no-profit, collabora dal 2024 (ai tempi di GPT-4o) e che, in tempi più recenti, ha contribuito a dipanare la matassa del caso degli agenti IA che hanno violato parte delle infrastrutture di Hugging Face.
In aggiunta, come specifica il sito ufficiale della stessa organizzazione, METR collabora o ha collaborato anche con Amazon, Anthropic, Google DeepMind e Meta.
Va anche sottolineato che METR collabora con l’AI Security Institute, organismo del governo britannico che studia e collauda i sistemi di IA avanzati per individuarne i rischi e fornire valutazioni tecniche alle autorità e, parallelamente, con l’Ufficio europeo per l’intelligenza artificiale, ovvero la struttura della Commissione europea che applica l’AI Act, controlla i modelli di IA più potenti e può indagare, imporre correzioni e comminare sanzioni.
Se nel caso dell’AI Security Institute la collaborazione è per lo più scientifica, METR viene retribuita dall’autorità europea, anche se non ci sono dati utili a quantificare la durata e le condizioni economiche del rapporto.
La questione dell’indipendenza di METR
Un parterre di collaborazioni che trasforma METR in uno dei controllori privati più influenti dell’IA avanzata.
Molte delle verifiche che svolge richiedono modelli, informazioni riservate e risorse informatiche fornite dalle stesse imprese sottoposte a verifica, e ciò induce a esaminare l’indipendenza di METR almeno su due livelli diversi, ossia la provenienza del denaro che incamera e l’effettiva libertà con cui sceglie, conduce test e pubblica le relative valutazioni.
Un tema stringente giacché si moltiplicano gli appelli, da una parte per il controllo dei modelli IA prima che il loro sviluppo sfugga al controllo umano - peraltro fatti da chi le IA le sviluppa e le vende – e dall’altra parte c’è la posizione opposta formulata dal presidente degli Stati Uniti Donal Trump, certo che tirare il freno a mano sia deleterio e possa concedere un vantaggio a Paesi terzi come la Cina che vede nelle parole di Amodei, per il rallentamento allo sviluppo delle IA, un copione “ipocrita” da “guerra fredda”.
METR opera proprio dentro questo conflitto e le misurazioni che effettua possono rafforzare richieste di vigilanza, modificare i protocolli di sicurezza delle aziende e orientare le decisioni dei governi. Per questo motivo è opportuno ricostruirne la storia.
Da ARC Evals a un’organizzazione autonoma
La storia comincia nel 2022, quando Beth Barnes, già ricercatrice presso DeepMind e OpenAI, avvia ARC Evals all’interno dell’Alignment Research Center, centro fondato dal ricercatore Paul Christiano. Il progetto nasce per costruire prove capaci di misurare se i modelli linguistici riescano a svolgere attività complesse in autonomia, soprattutto nel campo della programmazione e della ricerca sull’IA.
Nel settembre 2023 il gruppo annuncia la separazione dall’Alignment Research Center e, il 4 dicembre dello stesso anno, ARC Evals assume il nome METR e avvia il passaggio verso una propria organizzazione.
La separazione da ARC conferisce a METR una personalità giuridica distinta. Il Form 990 relativo al 2024 registrava tre componenti votanti dell’organo di governo, con uno classificato indipendente secondo i criteri fiscali statunitensi. La pagina attuale dell’organizzazione presenta Adam Gleave e Rajiv Dattani come consiglieri di amministrazione, mentre attribuisce a Barnes il ruolo di fondatrice e amministratrice delegata.
Anche Gleave ha lavorato per Google DeepMind, salvo poi fondare FAR.AI, un istituto indipendente di ricerca sulla sicurezza delle AI.
Come METR mette alla prova i modelli
Le valutazioni di METR cercano di superare i test composti da domande brevi e risposte isolate. I ricercatori assegnano a un modello IA attività articolate, gli forniscono strumenti informatici e osservano se riesce a completare il lavoro attraverso una sequenza di decisioni.
Le prove comprendono lo sviluppo di un’applicazione, la ricerca di informazioni, la soluzione di problemi di programmazione, l’individuazione di vulnerabilità informatiche e alcune capacità considerate sensibili, come replicare il proprio funzionamento, acquisire risorse o rendere più difficile la disattivazione. Ogni prova utilizza criteri prestabiliti e produce dati che vengono poi controllati dai ricercatori.
L’organizzazione valuta anche modelli prima della loro distribuzione pubblica, rivede le analisi interne delle aziende, studia sistemi di monitoraggio e propone soglie capaci di collegare una determinata capacità tecnica a misure di sicurezza più severe. Ha collaborato alla definizione delle Responsible Scaling Policies, protocolli attraverso i quali gli sviluppatori stabiliscono controlli crescenti al crescere delle capacità dei modelli.
L’indipendenza operativa passa dagli accordi con le aziende
METR dichiara di svolgere gratuitamente le valutazioni dedicate alle aziende di frontiera. La sua pagina sulle attività di valutazione afferma che l’organizzazione rifiuta compensi per questi lavori. OpenAI, Anthropic, Google DeepMind, Meta, Amazon e xAI hanno invece fornito accesso anticipato ai modelli e token gratuiti, cioè crediti che permettono di eseguire i sistemi attraverso le rispettive infrastrutture.
Il produttore dei modelli IA decide quale versione consegnare, quando aprire l’accesso e per quanto tempo. METR può dunque essere indipendente sul piano finanziario, mentre la sua capacità di lavorare dipende concretamente dalla collaborazione dell’azienda valutata.
Va evidenziato che METR svolge anche prove su modelli già pubblicati senza coinvolgere lo sviluppatore. Questa seconda modalità amplia la libertà di scelta, pur offrendo una visibilità inferiore sull’addestramento, sui sistemi interni di protezione e sulle versioni ancora in sviluppo.
La politica sui conflitti d’interesse, aggiornata da METR il 28 agosto appena trascorso, introduce tre livelli di rischio per il personale impegnato nelle valutazioni che identificano una specifica azienda. Rapporti di lavoro, investimenti diretti, vincoli contrattuali, relazioni familiari e doni superiori a determinate soglie attivano procedure di esclusione, controllo o divulgazione pubblica. I contributi prodotti da una persona in conflitto possono essere riesaminati da un collega privo di quel legame, che assume la responsabilità dell’analisi.
La stessa politica vieta a METR investimenti diretti nelle aziende di frontiera ed esclude dai ruoli nel consiglio di amministrazione i loro dipendenti e le persone con una parte rilevante del patrimonio investita in una di esse, e impone il rifiuto delle donazioni decise da aziende o dipendenti del settore. METR afferma di avere già respinto sovvenzioni offerte dai fondatori di diverse imprese di IA.
Le regole rappresentano una protezione di spessore ma, parallelamente, i contratti relativi alle singole valutazioni, i diritti di pubblicazione, gli eventuali periodi di riservatezza e le clausole che disciplinano l’accesso ai modelli rimangono fuori dal dominio pubblico.
I dubbi sulla reale imparzialità di METR
I dubbi sui finanziamenti e sull'indipendenza di METR sono stati sollevati pubblicamente da diversi critici da quando, il 12 settembre scorso, il Ceo di Anthropic Dario Amodei, ha pubblicato la propria lettera aperta We Must Pace The Frontier auspicando un rallentamento nello sviluppo delle IA.
Le perplessità sono sollevate da più fronti, a cominciare da Politico che si chiede chi controlla i valutatori dei modelli IA e rilancia la necessità di ulteriori verifiche esterne, raccogliendo le considerazioni di David Sacks, venture capitalist, ex consigliere della Casa Bianca per l’IA e attuale co-presidente del consiglio scientifico e tecnologico presidenziale.
Sacks, figura di un certo peso politico e apertamente favorevole a una regolamentazione delle IA leggera, accusa METR di essere intrecciata con il personale e gli investitori di Anthropic. Va detto che la posizione di Sacks rappresenta supposizioni di stampo politico e non è in alcun modo da associare alle conclusioni di inchieste indipendenti.
Parallelamente, dalle pagine del Financial Times, il ricercatore e professore universitario David Krueger e membro del Quebec AI Institute, intravvede un limite nel fatto che METR può accedere soltanto alle informazioni concesse in modo volontario dalle aziende controllate, rilanciando la necessità che siano i governi a stabilire le condizioni delle verifiche terze sui modelli IA.
Il bilancio di METR
Il documento finanziario più recente disponibile nei registri pubblici risale all’anno fiscale 2024 e mostra entrate complessive pari a poco più di 13,6 milioni di dollari, provenienti da donazioni al 99,7%.
I ricavi da servizi erogato risultano a zero e ciò conferma che l’organizzazione vive di donazioni. Le spese hanno raggiunto 8,23 milioni di dollari, per la metà rappresentante da emolumenti ai ruoli apicali e dagli stipendi. Il bilancio pubblico consente di misurare entrate, spese e patrimonio. Offre invece una visibilità ridotta sulla concentrazione dei finanziatori. La pagina dei finanziamenti di METR cita i donatori ma omette di associarli all’importo donato.
Il 14 agosto 2026 METR ha annunciato impegni di finanziamento per circa 71 milioni di dollari raccolti nei sei mesi precedenti e, anche in questo caso, compaiono i nomi di alcuni donatori ma nulla si sa sugli importi erogati da ognuno di questi.
/https%3A//www.repstatic.it/content/contenthub/img/2026/09/23/122548787-b6150c2f-a8e3-46c8-97f2-b3fbc0908e72.jpg)
/https%3A//www.repstatic.it/content/contenthub/img/2026/09/21/224341900-44bc75d7-c69a-4815-a612-970b3c24e101.jpg)
/https%3A//www.repstatic.it/content/contenthub/img/2026/09/21/164048022-6148d04a-4450-4fe3-ac3f-c76210af9368.jpg)