Italian Tech

Intelligenza artificiale

HRM, due “menti” per superare i limiti degli LLM

HRM, due “menti” per superare i limiti degli LLM

Un Hierarchical Reasoning Model è un’architettura sviluppata per ottenere risultati migliori di quelli dei Large Language Model, usando meno dati e meno capacità di calcolo. Ecco come funziona e quali sono i risvolti pratici

2 minuti di lettura

La startup di Intelligenza artificiale (IA) Sapient Intelligence ha sviluppato un’architettura Hierarchical Reasoning Model capace di superare gli attuali modelli linguistici di grandi dimensioni (LLM), usando meno dati e meno potenza computazionale.

Non è solo un annuncio finalizzato a creare mercato, tant’è che i ricercatori della startup con sede a Singapore hanno pubblicato le ricerche sui Hierarchical Reasoning Model, oltre ad avere rilasciato il codice per consentire a chiunque di effettuare verifiche e test.

I risultati più rilevanti si hanno nelle attività di ragionamento complesse tipiche delle Chain of thought. Ma andiamo per gradi.

LLM, Chain of thought e Hierarchical Reasoning Model

Un modello di linguaggio di grandi dimensioni (LLM, Large Language Model) è un modello di Intelligenza artificiale addestrato su enormi moli di dati al fine di comprendere e generare linguaggio naturale. È l’anima di ChatGpt, Gemini, Claude e di tutte le IA generative che conversano con l’uomo.

Il Chain of thought (CoT) è un ragionamento intermedio che fanno i LLM per dare una risposta più articolata e precisa. Semplificando il concetto, il modello fa dei passaggi logici, calcoli, collega tra loro concetti e nozioni restituisce all’utente solo il risultato finale di questo ragionamento.

Questi passaggi necessitano di molti dati, di una corposa capacità computazionale e di molta latenza ed è proprio per questi motivi che i Hierarchical Reasoning Model (HRM) trovano una propria ragione d’essere.

Come funziona un Hierarchical Reasoning Model

Il funzionamento di un HRM richiama in parte quello delle reti neurali ricorrenti, modelli matematici che richiamano in modo figurativo il funzionamento del cervello umano.

Nello specifico, l’HRM usa due moduli che, semplificando molto possiamo definire “menti”. Il primo modulo è di alto livello e si occupa della pianificazione. Il secondo, definito di basso livello, svolge funzioni rapide e dettagliate.

I due moduli dialogano mediante una convergenza gerarchica secondo la quale il modulo di alto livello si aggiorna solo quando quello di basso livello ha svolto i propri compiti, avanzando così, passo dopo passo, fino al raggiungimento dell’obiettivo prefissato.

Per fare un esempio pratico, laddove a un’IA che fa uso di Chain of thought venisse chiesto di trovare la strada per uscire da un labirinto, questa farebbe diversi tentativi tenendo traccia delle direzioni imboccate, dei vicoli ciechi trovati e dei percorsi fatti a ritroso. Tutto ciò richiede dati, tempo e, non da ultimo, un errore nella catena di pensiero potrebbe rovinare tutto il ragionamento.

Il modulo di alto livello di un HRM guarderebbe il labirinto dall’alto e darebbe al modulo di basso livello le indicazioni utili per uscirne. Le due “menti” sono così in grado di impiegare meno tempo e di usare meno dati per raggiungere il risultato desiderato.

HRM ha 27 milioni di parametri ed è stato addestrato con un numero esiguo di dati. Quando si parla di parametri si fa riferimento a valori numerici che il modello regola per restituire i risultati chiesti dagli utenti. Per fare un paragone GPT-4 di OpenAI si stima che abbia 1,8 trilioni di parametri (ossia 1,8 mila miliardi).

Allenare modelli da trilioni di parametri richiede hardware molto performante e costoso e mesi di calcolo. Un HRM raggiunge i medesimi livelli con molto meno sforzo e, stando almeno ai ricercatori i Sapient Intelligence, riesce a restituire risultati ancora migliori.

Le implicazioni future

L’organizzazione gerarchica dei HRM è una proprietà che emerge dall’addestramento, ossia è una caratteristica che non è proprietaria dell’architettura, è qualcosa che il modello apprende da sé.

Un HRM sfrutta un principio organizzativo capace di un ragionamento solido e flessibile, dando il meglio di sé nei compiti a lungo termine.

Stando ai ricercatori, l’HRM è un passo in più verso il ragionamento a scopo generale. Oltre a questi due aspetti, per lo più futuribili, resta il fatto che le prime implicazioni possibili si situano in quei contesti in cui i dati sono pochi e le risorse di calcolo scarse. Tra questi, per esempio, l’agricoltura in Paesi emergenti o l’analisi di malattie poco diffuse in centri di ricerca minoritari.