Cose che capitano quando manca l’attenzione

“Attention is all you need”, ovvero “l’attenzione è tutto ciò di cui hai bisogno”. Quello studio scientifico uscito sette anni fa citava i Beatles per spiegare una nuova architettura delle reti neurali legate all’intelligenza artificiale. La chiamavano “transformer” e avrebbe dato vita all’ultima svolta dell’AI, la generativa, alla quale appartengono fra gli altri ChatGpt di OpenAI.

Nessuno nella primavera del 2017 poteva immaginare che quelle undici pagine avrebbero avuto un impatto simile, un’evoluzione della tecnologia che in termini economici sarebbe diventata rivoluzione. Basta guardare al titolo in borsa di Nvidia, che progetta i processori sui quali la maggior parte delle AI operano e vengono allenate: valeva 44 dollari circa allora, oggi tocca i 900. A fine della scorsa settimana, il cofondatore e amministratore delegato Jensen Huang, nel suo solito giubbotto di pelle nera, ha presentato l’ultima piattaforma per chip dedicati all’intelligenza artificiale: Blackwell, con 208 miliardi di transistor, è un bel salto in avanti rispetto agli 80 miliardi di quella precedente. Non è solo quattro volte più veloce, ma consuma un quarto dell’energia. E pensare che si tratta di processori che hanno le radici in quelli grafici delle schede video usate per lo più nel mondo dei videogame.

Tornando allo studio scientifico del 2017 nel tempo è stato citato più di 100mila volte in altri paper scientifici. Il record appartiene ancora a “The Lowry protein assay” del biochimico americano Oliver Lowry uscito del 1951, con oltre le 300mila citazioni. Ma “Attention Is All You Need” è entrato a pieno titolo nei primi dieci. Era firmato da otto ricercatori di Google: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, ?ukasz Kaiser, Illia Polosukhin. In seguito hanno tutti lasciato il colosso del web per entrare o fondare altre compagnie, da OpenAI a EssentialAI. Soprattutto hanno dato vita a una svolta che ha ridimensionato il ruolo guida della stessa Google in questo frangente, incapace di capire cosa avesse fra le mani, di sfruttarlo appieno e valorizzare i propri ricercatori. Cose che purtroppo capitano quando manca l’attenzione.