La storia di Minerva LLM

Nell’anno in cui l’Italia ha la presidenza del G7 e nell’anno in cui il tema al centro del forum intergovernativo è l’intelligenza artificiale, il nostro Paese è sceso per la prima volta – concretamente – in campo con il primo modello di linguaggio su larga scala addestrato da zero (sfruttando infrastrutture sviluppate da altri) interamente per la lingua italiana. Un lavoro certosino che, attualmente, mostra ancora molti problemi e criticità. Si tratta, però, di un primo grande passo che porta una realtà come l’Università La Sapienza di Roma a scendere sullo stesso terreno di gioco affollato dai grandi player del settore Tech. Per questo motivo la storia di Minerva LLM è molto importante da conoscere.

LEGGI ANCHE > Come sta “funzionando” il primo LLM Made in Italy?

Tutto è nato all’interno di FAIR (Future Artificial Intelligence Research), il progetto guidato dal CNR di Pisa che si occupa dell’attuazione della Strategia Nazionale per l’Intelligenza Artificiale attraverso l’erogazione dei fondi del PNRR (quelli legati alla Componente 2 “Dalla ricerca all’ impresa” della Missione 4 “Istruzione e ricerca”). Dunque, parliamo di un’eccellenza italiana che ha permesso – attraverso l’istituzione di un bando pubblico – di fornire risorse economiche utili alla realizzazione del primo LLM italiano.

Minerva LLM, come nasce il progetto de La Sapienza

Inoltre, e questo è un altro aspetto fondamentale, come spiegato dal gruppo Sapienza NLP che ha sviluppato Minerva LLM, questo lavoro – migliorabile e già in fase di miglioramento, con il quarto modello della famiglia che sarà lanciato già nel mese di giugno – è stato realizzato anche in collaborazione con Cineca. Per chi non lo sapesse, si tratta del Consorzio Interuniversitario che gestisce (e he messo a disposizione per questo progetto) il Supercomputer Leonardo. Eccellenze che si uniscono a eccellenze.

Dietro tutto ciò c’è il lavoro di molti giovani ricercatori dell’Università La Sapienza, guidati dal professor Roberto Navigli:

«La caratteristica distintiva dei modelli Minerva è il fatto di essere stati costruiti e addestrati da zero usando testi ad accesso aperto, al contrario dei modelli italiani esistenti ad oggi, che sono basati sull’adattamento di modelli come LLaMA e Mistral, i cui dati di addestramento sono tuttora sconosciuti. Nello specifico, ogni modello Minerva è stato addestrato su un vasto insieme di fonti italiane e inglesi online e documentate, per un totale di oltre 500 miliardi di parole, l’equivalente di oltre 5 milioni di romanzi». 

Dunque, un punto di partenza molto importante grazie al lavoro del docente che ha guidato il team e degli altri giovani ricercatori che hanno lavorato per la realizzazione di questa prima famiglia di LLM addestrati da zero per la lingua italiana.