Meta ha costruito un'incredibile AI che elabora il linguaggio

Il laboratorio di IA di Meta ha creato un nuovo, massiccio modello di linguaggio naturale che condivide sia le notevoli capacità che i dannosi difetti della pionieristica rete neurale GPT-3 di OpenAI. E in una mossa senza precedenti per Big Tech, lo sta dando via ai ricercatori - insieme ai dettagli su come è stato costruito e addestrato.

“Crediamo fortemente che la capacità degli altri di esaminare il tuo lavoro sia una parte importante della ricerca. Invitiamo davvero alla collaborazione”, dice Joelle Pineau, un sostenitore di lunga data della trasparenza nello sviluppo della tecnologia, che ora è amministratore delegato di Meta AI.

La mossa di Meta è la prima volta che un grande modello linguistico completamente addestrato sarà reso disponibile a qualsiasi ricercatore che voglia studiarlo. La notizia è stata accolta con favore da molti preoccupati per il modo in cui questa potente tecnologia viene costruita da piccoli team a porte chiuse.

“Applaudo alla trasparenza”, dice Emily M. Bender, una linguista computazionale all’Università di Washington e una frequente critica del modo in cui i modelli linguistici sono sviluppati e distribuiti.

“È una grande mossa”, dice Thomas Wolf, capo scienziato di Hugging Face, la startup AI dietro BigScience, un progetto in cui più di 1.000 volontari in tutto il mondo stanno collaborando ad un modello linguistico open-source. “Più i modelli sono aperti, meglio è”, dice.

I grandi modelli linguistici - potenti programmi che possono generare paragrafi di testo e imitare la conversazione umana - sono diventati una delle tendenze più calde dell’IA negli ultimi due anni. Ma hanno profonde pecche, riproducendo disinformazione, pregiudizi e linguaggio tossico.

In teoria, mettere più persone a lavorare sul problema dovrebbe aiutare. Tuttavia, poiché i modelli linguistici richiedono grandi quantità di dati e potenza di calcolo per l’addestramento, finora sono rimasti progetti per ricche aziende tecnologiche. La più ampia comunità di ricerca, compresi gli etici e gli scienziati sociali preoccupati per il loro uso improprio, ha dovuto guardare da bordo campo.

Meta AI dice di voler cambiare tutto questo. “Molti di noi sono stati ricercatori universitari”, dice Pineau. “Conosciamo il divario che esiste tra le università e l’industria in termini di capacità di costruire questi modelli. Rendere questo disponibile per i ricercatori è stato un gioco da ragazzi”. Lei spera che altri si mettano a spulciare il loro lavoro e lo smontino o ci costruiscano sopra. Le scoperte arrivano più velocemente quando più persone sono coinvolte, dice.

Meta sta rendendo il suo modello, chiamato Open Pretrained Transformer (OPT), disponibile per uso non commerciale. Sta anche rilasciando il suo codice e un registro che documenta il processo di formazione. Il diario di bordo contiene aggiornamenti quotidiani da parte dei membri del team sui dati di allenamento: come sono stati aggiunti al modello e quando, cosa ha funzionato e cosa no. In più di 100 pagine di note, i ricercatori registrano ogni bug, crash e riavvio in un processo di allenamento di tre mesi che ha funzionato senza sosta da ottobre 2021 a gennaio 2022.

Con 175 miliardi di parametri (i valori in una rete neurale che vengono modificati durante l’allenamento), OPT è della stessa dimensione di GPT-3. Questo è stato progettato, dice Pineau. Il team ha costruito OPT per eguagliare GPT-3 sia nella sua accuratezza nei compiti linguistici che nella sua tossicità. OpenAI ha reso GPT-3 disponibile come servizio a pagamento ma non ha condiviso il modello stesso o il suo codice. L’idea era quella di fornire ai ricercatori un modello linguistico simile da studiare, dice Pineau.

OpenAI ha rifiutato un invito a commentare l’annuncio di Meta.

Google, che sta esplorando l’uso di grandi modelli linguistici nei suoi prodotti di ricerca, è stato anche criticato per una mancanza di trasparenza. L’azienda ha scatenato polemiche nel 2020 quando ha costretto i membri principali del suo team di etica dell’IA dopo che avevano prodotto uno studio che evidenziava i problemi con la tecnologia.

Scontro culturale

Allora perché Meta sta facendo questo? Dopo tutto, Meta è un’azienda che ha detto poco su come funzionano gli algoritmi dietro Facebook e Instagram e ha la reputazione di nascondere i risultati sfavorevoli dei suoi team di ricerca interni. Una grande ragione per il diverso approccio di Meta AI è la stessa Pineau, che ha spinto per una maggiore trasparenza nell’AI per un certo numero di anni.

Pineau ha aiutato a cambiare il modo in cui la ricerca viene pubblicata in molte delle più grandi conferenze, introducendo una lista di controllo di cose che i ricercatori devono presentare insieme ai loro risultati, compreso il codice e i dettagli su come vengono eseguiti gli esperimenti. Da quando si è unita a Meta (allora Facebook) nel 2017, ha sostenuto questa cultura nel suo laboratorio AI.

“Questo impegno per la scienza aperta è il motivo per cui sono qui”, dice. “Non sarei qui in altre condizioni”.

In definitiva, Pineau vuole cambiare il modo in cui giudichiamo l’IA. “Quello che chiamiamo stato dell’arte al giorno d’oggi non può riguardare solo le prestazioni”, dice. “Deve essere all’avanguardia anche in termini di responsabilità”.

Eppure, dare via un grande modello linguistico è una mossa audace per Meta. “Non posso dirti che non c’è il rischio che questo modello produca un linguaggio di cui non siamo orgogliosi”, dice Pineau. “Succederà”.

Pesare i rischi

Margaret Mitchell, uno dei ricercatori di etica dell’IA che Google ha cacciato nel 2020 e che ora è a Hugging Face, vede il rilascio dell’OPT come una mossa positiva. Ma pensa che ci siano dei limiti alla trasparenza. Il modello linguistico è stato testato con sufficiente rigore? I benefici prevedibili superano i danni prevedibili - come la generazione di disinformazione, o il linguaggio razzista e misogino?

“Rilasciare un modello linguistico di grandi dimensioni al mondo, dove è probabile che un vasto pubblico lo usi o sia influenzato dal suo risultato, comporta delle responsabilità”, dice. Mitchell nota che questo modello sarà in grado di generare contenuti dannosi non solo da solo, ma attraverso applicazioni a valle che i ricercatori costruiscono su di esso.

Meta AI ha controllato OPT per rimuovere alcuni comportamenti dannosi, ma il punto è quello di rilasciare un modello da cui i ricercatori possano imparare, con tutti i difetti, dice Pineau.

“Ci sono state molte conversazioni su come farlo in un modo che ci permetta di dormire la notte, sapendo che c’è un rischio non nullo in termini di reputazione, un rischio non nullo in termini di danno”, dice. Lei respinge l’idea che non si dovrebbe rilasciare un modello perché è troppo pericoloso - che è la ragione che OpenAI ha dato per non rilasciare il predecessore di GPT-3, GPT-2. “Capisco le debolezze di questi modelli, ma questa non è una mentalità di ricerca”, dice.

Bender, che è coautore dello studio al centro della disputa di Google con Mitchell, è anche preoccupato di come saranno gestiti i potenziali danni. “Una cosa che è davvero fondamentale per mitigare i rischi di qualsiasi tipo di tecnologia di apprendimento automatico è quella di basare le valutazioni e le esplorazioni su casi d’uso specifici”, dice. “Per cosa verrà utilizzato il sistema? Chi lo userà e come verranno presentati loro i risultati del sistema?

Alcuni ricercatori si chiedono perché i grandi modelli linguistici vengano costruiti, dato il loro potenziale di danno. Per Pineau, queste preoccupazioni dovrebbero essere soddisfatte con più esposizione, non meno. “Credo che l’unico modo per costruire la fiducia sia la trasparenza estrema”, dice.

“Abbiamo opinioni diverse in tutto il mondo su quale discorso sia appropriato, e l’IA fa parte di questa conversazione”, dice. Non si aspetta che i modelli linguistici dicano cose su cui tutti sono d’accordo. “Ma come facciamo ad affrontare questo? Hai bisogno di molte voci in quella discussione”.

Fonte principale

Ciao, sono Michele!

Sono molto felice di saperti qui.
Ogni giorno ti raccontiamo qualcosa di nuovo sull'AI e sulle nuove tecnologie. Seguici sui social o iscriviti alla newsletter!

Iscriviti alla newsletter!

Iscrivendoti accetti la nostra Privacy Policy

Ti va di rimanere aggiornatə?

Niente spam, niente pubblicità. Ogni tanto una mail. Tutto qui.
(Ah, ovviamente i tuoi dati non verranno mai ceduti)

Iscrivendoti accetti la nostra Privacy Policy