La compagnia-madre di Facebook ha deciso di condividere con altri sviluppatori il suo modello di linguaggio artificiale. Scelta etica o pubblicitaria?
Il laboratorio di intelligenza artificiale di Meta ha creato un nuovo, gigantesco, modello linguistico che condivide le straordinarie capacità della pionieristica rete neurale GPT-3 di OpenAI. E con una mossa senza precedenti per le aziende di Big Tech, lo sta regalando ai ricercatori, insieme a dettagli su come è stato costruito e preparato.
“Crediamo fermamente che la capacità degli altri di esaminare il tuo lavoro sia una parte importante della ricerca. Solleciatiamo davvero questa collaborazione”, afferma Joelle Pineau, da tempo sostenitrice della trasparenza nello sviluppo della tecnologia, che ora è amministratore delegato di Meta AI.
Con la mossa di Meta per la prima volta che un modello linguistico di grandi dimensioni sarà reso disponibile a qualsiasi ricercatore voglia studiarlo. La notizia è stata accolta con favore da chi era preoccupato dall’attitudine “a porte chiuse” di chi sviluppa questo tipo di tecnologie. “Applaudo la trasparenza”, afferma Emily M. Bender, linguista computazionale presso l’Università di Washington e critica del modo in cui i modelli linguistici vengono sviluppati e implementati. “È un’ottima mossa”, afferma Thomas Wolf, scienziato capo di Hugging Face, la startup AI dietro BigScience, un progetto nel quale oltre 1.000 volontari in tutto il mondo stanno collaborando su un modello di linguaggio open source. “Più modelli sono aperti, meglio è”, dice.
I modelli linguistici di grandi dimensioni in grado di generare paragrafi di testo e imitare la conversazione umana, sono diventati una delle tendenze più calde nell’IA negli ultimi due anni. Ma hanno profondi difetti: rischiano di generare disinformazione, pregiudizi e di propagare linguaggio tossico. Finora, poiché i modelli linguistici richiedono grandi quantità di dati e potenza di calcolo, sono rimasti progetti per aziende “ricche”. La più ampia comunità di ricerca, inclusi esperti di etica e scienziati sociali preoccupati per il loro uso improprio, ha dovuto guardare “da bordo campo”.
Meta AI sostiene di voler cambiare questo stato di cose. “Molti di noi sono stati ricercatori universitari”, afferma Pineau. “Conosciamo il divario che esiste tra università e industria in termini di capacità di costruire questo tipo di modelli. Ma le scoperte arrivano più velocemente quando sono coinvolte più persone” spiega. Meta sta rendendo disponibile il suo modello, chiamato Open Pretrained Transformer (OPT), per uso non commerciale. Sta inoltre rendendo pubblico il suo codice, e un registro che documenta il processo di formazione. Il registro contiene gli aggiornamenti quotidiani dei membri del team sui dati di “traininig”: cosa è stato aggiunto al modello e quando, cosa ha funzionato e cosa no. In oltre 100 pagine di note, i ricercatori registrano ogni bug, arresto anomalo e riavvio di un processo di formazione che si è svolto senza interruzioni da ottobre 2021 a gennaio 2022.
OpenAI ha rifiutato l’invito a commentare l’annuncio di Meta. Anche Google, che sta esplorando l’uso di modelli linguistici di grandi dimensioni nei suoi prodotti di ricerca, è stato criticato per la mancanza di trasparenza. L’azienda ha suscitato polemiche nel 2020 quando ha “silenziato” i membri di spicco del suo team di etica dell’IA, dopo aver prodotto uno studio che ha evidenziato i problemi con la tecnologia.
Scontro di culture
Quali sono le motivazioni dietro al gesto di Meta? Dopotutto si tratta di un’azienda che ha parlato poco di come funzionano gli algoritmi alla base di Facebook e Instagram, e ha la reputazione di nascondere i risultati sfavorevoli dei propri team di ricerca. Una delle ragioni principali del diverso approccio di Meta AI è la stessa Pineau, che da diversi anni spinge per una maggiore trasparenza nell’IA. Pineau ha contribuito a cambiare il modo in cui la ricerca viene pubblicata, introducendo un elenco di controllo degli elementi che i ricercatori devono presentare insieme ai risultati, inclusi codice e dettagli su come vengono eseguiti gli esperimenti. Da quando è entrata a far parte di Meta (poi Facebook) nel 2017, ha sostenuto questo tipo di approccio. “Quell’impegno per la scienza aperta è il motivo per cui sono qui”, dice. “Non sarei qui a nessun’altra condizione.”
In definitiva, Pineau vuole cambiare il modo in cui giudichiamo l’IA. “Quello che chiamiamo stato dell’arte al giorno d’oggi non può riguardare solo le prestazioni”, afferma. “Deve essere all’avanguardia anche in termini di responsabilità”. Tuttavia, “regalare” un grande modello linguistico è una mossa audace per Meta. “Non posso dirti che non c’è alcun rischio che questo modello produca un linguaggio di cui non siamo orgogliosi”, afferma Pineau. “Ma siamo fiduciosi, ce la faremo“
Valutare i rischi
Margaret Mitchell, una delle ricercatrici di etica dell’intelligenza artificiale che Google ha licenziato nel 2020, e che ora lavora a Hugging Face, vede il rilascio di OPT come una mossa positiva. “La messa a disposizione di un modello linguistico di grandi dimensioni nei confronti di un pubblico vasto comporta delle responsabilità”, nota. Ma osserva che questo modello sarà in grado di generare contenuti dannosi non tanto di per se, quanto attraverso eventuali applicazioni che i ricercatori potranno costruire “a valle”.
Alcuni ricercatori si chiedono perché vengano costruiti modelli linguistici di grandi dimensioni, dato il loro potenziale pericolo. Per Pineau, queste preoccupazioni dovrebbero essere affrontate fornendo ai modelli maggiore e non minore visibilità. “Credo che l’unico modo per creare fiducia sia l’estrema trasparenza”, afferma.
“Abbiamo opinioni diverse in tutto il mondo su quale discorso sia appropriato e l’IA fa, precisamente, parte di quella conversazione”, afferma. Non si aspetta che i modelli linguistici dicano cose con cui tutti sono d’accordo. “Ma come possiamo affrontarlo? L’unica possibilità è fornire una pluralità di voci alla discussione”, conclude.
Immagine da Wikipedia
