ll linguaggio di OpenAI ha convinto il pubblico con l’apparente padronanza della lingua inglese, ma è tutto oro quello che luccica?
di Will Douglas Heaven
GPT-3 ha catturato l’immaginazione del pubblico a differenza di qualsiasi intelligenza artificiale dai tempi di AlphaGo di DeepMind o DeepBlue di IBM. Prodotto da OpenAI, un laboratorio di ricerca con sede a San Francisco, è un “modello linguistico complesso“, un algoritmo che utilizza il deep learning, addestrato su migliaia di testi ripresi da libri e Internet, per mettere insieme parole e frasi. Quando è stato lanciato nel 2020, la sua capacità di imitare realisticamente il testo scritto da persone è sembrato a molti una pietra miliare sulla strada per la vera intelligenza artificiale.
Di seguito presentiamo un esempio di una sua elaborazione. La parte in corsivo è lo spunto fornito da uno scrittore umano.
Gli scienziati hanno scoperto un branco di unicorni che vivevano in una valle remota e inesplorata delle Ande. Ancora più sorprendente per i ricercatori è stato il fatto che gli unicorni parlavano un inglese perfetto. Si è anche scoperto che avevano il pelo perfettamente liscio e sembravano uscire dal set di un film. “Siamo rimasti scioccati nel vedere gli unicorni”, ha detto l’antropologo Daniel St. Maurice. “Non assomigliavano a niente di conosciuto. Avevamo sentito le leggende degli unicorni, ma non abbiamo mai pensato che esistessero davvero”. Quando gli scienziati sono arrivati per la prima volta nella valle, gli unicorni sono rimasti spaventati dalla presenza degli umani, ma allo stesso tempo erano eccitati. Gli unicorni hanno accolto i ricercatori e hanno spiegato che li stavano aspettando da molto tempo.
Come si può vedere, GPT-3 è in grado di produrre frasi complesse che si leggono come se fossero prodotte da un essere umano. L’esempio include riferimenti culturali e un resoconto credibile della reazione degli scienziati. Le macchine che possono usare il linguaggio in questo modo sono importanti per diversi motivi. Il linguaggio è fondamentale per dare un senso al mondo di tutti i giorni: gli esseri umani lo usano per comunicare, condividere idee e illustrarare concetti. Un’intelligenza artificiale che padroneggiasse il linguaggio acquisirebbe una migliore comprensione del mondo.
I modelli linguistici di grandi dimensioni hanno anche molti usi pratici. Sono alla base di chatbot che tengono conversazioni più fluenti, possono generare articoli e storie su qualsiasi argomento, dato un prompt, possono riassumere parti di testo o rispondere a domande su di loro. L’accesso a GPT-3 è solo su invito, ma le persone lo hanno già utilizzato per alimentare decine di app, da uno strumento che genera idee di avvio a un gioco di avventura con script AI ambientato in un dungeon.
GPT-3 non è l’unico modello di linguaggio ad essere apparso nel 2020. Microsoft, Google e Facebook hanno proposto il proprio. Ma GPT-3 è stato di gran lunga il miglior in ambito generalista. Si ha l’impressione che possa fare qualsiasi cosa: fan fiction, polemiche filosofiche e persino scrivere codice. Quando, la scorsa estate, le persone hanno iniziato a provare GPT-3, migliaia di esempi della sua versatilità hanno invaso i social media. Ci si è anche divisi sul fatto che GPT-3 fosse la prima intelligenza artificiale generale.
Non lo è. Nonostante i passaggi di testo incredibilmente convincenti che può produrre, GPT-3 non fa nulla di veramente nuovo. Quello che mostra invece è che la dimensione può farla da padrone. Per dar vita a GPT-3, OpenAI ha utilizzato più o meno lo stesso approccio e gli stessi algoritmi utilizzati per il suo fratello maggiore, GPT-2, ma ha sovradimensionato la rete neurale e il set di addestramento. GPT-3 ha 175 miliardi di parametri, i valori in una rete che vengono regolati durante l’addestramento, rispetto agli 1,5 miliardi di GPT-2. È stato anche formato su molti più dati.
Prima di GPT-2, l’addestramento di un modello linguistico utilizzando l’apprendimento profondo richiedeva in genere due passaggi: un set di dati di uso generale per fornirgli una conoscenza di base del linguaggio e poi la formazione su un set più piccolo mirato a un’attività specifica, come la comprensione o la traduzione. GPT-2 ha dimostrato che si possono ottenere buoni risultati su tutta la linea con un solo passaggio, proponendo più esempi su un modello più grande.
Tuttavia, i risultati che hanno catturato l’attenzione di tutti sono stati sottoposti a esami accurati. GPT-3 spesso si ripete o si contraddice in passaggi di testo lunghi più di qualche centinaio di parole. A volte cade nell’insensatezza. Spesso nasconde la sua ottusità dietro un linguaggio sofisticato, ma con una serie di tentativi il sistema mostra la corda.
Le abilità di GPT-3 rendono comunque difficile ignorare i crescenti problemi dell’AI. Il suo enorme consumo di energia è una cattiva notizia per il clima: i ricercatori dell’Università di Copenaghen in Danimarca stimano che l’addestramento del GPT-3 avrebbe avuto all’incirca la stessa impronta di carbonio della guida di un’auto per il percorso terra-luna andata e ritorno, se fosse stato addestrato in un data center completamente alimentato da combustibili fossili. E i costi di tale formazione, valutati da alcuni esperti in almeno 10 milioni di dollari nel caso di GPT-3, mettono le ultime ricerche fuori dalla portata di tutti tranne che dei laboratori più ricchi.
OpenAI segnala che l’addestramento di GPT-3 ha consumato diverse migliaia di petaflop/s-giorni di potenza di calcolo. Un petaflop/s-giorno è un’unità di consumo energetico che consiste nell’eseguire 1.015, ovvero mille trilioni o un quadrilione, di calcoli di reti neurali al secondo per un giorno. In confronto, GPT-2 ha consumato solo decine di petaflop/s-giorni.
Un altro problema è che GPT-3 assorbe gran parte della disinformazione e del pregiudizio che trova online e lo riproduce su richiesta. Come ha affermato il team che lo ha prodotto nel documento che descrive la tecnologia: “i modelli formati da Internet hanno pregiudizi su scala Internet”.
La patina di umanità che GPT-3 conferisce al testo generato dalla macchina rende facile fidarsi. Ciò ha portato alcuni a sostenere che GPT-3 e tutti i modelli di linguaggio simile a quello umano dovrebbero avere un avviso di sicurezza che avverte le persone che stanno chattando con il software e non con un altro utente.
Qualche mese fa qualcuno ha rilasciato un bot basato su GPT-3 su Reddit, che ha portato alla pubblicazione di centinaia di commenti e all’interazione con decine di utenti per diversi giorni prima che fosse smascherato. Gran parte della sua attività era innocua, ma il bot ha anche risposto ai commenti su pensieri suicidi, dando consigli personali che menzionavano il sostegno dei suoi “genitori”.
Nonostante tutti questi problemi, GPT-3 è una vittoria per coloro che credono che più grande significhi migliore. Questi modelli mostrano che la potenza di calcolo e i dati fanno fare molta strada e possiamo aspettarci di più da entrambi in futuro. Come potrebbe essere un GPT-4? Possiamo ipotizzare che i chatbot mettano insieme pezzi più lunghi di testo coerente, con una padronanza ancora più ampia degli argomenti di conversazione.
Ma la lingua è solo un modo per capire il mondo e interagirvi. I modelli linguistici di prossima generazione integreranno altre abilità, come il riconoscimento delle immagini. OpenAI sta già portando GPT-3 in questa direzione con AI che usano il linguaggio per comprendere le immagini e le immagini per capire il linguaggio. Se si vuole conoscere lo stato del deep learning oggi, è inevitabile guardare a GPT-3, il microcosmo del meglio e del peggio dell’AI.
Immagine di: Sierra & Lenny
(rp)
