L’AI potrebbe aiutare le macchine cibernetiche ad apprendere nuove abilità e ad adattarsi direttamente nel mondo reale senza passare per i programmi di simulazione
Melissa Heikkila
Il cane robot agita le gambe in aria come uno scarafaggio esasperato. Dopo 10 minuti di lotta, riesce a ribaltarsi in avanti. Dopo mezz’ora, fa i suoi primi passi goffi, come un vitello appena nato. Ma dopo un’ora, il robot si aggira per il laboratorio con sicurezza. Ciò che rende speciale questo robot a quattro zampe è che ha imparato a fare tutto questo da solo, senza che gli venga mostrato cosa fare in una simulazione al computer.
Danijar Hafner e colleghi dell’Università della California, a Berkeley, hanno utilizzato una tecnica di intelligenza artificiale chiamata apprendimento per rinforzo, che allena gli algoritmi premiandoli per le azioni desiderate, per addestrare il robot a camminare da zero nel mondo reale. Il team ha utilizzato lo stesso algoritmo per addestrare con successo altri tre robot, tra cui uno in grado di raccogliere palline e spostarle da un vassoio all’altro.
Tradizionalmente, i robot vengono addestrati con un simulatore di computer prima di tentare di fare qualsiasi cosa nel mondo reale. Per esempio, un paio di gambe robotiche chiamate Cassie ha imparato a camminare usando l’apprendimento per rinforzo, ma solo dopo averlo fatto in una simulazione.
“Il problema è che il simulatore non sarà mai accurato come il mondo reale. Ci saranno sempre aspetti del mondo che sono carenti”, afferma Hafner, che ha collaborato al progetto con i colleghi Alejandro Escontrela e Philipp Wu e ora lavora a DeepMind. “L’adattamento delle lezioni dal simulatore al mondo reale”, spiega, “richiede capacità ingegneristiche aggiuntive.
L’algoritmo del team, chiamato Dreamer, utilizza le esperienze passate per costruire un modello del mondo circostante. Dreamer consente inoltre al robot di eseguire calcoli per tentativi ed errori in un programma per computer anziché nel mondo reale, prevedendo potenziali risultati futuri delle sue potenziali azioni. Ciò gli consente di apprendere più velocemente di quanto potrebbe fare senza questo tipo di aiuto. Una volta che il robot ha imparato a camminare, è riuscito anche ad adattarsi a situazioni impreviste, come non farsi rovesciare da un bastone.
“Insegnare ai robot attraverso tentativi ed errori non è semplice e richiede lunghi tempi di formazione”, afferma l’esperto di robotica e apprendimento automatico Lerrel Pinto, ricercatore di informatica alla New York University. A suo parere, Dreamer mostra che l’apprendimento per rinforzo profondo e i modelli del mondo sono in grado di insegnare ai robot nuove abilità in un lasso di tempo davvero breve.
Jonathan Hurst, professore di robotica presso la Oregon State University, afferma che i risultati, che non sono stati ancora sottoposti a revisione paritaria, chiariscono che “l’apprendimento per rinforzo sarà uno strumento fondamentale nel futuro del controllo dei robot”. Rimuovere il simulatore dall’addestramento dei robot ha molti vantaggi. L’algoritmo potrebbe essere utile per insegnare ai robot come apprendere abilità nel mondo reale e adattarsi a situazioni come i guasti hardware, dice Hafner: per esempio, un robot potrebbe imparare a camminare con un motore malfunzionante in una gamba.
L’approccio potrebbe anche avere un enorme potenziale per acquisire abilità più complicate come la guida autonoma, che richiede simulatori complessi e costosi, afferma Stefano Albrecht, ricercatore di intelligenza artificiale all’Università di Edimburgo. Una nuova generazione di algoritmi di apprendimento per rinforzo potrebbe “capire molto rapidamente come funziona il mondo reale”, afferma Albrecht.
Ma ci sono alcuni grossi problemi irrisolti, dice Pinto. Con l’apprendimento per rinforzo, gli ingegneri devono specificare nel loro codice quali comportamenti sono buoni e quindi premiati e quali comportamenti sono indesiderabili. In questo caso girarsi e camminare è giusto, mentre stare fermi è sbagliato. “Un esperto di robot dovrà farlo per ogni compito o problema da far risolvere alla macchina”, afferma Pinto. Ciò richiede molto tempo ed è difficile programmare comportamenti per situazioni impreviste. Ci vuole tempo prima di ottenere dati sufficienti per renderli accurati.
In futuro sarebbe bello insegnare al robot a comprendere i comandi vocali. Hafner afferma che il team vuole collegare le telecamere al cane robot per dargli una capacità di visione. Ciò gli consentirebbe di navigare in complesse situazioni, come camminare in una stanza, trovare oggetti e, perché no, rincorrere una palla.
Photo by Ryan Walton on Unsplash
(rp)
