Un nuovo programma di simracing ha prestazioni di gran lunga migliori dei giocatori umani grazie a sistemi di allenamento dell’AI basati sull’esperienza del mondo reale
Will Douglas Heaven
Emily Jones non era abituata a rimanere indietro. La grande pilota di simracing con più vittorie al suo nome, ha accelerato, con gli occhi fissi sullo schermo di fronte a lei: “Non riesco a tenere il passo. Ma come fa ad andare così veloce?”, si è chiesta mentre lanciava la sua auto sulla pista virtuale a 190 km orari e poi 220…240 per inseguire il fuggitivo.
Creato da Sony AI, un laboratorio di ricerca lanciato dall’azienda nel 2020, Gran Turismo Sophy è un programma per computer addestrato per guidare le auto da corsa all’interno del mondo di Gran Turismo, un videogioco noto per le sue simulazioni super realistiche di veicoli e piste reali. In una serie di eventi tenuti a porte chiuse l’anno scorso, Sony ha presentato il suo programma contro i migliori umani del circuito di simracing professionistiche.
Ciò che è stato scoperto durante queste sfide in pista potrebbe aiutare a plasmare il futuro delle automobili che percorreranno le nostre strade. Nel luglio 2021, l’australiana Jones, che gareggia per il team di e-sport Trans Tasman Racing, non sapeva bene cosa stava succedendo. “Non mi era stato detto molto a riguardo”, dice ora, un anno dopo. Alla fine, GT Sophy ha battuto il miglior giro di Jones di 1,5 secondi. A un livello in cui i record vengono distrutti con incrementi di millisecondi, 1,5 secondi è una distanza abissale.
Ma Sony ha appreso ben presto che la velocità da sola non era sufficiente per fare di GT Sophie un vincitore. Il programma ha superato tutti i piloti umani su una pista vuota, stabilendo tempi sul giro sovrumani su tre diversi percorsi virtuali. Tuttavia, quando Sony ha testato GT Sophy in una gara contro più piloti umani, in cui sono necessarie strategie intelligenti oltre che velocità, GT Sophy ha perso. Il programma è stato a volte troppo aggressivo, incassando sanzioni per guida spericolata, altre volte troppo prudente, cedendo quando non era necessario.
Sony si è riorganizzata, ha riqualificato la sua intelligenza artificiale e ha organizzato una rivincita a ottobre. Questa volta GT Sophie ha vinto con facilità. Cosa ha fatto la differenza? È vero che nel frattempo Sony ha definito il suo programma con una rete neurale più vasta. Ma alla fine, la differenza si è ridotta a dare a GT Sophy qualcosa che Peter Wurman, capo di Sony AI America, chiama “convenzioni”: la capacità di limitare i comportamenti “aggressivi”, attenendosi al rispetto delle regole.
Questo è anche ciò che rende GT Sophie rilevante al di là di Gran Turismo. Un codice di convenzioni tra i piloti su una pista è un esempio specifico del tipo di comportamento dinamico e sensibile al contesto che i robot dovrebbero avere quando interagiscono con le persone, afferma Wurman. Una consapevolezza di quando correre rischi e quando andare sul sicuro sarebbe utile per favorire l’interazione dell’AI con le persone, che si tratti di produzione, robot domestici o auto senza conducente.
“Non credo che abbiamo ancora imparato i principi generali su come affrontare le norme umane che si devono rispettare”, afferma Wurman. “Ma è un inizio e, si spera, ci dia un’idea su come affrontare questo problema in generale”.
Cambio di gioco
GT Sophy è solo l’ultimo di una linea di sistemi di intelligenza artificiale che hanno battuto i migliori giocatori umani del mondo in vari giochi, dagli scacchi e Go a videogiochi come Starcraft e DOTA. Ma Gran Turismo ha offerto a Sony un nuovo tipo di sfida. A differenza di altri giochi, in particolare quelli a turni, Gran Turismo invita i suoi migliori giocatori a controllare un veicolo ai limiti di ciò che è fisicamente possibile, in tempo reale e in stretta vicinanza con altri giocatori che cercano tutti di fare la stessa cosa.
Le auto sfrecciano a più di 150 km orari a soli pochi centimetri di distanza. A quelle velocità, gli errori più piccoli possono portare a un incidente. Gran Turismo cattura la fisica del mondo reale nei minimi dettagli, simulando l’aerodinamica di un’auto e l’attrito dei suoi pneumatici sulla pista. Il gioco viene talvolta utilizzato per addestrare e reclutare piloti per le corse nel mondo reale. “Il realismo è eccezionale”, afferma Davide Scaramuzza, che guida il gruppo di robotica e percezione dell’Università di Zurigo in Svizzera. Il suo team, esterno a GT Sophy, ha utilizzato Gran Turismo per addestrare un pilota AI mai testato contro gli umani.
GT Sophy non ha la stessa visione del gioco dei giocatori umani. Invece di leggere i pixel da uno schermo, il programma riceve aggiornamenti sulla posizione della sua auto e delle altre sulla pista. Riceve anche informazioni sulle forze fisiche virtuali che influenzano il suo veicolo. In risposta, GT Sophie dice all’auto di sterzare o frenare. Questo feedback tra GT Sophy e il gioco avviene 10 volte al secondo, un tempo che Wurman e i suoi colleghi sostengono corrisponda a quello di reazione dei giocatori umani.
Sony ha utilizzato l’apprendimento per rinforzo per allenare GT Sophie da zero tramite tentativi ed errori. All’inizio l’AI aveva difficoltà a non uscire di strada. Ma dopo essersi allenata su 10 PlayStation 4, ciascuna con 20 istanze del programma, GT Sophy ha assorbito l’AI integrata di Gran Turismo, che i giocatori dilettanti usano per esercitarsi, in circa otto ore. In 24 ore ha stabilito tempi sul giro vicini ai migliori in una classifica online di 17.700 giocatori umani.
In nove giorni GT Sophy è diventata più veloce di qualsiasi essere umano. L’AI di Sony ha imparato a guidare ai limiti di ciò che il gioco consentiva, eseguendo mosse che i giocatori umani possono solo guardare a bocca aperta. In particolare, Jones è rimasta colpita dal modo in cui GT Sophy affronta le curve, frenando prima di accelerare su una traiettoria molto più stretta di lei e sbandando leggermente come se fosse un incidente controllato.
GT Sophie è stata veloce nel padroneggiare la fisica del gioco. Il problema più grande sono stati gli arbitri. A livello professionale, le gare di Gran Turismo sono seguite da giudici umani, che possono assegnare punti di penalità per guida pericolosa. Accumulare penalità è stata una delle ragioni principali della sconfitta di GT Sophy nella prima serie di gare dello scorso luglio, anche se era più veloce di qualsiasi pilota umano. E imparare a evitarle ha fatto la differenza nel secondo giro di corse.
Le regole sono le regole
Wurman lavora su GT Sophie da diversi anni. Sulla parete dietro la sua scrivania c’è un quadro con la macchina di GT Sophy che supera Tomoaki Yamanaka”, uno dei quattro piloti professionisti giapponesi di simracing che hanno gareggiato contro l’AI l’anno scorso. Il suo compagno di squadra, Takuma Miyazono, racconta che l’aggressività di GT Sophie ha spesso indotto i giocatori umani a fare manovre elaborate per evitare di finire fuori strada.
È stato difficile addestrare l’AI a giocare in modo equo senza perdere il suo vantaggio competitivo, afferma Wurman. Gli arbitri umani esprimono giudizi soggettivi che dipendono dal contesto, rendendo difficile trasformarli in norme che l’AI può imparare. I ricercatori di Sony hanno provato a introdurre regole attraverso una struttura sanzionatoria e hanno cambiato i metodi di allenamento, testando l’AI ogni settimana con sfide con i migliori piloti umani.
“Questi cambiamenti ci hanno fornito il tipo di feedback di cui avevamo bisogno per arginare l’aggressività”, afferma Wurman. Quando Miyazono ha affrontato GT Sophy tre mesi dopo, l’AI si comportava in modo corretto, lasciando abbastanza spazio alle altre auto. Scaramuzza è impressionato dal lavoro di Sony. Ma Elia Kaufman, che lavora con Scaramuzza all’Università di Zurigo, fa notare che sono ancora i ricercatori umani a scegliere quale dei comportamenti appresi di GT Sophy sviluppare con l’allenamento. “Sarebbe davvero interessante”, sostiene, “se il sistema acquisisse le regole della correttezza in modo automatizzato”.
Il team di Scaramuzza sta ora applicando la sua ricerca su Gran Turismo alle gare di droni nel mondo reale, addestrando un’AI a volare utilizzando input video grezzi invece dei dati di una simulazione. Scaramuzza pensa che fare il salto nel mondo reale sia essenziale per un vero progresso nella robotica. “Ci sarà sempre una discrepanza tra la simulazione e il mondo reale”, afferma. “L’intelligenza artificiale fa progressi incredibili in termini di strategia, ma pochi nel concreto”.
Per ora, Sony si attiene ai giochi. Prevede di inserire GT Sophie in una versione futura di Gran Turismo. Come dice Peter Stone, direttore esecutivo di Sony AI America:”La nostra è un’azienda di intrattenimento e vuole rendere il gioco il più divertente possibile”. La comunità delle simracing imparerà molto da GT Sophy una volta che i giocatori avranno la possibilità di vederlo all’opera.
Immagine: per gentile concessione di Sony AI
(rp)
