Dopo Space Invaders, scacchi e Go, i ricercatori di Google di intelligenza artificiale hanno creato un simulatore di calcio per allenare la prossima generazione di algoritmi di apprendimento automatico.
di ArXiv
Google è leader mondiale nella ricerca sull’intelligenza artificiale. La sua affiliata DeepMind, in particolare, ha raggiunto risultati importanti in una vasta gamma di giochi, tra cui i videogiochi Atari come Pong, Breakout e Space Invaders e sfide più complesse come Starcraft, il gioco online multiplayer.
DeepMind ha avuto anche un notevole successo con giochi più tradizionali. Nel 2016, la sua macchina AlphaGo ha battuto per la prima volta uno dei giocatori professionisti di Go più forti al mondo.
In questa sfida, AlphaGo ha scoperto sistemi completamente nuovi di giocare che hanno rivoluzionato il modo in cui gli umani avevano fino a quel momento affrontato il gioco.
Sempre alla ricerca di nuove frontiere, Google sta ora rivolgendo la sua attenzione a giochi più aperti in cui l’imprevedibilità assume un ruolo centrale. Il suo prossimo obiettivo è il videogame di calcio.
Karol Kurach e i suoi colleghi del Brain Team di Google Research hanno creato un videogioco di calcio chiamato Google Research Football Environment per consentire ai ricercatori di testare i loro algoritmi all’interno di un sistema personalizzabile, facile da usare e riproducibile all’infinito.
Hanno reso questo ambiente disponibile con una licenza open source in modo che i ricercatori di tutto il mondo possano utilizzarlo per sviluppare migliori algoritmi di gioco del calcio.
Ma come si è arrivati a questo punto? Una dei problemi per i ricercatori di IA è trovare attività che offrano continue sfide agli algoritmi di apprendimento automatico.
I videogiochi semplici come Pong o Breakout sono talvolta troppo facili per questi algoritmi, che possono ottenere prestazioni superiori dopo poche ore di allenamento.
Ma alcuni dei videogiochi più complessi, come Starcraft, cadono nell’eccesso opposto: sono troppo impegnativi. Starcraft è un gioco di strategia in tempo reale per più giocatori e si svolge negli oscuri recessi dell’universo online.
I ricercatori di IA si sono interessati a questo videogame perché consente loro di giocare contro altri umani e contro i sistemi di intelligenza artificiale applicati ad ambienti complessi.
Tuttavia, il gioco è così vasto e intricato che richiede enormi risorse computazionali per raccogliere dati rilevanti e allenare un sistema di apprendimento automatico. E queste risorse non sono disponibili per la maggior parte dei ricercatori.
Un altro problema è che molti promettenti ambienti online si basano su codice proprietario che i ricercatori non possono cambiare o a volte neanche vedere. Ciò rende impossibile capire come il gioco assuma decisioni importanti o sperimenti diversi processi decisionali.
Infine, molti giochi sono del tutto deterministici: ripetono sempre lo stesso schema in presenza degli stessi input, rendendo semplice per gli algoritmi avere la meglio.
Ma nel mondo reale la capacità di affrontare variabili inaspettate è una capacità importante. L’unico modo per le macchine di apprendere questa abilità è allenarsi in ambienti imprevedibili.
Ma l’imprevedibilità non deve essere in né poca, perché renderebbe tutto troppo semplice, nè troppa perché non ci sarebbe apprendimento. La creazione di un ambiente che rispetti questo equilibrio è un’operazione complessa.
È in questa fase che entrano in gioco i simulatori di calcio, che presentano livelli di prevedibilità basati sugli aspetti fisici del gioco, ma anche molta imprevedibilità legata alle scelte tattiche dei giocatori avversari, alle situazioni di gioco e a una serie di altre componenti.
Quindi Kurach e colleghi hanno costruito il proprio simulatore. Come base, hanno utilizzato Gameplay Football, un gioco già circolante sul mercato, che consente di fare partite di calcio.
“L’ambiente di Football offre una simulazione di calcio 3D in cui chi gioca deve controllare i suoi giocatori, capire come passare la palla e superare la difesa avversaria per segnare”, spiega il team di Google.
I ricercatori hanno modificato l’obiettivo del gioco per misurare i progressi dell’IA, calcolando la capacità dell’intelligenza artificiale di manovrare il pallone verso la porta avversaria.
Questo cambiamento è stato necessario perché fare goal rappresenta un evento relativamente raro e non permette di monitorare costantemente i progressi delle macchine.
Il team ha anche creato ambienti standard di varia complessità in cui addestrare e testare l’IA. Le macchine devono affrontare una serie di allenamenti: segnare un goal a porta vuota, superare il portiere in uscita, scambiarsi il pallone 3 contro 1 con l’obiettivo di segnare.
Il test finale è una partita giocata con tutte le regole tradizionali, giocata contro un avversario artificiale.
L’algoritmo di apprendimento può giocare contro altre macchine o contro gli umani. Questo gli permette di fare esperienza di una vasta gamma di strategie, evitando lo scenario più semplice in cui la macchina apprende i punti deboli di un avversario artificiale.
“Questo modo di procedere rappresenta un difficile problema di apprendimento di rinforzo poiché il calcio richiede un equilibrio naturale tra controllo a breve termine e strategie di alto livello”, affermano Kurach e colleghi.
È un lavoro interessante che ha il potenziale di sviluppare strategie più avanzate di apprendimento automatico in ambienti più realistici e aumenta allo stesso tempo la possibilità che le macchine imparino nuove strategie di calcio che gli umani non hanno mai preso in considerazione, proprio come è successo per il Go.
Immagine: Vienna Reyes | Unsplash
(rp)
