Modificare le impostazioni del servizio cloud su cui gira un algoritmo può avere un grande impatto sul risparmio energetico. Ma non molte persone si preoccupano di farlo
Tammy Xu
Il deep learning è alla base dei successi più importanti dell’apprendimento automatico, come il riconoscimento avanzato delle immagini, il campione del gioco da tavolo AlphaGo e modelli linguistici come GPT-3. Ma queste incredibili prestazioni hanno un costo: la formazione di modelli di deep learning richiede enormi quantità di energia. Ora, una nuova ricerca mostra come gli scienziati che utilizzano piattaforme cloud per addestrare algoritmi di apprendimento profondo possono ridurre drasticamente l’energia che consumano e quindi le emissioni generate da questo lavoro.
Da quando il primo articolo che studia l’impatto di questa tecnologia sull’ambiente è stato pubblicato tre anni fa, è cresciuto un movimento tra i ricercatori per auto-segnalare l’energia consumata e le emissioni generate dal loro lavoro. Avere numeri accurati è un passo importante per apportare modifiche, ma in realtà raccogliere questi numeri può essere una sfida. “Non si può migliorare ciò che non si può misurare“, afferma Jesse Dodge, ricercatore presso dell’Allen Institute for AI di Seattle.
A tal fine, l’Allen Institute ha recentemente collaborato con Microsoft, la società di intelligenza artificiale Hugging Face e tre università per creare uno strumento che misuri il consumo di elettricità di qualsiasi programma di apprendimento automatico eseguito su Azure, il servizio cloud di Microsoft. Con esso, gli utenti di Azure che creano nuovi modelli possono visualizzare l’elettricità totale consumata dalle unità di elaborazione grafica (GPU), i chip per computer specializzati per l’esecuzione di calcoli in parallelo, durante ogni fase del progetto, dalla selezione di un modello all’addestramento alla sua messa in uso.
È il primo importante fornitore di servizi cloud a fornire agli utenti l’accesso alle informazioni sull’impatto energetico dei loro programmi di apprendimento automatico. Sebbene esistano già strumenti che misurano il consumo di energia e le emissioni degli algoritmi di apprendimento automatico in esecuzione su server locali, tali strumenti non funzionano quando i ricercatori utilizzano i servizi cloud forniti da aziende come Microsoft, Amazon e Google.
Questi servizi non offrono agli utenti visibilità diretta su GPU, CPU e risorse di memoria consumate dalle loro attività e gli strumenti esistenti, come Carbontracker, Experiment Tracker, EnergyVis e CodeCarbon, necessitano di tali valori per fornire stime accurate. Il nuovo strumento di Azure, che ha debuttato ad ottobre, attualmente segnala il consumo di energia, non le emissioni.
Dodge e altri ricercatori hanno capito come mappare il consumo di energia delle emissioni e hanno presentato un documento complementare sul loro lavoro a FAccT, un’importante conferenza di informatica, a fine giugno. I ricercatori hanno utilizzato un servizio chiamato WattTime per stimare le emissioni in base ai codici postali dei server cloud che eseguono 11 modelli di apprendimento automatico.
Hanno scoperto che le emissioni possono essere notevolmente ridotte se i ricercatori utilizzano server in specifiche località geografiche e in determinate ore del giorno. Le emissioni derivanti dalla formazione di modelli di apprendimento automatico di piccole dimensioni possono essere ridotte fino all’80% se la formazione inizia in momenti in cui sulla rete è disponibile più elettricità rinnovabile, mentre le emissioni di modelli di grandi dimensioni possono essere ridotte di oltre il 20% se il lavoro di formazione viene interrotto quando l’elettricità da rinnovabile scarseggia e si riavvia quando è più abbondante.
Gli utenti del cloud attenti all’energia possono ridurre le proprie emissioni regolando tali fattori tramite le impostazioni delle preferenze sui tre servizi cloud più grandi (Microsoft Azure, Google Cloud e Amazon Web Services). Ma Lynn Kaack, cofondatrice di Climate Change AI, un’organizzazione che studia l’impatto dell’apprendimento automatico sui cambiamenti climatici, sostiene che i fornitori di servizi cloud dovrebbero mettere in pausa e riavviare automaticamente questi progetti per ottimizzare e ridurre le emissioni.
“Si può programmare, ovviamente, quando si esegue l’algoritmo, ma è molto lavoro manuale”, afferma Kaack. “Sono necessari incentivi politici, probabilmente, per farlo davvero su larga scala”. A suo parere, politiche come il prezzo del carbonio potrebbero incentivare i fornitori di servizi cloud a creare flussi di lavoro che consentano pause e riavvii automatici e favoriscano la partecipazione degli utenti.
C’è ancora molto lavoro da fare per rendere l’apprendimento automatico più rispettoso dell’ambiente, soprattutto in una fase in cui la maggior parte dei paesi dipende ancora dai combustibili fossili. E Dodge afferma che lo strumento di Azure misura solo l’elettricità consumata dalle GPU. Un calcolo più accurato del consumo energetico dell’apprendimento automatico includerebbe l’utilizzo della CPU e della memoria, per non parlare dell’energia per la costruzione e il raffreddamento dei server fisici.
Cambiare le abitudini può richiedere tempo. Solo il 13% degli utenti di Azure che eseguono programmi di apprendimento automatico ha preso in considerazione lo strumento di misurazione dell’energia dal suo debutto in ottobre, afferma Dodge. E Raghavendra Selvan, che ha contribuito a creare Carbontracker, ha affermato che anche lui ha difficoltà a persuadere i ricercatori a utilizzare lo strumento nella loro ricerca sull’apprendimento automatico. “Penso di non aver convinto neanche quelli del mio gruppo”, confida.
Ma è ottimista. Sempre più ricercatori stanno prendendo l’abitudine di riportare il consumo di energia nei loro articoli, incoraggiati da importanti conferenze come NeurIPS. A parere di Selvan, se più persone inizieranno a tenere conto di questi costi energetici ed emissioni durante la pianificazione di progetti futuri, si potrà iniziare a ridurre l’impatto dell’apprendimento automatico sui cambiamenti climatici.
Image by Monika Robak from Pixabay
(rp)
