I ricercatori hanno utilizzato le statistiche e le ultime tecniche di apprendimento automatico per fare previsioni sulle situazioni a rischio che le persone si trovano ad affrontare, ma i risultati sono deludenti.
di Karen Hao
I responsabili politici spesso attingono al lavoro degli scienziati sociali per prevedere in che modo politiche specifiche potrebbero influenzare andamenti sociali come il tasso di occupazione o di criminalità. L’idea è che capendo come diversi fattori potrebbero cambiare la traiettoria della vita di qualcuno, si possano proporre interventi per arrivare a risultati diversi.
Negli ultimi anni, tuttavia, si è sempre più fatto affidamento sull’apprendimento automatico, che promette di fornire previsioni molto più precise lavorando su quantità molto più ampie di dati. Tali modelli sono ora utilizzati per prevedere la probabilità che un imputato possa essere arrestato per un nuovo crimine o che un bambino sia a rischio di abuso o di abbandono. Il presupposto è che un algoritmo alimentato con dati sufficienti su una determinata situazione farà previsioni più accurate di un’analisi statistica umana.
Uno studio recente, pubblicato negli Atti della National Academy of Sciences, mette in dubbio l’efficacia di questo approccio. Tre sociologi dell’Università di Princeton hanno chiesto a centinaia di ricercatori di prevedere sei esiti di vita per bambini, genitori e famiglie utilizzando quasi 13.000 unità informative su oltre 4.000 famiglie. Nessuno dei ricercatori si è avvicinato nemmeno a un ragionevole livello di precisione, indipendentemente dal fatto che abbia usato statistiche semplici o forme di apprendimento automatico all’avanguardia.
“Lo studio mette in luce come gli strumenti di apprendimento automatico non siano magici”, afferma Alice Xiang, dell’organizzazione no profit Partnership on AI. I ricercatori hanno utilizzato i dati di uno studio di sociologia su un arco di 15 anni chiamato Fragile Families and Child Wellbeing Study, coordinato da Sara McLanahan, professore di sociologia e affari pubblici a Princeton.
Lo studio originale ha cercato di capire come le vite dei bambini nati da genitori non sposati potrebbero procedere nel tempo. Le famiglie sono state selezionate casualmente tra i bambini nati negli ospedali nelle grandi città degli Stati Uniti nel Duemila. I dati sono stati raccolti quando i bambini avevano 1, 3, 5, 9 e 15 anni.
Per fare queste previsioni, McLanahan e i suoi colleghi Matthew Salganik e Ian Lundberg hanno privilegiato alcuni indicatori che hanno ritenuto sociologicamente importanti: la media dei voti dei bambini a scuola; il loro livello di “grinta” o perseveranza auto-segnalata a scuola; la situazione economica della loro famiglia. Ai partecipanti alla ricerca, provenienti da varie università, è stata data solo una parte dei dati per addestrare i loro algoritmi, mentre gli organizzatori ne hanno conservato alcuni per le valutazioni finali.
Nel corso di cinque mesi, centinaia di ricercatori, tra cui informatici, statistici e sociologi computazionali, hanno quindi avanzato le loro ipotesi. Nessuno ha colto nel segno. “Non si può spiegare il fallimento se non attribuendolo alle tecniche di apprendimento automatico o di intelligenza artificiale; anche quelle più sofisticate si sono rivelate poco più accurate dei metodi molto più semplici”, afferma Salganik, professore di sociologia.
Per gli esperti che studiano l’uso dell’IA nella società, i risultati non sono poi così sorprendenti. Anche gli algoritmi di valutazione del rischio più accurati nel sistema di giustizia penale, per esempio, raggiungono il 60 o il 70 per cento di precisione, afferma Xiang. “Potrebbe sembrare un dato positivo”, egli aggiunge, “ma i tassi di recidiva sono in genere inferiori al 40 per cento. Ciò significa che la previsione di nessuna recidiva fornisce già un tasso di precisione superiore al 60 per cento”.
Allo stesso modo, la ricerca ha ripetutamente dimostrato che, in contesti in cui un algoritmo sta valutando il rischio o scegliendo dove indirizzare le risorse, algoritmi semplici e spiegabili spesso hanno quasi lo stesso potere di predizione delle tecniche black box come l’apprendimento profondo, il cui vantaggio aggiunto, quindi, non vale i grandi costi di interpretabilità.
I risultati non significano necessariamente che gli algoritmi predittivi, basati o meno sull’apprendimento automatico, non saranno mai strumenti utili nel mondo reale. Alcuni ricercatori sottolineano, per esempio, che i dati raccolti ai fini della ricerca sociologica sono diversi dai dati tipicamente analizzati nel processo decisionale.
Rashida Richardson, dirigente dell’istituto AI Now, che studia l’impatto sociale dell’IA, rileva anche le preoccupazioni sul modo in cui è stato inquadrato il problema della previsione. Se un bambino ha “grinta”, per esempio, è un giudizio intrinsecamente soggettivo che la ricerca ha dimostrato di essere “un pregiudizio per misurare il successo e le prestazioni”, ella afferma.
Anche Salganik riconosce i limiti dello studio, ma ne sottolinea l’importanza per chi, in particolare i politici, dovrebbe essere più attento a valutare l’accuratezza degli strumenti algoritmici in modo trasparente. “Avere una grande quantità di dati ed essere dotati di un sistema di apprendimento automatico avanzato non garantisce una previsione accurata”, egli spiega. “I politici che non hanno tanta esperienza di lavoro con l’apprendimento automatico possono coltivare aspettative non realistiche al riguardo”.
Immagine: Sharon McCutcheon / Unsplash
(rp)
