Si è sostenuto che l’addestramento di algoritmi sulle denunce di crimini delle vittime piuttosto che sui dati di arresto renda gli strumenti predittivi meno distorti, ma non è così.
di Will Douglas Heaven
Non è un segreto che gli strumenti di polizia predittiva siano carenti dal punto di vista “razziale”. Numerosi studi hanno dimostrato che possono verificarsi cicli di feedback razzisti se gli algoritmi vengono addestrati sui dati della polizia, come gli arresti. Ma una nuova ricerca mostra che la formazione di strumenti predittivi in forme intese a ridurre i pregiudizi ha scarso effetto.
I dati sugli arresti indirizzano gli strumenti predittivi perché è noto che la polizia arresta più persone nei quartieri neri e in altri quartieri abitati da minoranze, il che porta gli algoritmi a mandare più polizia in quelle aree e di conseguenza a fare più arresti. Il risultato è che gli strumenti predittivi contribuiscono a distribuire in modo errato le pattuglie di polizia: alcuni quartieri sono ingiustamente designati punti caldi della criminalità mentre altri sono quasi ignorati.
In loro difesa, molti sviluppatori di strumenti di polizia predittiva affermano di aver iniziato a utilizzare i rapporti sulle vittime per ottenere un quadro più accurato dei tassi di criminalità in diversi quartieri. In teoria, le segnalazioni delle vittime dovrebbero essere meno distorte perché non sono influenzate dai pregiudizi della polizia o dai circuiti di feedback.
Ma Nil-Jana Akpinar e Alexandra Chouldechova della Carnegie Mellon University mostrano che anche il punto di vista fornito dalle denunce delle vittime è distorto. La coppia ha costruito il proprio algoritmo predittivo utilizzando lo stesso modello trovato in diversi strumenti popolari, tra cui PredPol, il sistema più utilizzato negli Stati Uniti. Hanno addestrato il modello sui dati delle denunce delle vittime a Bogotá, in Colombia, una delle pochissime città per cui sono disponibili dati indipendenti sulla segnalazione di reati a livello di distretto per distretto.
Quando hanno confrontato le previsioni del loro strumento con i dati reali sulla criminalità per ciascun distretto, hanno scoperto errori significativi. Per esempio, in un distretto in cui sono stati segnalati pochi crimini, lo strumento ha previsto circa il 20 per cento di eventi criminali. Allo stesso tempo, in un distretto con un numero elevato di segnalazioni, lo strumento ha previsto il 20 per cento in più di zone a rischio rispetto alla realtà.
Per Rashida Richardson, avvocato e ricercatore che studia i pregiudizi algoritmici presso l’AI Now Institute di New York, questi risultati rafforzano il lavoro esistente che evidenzia problemi con i set di dati utilizzati nella polizia predittiva. “Portano a risultati distorti che non migliorano la sicurezza pubblica”, ella afferma. “Penso che molti fornitori di servizi di polizia predittiva come PredPol fondamentalmente non capiscano come le condizioni strutturali e sociali influenzino o distorcano molte forme di dati sulla criminalità”.
Allora perché l’algoritmo ha sbagliato così tanto? Il problema con le denunce delle vittime è che i neri hanno maggiori probabilità di essere denunciati per un crimine rispetto ai bianchi. I bianchi più ricchi hanno maggiori probabilità di segnalare una persona nera più povera rispetto al contrario. E i neri hanno anche maggiori probabilità di denunciare altri neri. Come per i dati sugli arresti, questo porta i quartieri neri a essere contrassegnati come punti caldi del crimine più spesso di quanto dovrebbero essere.
Anche altri fattori distorcono l’immagine. “La segnalazione delle vittime è anche collegata alla fiducia della comunità o alla sfiducia nei confronti della polizia”, afferma Richardson. “Quindi, se ci si trova in una comunità con un dipartimento di polizia storicamente corrotto o notoriamente con pregiudizi razziali, ciò influenzerà come e se le persone denunciano il crimine”. In questo caso, uno strumento predittivo potrebbe sottostimare il livello di criminalità in un’area, quindi non otterrà la protezione della polizia di cui ha bisogno.
Non esistono soluzioni rapide
Il problema serio è che non c’è ancora una soluzione tecnica ovvia. Akpinar e Chouldechova hanno cercato di adattare il loro modello di Bogotá per tenere conto dei pregiudizi osservati, ma non avevano dati sufficienti per ottenere prestazioni migliori, nonostante ci fossero più dati a livello di distretto per Bogotá che per qualsiasi città degli Stati Uniti.
Cosa si può fare? Richardson pensa che la pressione dell’opinione pubblica per smantellare gli strumenti razzisti e le politiche dietro di essi sia l’unica risposta. “È solo una questione di volontà politica”, ella dice, e fa notare che i primi utilizzatori di strumenti di polizia predittiva, come Santa Cruz, hanno annunciato che non li useranno più e che ci sono stati rapporti ufficiali taglienti sull’uso della polizia predittiva da parte dei dipartimenti di polizia di Los Angeles e di Chicago.
Ma le risposte in ogni città sono state diverse. Chicago, per esempio, ha sospeso l’uso della polizia predittiva, ma ha reinvestito in un database sulle bande che, secondo Richardson, presenta molti degli stessi problemi. “È preoccupante che anche quando indagini e rapporti governativi rilevano problemi significativi con queste tecnologie, politici e funzionari di polizia non prendano posizione contro il loro utilizzo”, conclude Richardson.
Foto: David McNew / Getty Images
