La scienziata dei dati Jennifer Chayes pensa che si possono utilizzare gli strumenti computazionali per sradicare i pregiudizi e la loro diffusione in rete.
di Anil Ananthaswamy
Durante la sua permanenza Microsoft e nel mondo accademico, Jennifer Chayes ha lottato per utilizzare la scienza dei dati e l’informatica per rendere l’intelligenza artificiale più equa e meno prevenuta. Dall’abbandono della scuola all’età di 15 anni fino alla sua carica di decano della scienza dei dati presso l’Università della California, a Berkeley, Chayes ha avuto una carriera importante. È entrata a far parte dell’UCLA nel 1987 come professore di ruolo di matematica. Dieci anni dopo, si è unita a Microsoft dove ha co-fondato il Research Theory Group interdisciplinare.
È stato nel laboratorio di Microsoft a New York che i ricercatori hanno scoperto dei pregiudizi nel software di riconoscimento facciale dell’azienda, dimostrando che il sistema classificava i volti bianchi in modo più accurato rispetto a quelli di altri gruppi. Questa scoperta ha indotto l’azienda a rifiutare un contratto redditizio con un dipartimento di polizia e a iniziare a lavorare per rimuovere i pregiudizi da tali algoritmi. In laboratorio è stato creato il gruppo FATE (Fairness, Accountability, Transparency and Ethics in AI).
Anil Ananthaswamy ha chiesto a Chayes, ora rettore associato della Division of Computing, Data Science, and Society e preside della School of Information di Berkeley, in che modo la scienza dei dati sta trasformando l’informatica e altri campi.
A.A.: Com’è stato il passaggio dal mondo accademico all’industria?
Chayes: Un vero shock. Il vicepresidente della ricerca di Microsoft, Dan Ling, mi ha chiamato per cercare di convincermi a fare un colloquio. Gli ho parlato per circa 40 minuti. E alla fine ho detto: “Vuole davvero sapere cosa mi dà fastidio? Microsoft è un gruppo di adolescenti e non voglio passare la mia vita con un gruppo di adolescenti”.
A.A.: Come ha reagito a questa frase?
Chayes: Ha risposto: “Venga a trovarci e cambierà idea”. Quando sono andata, ho avuto modo di incontrare alcune donne incredibili e altre persone straordinariamente aperte che volevano provare a cambiare il mondo.
A.A.: In che modo la scienza dei dati ha cambiato l’informatica?
Chayes: Man mano che è aumentato il flusso dei dati, l’informatica ha iniziato a guardare verso l’esterno. Penso alla scienza dei dati come a un connubio tra informatica, statistica, etica e un’enfasi sul dominio o un’enfasi disciplinare, che si tratti di biomedicina e salute, clima e sostenibilità, o benessere umano e giustizia sociale. Una vera rivoluzione.
A.A.: I data scientist risolvono i problemi in modo diverso dagli altri?
Chayes: La sovrabbondanza di dati ci permette di arrivare a delle conclusioni senza avere una teoria sul perché qualcosa sta accadendo. Soprattutto in quest’era di machine learning e deep learning, ci consente di trarre conclusioni e fare previsioni senza una teoria sottostante.
A.A.: Ma potrebbero esserci anche dei problemi?
Chayes: Alcuni lo considerano un problema nei casi dei dati biomedici che prevedono in modo molto accurato cosa funzionerà e cosa non funzionerà, senza un meccanismo biologico sottostante.
A.A.: E i vantaggi?
Chayes: Ciò che i dati ci hanno permesso di fare ora, in molti casi, è eseguire quello che un economista chiamerebbe pensiero controfattuale, in cui si vede effettivamente una variazione casuale nei dati che consente di trarre conclusioni senza eseguire gli esperimenti. È incredibilmente utile. Voglio capire cosa succederebbe cambiando il sistema educativo di diverse popolazioni? O voglio vedere se una variazione casuale ad un certo punto mi permetterà di trarre un’inferenza davvero buona su cui basare delle scelte differenti? Lo posso fare.
A.A.: Vede un problema nel modo in cui vengono utilizzati i dati, soprattutto da parte delle grandi aziende?
Chayes: Ci sono una miriade di problemi. I dati non vengono utilizzati solo dalle aziende tecnologiche, ma da compagnie di assicurazione, piattaforme governative, piattaforme di salute pubblica e piattaforme educative. Se non si capisce esplicitamente quali pregiudizi possono insinuarsi, sia nei set di dati stessi che negli algoritmi, probabilmente si esacerbano i pregiudizi.
Questi preconcetti si insinuano quando non ci sono molti dati. E possono anche essere correlati ad altri fattori. Ho lavorato sui curriculum vitae. Ovviamente, non si è autorizzati a fare riferimenti a genere o razza. Ma anche se non si guarda a questi dati protetti, ci sono molte informazioni che sono proxy per genere o razza. Se si è andati in certe scuole, se si è cresciuti in certi quartieri, se si sono praticati determinati sport e si sono svolte determinate attività.
A.A.: Gli algoritmi rilevano questi indicatori?
Chayes: Li aggravano. E’ necessario impedirlo esplicitamente scrivendo l’algoritmo.
A.A.: Come si possono affrontare tali problemi?
Chayes: FATE si occupa della fase di progettazione di questi algoritmi e dell’equità nell’AI. Ma c’è da fare ancora molto.
A.A.: La scienza dei dati aiuta?
Chayes: Ma questa è assolutamente scienza dei dati. C’è una parte del web chiamata “manosfera” in cui si originano messaggi d’odio. È un po’ difficile da rintracciare. Ma se si usa l’elaborazione del linguaggio naturale e altri strumenti, si può vedere da dove vengono i pregiudizi. Si può anche provare a creare interfacce che consentano ai gruppi di difesa e ad altri di individuare le fonti di odio e sradicarle. In questo modo si ribalta la situazione e si utilizza la potenza dell’informatica e della scienza dei dati per identificare e mitigare l’odio”.
Immagine: Jennifer Chayes, di Christie Hemm Klok
(rp)
