Partendo dall'evidenza che alcune comunità soffrano un maggior numero di arresti per crimini spesso tollerati in altre comunità, una ricerca del 2017 portata avanti dall'Università di Stanford ha analizzato circa 1500 filmati relativi a fermi di guidatori da parte della polizia di Oakland.
Negli USA una legge impone ai poliziotti di accendere le fotocamere portatili personali durante i fermi per registrare l'interazione con il guidatore.
L'analisi del materiale video ed audio, portata avanti sia "umani" che da algoritmi di analisi linguistica, ha confermato la presenza di pregiudizi (bias) all'interno delle forze dell'ordine: gli agenti di polizia, è la conclusione, parlano con molto meno rispetto se si trovano di fronte una persona di colore rispetto a come si comporterebbero con individui di pelle bianca, dunque esiste oggettivamente una disparità nelle comuni interazioni quotidiane tra polizia e le due comunità.
L'atteggiamento che definiamo comunemente con il termine "razzista" accompagna la società nord americana sin dalle sue origini, e non è prerogativa del rapporto "bianchi - neri".
Senza considerare il modo in cui vengono trattati i nativi americani, ancor oggi pesantemente discriminati e oggetto di violenze spesso neppure denunciate, possiamo tranquillamente affermare che tutte le minoranze di immigrati, almeno per un certo periodo, hanno sperimentato sulla propria pelle le difficoltà del processo di integrazione: coolies cinesi, mojados messicani, grasientos latini, maccaroni italiani, cattolici irish.
Ultima in ordine di tempo la comunità di origine medio orientale che dopo l'11 settembre 2001 - anche in conseguenza delle guerre condotte dagli USA nei loro paesi - è guardata con sospetto e diffidenza e talvolta subisce sopprusi.
Nonostante ciò lo stereotipo del razzismo americano è da sempre un atto di sopraffazione da parte di uno o più individui con la pelle bianca nei confronti di chi abbia la pelle scura: forse una spiegazione potrebbe esser cercata nel fatto che la comunità nera sia stata l'unica tra tutte quelle poc'anzi indicate a non aver deciso di migrare nel nuovo mondo in cerca di fortuna, ma vi sia stata portata in catene.
Mi sono già occupato di razzismo (più correttamente sarebbe opportuno parlare di "culturalismo") in diversi post al mio blog (*), dove ho pure indicato motivi per i quali gli episodi di razzismo verso gli afroamericani risultino sovraesposti sui media rispetto a quelli - talvolta di gravità anche maggiore - che colpiscono le altre comunità.
La società americana, pur essendo stata campione mondiale di mobilità sociale, è classista: i suoi membri meno abbienti godono di garanzie inferiori rispetto allo standard europeo.
Sono stato testimone della "ruvidità" con la quale la polizia californiana ha trattato un senza tetto "bianco" bisognoso di soccorso medico (che gli è stato rifiutato nonostante l'insistenza mia e di mia moglie affinché venisse chiamata una ambulanza).
L'episodio è accaduto una decina di anni fa nello stesso stato "liberal" dove Federico Rampini - nel suo libro "L'oceano di mezzo" - racconta quanto gli capitò appena presa dimora (in affitto) in una casa di San Francisco:
"... mia moglie fa scattare per sbaglio l'allarme antifurto.
Nel giro di pochi minuti arrivano due pattuglie della polizia dalle quali vidi scendere un gruppo di agenti così composto: bianchi, asiatici, un latinoamericano ed un nero, un campionario di forze dell'ordine specchio fedele della società multietnica di San Francisco.
(Negli USA) il reclutamento delle forze dell'ordine è indicatore del metodo di integrazione americano ed efficace mezzo per trasmettere due messaggi agli immigrati:
- eguaglianza: nessuno ce l'ha con te per il colore della tua pelle, visto che "uno dei tuoi" indossa la divisa;
- disciplina: non hai alibi per non rispettare la legge di un paese che ti ha accolto..."
Non voglio discutere qui se la presidenza Trump, l'ambiente avvelenato e la spaccatura nella società che ha creato possano essere o meno causa di una recrudescenza di razzismo all'interno dei corpi di polizia.
Mi voglio invece occupare del "bias" razzista che spesso passa dalla società umana agli algoritmi di Intelligenza Artificiale, in genere senza che lo sviluppatore ne sia consapevole, a causa del metodo di selezione dei set di addestramento degli algoritmi di machine learning, pregiudicandone così il corretto funzionamento.
Un famoso caso di "fallimento" in un compito specifico assegnato ad una IA è quello relativo al mancato riconoscimento facciale di donne con la pelle scura.
Il riconoscimento facciale è oggi usato come sistema di sicurezza biometrico, ad esempio per controllare gli accessi ai nostri smartphones.
Gli algoritmi di apprendimento automatico imparano ad identificare le persone in base ad indicatori biometrici del viso quali posizione, forma e dimensione degli occhi, del naso, degli zigomi, e così via.
Il successo delle operazioni di riconoscimento è correlato al grado di addestramento cui è stata sottoposta la IA, e cioè dal numero e dal tipo di immagini di "visi" utilizzate durante la fase di apprendimento.
Nel 2015 Joy Boulamwini, una ricercatrice afroamericana in quota al MIT, mentre lavorava allo sviluppo di nuovi algoritmi di riconoscimento facciale, si accorse, sperimentandoli su di lei, che il numero di fallimenti era ben superiore rispetto a quelli cui andava incontro l'IA quando si trattasse di individui con la pelle bianca.
Provò con algoritmi sviluppati da diverse aziende senza che i risultati cambiassero (sperimentò gli algoritmi di Microsoft, IBM e Face++).
Intuì così che la ragione di questo fenomeno era da ricercarsi nel fatto che nei set di addestramento i visi delle donne con la pelle scura fossero sotto rappresentati, di conseguenza l'algoritmo NON imparava a riconoscerli.
Un altro famoso episodio è quello relativo a Google Foto (una IA che assegna una descrizione alle immagini che carichiamo così da poterle classificare autonomamente); nel 2015 fu investito da un polverone mediatico dopo aver etichettato come "gorilla" due studenti neri.
Anche in questo caso il problema è da far risalire alla scelta del set di addestramento: le immagini utilizzate erano ricavate da ImageNet, una banca dati che contiene oltre 14 milioni di foto il cui contenuto è stato "taggato" da esseri umani (la triste realtà di questi lavoratori sottopagati l'ho raccontata in un post, vedi nota **) utilizzando più parole o addirittura frasi.
L'abbondanza del materiale è tuttavia inficiata dal fatto che il database sia costituito per il 45% da dati provenienti dagli USA, una nazione che raccoglie solo il 4% della popolazione mondiale.
Ora il mancato riconoscimento facciale sembra cosa relativamente di poco conto, superabile ad esempio con l'impronta digitale come mezzo aggiuntivo per l'identificazione.
Tuttavia è corretto chiedersi quali seri rischi potrebbe comportare la diffusione di bias di questo genere in un contesto dove l'utilizzo delle IA è sempre più pervasivo.
Negli USA (ma non solo in questo paese) stanno diventando di uso comune softwares che prevedono la possibilità futura di attività criminali.
Non si tratta ancora di "minority report": in generale queste IA producono informazioni in termini di "percentuali di rischio in una determinata zona" che sono poi utilizzate dalla polizia per decidere dove concentrare le pattuglie, un tentativo di distribuire in maniera più efficenete le forze sul territorio.
La presenza di bias legati al colore della pelle, come quello portato alla luce dallo studio della Stanford University di cui ho trattato in apertura di questo post, rischia di compromettere l'obiettivo della IA, rinforzando la presenza di polizia in aree dove la comunità nera è più numerosa invece che in aree dove il rischio di attività criminali sia più alto.
In conclusione perché le IA siano efficaci è importante assicurarsi che i set di addestramento degli algoritmi di apprendimento automatico (machine learning) presentino la necessaria rappresentatività relativamente a caratteristiche sensibili quali etnia, genere, reddito e così via.
A questo punto dobbiamo porci una domanda essenziale: un algoritmo può risultare imparziale qualora i dati ad esso sottoposti siano rappresentativi?
Sorprendentemente la risposta è NO!
La ragione sta nel fatto che la definizione matematica del concetto di imparzialità non è affatto univoca, e questo costituisce un vero colpo al cuore all'uso di sistemi predittivi nel caso di sistemi sociali.
Tribunali, banche ed altre istituzioni correntemente utilizzano algoritmi predittivi ("sistemi di decisione automatizzata") per prendere decisioni rilevanti per il singolo: in base alla serie storica dei dati disponibili una IA calcola quale sia la probabilità che in futuro un soggetto possa andare in bancarotta, commettere reati, o altro, e l'indicazione dell'algoritmo (formulata spesso senza che si sappia attraverso quali passaggi, il cosiddetto problema della "black box") viene utilizzata in maniera acritica dall'essere umano che deve prendere una decisione in merito alla concessione di un mutuo piuttosto che alla libertà sulla parola.
Nel maggio 2016 il sito web ProPublica pubblicò un articolo intitolato "Machine bias: c'è un software utilizzato in tutto il paese che predice quali siano i futuri criminali. Ed è prevenuto contro i neri".
ProPublica aveva fatto esaminare il software commerciale "Compas", utilizzato dai tribunali della Florida per supportarne i giudici nel prendere una decisione circa il rilascio su cauzione di una persona incriminata.
Compas, addestrato con decine di migliaia di sentenze emesse dai tribunali americani, genera un punteggio interpretabile come la probabilità che un individuo, se rilasciato, commetta un reato entro i successivi due anni.
Gli esperti incaricati da ProPublica analizzarono migliaia di atti pubblici confrontandoli con le previsioni di Compas e dividendo la popolazione in "bianchi" e "neri": per gli individui di colore l'algoritmo produceva un numero enorme di "falsi positivi", cioè individui giudicati ad alto rischio che nei due anni successivi non commisero alcun crimine.
La società produttrice di Compas dal canto suo dimostrò che lo strumento non aveva pregiudizi in quanto classificava gli individui ad alto rischio (sia bianchi che neri) con la stessa accuratezza: aveva cioè lo stesso tasso di successo nel prevedere se un individuo, bianco o di colore che fosse, sarebbe stato recidivo.
Garantiva pertanto la "parità predittiva".
Si scontravano dunque due punti di vista: "eguaglianza dei falsi positivi" e "parità predittiva", ed entrambi sembrano legittime definizioni matematiche del concetto di "imparzialità".
Alexandra Chouldechova - Università di Pittsburg - dimostrò matematicamente come non sia possibile soddisfare contemporaneamente i due tipi di imparzialità; anzi identificò molte altre definizioni plausibili di imparzialità, spesso mutualmente esclusive.
Immaginiamo di avere 20 individui che sono divisi in due gruppi: 10 "X" e 10 "Y"
X X X X X Y Y Y Y Y
X X X X X Y Y Y Y Y
Un algoritmo di IA è in grado di "prevedere" (basandosi su dati storici) quali siano gli individui "ad alto rischio di delinquenza" nei due gruppi.
Supponiamo che tra gli individui "X" il tasso di delinquenza sia doppio rispetto a quello tra gli individui "Y"; in base a questo assunto l'algoritmo, per essere corretto ed imparziale, identificherà tra gli "X" il doppio degli individui ad alto rischio rispetto a "Y".
Diciamo quindi l'IA identifichi quattro "X" ad alto rischio e di conseguenza solo due "Y" ad alto rischio.
La predizione che un individuo ad alto rischio commetta nei due anni successivi un reato non può esser perfetta, ma la probabilità che succeda deve esser la stessa nei due gruppi perché si soddisfi la condizione di "parità predittiva".
Supponiamo che la realtà segua la predizione: dunque quattro "X" e due "Y" commetteranno un reato nei due anni successivi.
Se la probabilità che un reato venga commesso nei due anni successivi è diciamo del 50%, questa deve essere eguale per i due gruppi (per soddisfare la "parità predittiva"):.
Dunque dei quattro "X" che avranno commesso un reato, soltanto due erano parte dei quattro identificati dall'algoritmo come "ad alto rischio".
La stessa cosa vale per il gruppo "Y": in due commetteranno un reato, ma soltanto uno di loro faceva parte dei due "Y" identificati dalla IA come "ad alto rischio".
L'algoritmo ha soddisfatto la "parità predittiva" (come sostiene la casa produttrice di Compass), ma ha prodotto 2 falsi positivi tra gli "X" ed 1 solo tra gli "Y".
Se confrontiamo la percentuale di "X" ad alto rischio che non commetteranno un reato con il totale degli "X" che non commetteranno reato abbiamo 2 su 6, cioè il 33.3%
La stessa operazione per "Y" ci restituisce 1 su 8, cioè il 12,5%
Questo significa che l'algoritmo erroneamente identifica gli individui "X" con una probabilità molto maggiore di delinquere (discriminazione negativa), e spiega la discriminazione del sistema adottato in Florida nei confronti della comunità nera.
Una situazione che è difficile - se non impossibile - correggere in quanto raggiungere entrambi gli obiettivi "parità predittiva" ed "equità nel tasso dei falsi positivi" spesso non è consentito.
In conclusione la speranza di ottenere maggior equità (imparzialità nelle decisioni) affidandosi ad un processo meccanico, quale sono le IA, potrebbe risultare delusa a causa dell'impossibilità di definire in maniera oggettiva cosa si intenda per "imparzialità".
A questa evidenza si aggiunge il fatto che la procedura con la quale le IA producono un risultato partendo da un set di informazioni non è trasparente, specie nel caso di algoritmi "deep learning".
E' il problema della "black box" cui ho accennato: la IA è una "scatola nera" nella quale vengono inserite informazioni e che restituisce un output senza che sia possibile vedere come queste siano elaborate.
Non è infatti raro il caso in cui il risultato offerto dalla IA in pochi istanti richieda mesi - se non anni - di studio per capire come sia stato raggiunto.
Se il processo decisionale della IA non è noto non si può escludere che l'informazione ottenuta sia stata inficiata da un bias: ecco la ragione dei grandi fondi stanziati di recente - anche dalla UE - per trasformare le "black boxes" in "white boxes", un processo che richiede forti investimenti in ricerca (cui non sono estranei ricercatori di valore italiani)
Note:
-------
(*) vedi i seguenti miei posts:
"Martin Luther King e la sua eredità": https://davidemolinapersonale.blogspot.com/2019/01/18-gennaio-2019.html
"Razzismo e culturalismo": https://davidemolinapersonale.blogspot.com/2019/02/13-febbraio-2019-razzismo-e-culturalismo.html
"Stati Uniti del Sud e Giappone: un parallelo relativamente alla distorsione nel funzionamento del sistema giudiziario": https://davidemolinapersonale.blogspot.com/2020/02/stati-uniti-del-sud-e-giappone-un.html
(**) vedi il mio post "The dark side of the AI: il lato oscuro delle intelligenze artificiali"
https://davidemolinapersonale.blogspot.com/2019/01/5-gennaio-alle-ore-1641-dark-side-of-ai.html
Nessun commento:
Posta un commento