Nel 2003 il filosofo svedese Nick Bostrom (1) scrisse un saggio intitolato “Ethical Issues in Advanced Artificial Intelligence” dove descriveva un esperimento mentale indicato con il nome di paperclip maximizer.
Suo intento era allertare la nostra specie circa i rischi connessi allo sviluppo di un’intelligenza artificiale generale (AGI), e lo fece con un esempio: pur affidando un compito apparentemente innocuo, quale il massimizzare la produzione di graffette (paperclips), una AGI potrebbe decidere autonomamente di consumare tutte le risorse disponibili sul nostro pianeta (esseri umani compresi) per perseguire il suo scopo.
Da qui la necessità di controllare attentamente gli obiettivi assegnati alle AI, verificando sempre siano allineate ai valori umani (2).
Trascorso un quarto di secolo, ancora non è stata creata una AGI; tuttavia recenti avvenimenti rendono necessario aprire un dibattito sull'opportunità di delegare ad algoritmi già all'opera compiti decisionali che sino ad oggi sono stati esclusiva di individui della nostra specie, riflettendo su possibili conseguenze impreviste.
Per la prima volta nella storia dell'umanità disponiamo infatti di macchine (algoritmi) in grado di prendere decisioni autonomamente, che basano le proprie scelte sull’analisi di enormi raccolte di dati che vengono via via implementate e che, agendo, imparano dall'esperienza.
È pertanto opportuno domandarsi:
- nel caso tali scelte comportino danni a persone o cose, a chi attribuire la responsabilità?
- E' ragionevole assegnarla in toto agli sviluppatori o dovremmo prender in considerazione il fatto che anche le AI possano risultare responsabili delle proprie scelte?
- E in tal caso cosa potremmo/dovremmo fare per limitare i rischi connessi a questa situazione?
Il caso di un recente tentativo di pulizia etnica portata avanti nel Myanmar ai danni della popolazione rohingya ci permette di riflettere sui questi tre punti.
I Rohingya sono una minoranza di fede musulmana la cui presenza storica nel regno di Arakan - uno stato indipendente prima della conquista birmana e che oggi corrisponde alla regione di Rakhine del Myanmar - è documentata a partire dal XV secolo.
Costituita in origine da mercanti, ex prigionieri e migranti provenienti dal Bengala, la comunità rohingya risulta fosse ben integrata nella società del tempo, tanto che documenti storici attestano come alcuni suoi membri avessero ricoperto ruoli importanti nell'amministrazione dello stato.
Con la conquista della Birmania da parte dell'impero britannico nel 1827, l'Arakan fu annesso all’India coloniale.
Le politche inglesi favorivano migrazioni interne alle colonie dell'impero e fu così che in questo periodo molti lavoratori musulmani bengalesi si trasferirono in Arakan trovando occupazione specie nel settore agricolo.
Il repentino e progressivo aumento di dimensioni della comunità rohingya che ne seguì contribuì ad alimentare tensioni etniche tra la popolazione Rakhine (di fede buddista) ed i nuovi arrivati di fede musulmana.
A peggiorare la situazione furono, durante la II^ Guerra Mondiale, scontri intercomunitari che si verificarono tra i Rohingya (collaboratori degli inglesi) ed i Rakhine (che scelsero il campo giapponese), durante i quali decine di migliaia di civili di entrambe le parti vennero uccisi o costretti a sfollare.
Nel 1948 il Myanmar ottenne la propria indipendenza e la maggioranza dei Rohingya ottenne la cittadinanza nel nuovo stato birmano; tuttavia, nei decenni che seguirono, le autorità iniziarono a ritirar loro il riconoscimento etnico ed a delegittimarli alla stregua di "stranieri bengalesi".
Nel 1982 fu emanata una nuova legge sulla cittadinanza che escludeva i Rohingya dalle 135 etnie riconosciute dal governo rendendoli così apolidi nonostante molte famiglie vivessero in quelle terre da generazioni: il governo birmano, considerandoli immigrati illegali dal Bangladesh, negava la loro storicità ed identità etnica.
Tale rifiuto fu alla base della loro marginalizzazione e persecuzione.
Già nel 1977, in occasione della cosiddetta “Operazione Drago Reale”, centinaia di migliaia di Rohingya furono costretti alla fuga verso il Bangladesh.
Violenza chiama violenza, e nel biennio 2016–2017 si costituì un gruppo armato a difesa della comunità, l'ARSA (Arkan Rohingya Salvation Army), che prese ad assalire le postazioni di polizia; sino a che, nell’agosto 2017, vennero uccisi alcuni agenti.
In risposta a questi atti violenti l’esercito del Myanmar lanciò operazioni in tutto Rakhine: circa 6.700 Rohingya furono uccisi in poche settimane, parecchi villaggi furono incendiati e si assistette ad esecuzioni sommarie e stupri sistematici.
Più di 740.000 Rohingya fuggirono verso il Bangladesh tra agosto e settembre 2017 creando il più grande campo profughi al mondo, tant'è che le Nazioni Unite descrissero le operazioni portate avanti da militari e gruppi paramilitari birmani come “esempio da manuale di pulizia etnica”, ed ipotizzarono l’esistenza di un intento genocidario da parte delle autorità del paese.
Nel gennaio 2020, la Corte Internazionale di Giustizia ordinò al Myanmar di adottare misure urgenti per proteggere i Rohingya e nel successivo mese di novembre il procuratore chiese un mandato di arresto per il comandante militare Min Aung Hlaing per crimini contro l’umanità e deportazione forzata.
La situazione peggiorò con il golpe militare perpetrato nel febbraio 2021 che cancellò la fragile democrazia ed aprì le porte alla guerra civile.
I Rohingya rimasti in Myanmar, circa 600.000 individui, vivono oggi in condizioni di repressione sistematica, sono sottoposti a leggi discriminatorie, al blocco dei diritti ed a violenze continue.
Nel maggio 2024, durante l’avanzata dell’Arakan Army, a Buthidaung migliaia di case rohingya furono incendiate, circa 45 persone furono uccise e 200.000 costrette a trasferirsi; nel successivo mese di agosto ci furono nuovi attacchi nella zona di Maungdaw dove bombardamenti ed incendi causarono numerose vittime civili e nuovi esodi.
Che cosa c'entrano gli algoritmi di intelligenza artificiale con tutto ciò?
Nel primo decennio del nuovo millennio la presa dei militari sul paese si era allentata e stava piano piano nascendo un nuovo stato democratico.
Liberi dalla censura, ai cittadini fu per la prima volta consentito utilizzare piattaforme social su cui scambiarsi opinioni e messaggi.
In conseguenza dei disordini del 2016-2017 (causati dalla fazione armata dei Rohingya) in brevissimo tempo si diffusero su Facebook fake news che esasperarono il morale della maggioranza buddista e contribuirono a scatenare veri e propri pogrom contro la minoranza musulmana.
Oltre alle notizie vere sulle operazioni dell'ARSA vennero diffuse teorie cospirative populiste che raccontavano crimini inventati e dipingevano la società Rohingya come formata prevalentemente da jihadisti giunti di recente dal Bangladesh con l'obiettivo di sottomettere politicamente i buddisti.
Responsabile diretto della creazione dei post e video che diffondevano queste falsità fu in seguito riconosciuto essere il monaco buddista Wirathu ed i suoi seguaci, abilissimi nello sfruttare le opportunità fornite dai social per diffondere con la massima efficacia la propria narrazione distopica.
In mancanza di uno strumento (quale sono i social) che permettesse una diffusione capillare e rapidissima di quest'ondata di odio e violenze, non si sarebbero certo manifestati effetti di tal portata; tuttavia se la nostra analisi si fermasse a questo livello non saremmo in grado di riscontrare la responsabilità diretta degli algoritmi.
In un primo tempo la dirigenza di Facebook riconobbe pubblicamente l'errore di "non aver fatto abbastanza per evitare che la piattaforma venisse usata per fomentare divisioni ed incitare alla violenza": una ammissione di tal sorta ha l'effetto di spostare la responsabilità di quanto accaduto sugli utenti, ed al massimo lasciava il fianco alla (debole) critica di non esser in grado di moderare i contenuti in modo efficace ("... troppo numerosi erano i feed per poterli controllarli in tempo reale: stiamo lavorando per ottenere risultati migliori, ma si tratta di un compito immane ...").
In realtà la responsabilità di tali accadimenti - condivisa con gli utenti e con i programmatori - si può far risalire all'algoritmo di Facebook.
Nei giorni in cui si verificarono le prime reazioni agli attacchi dell'ARSA sul social erano presenti in maggioranza post dal contenuto "moderato" circa l'attribuzione delle responsabilità degli attentati; molti monaci buddisti scrissero che era sbagliato identificare tutti i Rohingya con una manciata di terroristi, ma nel giro di qualche giorno fu il monaco buddista Wirathu a vincere la "battaglia per l'attenzione".
Come è stato possibile?
Fu di fatto l'algoritmo di Facebook a mettere in cima ai news feed degli utenti birmani i contenuti violenti.
E' stato dimostrato come in quel periodo nel 70% dei casi in cui un utente birmano visualizzasse un qualsiasi video su Facebook, arrivato al termine trovasse suggerita la visione di uno tra i filmati realizzati da Wirathu.
Risutò che Il 53% di tutti i video guardati in Myanmar terminava con la riproduzione in automatico di uno che incitava alla violenza sui Rohingya.
Per quale motivo?
Nel 2016 il modello di business di Facebook si fondava sulla "massimizzazione del coinvolgimento degli utenti": era infatti essenziale per la piattaforma costringere gli utenti a rimanervi il più tempo possibile, mettere like e condividere.
Un aumento del coinvolgimento significava per il social raccogliere più dati dell'utente e quindi da una parte poter vendere più pubblicità, dall'altra fornire impressione di potenza agli investitori, e così veder aumentare il prezzo delle proprie azioni.
In maniera del tutto indipendente dall'intervento umano, basandosi sui dati via via raccolti relativi alle reazioni di centinaia di milioni di utenti, l'algoritmo di FB aveva scoperto come per "noi umani" l'indignazione creasse più coinvolgimento rispetto alla compassione: l'odio vince - seppur nel breve periodo - sui sentimenti altruistici.
Ecco quindi che, per un essere umano, risulti più semplice lasciarsi coinvolgere da una teoria complottistica carica d'odio piuttosto che da un discorso veritiero, corretto ma portato avanti con tono pacato (... ed ecco spiegato il motivo delle tante difficoltà che incontra la divulgazione scientifica "seria").
Ora, è chiaro che nessuno all'interno di Facebook desiderasse provocare una pulizia etnica; è del tutto verosimile che molti tra i dipendenti ignorassero addirittura l’esistenza del Myanmar.
Tuttavia, avendo fornito all'algoritmo un obiettivo generico (quale “l'aumentare l’engagement”) gli è stato dato il potere di scoprire autonomamente come l’odio facesse crescere i guadagni, e di conseguenza esso ha scelto la strategia di diffondere prevalentemente messaggi con un tale contenuto.
Il principio del paperclip maximizer non ha dunque bisogno della presenza di una AGI per far danni.
Yuval Noah Harari, che da tempo denuncia i rischi dell'utilizzo ingenuo delle nuove tecnologie, rimarca che qualora un algoritmo sia in grado di imparare da solo a diffondere contenuti di odio senza indirizzo umano esplicito, esso possa venir ad assumere una forma di responsabilità autonoma, seppur parziale.
"... anche solo l’1% di responsabilità attribuito all’algoritmo rappresenta il primo caso documentato di una campagna genocidaria a cui l’intelligenza non‑umana ha contribuito in modo determinante ..." - scrive in "Nexus".
"... la differenza tra la stampa e l’intelligenza artificiale autonomamente attiva sta nel fatto che la prima possa duplicare un testo ma non suggerire i contenuti al lettore, manipolarne l’attenzione o decidere cosa fargli vedere; gli algoritmi attuali invece lo fanno decidendo autonomamente cosa promuovere e diffondere ..."
Obiettivo iniziale: aumento dell’aggregazione utenti (“engagement”);
Meccanismo: l'algoritmo apprende che l’odio funziona meglio della compassione;
Autonomia algoritmica: scelta indipendente di promuovere contenuti d’odio;
Responsabilità attribuita: l'algoritmo ha parte della colpa per il genocidio;
Implicazioni generali: l'AI può diventare agente autonomo con conseguenze storiche.
Ora, specifica Yuval, questa dinamica - algoritmi che imparano a manipolare l’emotività umana per realizzare un profitto - non riguarda solo Facebook od i Rohingya, ma è l’emblema stesso del potere degli algoritmi autonomi nelle nostre società.
In un prossimo futuro essi potrebbero creare direttamente fake news, influencer e teorie cospirative, e così diventare elemento decisivo nei conflitti politici e sociali.
Come evitare questo tetro futuro?
Harari propone di introdurre una regolamentazione che si può riassume nei punti seguenti:
- Divieto o regolazione degli algoritmi di manipolazione dell’attenzione: porre cioè un limite alla libertà delle piattaforme digitali di usare algoritmi che manipolino l’attenzione per generare profitto, obiettivo ottenibile copiando la regolamentazione per la commercializzazione dei farmaci.
Se un algoritmo si dimostra in grado di alterare il comportamento umano obbligatoriamente, prima del suo utilizzo, deve venir testato, autorizzato ed in seguito monitorato.
- Separazione tra dati, algoritmi e interfacce: attuare una separazione strutturale tra tre livelli, dati personali, algoritmi di analisi e interfacce utente.
Nessuna singola entità dovrebbe poter controllare tutti e tre i livelli, come invece fanno oggi colossi come Meta, Google ed altri, ottenendo un incredibile potere di sorveglianza, manipolazione e distribuzione (che tra l'altro nessuno Stato democratico possiede).
- Obbligo di trasparenza algoritmica: le piattaforme che usano sistemi di raccomandazione automatica dovrebbero essere obbligate per legge a rendere pubblici gli obiettivi degli algoritmi (quali ad esempio “massimizzare engagement” o “aumentare vendite”), fornire audit indipendenti sugli effetti sociali degli algoritmi (simili a quelli ambientali) e consentire all’utente il controllo reale sull’algoritmo (ad esempio la possibilità di scegliere cosa gli venga raccomandato).
- Organizzare una supervisione internazionale: costituire una autorità internazionale indipendente sull’IA (sul modello dell’AIEA per il nucleare), capace di monitorare lo sviluppo delle AI avanzate, verificare che non vengano sviluppati strumenti di manipolazione di massa e fungere da arbitro tra Stati su dispute legate alla sorveglianza ed all’influenza digitale.
- Criminalizzare l’uso dell’IA per la manipolazione politica occulta: organizzare leggi internazionali che vietino l’uso dell’IA per la micro-profilazione politica, in quanto mina la democrazia ("... una persona manipolata da un’intelligenza artificiale non è un cittadino libero. È uno zombie politico ...", scrive Harari).
In particolare, critica la profilazione psicometrica e le “bombe di contenuti” personalizzati durante elezioni e campagne etniche.
Moratorie come quella proposta di recente dal Future of Life Institute (sospendere per 6 mesi lo sviluppo di nuove AI) non hanno avuto successo: solo una volontà politica specifica, che parte dalla consapevolezza dei rischi, può indirizzare la cooperazione internazionale a creare gli organi di controllo necessari a far rispettare la regolamentazione proposta da Harari.
Note:
(1) Autore del saggio "Superintelligenza" e conosciuto anche per il famoso "trilemma".
(2) Sull'argomento vedi anche "Vita 3.0" di Max Tegmark.
Nessun commento:
Posta un commento