Nel sistema giudiziario americano si utilizzano dei software che assistono le corti nel calcolare una percentuale di rischio che il soggetto che è sotto giudizio possa ricommettere in futuro dei crimini. Questi programmi informatici - chiamati di risk assessments - sono ampiamente utilizzati in tutto il sistema penale statunitense. Gli algoritmi di calcolo del rischio di recidiva vengono usati per assistere nella decisione di chi può rimanere in libertà in ogni momento del procedimento giudiziale: dalla determinazione della cauzione fino a decisioni fondamentali sulla libertà dell'imputato. In particolare poi nelle corti dell'Arizona, del Colorado, del Delaware, del Kentucky, della Louisiana, dell'Oklahoma, della Virginia, di Washington e del Wisconsin, i risultati di questi calcoli di rischio sono consegnati al giudice come elemento nel determinare la sentenza penale.
La valutazione del rischio di recidiva è spesso fatta insieme a una valutazione dei bisogni riabilitativi del soggetto. Il National Institute of Correction, la sezione che si occupa delle carceri per il Ministero di Giustizia USA, incoraggia l'utilizzo di queste valutazioni combinate in ogni momento del processo penale e il Congresso è al lavoro per approvare queste valutazioni anche nelle prigioni federali.
ProPublica, un agenzia stampa indipendente e no-profit, che si occupa di giornalismo investigativo e che ha nel suo statuto la missione di: "portare alla luce gli abusi di potere e il tradimento della fiducia pubblica da parte del governo, del mondo degli affari e di altre istituzioni, ha deciso di investigare su questi sistemi.
ProPublica ha avuto accesso, in forza delle leggi sulla trasparenza, alle valutazioni di rischio fatte per oltre 7.000 persone arrestate nella contea di Broward in Florida tra il 2013 e il 2014 controllando quante di queste hanno commesso ulteriori crimini nei due anni seguenti. La scelta è stata fatta sullo stesso campione che l'azienda creatrice degli algoritmi ha utilizzato per valutare l'efficienza e l'efficacia del software.
Le sorprese sono arrivate dall'analisi dei dati. In primo luogo solo il 20% di coloro che erano stati indicati come potenziali recidivi ha realmente commesso ulteriori crimini. Quando sono stati presi in esame un numero maggiore di reati - compresi reati minori quali la guida con una patente scaduta - l'algoritmo ha mostrato tassi di accuratezza poco superiori al tasso di certezza che si avrebbe nell'indovinare il risultato di un lancio di una moneta. Di coloro che erano stati indicati come possibili recidivi solo il 61% è stato arrestato nei due anni seguenti.
Ancora più sconcertante è stata la valutazione dei dati scomposti per gruppi etnici: l'algoritmo è particolarmente fallace nell'indicare i giovani accusati neri come futuri criminali con un tasso doppio di errore rispetto ai bianchi e gli accusati bianchi sono stati individuati erroneamente a basso rischio più spesso degli accusati neri.
Qualcuno potrebbe pensare che questa disparità sia stata indotta dai crimini che gli accusati avevano perpetrato in precedenza. La fedina penale in realtà non c'entra. ProPublica ha condotto esami che hanno isolato l'effetto della classificazione etnica dalla fedina penale e dal recidivismo e consequenzialmente dall'età e dal sesso. I risultati sono stati sorprendenti: in quest analisi normalizzata gli accusati neri si sono rivelati avere il 77% di probabilità in più di essere indicati con rischio maggiore di commettere futuri crimini violenti.
Una nota interessante che riporta ProPublica è che l'algoritmo è stato sviluppato da una società commerciale (for profit) la Northpointe che ha contestato in pieno l'analisi statisti di ProPublica.
La vicenda si presta a esemplificare alcune considerazioni etiche rilevanti sul mondo della tecnologia e sull'uso diffusivo di algoritmi predittivi per le scelte umane.
In primo luogo dobbiamo chiederci se questa capacità - presunta o reale - delle macchine ci possa permettere di mettere in atto sistemi legali predittivi. L'essere capaci di indicare dei profili statistici rischia di trasformare una giustizia basata sul crimine commesso in un sistema di polizia fondato sul sospetto degno dei peggiori incubi orwelliani.
In secondo luogo dobbiamo mettere a fuoco il fatto che gli algoritmi possono portare dei "pregiudizi" - di calcolo non morali - che applicati su larga scala possono dare luogo a vere e proprie ingiustizie sociali o discriminazioni.
In terzo luogo ci dobbiamo chiedere se algoritmi che regolano questioni chiave come l'amministrazione della giustizia possono essere resi invisibili perché protetti da dinamiche di proprietà intellettuale e copyright sottraendoli di fatto alla trasparenza e al controllo delle diverse componenti della società civile.
Il caso sollevato da ProPublica è un esempio lampante di come le tecnologie informatiche - specie quelle legate ai big data, al machine learning e all'intelligenza artificiale - trasformano le nostre società. Ma se il futuro potrà essere migliore, più giusto e desiderabile dipende solo dalla nostra gestione dell'innovazione.
Solo un'innovazione che diventa autentico sviluppo umano sarà realizzare un futuro migliore evitando incubi distopici.