Non esiste ancora uno standard comune su quale livello di trasparenza sia necessario per gli algoritmi che governano le AI per permettere a questi sistemi di prendere decisioni sulla nostra vita. Proviamo a guardare ad alcune prospettive sul tema.
In un certo senso, l'intelligenza artificiale agisce come uno specchio. Gli strumenti di apprendimento automatico sono progettati per rilevare i modelli e spesso riflettono gli stessi pregiudizi che già sappiamo esistere nella nostra cultura. Inoltre a volte si potrebbe pensare alle AI come dei "soggetti", volutamente utilizziamo questo termine che non ha carartterizzazioni umana prima facie, che a volte soffrono di apofenia.
L'apofenia è definibile come il riconoscimento di schemi o connessioni in dati casuali o senza alcun senso. Il termine è stato coniato nel 1958 da Klaus Conrad, che la definì come un'"immotivata visione di connessioni" accompagnata da una "anormale significatività".
Un classico esempio di apofenia è il vedere un volto nelle foto della superficie di Marte - nello specifico, pareidolia. Gli effetti sono algoritmi che possono produrre scelte ingiuste o sbagliate. Gli algoritmi possono essere sessisti, razzisti e perpetuare altre disuguaglianze strutturali presenti nella società. Ma a differenza degli umani, gli algoritmi non hanno alcun obbligo di spiegarsi per giustificare le loro azioni. Anzi, anche le persone che li costruiscono non sono sempre in grado di descrivere come funzionano.
Ciò significa che a volte le persone non riescono a capire perché hanno perso i loro benefit governativi per la sanità, hanno ricevuto un rifiuto per un prestito, non sono stati assunti o gli è stata negata la libertà provvisoria: queste sono tutte decisioni che al momento attuale sono prese in misura crescente da sistemi automatizzati. Peggio ancora, chi subisce queste scelte è in una condizione cje non gli permette di determinare se qualche pregiudizio abbia avuto un ruolo.
In risposta al problema dei bias delle AI e dei cosiddetti algoritmi "black box", molti esperti di machine learning , aziende tecnologiche e governi hanno chiesto maggiore equità, responsabilità e trasparenza al mondo dell'AI. Il reparto di ricerca del Dipartimento della Difesa si è interessato a sviluppare modelli di apprendimento automatico che possano spiegare, all'utente, più facilmente come prendono le decisioni. E aziende come Alphabet, IBM e la società di revisione KPMG stanno anche creando o hanno già costruito strumenti per spiegare come i loro prodotti AI arrivano alle conclusioni che indicano agli utenti.
Tuttavia stiamo ignorando un passaggio fondamentale. Non tutti siano d'accordo su ciò che possa costituire una spiegazione equa. Non esiste uno standard comune per quale livello di trasparenza sia sufficiente. Una banca ha bisogno di rilasciare pubblicamente il codice del computer dietro al suo algoritmo di prestito per essere veramente trasparente? Quale percentuale di imputati deve comprendere la spiegazione fornita su come funziona un sistema di AI che calcola il rischio di recidiva rispetto al crimine?
"La trasparenza algoritmica non è fine a se stessa", sostiene Madeleine Clare Elish, una ricercatrice che guida l'iniziativa Intelligence & Autonomy presso la Data & Society. "È necessario chiedere: trasparente a chi e per quale scopo? La trasparenza per amore della trasparenza non è sufficiente".
Nel complesso, i legislatori non hanno deciso quali diritti dovrebbero avere i cittadini quando si tratta di trasparenza nel processo decisionale algoritmico. Negli Stati Uniti esistono alcune normative volte a proteggere i consumatori, tra cui la Fair Credit Reporting Act, che richiede che le persone vengano informate del motivo principale per cui è stato loro negato il credito. Ma non c'è un ampio "diritto alla spiegazione" su come una macchina sia giunta a una conclusione sulla tua vita. Il termine appare nel regolamento generale sulla protezione dei dati dell'Unione europea (GDPR), una legge sulla privacy destinata a fornire agli utenti un maggiore controllo sul modo in cui le società raccolgono e conservano i loro dati personali, ma solo nella parte non vincolante. Il che significa che in realtà non esiste una legge in Europa.
Le carenze del GDPR non hanno tuttavia impedito a Sandra Wachter, avvocato e assistente professore di etica dei dati e regolamentazione di Internet presso l'Oxford Internet Institute, di esplorare quale potrebbe essere la forma di un diritto alla spiegazione in un prossimo futuro. In un articolo pubblicato sull'Harvard Journal of Law & Technology all'inizio di quest'anno, Wachter, insieme a Brent Mittelstadt e Chris Russell, sostengono che gli algoritmi dovrebbero offrire alle persone "spiegazioni controfattuali" o rivelare come sono giunti alla loro decisione e fornire il minimo cambiamento "che può essere fatto per ottenere il risultato desiderato" dal richiedente.
Ad esempio, un algoritmo che calcola le approvazioni di un prestito dovrebbe spiegare non solo il motivo per cui vi è stato negato il credito, ma anche cosa è possibile fare per invertire la decisione. Dovrebbe rendere evidente che è stato negato il prestito perché c'era troppo poco risparmio e fornire l'importo minimo di cui si dovrebbe disporre perché sia approvato. Offrire spiegazioni controfattuali non richiede che i ricercatori che hanno progettato un algoritmo rilascino il codice sorgente. Questo perché non si deve necessariamente capire come funziona un sistema di machine learning per sapere perché ha raggiunto una determinata decisione.
"Il timore dell'industria è che [le aziende] debbano rivelare il loro codice", afferma Wachter. "Ma se pensi alla persona che è effettivamente influenzata da [la decisione dell'algoritmo], probabilmente questa non pensa al codice. Invece è più interessata alla ragione particolari della decisione".
Le spiegazioni controfattuali potrebbero essere potenzialmente utilizzate per aiutare a concludere se uno strumento di apprendimento automatico è distorto. Ad esempio, sarebbe facile dire che un algoritmo che calcola il rischio di recidiva è pregiudizievole se ha indicato fattori come il gruppo etnico a cui appratiene un imputato o il codice di avviamento postale di residenza dello stesso nelle spiegazioni delel sue decisioni. Il documento di Wachter è stato citato dai ricercatori di Google AI e anche da quello che ora viene chiamato il Consiglio europeo per la protezione dei dati, l'organismo dell'UE che lavora sul GDPR.
Un gruppo di scienziati informatici ha sviluppato una variazione sulla proposta di spiegazioni controfattuali di Wachter, che è stata presentata questa estate alla conferenza della Conferenza internazionale per l'apprendimento automatico, la responsabilità e la trasparenza. Sostengono che, piuttosto che offrire spiegazioni, l'AI dovrebbe essere costruita per fornire capacità di fare "ricorso" o per dare la capacità alle persone di modificare in modo fattibile l'esito di una decisione algoritmica. Questa sarebbe la differenza, ad esempio, tra una domanda di lavoro negata che ha come esito di consigliarti di ottenere una laurea per ottenere l'impiego, rispetto a una che dice che è necessario modificare il sesso o l'età per avere quel risultato.
"Nessuno è d'accordo su cosa sia una 'spiegazione', e le spiegazioni non sono sempre utili", afferma Berk Ustun, l'autore principale del paper e un borsista post-doc all'Università di Harvard. Il ricorso, così come lo definiscono questi autori, invece è qualcosa che i ricercatori possono effettivamente testare.
Come parte del loro lavoro, Ustun e i suoi colleghi hanno creato un toolkit che gli scienziati e i policy maker possono utilizzare per calcolare se un algoritmo lineare prevede o meno il ricorso. Ad esempio, un'azienda sanitaria potrebbe vedere se la loro intelligenza artificiale usa cose come lo stato civile o la razza come fattori decisivi, cose che le persone non possono facilmente modificare. Il lavoro dei ricercatori ha già attirato l'attenzione dei funzionari del governo canadese.
Semplicemente perché un algoritmo offre il ricorso, tuttavia, non significa che sia giusto. È possibile che un algoritmo offra un ricorso più realizzabile alle persone più ricche, ai giovani o agli uomini. Una donna potrebbe aver bisogno di perdere molto più peso secondo una AI medica per offrirle un tasso di premio inferiore sulla sua assicurazione rispetto ad un uomo, per esempio. Oppure un algoritmo di prestito potrebbe richiedere che i candidati di alcune minoranze etniche abbiano più risparmi da approvare rispetto ad altri candidati.
"L'obiettivo di creare una società più inclusiva ed elastica può essere effettivamente ostacolato da algoritmi che rendono più difficile per le persone accedere alle risorse sociali", afferma Alex Spangher, uno dottorando presso la Carnegie Mellon University e un autore del paper.
Ci sono altri modi in cui l'intelligenza artificiale può agire in maniera ingiusta e che le spiegazioni o il ricorso da soli non risolverebbero. Questo perché, in primo luogo, fornire spiegazioni non fa nulla per affrontare le variabili che i sistemi automatici prendono in considerazione. Come società abbiamo ancora bisogno di decidere quali tipi di dati dovrebbe essere lecito e consentito usare per far fare inferenze agli algoritmi. In alcuni casi, le leggi sulla discriminazione possono impedire l'utilizzo di categorie come razza o genere, ma è possibile che i proxy per le stesse categorie siano ancora utilizzati, come i codici postali.
Le società raccolgono un sacco di tipi di dati, alcuni dei quali possono colpire i consumatori perché sono invasivi o irragionevoli. Ad esempio, un rivenditore di mobili dovrebbe essere autorizzato a prendere in considerazione il tipo di smartphone che si ha quando si determina se si può fare un finanziamento per fare quell'acquisto? Facebook dovrebbe essere in grado di rilevare automaticamente quando qualcuno pensa di suicidarsi? Oltre a sostenere il diritto alla spiegazione, Wachter ha anche scritto che abbiamo bisogno di un "diritto alle deduzioni ragionevoli".
Costruire un algoritmo equo, inoltre, non fa nulla per affrontare un sistema o una società più ampi che potrebbero essere ingiusti. A giugno, ad esempio, la Reuters ha riferito che la United States Immigration and Customs Enforcement - ICE - ha alterato un algoritmo utilizzato dal 2013 per raccomandare se un immigrato che deve affrontare la deportazione debba essere detenuto o rilasciato in attesa della data del suo tribunale. L'agenzia federale ha rimosso completamente la raccomandazione di "rilascio", anche se il personale avrebbe potuto comunque scavalcare la decisione del computer , il che ha contribuito ad aumentare il numero di immigrati detenuti. Anche se l'algoritmo fosse stato progettato in modo equo (e i ricercatori hanno scoperto che non lo era), ciò non avrebbe impedito che questo venisse modificato.
Il punto è che la domanda su cosa significa algoritmo equo non ha una risposta che è solo tecnica. Quello che sembra importare è quali processi sociali sono in atto attorno all'algoritmo e su cosa l'algoritmo sta effettivamente decidendo. La questione si sposta allora dai data scientist e dai tecnici informatici a tutta la società. Serve un'algor-etica che sappia irraggiare e rendere equi i processi decisionali algoritmici o umano-algoritmici.