Uno scenario...
Lo scorso 14 giugno 2014 il Consiglio di Stato cinese ha pubblicato un documento chiamato Progetto di pianificazione per la costruzione di un sistema di credito sociale. Come la maggior parte dei documenti politici e programmatici del governo cinese si presenta come un testo lungo e austero ma conteneva un'idea radicale e sbalorditiva: creare un punteggio che misuri la fiducia nelle persone e classifichi i cittadini.
Immaginate un mondo in cui molte delle nostre attività quotidiane siano costantemente monitorate e valutate: da quello che acquistiamo nei negozi e/o on-line; dove siamo o dove siamo stati; chi sono i nostri amici e come interagiamo con loro; quante ore abbiamo passato a guardare contenuti on-line o a giocare a videogiochi; quali bollette e tasse abbiamo pagato (e quali no!!!).
Non è difficile immaginare questo scenario, perché la maggior parte di questo già sarebbe possibile, grazie a tutte le giganti raccolte di dati fatte da Google, Facebook e Instagram o da le applicazioni di monitoraggio della salute come Fitbit, Garmin o Nokia Health.
Ma ora immaginiamo un sistema in cui tutti questi comportamenti siano non solo raccolti e conservati nei database di profilazione ma classificati come positivi o negativi e trasformati in un unico numero - un'indice di profilazione - secondo parametri e regole fissate dal governo. Questo creerebbe quello che potremmo chiamare Citizen Score e sarebbe il nostro biglietto da visita che comunica a chi incontriamo se siamo affidabili o meno. Inoltre il rating personale sarà inserito in una classifica pubblica e confrontabile con quello dell'intera popolazione. A questo punto il punteggio Citizen può venire utilizzato per determinare l'ammissibilità per un prestito, l'idoneità per un lavoro, dove i figli possono andare a scuola o anche solo se è il caso o meno di fissare un appuntamento galante.
Una visione futuristica stile Grande Fratello impazzito? No, è già in corso in Cina, dove il governo sta sviluppando il Sistema di Credito Sociale (SCS) per valutare la fiducia da riporre nei suoi 1,3 miliardi di cittadini. Il governo cinese sta lanciando il sistema come - parafrasando le parole del documento in questione - un modo desiderabile per misurare e migliorare la "fiducia" a livello nazionale e per costruire una cultura di "sincerità". Come afferma il governo cinese in questo documento programmatico e negli attuali sviluppi tecnologici dello stesso, il sistema "creerà un ambiente di opinione pubblica dove mantenere la fiducia è gloriosa, rafforzerà la sincerità negli affari governativi, la sincerità commerciale, la sincerità sociale e la costruzione della credibilità giudiziaria".
Scenari distopici?
Questa nuova applicazione social del governo cinese potrebbe essere stata estratta direttamente da una puntata distopica della celebre serie Black Mirror. Alcuni commentatori sono meno impulsivi e guardano alla cosa invitando a vedere uno scenario ampio. Johan Lagerkvist, specialista sulla Cina dello Swedish Institute of International Affairs, lo descrive come un progetto "molto ambizioso sia nella profondità che nel campo di applicazione [...] È la profilazione dei consumatori che già fa Amazon con una tocco di politica orwelliana". Rogier Creemers, un post-dottorato specializzato in diritto e politica cinese presso l'Istituto Van Vollenhoven dell'Università di Leiden, che per primo ha pubblicato una traduzione completa del piano, ha detto che assomiglia a un mix tra "le recensioni di Yelp e una vecchia zia che ti controlla dietro le spalle".
Per ora, tecnicamente, la partecipazione a questo Citizen Scores cinese è su base volontaria. Ma entro il 2020 sarà obbligatorio. Il comportamento di ogni singolo cittadino e persona giuridica (quindi includendo nel database tutte le società o altre entità simili) in Cina sarà valutato e classificato indipendentemente dal volere dei singoli soggetti.
Chi sono gli attori?
Prima del roll-out nazionale, previsto appunto nel 2020, il governo cinese sta procedendo con vari tentativi, incluso il subappalto, per trovare la formula vincente. In questo matrimonio tra vigilanza da vecchio regime comunista e il capitalismo attuale dei distretti tecnologici cinesi, il governo ha concesso una licenza a otto società private per elaborare sistemi e algoritmi per i punteggi di credito sociale. I giganti dei Big Data cinesi più noti attualmente gestiscono due dei progetti più avanzati.
Il primo è una joint venture di China Rapid Finance, partner del gigante Tencent sviluppatore dell'applicazione di messaggistica WeChat con più di 850 milioni di utenti attivi. L'altro, Sesame Credit, è gestito dal gruppo Ant Financial Services (AFSG), società affiliata di Alibaba. Ant Financial vende prodotti assicurativi e fornisce prestiti alle piccole e medie imprese. Tuttavia, la vera star di questa operazione di controllo sociale mediante reti sociali che sta sviluppando la AFSG è AliPay, il suo ramo di pagamenti che la gente utilizza non solo per acquistare le cose on-lie, ma anche per ristoranti, i taxi, le tasse scolastiche,i biglietti del cinema e per trasferire denaro tra privati.
Sesame Credit ha anche esteso la sua operabilità anche con altre piattaforme che generano dati, come Didi Chuxing, la compagnia di corsa che è il principale concorrente di Uber in Cina e Baihe, il più grande servizio di incontri e ricerca di partner online del paese . Non è difficile capire come tutto questo comporti grandi quantità di dati che Sesame Credit può sfruttare per valutare come le persone si comportano e profilarle di conseguenza.
Come sono valutate le persone?
Su Sesame Credit gli individui sono misurati con un punteggio compreso tra 350 e 950 punti. Alibaba non divulga l'"algoritmo complesso" che utilizza per calcolare il numero ma rivelano i cinque fattori presi in considerazione. La prima è la credit history - il tracciato dei crediti e dei pagamenti di una persona che dimostra la capacità o meno di ripagare nei tempi congrui i debiti fatti. Per Alibaba questa storia deve tracciare se il cittadino paga l'elettricità o la bolletta telefonica in tempo. Un secondo parametro riguarda la capacità di adempimento, che Alibaba definisce nelle sue linee guida come "la capacità di un utente di adempiere ai propri obblighi contrattuali". Il terzo fattore sono le caratteristiche personali, verificando informazioni personali come il numero di cellulare e l'indirizzo. La quarta categorie, il comportamento e le preferenze personali, è dove il sistema si fa più interessante.
In questo sistema, qualcosa di innocuo come le abitudini commerciali di una persona diventano una misura di carattere e di bontà o malizia della persona. Alibaba e Sesame Credit ammettono tranquillamente che i loro algoritmi giudicano le persone per i tipi di prodotti che acquistano. "Ad esempio, qualcuno che gioca videogiochi per dieci ore al giorno, sarebbe considerato dal nostro software una persona inattendibile", afferma Li Yingyun, direttore tecnologico di Sesame. "Qualcuno che acquista spesso i pannolini sarebbe considerato probabilmente un genitore, quindi una persona equilibrata e quindi è più probabile che abbia un certo senso di responsabilità". Così però applicare questo sistema non solo è un modo per indagare il comportamento ma diviene un modo anche per formare o spingere a un certo comportamento. Di fatto con lo SCS il governo può spingere i cittadini lontano dagli acquisti e dai comportamenti che non ama o favorire quelli che ritiene opportuni (altro che Nudge Theory di Richard Thaler....). La quinta categoria sono le relazioni interpersonali. Cosa dice la scelta di amici online e le sue interazioni su la persona che viene valutata? Condividere ciò che Sesame Credit descrive come "energia positiva" online, bei messaggi sul governo o quanto bene l'economia del paese sta andando, farà crescere il punteggio.
Alibaba è convinto che, attualmente, qualsiasi cosa negativa pubblicata sui social media non influisca sui punteggi (non sappiamo se questo è vero o no perché l'algoritmo è segreto). Ma avremo conferma certa di questo quando il sistema del governo sarà lanciato ufficialmente nel 2020. Anche se non ci sono indizi al momento che una delle otto società private coinvolte nel progetto pilota in corso sarà in ultima analisi la responsabile nel gestire il programma governativo è difficile credere che il governo cinese non voglia estrarre la massima quantità di dati dagli SCS pilota. Se ciò dovesse accadere e proseguire come prassi normale di fatto si avranno piattaforme private che agiscono essenzialmente come agenzie di spionaggio per il governo. Pubblicare sui social pareri politici dissidenti o collegamenti che citano Piazza Tiananmen non è mai stato saggio o prudente in Cina, ma ora potrebbe danneggiare direttamente il rating di un cittadino. Ma ecco la vera novità, il game changer per usare un'espressione tecnica: il punteggio di una persona sarà anche influenzato da ciò che i suoi amici in on-line dicono e fanno, oltre al proprio contatto con queste persone. Se qualcuno è collegato a un post con un commento negativo, il suo punteggio sarà a sua volta trascinato verso il basso.
Perché esistono volontari per questi progetti pilota?
Quindi perché milioni di persone hanno già accettato di essere parte del test di un sistema pubblico di sorveglianza? Ci sono una serie di ragioni nascoste e non dichiarate - la paura di rappresaglie, per esempio, per coloro che non accettano - ma c'è anche un incentivo, sotto forma di ricompense e privilegi speciali per quei cittadini che si dimostrano a essere "affidabili" sul Sesame Credit. Se il punteggio raggiunge i 600, si può prendere un prestito da Just Spend fino a 5.000 yuan (circa 700 euro) da utilizzare per acquistare online, purché sia sul sito di Alibaba... Raggiungere 650 punti significa poter noleggiare un'auto senza lasciare un deposito e si è inoltre autorizzati al check-in più veloce negli alberghi e all'utilizzo del check-in VIP al Beijing Capital International Airport. Coloro che hanno più di 666 punti possono ottenere un prestito in denaro fino a 50.000 yuan (7000 euro), ovviamente da Ant Financial Services. Sopra 700 punti si possono richiedere viaggi a Singapore senza documenti giustificativi, come serve attualmente. Chi ha 750 punti ottiene la possibilità di chiedere in una corsia veloce un visto per i paesi dell'area Schengen paneuropea. Possiamo capire l'SCS come una sorta di figlio bastardo di un sistema di fedeltà commerciale o di un frequent flyers.
I punteggi più alti sono già diventati uno status symbol in Cina: ci sono quasi 100.000 persone che vantano i loro punteggi su Weibo (l'equivalente cinese di Twitter) a pochi mesi dal lancio. Un punteggio elevato in questo Citizen Score può anche influenzare le probabilità di ottenere un appuntamento con un partner dell'altro sesso o addirittura di matrimonio, perché più elevato è il rating su Sesame Credit, migliore è il profilo per un matching affettivo su Baihe.
Sesame Credit offre già suggerimenti per aiutare gli inscritti a migliorare la classifica, incluso un avvertimento speciale per i disagi causati da un'amicizia con qualcuno che ha un punteggio basso. Ciò potrebbe portare addirittura alla nascita di nuove professioni come i consiglieri di punteggio, che suggeriscano come ottenere più punti o consulenti di reputazione disposti a offrire consigli esperti su come migliorare strategicamente una classifica o scendere dalla lista nera della fiducia.
Quali scenari?
Di fatto il Sesame Credit è fondamentalmente una versione 2.0 dei metodi di sorveglianza del Partito Comunista: quello che prima accadeva con dossier analogici accadrà con i dossier digitali. Probabilmente assisteremo alla nascita di un mercato nero di punteggi di reputazione che venderanno modi sottobanco per aumentare il proprio Citizen Score. Come il governo potrà mantenere sicuro il sistema? Gli hacker - alcuni addirittura pagati da stati o potenze straniere - potrebbero cambiare o rubare le informazioni digitalmente memorizzate.
Cosa significa tutto questo?
Il nuovo sistema cinese riflette un cambiamento paradigmatico. Invece di cercare di far rispettare la stabilità del sistema sociale o la conformità a dei modelli di comportamento con un grande bastone e una buona dose di paura dall'alto, il governo sta tentando di far sentire l'obbedienza come un gioco. È un metodo di controllo sociale travestito in alcuni punti-chiave da gioco a ricompensa. È un'obbedienza stile gioco d'azzardo. In un quartiere alla moda nel centro di Pechino, la BBC in strada nell'ottobre 2015 ha chiesto alle persone cosa pensassero di Sesame Credit. La maggior parte ne ha parlato benissimo. Ma chi avrebbe avuto il coraggio di criticare pubblicamente il sistema senza aver paura di perdere il punteggio? In modo allarmante dalle interviste si capisce come poche persone hanno che un brutto punteggio potrebbe danneggiarli in futuro. Ancora più preoccupante è constataare quante persone non avevano idea di essere state valutate. Ad oggi Sesame Credit non penalizza direttamente gli utenti per essere "non attendibili" ma Hu Tao, direttore generale del sistema, avverte che il sistema è stato progettato in modo che "persone non attendibili non possano noleggiare un'auto, non possono prendere in prestito denaro o addirittura non trovino lavoro". Le sanzioni sono destinate a cambiare drammaticamente quando il sistema governativo diventerà obbligatorio nel 2020. Infatti, il 25 settembre 2016, l'Ufficio generale del Consiglio di Stato ha aggiornato la sua politica intitolata "Meccanismi di avvertimento e punizione per le persone soggette all'esecuzione per la truffa". Il principio imperativo è semplice: "Se la fiducia è rotta in un unico luogo, le restrizioni vengono imposte ovunque", afferma il documento programmatico. Ad esempio, le persone con indici bassi avranno velocità più basse di Internet; accesso limitato a ristoranti, locali notturni o campi da golf; e la soppressione del diritto di viaggiare liberamente all'estero. I cittadini con punteggi più bassi non saranno assunti da alcuni datori di lavoro e saranno proibiti l'ottenimento di alcuni posti di lavoro, inclusi nel servizio pubblico, nel giornalismo e in ambiti legali. Secondo Luciano Floridi, professore di filosofia e di etica dell'informazione presso l'Università di Oxford e direttore di ricerca presso l'Oxford Internet Institute, ci sono stati tre rivoluzioni che hanno alterato la nostra visione del mondo e la nostra auto-comprensione: la rivoluzione copernicana; la teoria di Darwin sulla selezione naturale; e la pretesa di Freud che le nostre azioni quotidiane siano controllate dalla mente inconscia. Floridi ritiene che siamo di fronte a una quarta rivoluzione. Quello che facciamo on-line e offline si fonde con la nostra vita fisica. La nostra società diventa sempre un mix di esperienze fisiche e virtuali, stiamo acquisendo una personalità onlife - un mix tra on-line e life.
Il sistema di fiducia SCS cinese è ancora su base volontaria, ma ha già conseguenze reali. Nel febbraio del 2017, la Corte Suprema del Popolo Cinese ha annunciato che a 6,15 milioni di cittadini sono stati vietati di intraprendere voli durante gli ultimi quattro anni per "malattie sociali". Il divieto è indicato come un passo verso la lista nera del SCS. "Abbiamo firmato un memorandum ... [con oltre] 44 dipartimenti governativi per limitare le persone 'screditate' a più livelli", afferma Meng Xiang, capo del dipartimento esecutivo della Corte Suprema. Un'altra blacklist di 1,65 milioni di persone non da accesso ai treni.
Dove questi sistemi sono particolarmente preoccupanti è nel fatto che gli algoritmi di fiducia utilizzati sono ingiustamente riduttivi. Non tengono conto del contesto. Ad esempio, una persona potrebbe mancare di pagare un conto o una multa perché era in ospedale; un altro può semplicemente essere un approfittatore. In questo riduzionismo degli algoritmi che sta tutta lasfida della digitalizzazione del mondo: di tutto il mondo non solo dei cinesi. Se l'adozione di algoritmi di profilazione deve essere ineluttabile per poter continuare nell'evoluzione digitale, dobbiamo capire come fare a non perdere le sfumature che di fatto sono non parti secondarie ma qualità essenziali del nostro essere. Le incongruenze e le contraddizioni degli esseri umani sono la realtà e lanostra unicità e bellezza, non riduciamoli a un semplice difetto di calcolo.
E l'Occidente?
Potremmo essere tentati di vedere l'SCS della Cina come la realizzazione di 1984 di Orwell fusa con l'estrema sintesi degli studi sui cani di Pavlov: se "funzioni" come un buon cittadino sarai ricompensato e potrai divertirti. Vale la pena ricordare, tuttavia, che i sistemi di punteggio personale sono stati presenti in Occidente per decenni. Più di 70 anni fa, due uomini chiamati Bill Fair e Earl Isaac hanno inventato i punteggi di credito per le credit history americane. Oggi le aziende utilizzano questi punteggi per determinare molte decisioni finanziarie, tra cui il tasso di interesse sull'ipoteca o se si può accedere a un prestito. Parlare a noi occidentali del sistema di credito sociale cinese produce risposte ferventi e viscerali. Tuttavia abbiamo già valutato ristoranti, film, libri e persino medici con punteggi on-line. Facebook è già in grado di identificarci in immagini senza vedere il nostro volto: ha bisogno solo dei tuoi vestiti, dei capelli e della tua siluette per identificare un'immagine con un'accuratezza del 83%. Nel 2015, l'OCSE ha pubblicato uno studio che rivelava che negli Stati Uniti ci sono almeno 24,9 dispositivi connessi per 100 abitanti. Tutti i tipi di aziende esaminano i "grandi dati" emessi da questi dispositivi per comprendere le nostre vite e desideri e predire le nostre azioni in modi in cui non possiamo nemmeno prevedere noi stessi.
I governi di tutto il mondo sono già impegnati in attività di monitoraggio e valutazione. Negli Stati Uniti, l'Agenzia Nazionale per la Sicurezza (NSA) non è l'unico occhio digitale ufficiale che segue i movimenti dei suoi cittadini. Nel 2015, l'US Transportation Security Administration ha proposto l'idea di ampliare i controlli di tipo PreCheck per includere i dati provenienti da social media, i dati sulla posizione e la cronologia degli acquisti. L'idea è stata scartata dopo le pesanti critiche , ma questo non significa che sia morta. Viviamo già in un mondo di algoritmi predittivi che determinano se siamo una minaccia, un rischio, un buon cittadino e anche se siamo affidabili. Ci stiamo avvicinando al sistema cinese - l'espansione del punteggio di credito alla vita - anche se non sappiamo che siamo in questa condizione.
Questo post è un estratto rielaborato di Who Can You Trust? How Technology Brought Us Together and Why It Might Drive Us Apart apparso su Penguin Portfolio a firma Rachel Botsman e pubblicato il 4 ottobre 2017. Da quando iè stato pubblicato la Banca popolare cinese ha prorogato le licenze alle otto compagnie che conducono i progetti pilota di credito sociale. I piani del governo per lanciare il sistema dei crediti sociali nel 2020 rimangono ad oggi invariati.