Una scuola superiore in Cina ha realizzato un sistema di riconoscimento facciale che analizza il comportamento degli studenti in classe, lo registra e lo rende disponibile agli insegnanti e ai presidi. La cosa suscita molti interrogativi.
I fatti
La tecnologia di riconoscimento facciale introdotta da questa scuola registra le espressioni facciali di tutti gli studenti mentre stanno facendo lezione nelle loro classi. Il sistema esegue la scansione della classe ogni 30 secondi ed è in grado di riconoscere sette espressioni diverse e le categorizza secondo uno schema. Il sistema classifica il volto dello studente come neutrale, felice, triste, deluso, spaventato, arrabbiato o sorpreso.
Il sistema è stato chiamato "Intelligent Classroom Behavior Management System" ed è utilizzato presso la Hangzhou n. 11 High School. Il sistema non riconosce solo le espressioni facciali ma ha anche la capacità di analizzare sei tipi di comportamenti degli studenti: alzarsi in piedi, leggere, scrivere, alzare la mano, ascoltare l'insegnante e appoggiarsi sulla scrivania.
Le informazioni su come gli studenti reagiscono e si comportano nella classe quando un insegnante fa lezione vengono successivamente inviate agli insegnanti per analizzare in modo più efficiente il comportamento degli studenti. Il sistema - naturalmente - è anche usato per monitorare la presenza in classe degli alunni.
Il sistema è una sfida alla privacy dello studente, tuttavia, secondo la scuola cinese, l'idea presenta più vantaggi che minacce. Zhang Guanchao, vice preside della scuola, ha affermato che il sistema raccoglie e analizza solo i risultati del riconoscimento facciale e li memorizza in un database locale. I dati non sono caricati in alcun cloud. Inoltre per garantire qualsiasi uso distorto, il sistema non salva le immagini non consentendo alcun accesso non autorizzato ai dati.
Come prova ella positività del sistema la scuora riporta anche alcune testimonianze degli studenti. In particolare uno studente ha detto ai reporter:
"Prima dell'introduzione del sistema, se avevo lezioni che non mi piacevano molto, ero pigro e in alcuni caso facevo dei sonnellini sulla scrivania o sfogliavo altri libri di testo. Ma ora non oso essere distratto. Dopo che le telecamere sono state installate nelle aule è come se un paio di occhi misteriosi mi osservassero costantemente".
Guardando le telecamere installate nelle scuole in Cina, è un campanello d'allarme per le scuole in Pakistan. Dal momento che un sistema come questo aiuta gli insegnanti a ripensare il loro stile di insegnamento utilizzando dati statistici e segna la presenza della classe in pochi secondi.
Nuovi Panopticon?
Il Panopticon o panottico è un carcere ideale progettato nel 1791 dal filosofo e giurista Jeremy Bentham.
Il concetto della progettazione è di permettere a un unico sorvegliante di osservare (opticon) tutti (pan) i soggetti di una istituzione carceraria senza permettere a questi di capire se siano in quel momento controllati o no. Il nome si riferisce anche a Argo Panoptes della mitologia Greca: un gigante con un centinaio di occhi considerato perciò un ottimo guardiano.
L'idea del panopticon ha avuto una grande risonanza successiva, come metafora di un potere invisibile, ispirando pensatori e filosofi come Michel Foucault, Noam Chomsky, Zygmunt Bauman e lo scrittore britannico George Orwell nel romanzo 1984.
L'idea alla base del Panopticon (“che fa vedere tutto”) era quella che - grazie alla forma radiocentrica dell'edificio e ad opportuni accorgimenti architettonici e tecnologici - un unico guardiano potesse osservare (optikon) tutti (pan) i prigionieri in ogni momento, i quali non devono essere in grado di stabilire se sono osservati o meno, portando alla percezione da parte dei detenuti di un'invisibile onniscienza da parte del guardiano, che li avrebbe condotti ad osservare sempre la disciplina come se fossero osservati sempre. Dopo anni di questo trattamento, secondo Bentham, il retto comportamento "imposto" sarebbe entrato nella mente dei prigionieri come unico modo di comportarsi possibile modificando così indelebilmente il loro carattere. Lo stesso filosofo descrisse il panottico come "un nuovo modo per ottenere potere mentale sulla mente, in maniera e quantità mai vista prima" (Jeremy Bentham, Panopticon ovvero la casa d'ispezione, a cura di Michel Foucault e Michelle Pierrot, Venezia, Marsilio, 1983).
Michel Foucault
Nel suo saggio Sorvegliare e punire, Michel Foucault prenderà il panopticon come modello e figura del potere nella società contemporanea. L'architettura del panopticon sarebbe la figura di un potere che non si cala più sulla società dall'alto, ma la pervade da dentro e si costruisce in una serie di relazioni di potere multiple. Sotto il profilo delle relazioni di potere, attraverso l'invisibilità del controllo, il panopticon si ricollega anche all'Anello di Gige e alla Psicopolizia orwelliana.
Quali Prospettive nell'Intelligent Age?
David Lyon, sociologo e professore alla Queen’s University di Kingston, ha segnalato meglio e più di altri, riprendendo tutti gli aspetti del Panopticon, come all’evoluzione dei concetti di sorveglianza e privacy sia seguito un processo di “spettacolarizzazione del privato”, connesso a sua volta ad un meccanismo di spersonalizzazione del soggetto che la compie. Per quanto riguarda la trasformazione della sorveglianza e della privacy, lungamente trattata nel saggio The Electronic Eye: The Rise of Surveillance Society del 1994 e riassunta in un’intervista di qualche anno dopo, Lyon spiega:
In passato, la sorveglianza era l’oggetto su cui concentravano il loro interesse solo e soltanto poche istituzioni. Mi riferisco essenzialmente alla forze di polizia. Ora, tutte le istituzioni, dalla polizia alle imprese, dagli operatori di marketing alla scuola e alla sanità, svolgono una continua opera di monitoraggio sui comportamenti quotidiani, dal consumo al lavoro, dalle scelte etiche o religiose alle preferenze sessuali. In altri termini, è la vita sociale e le forme di vita individuali che sono messe sotto controllo. Allo stesso tempo, anche il significato di privacy muta. E se storicamente la riservatezza era lo spazio al riparo dallo sguardo pubblico, cioè una zona di immunità dalle ingerenze della società nella propria vita privata, attualmente per privacy si intende la ripresa di controllo del flusso dei propri dati personali (David Lyon, dall’intervista di Benedetto Vecchi pubblicata sul quotidiano Il manifesto del 15 novembre 2002).
Questa stretta sorveglianza collettiva è certamente favorita, promossa e moltiplicata nella sua portata dalle tecnologie digitali. Le videocamere permettono un controllo costante dei movimenti umani; le piattaforme virtuali permettono di ricostruire le attività sociali dei singoli, di metterli in comunicazione tra loro; i moduli statistici interattivi permettono una sorveglianza a basso costo e una ricostruzione sociologica del gusto, delle aspettative, delle tendenze; e poi ci sono i social network: così come i detenuti si adeguavano e assoggettavano alla disciplina al punto da introiettarla e seguirla per automatismo, sono le stesse microcellule dell’organismo sociale – le persone – a esporsi volontariamente e autonomamente alla monitoraggio, ad auto-schedarsi rendendo accessibili le informazioni sulle proprie attività, le proprie esperienze, le proprie ideologie, le proprie aspettative e persino le proprie emozioni.
Per Foucault, poi, l’invenzione del Panopticon è anche e soprattutto il simbolo di un momento di passaggio cruciale nella storia della cultura occidentale: l’idea di Bentham sancisce e simboleggia il passaggio da una società in cui la disciplina dei corpi e dei soggetti era riservata a situazioni gravi ed eccezionali (l’esempio che lui porta è quello della peste) a una società in cui la disciplina e la normazione sono processi “positivi”, che avvengono anche e soprattutto nella banalità della vita quotidiana di ciascuno.
Foucault è morto nel 1984, prima dell’avvento del World Wide Web. Ma leggendo oggi i suoi moniti sulla problematicità della visibilità (“La visibilità è una trappola!”), è difficile non chiedersi cosa avrebbe scritto sui social media e sul loro enorme potenziale come strumenti di normazione.
La questione della scuola cinese di fatto è solo un esempio state-driven di come un elemento come le AI in questo periodo, l'Intelligent Age come abbiamo già modo di definirlo, grazie ad algoritmi guardiani - cioè di profilazione e di predizione dei nostri comportamenti - sono i nuovi guardiani panoptici che tutto vedono e tutto controllano e costruiscono il carcere definitivo che chiuderà la nostra libertà in invisibili ma efficacissime prigioni digitali.
Se in Cina questa operazione può essere pensata come un'operazione di stato, in occidente è il mercato e i suoi colossi social come Facebook che possono diventare la prigione ideale.
Spetta a noi difendere e tutelare le nostre libertà e i nostri diritti. Dobbiamo garantire che le sanguinose battaglie che abbiamo combattuto tra Ottocento e Novecento, le battaglie per dire che siamo tutti uguali e abbiamo tutti gli stessi diritti, non siano cancellate da una cieca innovazione tecnologica.