Le tecniche di machine learning che utilizziamo oggi e che ottengono i risultati più brillanti sono strutturate in analogia a come il nostro sistema visivo elabora le informazioni provenienti dalla retina. Se i risultati ottenuti sono stati brillanti e non smettono di sorprenderci giorno dopo giorno tuttavia non sono applicabili ad ogni problema né possono essere implementate per ogni applicazione. Per superare i loro limiti, gli scienziati propongono di trarre ispirazione dal sistema olfattivo.
Prendiamo il via per queste riflessioni da un articolo pubblicato da Quanta e cerchiamo di delineare gli scenari che si aprono. Gli odierni sistemi di intelligenza artificiale, comprese le reti neurali artificiali, sono ampiamente ispirate ai neuroni e alle connessioni del sistema nervoso. Queste AI svolgono meravigliosamente compiti con vincoli noti. Inoltre, tendono a richiedere molta potenza di calcolo e una grande quantità di dati di addestramento. Tutto ciò serve a renderli bravi a giocare a scacchi o a Go, a scoprire se c'è un'auto in un'immagine, a differenziare tra le raffigurazioni di cani e gatti. "Ma sono piuttosto patetici nel comporre musica o scrivere racconti", rileva Konrad Kording, neuroscienziato computazionale all'Università della Pennsylvania. "Hanno grandi problemi a ragionare in modo significativo nel mondo".
Per superare questi limiti, alcuni gruppi di ricerca stanno tornando a guardare al cervello per trovare nuove idee e nuovi modelli nell'elaborazione dei dati. Un gruppo di questi sta scegliendo ciò che a prima vista potrebbe sembrare un improbabile punto di partenza: il modo con cui percepiamo gli odori o l'olfatto. Gli studiosi cercano di comprendere meglio come gli organismi elaborano le informazioni chimiche e hanno scoperto strategie di codifica che sembrano particolarmente rilevanti per i problemi che troviamo oggi nello sviluppare l'AI. Inoltre, i circuiti olfattivi presentano sorprendenti somiglianze con regioni cerebrali più complesse che sono state già oggetto di interesse nella ricerca per realizzare macchine migliori.
Gli informatici stanno ora iniziando a sondare queste scoperte in contesti di apprendimento automatico.
Tra colpi di fortuna e rivoluzioni Oggi le tecniche di machine learning che sono allo stato dell'arte sono state costruite almeno in parte per imitare la struttura del sistema visivo, che si basa sull'estrazione gerarchica delle informazioni. Quando la corteccia visiva riceve dati sensoriali, per prima cosa rileva caratteristiche piccole e ben definite: bordi, trame, colori, che implicano la mappatura spaziale. I neuroscienziati David Hubel e Torsten Wiesel hanno scoperto negli anni '50 e '60 che specifici neuroni nel sistema visivo corrispondono all'equivalente di specifiche posizioni di pixel nella retina, una scoperta per la quale hanno vinto un premio Nobel.
Quando le informazioni visive passano attraverso strati di neuroni corticali, i dettagli su bordi e trame e colori si uniscono per formare rappresentazioni sempre più astratte dell'input. Ad esempio prima si produce la rappresentazione che identifica l'oggetto come un volto umano e poi che l'identità del volto è di quella precisa persona che conosciamo. Ogni livello della rete neurale aiuta l'organismo a raggiungere questo obiettivo.
Le deep neural network sono state costruite per funzionare in un modo gerarchico simile e hanno portato a una rivoluzione nell'apprendimento automatico e nella ricerca sull'intelligenza artificiale. Per insegnare a queste reti a riconoscere oggetti come i volti, vengono alimentate con migliaia di immagini di esempio. Il sistema rafforza o indebolisce le connessioni tra i suoi neuroni artificiali per determinare con maggiore precisione che una determinata collezione di pixel costituisce un modello più astratto di una faccia. Con un numero sufficiente di campioni, è in grado di riconoscere i volti in nuove immagini e in contesti che non ha mai visto prima.
I ricercatori hanno avuto un grande successo con queste reti, non solo nella classificazione delle immagini, ma anche nel riconoscimento vocale, nella traduzione linguistica e in altre applicazioni di apprendimento automatico. Tuttavia, ricercatori come Charles Delahunt, che lavora presso il Computational Neuroscience Center dell'Università di Washington, ammettono apertamente: "mi piace pensare a reti profonde come treni merci. Sono molto potenti, a patto che si abbia un terreno abbastanza pianeggiante, dove poter stendere i binari e avere un'infrastruttura enorme. Ma sappiamo che i sistemi biologici non hanno bisogno di tutto questo - che possono gestire problemi difficili che le deep neural networks non possono in questo momento".
Pensiamo a un tema caldo nel mondo dell'AI: le auto a guida autonoma. Mentre un'auto si muove in un nuovo ambiente in tempo reale - un ambiente in continua evoluzione, pieno di rumore e ambiguità - le tecniche di deep learning ispirate al sistema visivo potrebbero non essere all'altezza del compito che gli si chiede. Forse i metodi basati unicamente sulla visione, quindi, non sono la strada giusta da percorrere. Imitare il modello della visione, una struttura dominante, era il frutto di una intuizione in parte incidentale, "un colpo di fortuna storico", come rileva Adam Marblestone, un biofisico del Massachusetts Institute of Technology. È stato il sistema biofisico che gli scienziati hanno compreso meglio, con chiare applicazioni per attività di machine learning basate su immagini.
Ricorda però Saket Navlakha, un informatico del Salk Institute for Biological Studies in California, "ogni tipo di stimolo non viene elaborato allo stesso modo. La visione e l'olfazione sono tipi di segnali molto diversi, per esempio. [...] Quindi potrebbero esserci diverse strategie per gestire diversi tipi di dati. Penso che ci potrebbero essere molti più modelli oltre a studiare come funziona il sistema visivo".
Navlankha e altri stanno iniziando a dimostrare che i circuiti olfattivi degli insetti possono contenere alcune di questi modelli. La ricerca sull'olfatto non è iniziata fino agli anni '90, quando i biologi Linda Buck e Richard Axel, entrambi della Columbia University all'epoca, scoprirono i geni per i recettori degli odori. Da allora, tuttavia, il sistema olfattivo è diventato particolarmente ben caratterizzato, ed è qualcosa che può essere studiato facilmente nelle mosche e in altri insetti. Secondo alcuni scienziati, è trattabile in un modo in cui i sistemi visivi non sono trattabili, per studiare le sfide computazionali generali.
Delahunt sostiene che esistono vantaggi peculiari per spostare l'attenzione su questo sistema biologico: "Lavoriamo sull'olfatto perché è un sistema finito che puoi caratterizzare in maniera relativamente completa".
Per Michael Schmuker, neuroscienziato computazionale presso l'Università dell'Hertfordshire in Inghilterra: "possiamo già fare cose così fantastiche con la visione. Forse potremo fare cose fantastiche anche con l'olfatto".
Reti casuali e sparse L'olfatto differisce dalla visione su molti fronti. Gli odori non sono strutturati. Non hanno bordi; non sono oggetti che possono essere raggruppati nello spazio. Sono miscele di composizioni e concentrazioni variabili e sono difficili da classificare come simili o diversi tra loro. Pertanto, non è sempre chiaro quali caratteristiche dovrebbero attirare l'attenzione.
Questi odori sono analizzati da una rete neurale poco profonda, a tre strati, che è considerevolmente meno complessa della corteccia visiva. I neuroni nelle aree olfattive campionano a caso l'intero spazio del recettore e non delle regioni specifiche in una gerarchia. Impiegano ciò che Charles Stevens, un neurobiologo del Salk Institute, definisce una "antimap". In un sistema mappato come la corteccia visiva, la posizione di un neurone rivela qualcosa sul tipo di informazioni che trasporta. Ma nell'antimap della corteccia olfattiva, non è così. Invece, le informazioni sono distribuite in tutto il sistema e la lettura di questi dati implica il campionamento da un numero minimo di neuroni. Una antimap è ottenuto attraverso ciò che è noto come una sparsa rappresentazione di informazioni in uno spazio dimensionale superiore.
Ad esempio il circuito olfattivo del moscerino della frutta è così composto: 50 neuroni di proiezione ricevono input da recettori sensibili a diverse molecole. Un singolo odore eccita diversi neuroni diversi, e ogni neurone rappresenta una varietà di odori. È un numero enorme di informazioni, di rappresentazioni sovrapposte, che a questo punto è rappresentato in uno spazio a 50 dimensioni. Le informazioni vengono quindi proiettate in modo apparentemente casuale su 2.000 cellule cosiddette Kenyon, che codificano particolari profumi. Nei mammiferi questi segnali sono elaborati dalle cellule di quella che è nota come la corteccia piriforme. Ciò costituisce un'espansione di dimensioni di 40 volte che rende più facile distinguere gli odori in base agli schemi delle risposte neurali.
"Diciamo che si hanno 1.000 persone in una stanza e si voglia organizzarle per hobby", ha detto Navlakha cercando di spiegare questo processo con un esempio, "Certo, in questo spazio affollato, si potrebbe essere in grado di trovare un modo per strutturare queste persone in gruppi. Ma se li si avesse diffusi su un campo di calcio si avrebbe tutto questo spazio in più per lavorare e strutturare i dati".
Torniamo al nostro insetto. Una volta che il circuito olfattivo del moscerino ha fatto questa espansione, deve trovare un modo per identificare gli odori distinti con i neuroni non sovrapposti. questo procedimento viene fatto "sparsificando" i dati. Solo circa 100 delle 2000 cellule di Kenyon - 5 percento - sono altamente attive in risposta a determinati odori - le cellule meno attive sono silenziate -, fornendo così ciascuna un tag unico.
In breve, mentre le deep neural networks tradizionali (sempre prendendo spunto dal sistema visivo) cambiano costantemente la forza delle loro connessioni mentre "apprendono", il sistema olfattivo generalmente non si allena regolando le connessioni tra i suoi neuroni di proiezione e le cellule Kenyon.
Quando i ricercatori hanno studiato l'olfatto nei primi anni del 2000, hanno sviluppato algoritmi per determinare in che modo l'incorporamento casuale e la scarsità nelle dimensioni superiori aiutassero l'efficienza computazionale. Una coppia di ricercatori, Thomas Nowotny dell'Università del Sussex in Inghilterra e Ramón Huerta dell'Università della California, a San Diego, hanno persino tracciato collegamenti con un altro tipo di modello di apprendimento automatico, chiamato macchina di supporto vettoriale. Sostenevano che il modo in cui i sistemi naturali e artificiali elaboravano le informazioni, usando l'organizzazione casuale e l'espansione della dimensionalità per rappresentare efficientemente i dati complessi, erano formalmente equivalenti. L'intelligenza artificiale e l'evoluzione erano convergenti, in maniera indipendente l'una dall'altra, per ottenere la stessa soluzione.
Incuriosito da questa connessione, Nowotny e i suoi colleghi continuano a esplorare l'interfaccia tra l'olfatto e l'apprendimento automatico, alla ricerca di un legame più profondo tra i due. Nel 2009 hanno dimostrato che un modello olfattivo basato sul meccanismo presente negli insetti, inizialmente creato per riconoscere gli odori, potrebbe anche riconoscere cifre scritte a mano. Inoltre, la rimozione della maggior parte dei suoi neuroni - per imitare il modo in cui le cellule cerebrali muoiono e non vengono sostituite - non ha influenzato troppo le sue prestazioni. "Alcune parti del sistema potrebbero cadere, ma il sistema nel suo insieme continuerà a funzionare", ha detto Nowotny. Il ricercatore prevede di implementare quel tipo di hardware in qualcosa come un rover Mars, che è destinato ad operare in condizioni estremamente difficili.
Ma per un po' non è stato fatto molto lavoro per dare seguito a queste scoperte - questo almeno fino a poco tempo fa, quando alcuni ricercatori hanno iniziato a rivisitare la struttura biologica dell'olfatto per capire come migliorare problemi più specifici di apprendimento automatico.
Conoscenza hard-wired e apprendimento veloce Delahunt e i suoi colleghi hanno ripetuto lo stesso tipo di esperimento condotto da Nowotny, utilizzando come base il sistema olfattivo delle tarme e confrontandolo con i modelli di apprendimento automatico tradizionali. Dato un numero inferiore a 20 campioni, il modello basato sulla falena riconosceva meglio le cifre scritte a mano, ma se fornito con più dati di allenamento, gli altri modelli si dimostrarono molto più forti e accurati. "I metodi di apprendimento automatico sono bravi a fornire classificatori molto precisi, dati da tonnellate di dati, mentre il modello degli insetti è molto bravo a fare una classificazione approssimativa molto rapidamente", ha detto Delahunt.
L'olfatto sembra funzionare meglio quando si tratta di velocità di apprendimento perché, in quel caso, "l'apprendimento" non riguarda più la ricerca di caratteristiche e rappresentazioni ottimali per il particolare compito in questione. Invece, è ridotto a riconoscere quale di una serie di caratteristiche casuali sono utili e quali no. "Se riesci ad allenarti con un solo click, sarebbe molto meglio, giusto?" Rileva Fei Peng, un biologo della Southern Medical University in Cina.
In effetti, la strategia dell'olfatto è quasi come cuocere nel modello alcuni concetti elementari e primitivi, proprio come una comprensione generale del mondo è apparentemente cablata nel nostro cervello. La struttura stessa è quindi capace di alcuni compiti semplici e innati senza istruzione.
Uno degli esempi più sorprendenti è uscito dal laboratorio di Navlakha l'anno scorso. Lui, insieme a Stevens e Sanjoy Dasgupta, un ricercatore informatico dell'Università della California, a San Diego, voleva trovare un modo, ispirandosi all'olfatto, per eseguire ricerche sulla base della somiglianza. Proprio come YouTube è in grado di generare un elenco di video per gli utenti nella sidebar in base a ciò che stanno guardando, gli organismi devono essere in grado di fare confronti rapidi e accurati nell'identificazione degli odori.
Una mosca potrebbe imparare presto che dovrebbe avvicinarsi all'odore di una banana matura ed evitare l'odore di aceto, ma il suo ambiente è complesso e pieno di rumore - di fatto non sperimenterà mai lo stesso identico odore. Quando rileva un nuovo odore, quindi, la mosca deve capire a quali odori precedentemente sperimentati l'odore assomiglia di più, in modo che possa richiamare la risposta comportamentale appropriata da applicare.
Navlakha ha creato un algoritmo di ricerca di similarità sul modello olfattivo e lo ha applicato a diverse serie di immagini. Lui e il suo team hanno scoperto che il loro algoritmo si comportava meglio, talvolta fino a due o tre volte più performante, con metodi nonbiologici tradizionali che comportavano solo la riduzione della dimensionalità. In queste tecniche più standard, gli oggetti sono stati confrontati concentrandosi su alcune caratteristiche o dimensioni di base. L'approccio basato sulla mosca inoltre "utilizzato su un ordine di grandezza minore rispetto al calcolo per ottenere livelli simili di precisione", ha detto Navlakha. "Quindi ha vinto sia in termini di costi che di prestazioni".
Nowotny, Navlakha e Delahunt hanno dimostrato che una rete essenzialmente non addestrata potrebbe già essere utile per calcoli di classificazione e attività simili. Costruire un tale schema di codifica lascia il sistema pronto a rendere più facile l'apprendimento successivo. Potrebbe essere utilizzato in attività che implicano la navigazione o la memoria - situazioni in cui condizioni mutevoli (ad esempio, percorsi ostruiti) potrebbero non lasciare al sistema molto tempo per imparare o molti esempi da cui imparare.
Peng e i suoi colleghi hanno iniziato la ricerca proprio su questo, creando un modello formativo olfattivo per prendere decisioni su come navigare su un percorso familiare da una serie di immagini sovrapposte.
Nel lavoro attualmente in esame, Navlakha ha applicato un metodo basato sull'olfatto simile per il rilevamento delle novità, il riconoscimento di qualcosa di nuovo anche dopo essere stato esposto a migliaia di oggetti simili in passato.
E Nowotny sta esaminando come il sistema olfattivo elabora le miscele. Sta già vedendo possibilità di applicazioni ad altre sfide di apprendimento automatico. Ad esempio, gli organismi percepiscono alcuni odori come un singolo profumo e altri come un mix: una persona potrebbe prendere dozzine di sostanze chimiche e sapere che ha odorato una rosa, oppure potrebbe percepire lo stesso numero di sostanze chimiche da un panificio vicino e distinguere tra caffè e Cornetti. Nowotny e il suo team hanno scoperto che gli odori separabili non sono percepiti allo stesso tempo; piuttosto, gli odori di caffè e croissant vengono elaborati molto rapidamente in alternanza.
Questa intuizione potrebbe essere utile anche per l'intelligenza artificiale. Il problema del cocktail party, ad esempio, si riferisce a quanto sia difficile separare numerose conversazioni in un ambiente rumoroso. Dati diversi altoparlanti in una stanza, un'AI potrebbe risolvere questo problema tagliando i segnali audio in finestre temporali molto piccole. Se il sistema riconosce un suono proveniente da un altoparlante, potrebbe cercare di sopprimere gli input dagli altri. Con questo sistema, la rete potrebbe districare le conversazioni umane.
Ottenere un cyborg di insetti In un articolo pubblicato il mese scorso sul sito di prestampa scientifica arxiv.org, Delahunt e il suo collega dell'Università di Washington J. Nathan Kutz hanno fatto un ulteriore passo avanti in questo tipo di ricerca creando ciò che chiamano un "cyborg di insetti". Il modello è basato su la falena come input di un algoritmo di apprendimento automatico, e ha visto miglioramenti nella capacità del sistema di classificare le immagini. "Fornisce all'algoritmo di apprendimento automatico materiale molto più efficace su cui lavorare", ha detto Delahunt.
Alcuni ricercatori ora sperano di utilizzare anche studi sull'olfatto per capire come più forme di apprendimento possono essere coordinate in reti più profonde . "Ma adesso, ne abbiamo coperto solo una piccola parte", ha detto Peng. "Non sono sicuro su come potremo migliorare i sistemi di deep learning al momento".
Un punto di partenza potrebbe non riguardare solo l'implementazione dell'architettura basata sull'olfatto, ma anche capire come definire gli input del sistema. In un articolo pubblicato su Science Advances, un team guidato da Tatyana Sharpee del Salk Institute ha cercato un modo per descrivere gli odori. Le immagini sono più o meno simili a seconda delle distanze tra i loro pixel in una sorta di "spazio visivo". Ma questo tipo di distanza non si applica all'olfatto. Né possono le correlazioni strutturali fornire uno spazio affidabile: gli odori con strutture chimiche simili possono essere percepiti come molto diversi e gli odori con strutture chimiche molto diverse possono essere percepiti come simili.
Sharpee e i suoi colleghi hanno invece definito le molecole di odore in termini di quanto spesso si trovano insieme in natura (ai fini del loro studio, hanno esaminato la frequenza con cui le molecole si sono verificate in campioni di vari frutti e altre sostanze). Hanno quindi creato una mappa posizionando le molecole degli odori più vicine se tendevano a co-attivarsi, e più distanti se lo facessero più raramente. Hanno scoperto che proprio come le città si mappano su una sfera (la Terra), le molecole dell'odore si mappano su uno spazio iperbolico, una sfera con una curvatura negativa che sembra una sella.
Sharpee ha ipotizzato che gli input di alimentazione con struttura iperbolica in algoritmi di apprendimento automatico possano aiutare nella classificazione di oggetti meno strutturati. "C'è un'assunzione iniziale nell'apprendimento profondo che gli input dovrebbero essere fatti in una metrica euclidea", ha detto. "Direi che si potrebbe provare a cambiare quella metrica in una iperbolica." Forse una tale struttura potrebbe ulteriormente ottimizzare i sistemi di apprendimento profondi.
Un comune denominatore Al momento, gran parte di questo rimane teorico. Il lavoro di Navlakha e Delahunt deve essere adattato a problemi di machine learning molto più difficili per determinare se i modelli ispirati all'olfatto possano fare la differenza. "Tutto questo sta ancora emergendo, penso," ha detto Nowotny. "Vedremo quanto lontano andrà".
Ciò che dà speranza ai ricercatori è la sorprendente somiglianza tra la struttura del sistema olfattivo e altre regioni del cervello in molte specie, in particolare l'ippocampo, che è implicato nella memoria e nella navigazione, e il cervelletto, che è responsabile del controllo motorio. L'olfatto è un antico sistema risalente alla chemosensazione nei batteri, ed è usato in qualche modo da tutti gli organismi per esplorare i loro ambienti.
"Sembra essere più vicino al punto di origine evolutivo di tutte le cose che chiameremmo corteccia in generale", ha detto Marblestone. L'olfatto potrebbe fornire un denominatore comune per l'apprendimento. "Il sistema ci offre un'architettura veramente conservata, usata per una varietà di cose attraverso una varietà di organismi", ha affermato Ashok Litwin-Kumar , neuroscienziato della Columbia. "Ci deve essere qualcosa di fondamentale in quella struttura che è buono per l'apprendimento".
Il circuito olfattivo potrebbe fungere da porta d'accesso per comprendere gli algoritmi e i calcoli di apprendimento più complicati usati dall'ippocampo e dal cervelletto e per capire come applicare tali conoscenze all'AI. I ricercatori hanno già iniziato a rivolgersi a processi cognitivi come l'attenzione e varie forme di memoria, nella speranza che possano offrire modi per migliorare le attuali architetture e meccanismi di apprendimento automatico. Ma l'olfatto potrebbe offrire un modo più semplice per iniziare a forgiare quelle connessioni. "È un punto di riferimento interessante", ha affermato Marblestone. "Un punto di partenza per pensare alle reti neurali di prossima generazione".