Facebook ha presentato l'11 ottobre alla PyTorch Conference, la conferenza sulla specifica libreria di funzioni per il machine learning in Pyton, Captum, una libreria per spiegare le decisioni prese dalle reti neurali con il framework di deep learning PyTorch.
Captum è progettato per implementare versioni all'avanguardia di modelli di intelligenza artificiale come Gradienti integrati, DeepLIFT e Conduttanza.
Captum consente a ricercatori e sviluppatori di interpretare le decisioni prese in ambienti multimodali che combinano, ad esempio, testo, immagini e video e consente loro di confrontare i risultati con i modelli esistenti all'interno della libreria.
Gli sviluppatori possono anche utilizzare Captum per comprendere l'importanza delle funzionalità o eseguire un'immersione profonda sulle reti neurali per comprendere le attribuzioni dei neuroni e dei livelli.
Lo strumento verrà inoltre lanciato con Captum Insights, uno strumento di visualizzazione per le rappresentazioni visive dei risultati di Captum. Insights viene lanciato con il supporto per i gradienti integrati, con il supporto di modelli aggiuntivi in arrivo, ha affermato Facebook in un post sul suo blog .
Una demo di Captum Insight
"Ci sono altre librerie software che sono più focalizzate sul contesto, ma il deep learning è davvero il più difficile dei problemi per cercare di interpretare ciò che il modello sta effettivamente pensando, per così dire, specialmente quando si tratta di questi problemi tecnologici multimodali", come afferma Joe Spisak il produttore esecutivo di PyTorch.
Con l'aumento della complessità del modello e la conseguente mancanza di trasparenza, i metodi di interpretabilità del modello sono diventati sempre più importanti. La comprensione del modello è sia un'area di ricerca attiva sia un'area di interesse per applicazioni pratiche in tutti i settori che utilizzano l'apprendimento automatico. Captum offre algoritmi all'avanguardia, tra cui Gradienti integrati, per fornire a ricercatori e sviluppatori un modo semplice per capire quali funzionalità stanno contribuendo all'output di un modello.
Per gli sviluppatori di modelli, Captum può essere utilizzato per migliorare e risolvere i problemi dei modelli facilitando l'identificazione di diverse funzionalità che contribuiscono all'output di un modello al fine di progettare modelli migliori e risolvere output di modelli imprevisti.
Captum aiuta i ricercatori ML a implementare più facilmente algoritmi di interpretabilità in grado di interagire con i modelli PyTorch. Captum consente inoltre ai ricercatori di confrontare rapidamente il loro lavoro con altri algoritmi esistenti disponibili in biblioteca.
Il pubblico principale di Captum sono sviluppatori di modelli che stanno cercando di migliorare i propri modelli e comprendere quali sono le caratteristiche importanti e i ricercatori di interpretabilità si sono concentrati sull'identificazione di algoritmi in grado di interpretare meglio molti tipi di modelli.
Captum può anche essere utilizzato da ingegneri applicativi che utilizzano modelli addestrati nella produzione. Captum offre una risoluzione dei problemi più semplice attraverso l'interpretazione migliorata del modello e il potenziale per fornire spiegazioni migliori agli utenti finali sul motivo per cui stanno vedendo un contenuto specifico, come una raccomandazione sul film.
La notizia è stata annunciata alla PyTorch Developer Conference, che si tiene presso The Midway a San Francisco.
Prima di essere open source, Captum è stato utilizzato internamente su Facebook per comprendere meglio le decisioni prese in ambienti multimodali, ha affermato Spisak.
“Puoi guardare qualsiasi pagina di Facebook e ha testo, audio, video e collegamenti e sono incorporati diversi tipi di modalità. E quindi abbiamo praticamente iniziato con quella premessa di voler capire perché i modelli prevedono ciò che prevedono, ma volevamo farlo in modo visivo, che fornisse un'intuizione per gli utenti, nonché statistiche e informazioni concrete che consentire loro di dire con sicurezza che è per questo che il modello sta facendo questa previsione ", ha detto il presidente di PyTorch.
L'interpretazione, la capacità di capire perché un modello di intelligenza artificiale ha preso una decisione, è importante per gli sviluppatori per essere in grado di comunicare perché un modello ha preso una determinata decisione. Consente l'applicazione dell'intelligenza artificiale nelle aziende che richiedono spiegabilità al fine di rispettare la normativa.
La mancanza di una capacità di comprendere le decisioni prese dal deep learning ha reso popolare il termine bleckbox ossia "scatola nera" parlando delle intelligenze artificiali.
AI come black box, ovvero del bisogno di razionalizzare In che modo è possiamo fidarci delle decisioni di una macchina quando le persone non sanno da dove provengono? O perché sono tali? Questo velo di Maya, per usare l'espressione coniata dal filosofo Arthur Schopenhauer che indicava un "velo" di natura metafisica e illusoria che separava gli uomini dalla conoscenza/percezione della realtà, è quello che chiamiamo blackbox per le AI.
Il carattere oscuro delle AI nel loro processo decisionale non ci consente di razionalizzare e ci abbandona all'angoscia che rischia di diventare disperazione di fronte a fallimenti in operazioni mission critical. Allora le blackbox delle Ai sono qualcosa che deve essere aperto.
Fare questo però non è un processo meramente emotivo. Poiché la tecnologia continua a svolgere un ruolo sempre più importante nella vita di tutti i giorni e a cambiare i ruoli all'interno della forza lavoro, è l'etica che vogliamo che animi gli algoritmi a presentarsi come punto chiave. L'etica ha bisogno non di narrazioni consolatorie, razionalizzare le AI, ma di spiegazioni che mostrino la dinamica che soggiace alle scelte. La ragione del perché allora strapperà all'angoscia e alla disperazione consegnandoci all'etica.
Altri strumenti rilasciati quest'anno per aiutare a interpretare l'inferenza delle AI includono IBM AI Explainability 360 toolkit e il rilascio di InterpretML da parte di Microsoft a maggio.
La questione è cruciale. Cosa potrebbe significare per tutte quelle applicazioni che trasformano ambiti anche molto delicati come la medicina o le auto a guida autonoma.
La nuova tecnologia potrebbe aprire una serie di problemi con la sua implementazione dal momento che la discussione e la riflessione dei decisori politici deve ancora raggiungere la tecnologia.
L'etica per quanto chieda di irraggiare anche gli algoritmi, cioè di diventare algor-etica, non può essere solo questioni di calcoli. Essere etici chiede un commitment, chiede una responsabilità che sappia inverarsi nelle visioni di fondo, filosofie di sviluppo, e nelle scelte concrete di questo cambio d'epoca che le AI stanno generando.