Ma l'AI pensa come noi?

Nell’apprendimento automatico, capire perché un modello prende determinate decisioni è spesso tanto importante quanto se tali decisioni siano corrette.

Ad esempio, un modello di apprendimento automatico potrebbe prevedere correttamente che una lesione cutanea è cancerosa, ma potrebbe averlo fatto leggendo in modo sbagliato un segno su una foto clinica. È capitato, purtroppo.

Sebbene esistano strumenti per aiutare gli esperti a dare un senso al ragionamento di un modello, spesso questi metodi forniscono informazioni solo su una decisione alla volta e ciascuna deve essere valutata manualmente. I modelli vengono comunemente addestrati utilizzando milioni di input di dati, rendendo quasi impossibile per un essere umano valutare abbastanza decisioni per identificare i modelli. Questo fenomeno ricade sotto il concetto di “inexplicable AI”, cioè AI non spiegabile.

Ora, i ricercatori del MIT e IBM Research hanno creato un metodo che consente a un utente di aggregare, ordinare e classificare queste singole spiegazioni per analizzare rapidamente il comportamento di un modello di apprendimento automatico. La loro tecnica, chiamata Shared Interest, incorpora metriche quantificabili che confrontano quanto bene il ragionamento di un modello corrisponda a quello di un essere umano.

L’interesse condiviso potrebbe aiutare un utente a scoprire facilmente le tendenze relative al processo decisionale di un modello, ad esempio, forse il modello spesso si confonde a causa di caratteristiche distraenti e irrilevanti, come gli oggetti sullo sfondo nelle foto. L’aggregazione di queste informazioni potrebbe aiutare l’utente a determinare in modo rapido e quantitativo se un modello è affidabile e pronto per essere implementato in una situazione reale.

Nello sviluppo dell’interesse condiviso, il nostro obiettivo è essere in grado di aumentare questo processo di analisi in modo che tu possa capire a un livello più globale qual è il comportamento del tuo modello”, afferma l’autrice principale Angie Boggust, una studentessa laureata nel gruppo di visualizzazione del Laboratorio di Informatica e Intelligenza Artificiale (CSAIL).

Allineamento umano-IA

L’interesse condiviso sfrutta tecniche popolari che mostrano come un modello di apprendimento automatico ha preso una decisione specifica, nota come metodi di salienza. Se il modello sta classificando le immagini, i metodi di salienza evidenziano le aree di un’immagine che sono importanti per il modello quando ha preso la sua decisione. Queste aree sono visualizzate come un tipo di mappa termica, chiamata mappa di salienza, che è spesso sovrapposta all’immagine originale. Se il modello ha classificato l’immagine come un cane e la testa del cane è evidenziata, significa che quei pixel erano importanti per il modello quando ha deciso che l’immagine conteneva un cane.

L’interesse condiviso funziona confrontando i metodi di salienza con i dati di base. In un set di dati di immagini, i dati di base sono in genere annotazioni generate dall’uomo che circondano le parti rilevanti di ciascuna immagine. Nell’esempio precedente, la scatola circonda l’intero cane nella foto. Quando si valuta un modello di classificazione delle immagini, Shared Interest confronta i dati di salienza generati dal modello e i dati di verità di base generati dall’uomo per la stessa immagine per vedere quanto bene si allineano.

La tecnica utilizza diverse metriche per quantificare tale allineamento (o disallineamento) e quindi ordina una decisione particolare in una delle otto categorie. Le categorie vanno da perfettamente allineato all’uomo (il modello fa una previsione corretta e l’area evidenziata nella mappa di salienza è identica al riquadro generato dall’uomo) a completamente distratto (il modello fa una previsione errata e non utilizza alcuna immagine caratteristiche che si trovano nella scatola generata dall’uomo).

A un’estremità dello spettro, il tuo modello ha preso la decisione per lo stesso identico motivo per cui l’ha fatto un essere umano, e all’altra estremità dello spettro, il tuo modello e l’umano stanno prendendo questa decisione per ragioni completamente diverse. Quantificando che per tutte le immagini nel tuo set di dati, puoi utilizzare quella quantificazione per ordinarle”, spiega Boggust.

La tecnica funziona in modo simile con i dati basati su testo, in cui le parole chiave vengono evidenziate anziché le regioni dell’immagine.

Ciao, sono Michele!

Sono molto felice di saperti qui.
Ogni giorno ti raccontiamo qualcosa di nuovo sull'AI e sulle nuove tecnologie. Seguici sui social o iscriviti alla newsletter!

Iscriviti alla newsletter!

Iscrivendoti accetti la nostra Privacy Policy

Ti va di rimanere aggiornatə?

Niente spam, niente pubblicità. Ogni tanto una mail. Tutto qui.
(Ah, ovviamente i tuoi dati non verranno mai ceduti)

Iscrivendoti accetti la nostra Privacy Policy