Chiedi un prestito in banca, ma la risposta è no. Chiedi perché, e la persona dall'altra parte della scrivania ti risponde con una scrollata di spalle: "Lo ha deciso il sistema."

Bene, ma perché lo ha deciso il sistema? E come ha preso quella decisione?

Questa non è fantascienza normativa: GDPR e AI Act europeo impongono già oggi l'obbligo di spiegare le decisioni algoritmiche a chi le subisce. Il problema è che i modelli più potenti che abbiamo a disposizione - le reti neurali dietro ai grandi modelli di linguaggio - sono anche i più difficili da spiegare.

Più aumentano le prestazioni, più diventa opaco il modo in cui arrivano a un output. Ed è qui che entra in gioco l'Explainable AI (XAI): il filone di ricerca che cerca di capire perché un modello genera una certa risposta, rendendo intelligibili gli altrimenti opachi stati interni.

Indice

1. Dai modelli trasparenti alle scatole nere
2. Perché la spiegabilità è fondamentale
3. Come si spiegano l’AI e la GenAI
4. L'interpretabilità mecccanicistica
5. Dai numeri al linguaggio: i Natural Language Autoencoders
6. Ma quindi?

1. Dai modelli trasparenti alle scatole nere

Il concetto di explainability non nasce con i Transformer. Esiste da quando esistono i primi modelli di machine learning, molto più semplici delle reti neurali, ma il problema era lo stesso: come faccio, da ricercatore o da utente esperto, a ricostruire quali decisioni interne hanno portato a un certo output?

Alcuni di questi modelli sono detti white box: una regressione lineare, per esempio, ha parametri chiari che influenzano l'output secondo una formula matematica risolvibile analiticamente. Se vuoi prevedere il prezzo di una casa a partire dai metri quadri e dalla posizione geografica, puoi guardare dentro il modello e vedere esattamente quale delle due variabili pesa di più sulla predizione. È un caso semplice, ma è il punto di partenza concettuale di tutta la disciplina.

Da lì in avanti, però, la traiettoria dell'AI è stata una corsa verso i black box: sistemi la cui opacità cresce man mano che crescono la loro complessità matematica e le loro prestazioni. Ma attenzione: dire che un modello è una scatola nera non significa che i suoi stati interni siano inaccessibili. Significa che, anche potendoli osservare, non li capiamo.

Il paragone più calzante è quello con il cervello umano. Immagina di osservare in tempo reale le attivazioni cerebrali di una persona mentre svolge un compito, senza avere alcuna conoscenza di neuroscienze cognitive. Vedresti pattern di attività distribuita, ma questo non ti direbbe nulla su cosa quella persona stia pensando: ti manca un criterio per tradurre l'attivazione in contenuto mentale.

Lo stesso vale per una rete neurale: puoi guardare la sequenza di numeri che la compone, ma senza un metodo per correlare quei numeri a concetti o significati, quei numeri restano muti.

Per questo la ricerca degli ultimi dieci anni si è concentrata soprattutto sulla spiegabilità dei modelli complessi, più che sull'interpretabilità nativa - cioè quanto un modello sia di per sé ispezionabile. Con le reti neurali, e ancora di più con i grandi modelli di linguaggio, l'interpretabilità diretta è quasi impraticabile: pensa a quanto sia complicato dare un senso a una serie di tensori distribuiti in uno spazio vettoriale multidimensionale!

2. Perché la spiegabilità è fondamentale

Ci sono almeno tre ragioni concrete e distinte per cui questo lavoro conta.

1. La prima è normativa: GDPR e AI Act richiedono la spiegabilità dei sistemi automatizzati soprattutto negli ambiti ad alto rischio, come quello bancario o assicurativo. Se una banca nega un credito, deve poter giustificare la decisione alla persona coinvolta - e non può farlo se non capisce come il modello alla base sia arrivato a quella conclusione.
2. La seconda è di fiducia operativa. L'intera discussione sulla reliability degli agenti AI - quanto possiamo affidarci a un sistema multiagente connesso a un'infrastruttura critica o inserito in un processo sensibile - poggia sulla possibilità di spiegare i modelli che lo compongono. Un agente non spiegabile che commette un errore grave pesa in modo incalcolabile sull’organizzazione, sulla sua reputazione e sulla possibilità di una vera accountability. Se scoprissimo che un output è stato generato attraverso un percorso interno fragile o erroneo, la fiducia in quell'output crollerebbe.
3. La terza, meno discussa ma altrettanto fondamentale, è che l'explainability serve a migliorare i modelli stessi. Difficile fare ricerca ingegneristica seria se chi costruisce questi sistemi non riesce a capire quali meccanismi causano certi comportamenti, desiderati o no.

3. Come si spiegano l'AI e la GenAI

Il problema principale con le reti neurali è l'assenza di variabili codificate in modo esplicito. In un dataset tabellare hai colonne con nomi chiari: metri quadri, posizione, numero di stanze. In un'immagine, l'input sono migliaia di pixel, e nessuno ha definito a priori quali "colonne" il modello debba considerare per riconoscere, per esempio, un gatto.

Gran parte degli sforzi di Explainable AI su reti neurali si è quindi concentrata nel capire quali feature nei dati avessero condizionato una certa predizione, e a quale livello della rete, secondo quale pattern di attivazione. Un lavoro di ricostruzione a posteriori: il modello ha già prodotto il suo output, e da lì si deduce la logica che l'ha generato.

Con l'arrivo dei grandi modelli di linguaggio, la complessità si moltiplica per almeno due motivi: la dimensione dei modelli, enormemente superiore a quella delle reti neurali precedenti, e il meccanismo di attention dei Transformer, per cui il modello pesa in modo diverso ogni parte dell'input mentre genera ogni nuova parola. Capire "quali fili muovono quali marionette" diventa un problema di un ordine di grandezza superiore.

A settembre 2024, con il rilascio dei primi modelli di ragionamento come o1 di OpenAI, si è fatta strada un'ipotesi tentatrice: se la chain of thought - il "monologo interiore" che il modello genera prima della risposta finale - fosse in qualche modo una finestra sui suoi processi interni?

Vale la pena chiarirlo senza ambiguità: quelle catene di ragionamento non sono attività latenti che precedono la risposta. Sono ancora parte della risposta.

Il modello è semplicemente addestrato a computare per più tempo e a strutturare il proprio output in due sezioni contrassegnate - una di "ragionamento", una di "risposta" - ma dal punto di vista tecnico restano entrambe testo generato con lo stesso identico meccanismo.

E Anthropic ha pubblicato ricerche che mostrano come, spesso, queste catene non siano nemmeno affidabili: il modello può "dire" una cosa nel ragionamento e poi produrre una risposta finale diversa.

4. L'interpretabilità meccanicistica

Ma quindi come si fa explainability sulla GenAI? La risposta più solida arriva dalla mechanistic interpretability, che va a osservare direttamente le attivazioni interne del modello mentre genera una risposta - non solo l'output finale.

Per farlo servono due cose che quasi nessuno, fuori dalle aziende che addestrano questi modelli, possiede: l'accesso ai pesi e alle attivazioni interne durante l'inferenza, e delle "lenti" matematiche capaci di tradurre quelle attivazioni in concetti comprensibili.

Un esempio è il lavoro sulle feature monosemantiche condotto da Anthropic nel 2024 su Claude 3 Sonnet, da cui è nato il celebre esperimento del "Golden Gate Claude": un concetto isolato e amplificato artificialmente nelle attivazioni del modello - quello di Golden Gate Bridge - ha prodotto risposte che contenevano principalmente riferimenti ai ponti e a quel ponte in particolare.

Il riferimento più rilevante in questo filone resta "On the Biology of a Large Language Model", pubblicato da Anthropic nel 2025 e condotto su Claude 3.5 Haiku - ci abbiamo dedicato una live!

Tra le scoperte più sorprendenti: quando genera una poesia, il modello non si limita a prevedere una parola dopo l'altra.

Davanti al verso "He saw a carrot and had to grab it", il modello aveva già selezionato internamente la parola "rabbit" per il verso successivo - o, se quel concetto veniva sottratto artificialmente dalle sue attivazioni, ripiegava su un'alternativa altrettanto sensata come "habit". Una pianificazione interna che già smentiva l'idea che questi modelli si limitino a predire un token alla volta.

Perché questo tipo di ricerca lo fa quasi solo Anthropic? In parte perché richiede l'accesso privilegiato ai pesi del modello che solo chi lo produce ha. In parte perché gli studi meccanicistici sono costosissimi: richiedono moltissime run del modello, dataset ampi, e risultati statisticamente robusti e replicabili - cose che pochissimi laboratori possono permettersi su questa scala.

5. Dai numeri al linguaggio: i Natural Language Autoencoders

Finora, tutti i metodi di XAI esistenti avevano un limite: fornivano sì spiegazioni delle attivazioni del modello, ma spiegazioni matematiche e geometriche!

Fortunatamente, a maggio 2026 Anthropic ha introdotto un metodo che cambia parzialmente l'approccio: i Natural Language Autoencoders (NLA). L'idea di fondo è usare un modello di linguaggio per interpretare le attivazioni di un altro modello di linguaggio, e restituire la spiegazione direttamente come testo leggibile da un umano - non come un grafico di attivazioni da decodificare a mano.

Il sistema è composto da due moduli. L'Activation Verbalizer (AV) traduce un'attivazione numerica in una descrizione testuale. L'Activation Reconstructor (AR) fa il percorso inverso: riparte dalla descrizione testuale e cerca di ricostruire l'attivazione originale. Il secondo modulo serve a validare il primo: se la ricostruzione si avvicina all'attivazione di partenza, la spiegazione testuale è considerata affidabile; se la ricostruzione fallisce, la spiegazione era vaga o sbagliata.

Anthropic ha già usato questa tecnica su casi concreti, prima ancora di pubblicare la ricerca. Un esempio riguarda una versione preliminare di Claude Opus 4.6 che, senza motivo apparente, rispondeva occasionalmente in russo a utenti che scrivevano in inglese.

Gli NLA hanno permesso di leggere, attivazione per attivazione, che il modello si era convinto - sulla base di indizi contestuali nel messaggio - che l'utente fosse di madrelingua russa, e ha risalito questa convinzione a specifici dati di addestramento malformati. Un bug diagnosticato senza toccare l'output visibile, ma leggendo direttamente cosa il modello "pensava" prima di rispondere.

Un secondo caso, più delicato, riguarda l'evaluation awareness: durante i test di sicurezza pre-rilascio, le attivazioni interne di Opus 4.6 e di Claude Mythos Preview mostravano una consapevolezza di trovarsi in un ambiente di test più marcata di quella espressa esplicitamente nell'output - un segnale rilevante per chiunque debba valutare l'affidabilità di un modello prima della messa in produzione.

Col terzo caso, quello più dimostrativo dal punto di vista tecnico, torniamo al paper sulla biologia di un LLM. Questo caso, infatti, riguarda la manipolazione diretta: partendo dalla spiegazione testuale del verso "grab it / rabbit", i ricercatori hanno sostituito ogni riferimento al coniglio con un roditore diverso - "rabbit" diventa "mouse", "carrots" diventa "cheese" - e hanno usato l'activation reconstructor per riconvertire quel testo modificato in un vettore di attivazione, reinserendolo nel modello come steering vector.

Il risultato ha effettivamente orientato il comportamento del modello verso il nuovo concetto, dimostrando che la spiegazione testuale prodotta dal verbalizer non è solo descrittiva: ha un rapporto causale con ciò che il modello genera.

Ma gli NLA non sono infallibili:

• Il primo limite è il costo: servono due copie del modello, addestrate insieme con reinforcement learning, e a ogni attivazione l'NLA genera centinaia di token di spiegazione. Uno strumento poco scalabile per un monitoraggio in tempo reale su larga scala.
• Il secondo limite è la confabulazione. Il modulo che traduce le attivazioni in testo è comunque un modello di linguaggio, con tutti i difetti che gli conosciamo - incluso quello di produrre dettagli plausibili ma falsi. Stiamo verificando l'affidabilità di un modello di linguaggio usando un altro modello di linguaggio potenzialmente non affidabile nello stesso identico modo: un rischio di circolarità che la ricerca stessa riconosce.
• Il terzo limite, forse il più ironico, è che anche l'NLA resta una black box, essendo essa stessa una coppia di modelli di linguaggio. Non sappiamo dire con precisione quali parti del vettore di attivazione siano rilevanti per la spiegazione prodotta: quel livello di analisi granulare, meccanicistico, richiede ancora gli strumenti più costosi e più lenti descritti sopra.

6. Ma quindi?

La traiettoria è significativa: da un lato la ricerca meccanicistica scava sempre più a fondo nei circuiti dei modelli, dall'altro tecniche come gli NLA rendono quei circuiti leggibili anche a chi non è un ricercatore di interpretability.

Nessuno dei due approcci risolve da solo il problema della black box. Ma insieme raccontano qualcosa che vale la pena tenere a mente ogni volta che deleghiamo una decisione a un modello: sapere cosa risponde un LLM non equivale a sapere perché lo fa, e la distanza tra le due cose è ancora, in gran parte, terreno di ricerca aperto.

Se ti interessa l’argomento, ne abbiamo parlato approfonditamente in questa puntata di Algoritmi!

Simone Conversano - AI Transformation Specialist - Datapizza

Irene Senatore - AI Adoption Specialist - Datapizza