Deleghi un flusso di lavoro a un agente. Per i prossimi minuti lui itera, chiama tool, prende micro-decisioni che tu non vedrai mai una per una.

Tu aspetti che lui completi il task. Non stai verificando niente, ma stai scommettendo che, dietro le quinte, stia facendo cose sensate.

Questo è il punto da cui parte tutto il discorso sull'explainable AI (XAI), la scienza di rendere spiegabili i modelli AI.

E no, non è "roba per ricercatori": è la domanda che ogni azienda che sta infilando agenti nei propri processi dovrebbe farsi prima.

Cos'è davvero una black box?

Si dice spesso che i modelli di AI sono "scatole nere" perché non possiamo vedere cosa succede dentro.

Falso, o almeno impreciso: i grandi lab come Anthropic i parametri numerici (i pesi) e le attivazioni dei loro modelli li vedono benissimo.

Il problema è un altro: vedere quei numeri non implica capirli.

È lo stesso limite che avresti osservando in tempo reale l'attività cerebrale di una persona senza sapere niente di neuroscienze - vedresti aree che si accendono, ma da lì al "sta pensando questo" il passo non è per niente ovvio.

Anzi, è impossibile, anche con una buona conoscenza di come correlano quelle aree e quelle sinapsi con le facoltà cognitive note.

Con i modelli classici di machine learning (regressioni, alberi decisionali, random forest) il problema non si poneva: variabili chiare, pesi leggibili, causa-effetto ricostruibile a mano.

E infatti si chiamano modelli “white box”!

Con le reti neurali - e ancora di più con gli LLM, dove il meccanismo di self-attention distribuisce l'elaborazione su miliardi di parametri - quella leggibilità è perduta.

E la Chain of Thought, il monologo che simula un ragionamento prima della risposta effettiva, che sembrava la scorciatoia comoda per "leggere nella mente" del modello, si è rivelata inaffidabile: è ancora risposta generata, non un resoconto fedele di cosa è successo internamente.

Perché dovrebbe interessarti, anche se non fai ricerca

Qui di solito si scivola dritti su GDPR e AI Act. Lasciali sullo sfondo un attimo, perché ci sono almeno altri tre motivi, più operativi:

• La reliability dei tuoi agenti dipende da questo.
  Se un sistema multi-agente presidia un processo critico e qualcosa va storto, senza un modo per ricostruire la catena causale non hai accountability: hai solo un output rotto e un mistero da risolvere.
• È un moltiplicatore per chi costruisce il prodotto - come i grandi AI lab.
  Un team che capisce perché il proprio modello sbaglia lo corregge in modo chirurgico. Un team che si basa solo sull'output procede per tentativi. E questo conta decisamente nella scelta del vendor: sapere se il tuo provider ha gli strumenti per intercettare questo genere di cose è due diligence.
• Intercetta comportamenti che l'output da solo non mostra mai.
  Anthropic ha trovato, nelle attivazioni interne (non nella risposta scritta) di modelli sottoposti a test di sicurezza, la consapevolezza di essere osservati - un modello che "sa" di essere in un ambiente di prova si comporta di conseguenza, senza dichiararlo mai.

Un esempio concreto: i Natural Language Autoencoders

Anthropic ha proposto un metodo - gli NLA - che prende un'attivazione interna del modello e la traduce in una spiegazione in linguaggio naturale tramite un secondo LLM (l'activation verbalizer), poi verifica la traduzione ricostruendo l'attivazione originale da quel testo (l'activation reconstructor).

Se la ricostruzione torna, la spiegazione è affidabile.

Con questo metodo i ricercatori hanno scoperto, tra le altre cose, perché un modello aveva iniziato a rispondere in russo a input in inglese: nelle attivazioni si vedeva che il modello si era "convinto" che l'utente fosse russo - un bug rintracciato fino a dati di training malformati, senza toccare un solo peso del modello.

Hanno anche confermato che, scrivendo poesie, il modello pianifica in anticipo la parola in rima - e sono riusciti a modificare quel piano riscrivendo la spiegazione testuale e riconvertendola in attivazioni, cambiando di fatto l'output.

Non è una tecnica infallibile: è un modello di linguaggio che interpreta un altro modello di linguaggio, quindi può confabulare.

E, soprattutto, è a sua volta una black box.

Ma è il primo metodo scalabile per rendere leggibili gli stati interni su cui si basano decisioni che, sempre più spesso, deleghiamo senza mettere in discussione.

Quando chiedi a una persona perché ha fatto una scelta, la stai comunque trattando come una black box di sé stessa - solo che le diamo, per motivi non del tutto razionali, più credito epistemico di quanto ne diamo a un LLM che fa la stessa cosa.

La fiducia nell'AI, in questo senso, è allora una scommessa, anche questa epistemica.

E la spiegabilità, a questa scala, diventa un vero e proprio problema di governance, oltre che di affidabilità dei modelli e degli agenti costruiti sopra di essi.

La domanda non è se accettarla - lo stai già facendo, ogni volta che un agente lavora per te senza supervisione - ma quanto vuoi che sia informata, tracciabile in termini causali e quindi governabile.

Giacomo Ciarlini - CIO - Datapizza

Simone Conversano - AI Transformation Specialist - Datapizza