Il 29 giugno, al TAG Calabiana di Milano, si è tenuta l'edizione 2026 di AI Heroes, l'evento organizzato da Synesthesia dedicato a sviluppatori AI, CTO e tech lead.

Alle 16:40 è salito sul palco Benedetto Manasseri, Lead AI Engineer di Datapizza, con un talk dal titolo Self-Improving Agents without Self-Destruction, dedicato a un tema che chiunque costruisca sistemi agentici prima o poi incontra: come valutarli e migliorarli senza andare “a sensazione”.

Oggi vogliamo raccontarvelo anche qui!

Il problema

Il punto di partenza concettuale è semplice da enunciare: tre parole - dataset, metriche, feedback - bastano a descrivere l'essenza della valutazione. Si costruisce un dataset di input plausibili con l'output atteso, si calcolano metriche per dare un punteggio numerico alle risposte del sistema, e si raccoglie il feedback degli utenti reali - soprattutto quello degli esperti di dominio, le persone che conoscono davvero il processo che si sta cercando di automatizzare o potenziare con l’AI.

Ci sono diversi modi di comporre un dataset di valutazione:

• coppie domanda-risposta attesa per un chatbot
• coppie domanda-tool call attesa se il sistema è agentico
• domanda-chunk atteso se c'è una pipeline di retrieval
• oppure, per sistemi pienamente agentici, coppie task-esito atteso

Sul fronte metriche abbiamo: correttezza fattuale, similarità semantica e answer relevancy per valutare le risposte, context precision e context recall per il retrieval, response groundedness per verificare che il sistema non stia allucinando, agent goal accuracy o tool call accuracy per gli step agentici - calcolate sia in modo deterministico sia con la tecnica LLM-as-judge.

Tre i principi guida:

1. lavorare sempre con gli esperti di dominio
2. partire in piccolo e costruire in modo incrementale (raramente si hanno da subito tutti i dati necessari)
3. iterare con un approccio eval-driven - ogni modifica al sistema deve essere validata contro le metriche, non contro l'impressione che "sembri andare meglio".

Eval-driven development

Il concetto di eval-driven development è mutuato dal test-driven development del software engineering tradizionale: si scrivono i casi di valutazione - inclusi quelli che devono fallire - prima ancora di costruire il sistema, e ogni aggiornamento (dettato ad esempio dall’arrivo di un feedback) passa attraverso quei casi prima di essere integrato.

Sulla carta è lineare, ma nella pratica emergono due problemi ricorrenti:

1. Il primo è che il feedback degli utenti reali arriva quasi sempre in forma disordinata - screenshot inviati via email o Teams, scollegati da log o sessioni, che costringono a un lungo avanti-e-indietro tra chi segnala il problema e chi deve sistemarlo.
2. Il secondo è che, tipicamente, la pipeline di valutazione vive separata dal sistema stesso: script a parte, fogli di calcolo con le metriche, e un ciclo manuale di "guardo il foglio, torno al codice, modifico il prompt, ricalcolo".

Cosa cambia nel 2026: l'agent harness

Per rispondere a questi limiti, è necessario introdurre il concetto di agent harness: se il modello linguistico è il "cervello" di un'applicazione agentica, l'harness è tutto ciò che gli sta intorno - memoria, prompt, tool, logging, guardrail. La proposta è di espandere l'harness includendo la valutazione come componente strutturale, non come script separato: un componente che può leggere direttamente prompt e tool degli altri agenti, e che è a sua volta un sistema AI con un proprio harness, non una funzione statica.

La demo: un chatbot che si corregge da solo

La parte centrale del talk è stata una demo live, dove Benedetto ha provato un chatbot di assistenza clienti per un e-commerce, che risponde a domande su resi, ordini e spedizioni tramite un orchestratore che instrada le domande verso agenti specializzati (resi, nuovi ordini, ecc.). L'interfaccia mostrata includeva, oltre alla chat, un pannello admin, un registro dei prompt e una sezione metriche costruita su un dataset di 40 casi.

Nella demo, un esperto di dominio ha posto la questione: gli AirPods comprati due giorni prima non si accoppiano con l'iPhone. L'orchestratore ha instradato la richiesta all'agente after-sales, che ha risposto correttamente citando la garanzia legale ma trattando il caso come un problema tecnico da segnalare all'assistenza - omettendo che, essendo entro la finestra dei resi standard (10 giorni per quello specifico e-commerce), il cliente avrebbe potuto semplicemente restituire il prodotto senza altre formalità. L’esperto di dominio ha lasciato un feedback negativo, segnalando con un commento testuale che il caso rientrava nelle regole di reso standard.

A quel punto Benedetto ha attivato il pulsante "Launch self-improvement", innescando una pipeline a tre agenti:

• un diagnostic agent che legge il feedback e individua quale componente del sistema va corretto (in questo caso l’orchestratore, perché aveva interpellato solo l’agent after-sales - la cui risposta era corretta nel merito ma incompleta - ma aveva dimenticato di interrogare anche l’agente specializzato in resi)
• un meta-prompting agent che propone due varianti del prompt
• e un verifier agent che ripete la domanda originale con ciascuna variante per controllare se il problema è risolto.

Entrambe le proposte risolvevano il caso segnalato. La valutazione contro l'intero dataset di 40 domande ha poi mostrato che la prima variante portava l'accuratezza media dal 77% all'83%, mentre la seconda otteneva un risultato peggiore. Il sistema ha selezionato la prima come proposta vincente.

Solo a quel punto è intervenuto l'umano: Benedetto ha rivisto l'analisi finale - feedback risolto, metriche migliorate, nuovo prompt leggibile - e ha approvato la promozione in produzione. Un ultimo passaggio ha permesso di aggiungere con un click la domanda originale al dataset di valutazione, portandolo a 41 casi per le run successive.

Se nessuna delle due proposte iniziali avesse funzionato, il ciclo sarebbe ripartito generando altre varianti tenendo conto di quelle scartate.

Il framework dietro la demo

Il sistema è costruito su Datapizza AI, il framework open source che Datapizza usa internamente su tutti i progetti dei propri clienti. La filosofia dietro è avere un livello di astrazione volutamente basso, che lascia al developer il controllo pieno della pipeline invece di nasconderla dietro componenti opachi - una scelta che, non a caso, è anche ciò che rende possibile costruire un sistema come quello mostrato in demo senza infrastruttura ad hoc.

Il messaggio di fondo

Nel 2026, non è che gli agenti possano fare tutto da soli, ma sono abbastanza capaci - se messi in un harness che integra davvero la valutazione - da occuparsi della parte più pesante del lavoro di manutenzione: diagnosticare, proporre, verificare.

All'essere umano resta allora un compito preciso e non delegabile: quello di dare l'approvazione finale prima che una modifica arrivi in produzione. E con una tecnologia, quella degli agenti AI, il cui paradigma di interazione è la delegazione, questa è la forma che assume lo human-in-the-loop.

Simone Conversano - AI Transformation Specialist - Datapizza

Benedetto Manasseri - Lead AI Engineer - Datapizza