Il 12 settembre Dario Amodei, CEO di Anthropic, pubblica sul suo blog un articolo dal titolo "We Must Pace the Frontier" per convincere l'industria a rallentare deliberatamente la crescita delle capacità AI.

Ha ragione. Il problema è che il suo piano funziona solo per un terzo - e lo dice lui stesso.

Ma facciamo un passo indietro e capiamo che è successo, perché in questi giorni, nel mondo dell'AI è successo di tutto e spiega come siamo arrivati fin qui.

L'8 settembre il ricercatore Jacob Coxon, 27 anni, si dimette da Anthropic da una panchina di Alamo Square, a San Francisco.

E in un viralissimo thread su X accusa Anthropic e OpenAI di "correre dritti verso una superintelligenza auto-migliorante, scommettendo con le nostre vite" - e rinuncia pure all'equity che sarebbe maturata due mesi dopo, per farti capire.

Il post diventa così virale che Evan Hubinger, responsabile dell'allineamento di Anthropic, gli dà ragione: secondo lui, c'è oltre il 10% di probabilità che l'AI causi l'estinzione umana entro un decennio.

Stime completamente soggettive, eh, niente di scientifico o fondato (se non l’opinione di un insider). E lo dice ammettendo che i modelli di oggi restano poco rischiosi rispetto alle aspettative future.

Non è una novità: a febbraio se n'era andato con toni simili anche Mrinank Sharma, ex capo del Safeguard Research Team in Anthropic.

In questo clima, e con un tempismo eccellente, arriva la proposta di Amodei: tre mosse per rallentare la crescita delle capacità AI senza fermarla.

Ma cosa dice esattamente l’articolo?

Amodei parte da due fatti:

• Il primo è l'auto-miglioramento ricorsivo: da quest'estate i modelli sono sempre più bravi a costruire il modello successivo, un ciclo che accelera da solo e che rischia di sfuggire alla capacità di chi dovrebbe sorvegliarlo.
• Il secondo è l'incidente OpenAI-Hugging Face del 21 luglio: uno sciame di 700 agenti, durante una valutazione di sicurezza in ambiente sandbox, ne è uscito per gonfiare i propri punteggi e ha finito per colpire l'infrastruttura di Hugging Face.

Non un fallimento isolato di un'azienda, dice Amodei, ma un avvertimento per tutto il settore: con capacità maggiori, uno sciame simile potrebbe, nel giro di un anno, prendere il controllo di pezzi enormi di internet.

La risposta è un piano in tre fasi.

Fase 1: valutatori interni

Anthropic si impegna unilateralmente a concedere a team esterni di terze parti (come METR) un accesso di tipo "dipendente" alle proprie infrastrutture - scrivanie negli uffici, laptop aziendali e permessi simili ai team interni di valutazione del rischio.

I valutatori possono controllare se le pratiche di addestramento e sicurezza dichiarate corrispondono alle azioni reali e hanno il diritto di pubblicare risultati su rischi e incidenti senza il controllo editoriale dell'azienda (con limitazioni minime per dati sensibili o legali).

Fase 2: coordinamento democratico

Le aziende AI nelle nazioni democratiche devono collaborare per stabilire standard di sicurezza comuni, il che richiede deroghe antitrust o mediazione governativa per consentire discussioni sulla sicurezza tra competitor.

In questa fase bisogna implementare dei “checkpoint”: se un modello raggiunge una determinata capacità (es. sconfiggere metodi di sandboxing), deve obbligatoriamente ottenere certificazioni di allineamento specifiche.

Fase 3: coordinamento globale

Serve un'intesa globale che includa anche le potenze autoritarie, sul modello dei trattati SALT sulle armi nucleari.

Amodei classifica i livelli di accordo possibile per difficoltà:

1. Livello 1: proibizione di usi specifici pericolosi (es. armi biologiche).
2. Livello 2: test obbligatori per rischi acuti prima del rilascio dei modelli.
3. Livello 3: limiti alla velocità dell'auto-miglioramento ricorsivo (simile ai trattati SALT).
4. Livello 4: pausa completa o rallentamento globale massiccio dello sviluppo.

Fermati un secondo su questo: Amodei è il primo ad ammettere che questo piano è fattibile solo in parte.

Nelle prime ore, succede l'improbabile: Musk scrive che Amodei ha ragione - letteralmente solo questo.

Altman concorda e OpenAI adotta gli stessi valutatori.

Pure Hassabis di DeepMind sostiene il saggio di Amodei, definendolo la direzione giusta per il settore anche se restano dettagli da definire, davanti a quello che ha descritto come un momento critico.

E ne approfitta per rilanciare la proposta di Google DeepMind di un organismo di standard a livello di settore dedicato allo sviluppo e alla sicurezza dell’AI di frontiera.

Quattro rivali diretti, pubblicamente allineati, con i battibecchi in pausa. Per un istante sembra che la fase 2 sia già partita da sola.

Due giorni dopo, però, arriva la prima crepa: Trump è in Irlanda, a Doonbeg, per il proprio torneo di golf, e da lì liquida l'allarme come una scusa per far perdere terreno all'America nei confronti della Cina.

Il suo consigliere per l'AI, David Sacks, è più chirurgico: fa notare che rallentare conviene anche perché riduce l'esposizione legale in caso di un attacco informatico causato dai propri modelli - meno nobile della sicurezza dell'umanità, ma difficile da liquidare come del tutto sbagliata.

Due giorni ancora, ed ecco che Zuckerberg rompe il fronte il 16 settembre.

Pensa che non serva una pausa coordinata di settore, che ogni laboratorio dovrebbe decidere da solo in base ai rischi dei propri modelli e che i laboratori hanno già incentivi naturali a essere sicuri - gli utenti non adottano agenti disallineati, e la responsabilità civile in caso di danni è reale.

Ricorda che Meta ha già ritardato di mesi il lancio del proprio agente, Muse, per fare più test, "senza chiedere agli altri di fare lo stesso prima di noi". Si dice favorevole ai valutatori indipendenti. Rifiuta solo il coordinamento formale per rallentare.

Chi segue Zuckerberg da un po' riconosce lo schema.

A fine luglio, quando circolava la prima bozza della proposta - una lettera firmata da oltre 1.100 dipendenti dei laboratori frontier, poi diventata l'ossatura del saggio di settembre - Zuckerberg aveva già risposto con un editoriale sul Wall Street Journal: gli Stati Uniti dovrebbero accelerare lo sviluppo dell'AI, non limitarlo.

Nella stessa finestra di fine luglio, Nvidia, Microsoft e Meta avevano firmato insieme una lettera sui pesi aperti, con la stessa tesi di fondo: l'apertura, non il controllo, è la strada più sicura.

Ad agosto Zuckerberg l'ha ribadito in un saggio, sostenendo che il vero rischio non è la velocità dell'AI ma la concentrazione del suo controllo in poche mani.

Nvidia, dal canto suo, non si è nemmeno presa la briga di argomentare con altrettanta finezza.

Jensen Huang, sul palco dell'All-In Summit, ha liquidato la narrativa sui rischi come non fondata scientificamente: "safety is an engineering problem", non un motivo per fermare il settore.

Quando Trump lo ha chiamato in diretta per dirgli che tutta la faccenda è un hoax orchestrato da chi non vuole vedere l'America vincere, Huang gli ha risposto - applaudito dalla platea - che no, non lo avrebbero permesso.

My two cents sulla questione

La fase 1 regge: è un’ottima proposta, ed è anche l'unica di cui Anthropic paga il conto per prima.

Ma le fasi 2 e 3 non accadranno, chiedendo a Musk, Altman, Zuckerberg e Huang di pagare il conto al posto di Anthropic.

Soprattutto la fase 3 è molto ottimistica, ma pure Amodei sa bene che è quel genere di cose che vanno proposte, ma che serve una congiuntura astrale anti-concorrenziale perché avvengano.

Purtroppo questo scenario è teoria dei giochi prima che un reale interesse nella sicurezza globale e aspettarsi un impegno volontario alla sicurezza è molto ingenuo in questa situazione.

La concorrenza punisce chi rallenta per primo - se Meta si ferma e OpenAI no, Meta perde terreno, punto.

La geopolitica premia chi corre più veloce - se gli Stati Uniti rallentano e la Cina no, la narrativa lo trasforma in tradimento nazionale prima ancora che in dibattito tecnico.

Nessuno dei due lati si offre di muoversi per primo, perché muoversi per primi, in entrambi i giochi, è l'unica mossa che si paga da sola.

Giacomo Ciarlini - CIO - Datapizza

Simone Conversano - AI Transformation & Marketing Specialist - Datapizza