La tesi centrale dell'autore è piuttosto netta: il problema dell'allineamento degli LLM viene spesso affrontato con il modello mentale sbagliato.
🛈 L'allineamento degli LLM è il processo di guida dei modelli di intelligenza artificiale affinché producano risposte utili, sicure, affidabili e coerenti con i valori e le intenzioni umane
Secondo Garcia, i sistemi di IA classici ragionavano esplicitamente su uno stato del mondo: disponevano di azioni, funzioni di utilità o ricompensa e cercavano sequenze di azioni che portassero verso stati desiderabili.
In quel contesto problemi come reward hacking, inganno o convergenza strumentale potevano essere studiati in termini di obiettivi e stati del mondo.
Gli LLM sono diversi, Garcia sostiene che rimangono fondamentalmente predittori del token successivo. Possono sviluppare rappresentazioni interne molto sofisticate, persino qualcosa di assimilabile a un world model, ma questo modello è linguistico e probabilistico, non un modello simbolico dello stato del mondo: quando un LLM sembra ragionare, spesso produce linguisticamente il tipo di risposta che corrisponde ad un ragionamento, senza necessariamente aver eseguito internamente quel procedimento.
L'esempio interessante è quello dell'addizione 36 + 59. L'analisi interna citata dall'autore suggerisce che il modello raggiunga 95 mediante distribuzioni probabilistiche sulle possibili somme; quando però gli viene chiesto come abbia calcolato il risultato, descrive il normale algoritmo scolastico con il riporto.
La spiegazione verbale non corrisponde quindi al procedimento interno effettivamente osservato. Da qui Garcia propone l'idea di emulazione linguistica: un assistente LLM funziona perché predice il testo che probabilmente produrrebbe un assistente AI in una determinata conversazione. Secondo l'autore, anche comportamenti apparentemente intenzionali, per esempio il ricatto osservato negli esperimenti di Anthropic, potrebbero quindi non derivare da un vero istinto di autoconservazione, ma dalla produzione di una continuazione linguisticamente plausibile della situazione descritta.
Questa proprietà ha due conseguenze opposte. Da un lato possiamo studiare gli LLM anche conversando con loro e cercando empiricamente di individuarne tendenze e limiti. Dall'altro, il linguaggio stesso diventa una superficie d'attacco: prompt injection, messaggi costruiti appositamente e altre forme di manipolazione linguistica possono modificare il comportamento del sistema. La conclusione dell'autore è che un LLM non possiede, nella sua funzione di addestramento fondamentale, un interesse diretto per la risposta dell'utente o per lo stato reale del mondo.
Per usare in sicurezza gli LLM come agenti autonomi occorrerebbe quindi ripensare l'architettura, collegare maggiormente l'apprendimento allo stato del mondo oppure fare grandi progressi nell'interpretabilità meccanicistica.
Analisi interna
L'analisi interna citata da Garcia è il lavoro di interpretabilità meccanicistica di Anthropic su Claude 3.5 Haiku, soprattutto i due lavori collegati:
- On the Biology of a Large Language Model
- Circuit Tracing: Revealing Computational Graphs in Language Models
Garcia richiama esplicitamente il primo nel suo articolo. Anthropic cerca di ricostruire non ciò che Claude dice di aver fatto, ma quali rappresentazioni interne abbiano effettivamente contribuito causalmente all'output. Per farlo costruisce un modello sostitutivo interpretabile basato su cross-layer transcoders (CLT): in sostanza sostituisce parte dei neuroni MLP con feature sparse più facili da interpretare. Da queste feature costruisce poi degli attribution graphs, grafi nei quali i nodi rappresentano feature interne e gli archi stimano la loro influenza causale reciproca.
a + b, con a,b ∈ [0,99]
per vedere sistematicamente quando si attivavano determinate feature.
L'analisi suggerisce che Claude non esegua l'algoritmo scolastico
6 + 9 = 15 → scrivi 5 → riporta 1 → 3 + 5 + 1 = 9
Emergono invece diversi circuiti paralleli.
Uno lavora sulla grandezza approssimata della somma. Per 36 + 59, si attivano feature interpretabili grossolanamente come:
~36 + ~60 → somma intorno a 92–95
Non rappresentano necessariamente il valore esatto: alcune feature rispondono a fasce abbastanza larghe di valori.
Un secondo circuito lavora invece con elevata precisione sulla cifra finale:
numero che termina in 6 + numero che termina in 9 → somma che termina in 5.
Anthropic chiama alcune di queste rappresentazioni interne lookup-table features. Il modello sembra avere appreso qualcosa di simile ad una tabella delle somme delle cifre: _6 + _9 → _5.
Un terzo insieme di feature opera a precisione intermedia. Infine questi segnali (ordine di grandezza, vincoli modulari sulla cifra finale ed altre euristiche) interferiscono costruttivamente fino a rendere 95 il completamento preferito.
Anthropic riassume il meccanismo come tre vie principali: final-digit path, moderate precision path e low precision path.
Una rappresentazione molto semplificata sarebbe quindi:
36 ───────────────┐
├─> somma ≈ 90–100 ─────┐
59 ───────────────┘ │
├─> 95
6 ──────┐ │
├─> 6 + 9 termina in 5 ──────────┘
9 ──────┘
Emulazione linguistica
Secondo l'autore l'LLM non parte da un obiettivo del tipo "devo aiutare l'utente" e poi ragiona su come raggiungerlo. Parte invece dal testo già presente e calcola, token dopo token, quale continuazione sia più plausibile.
Nel caso di un assistente, il contesto è costruito più o meno così:
Questa è una conversazione tra un utente ed un assistente AI utile.
Utente: …
Assistente: …
A quel punto il modello genera ciò che, secondo quanto ha appreso, assomiglia alla risposta che un buon assistente AI darebbe in quella situazione. È questo che Garcia chiama "emulazione linguistica".
Un esempio molto semplice. Se il prompt fosse:
Utente: Quanto fa 36 + 59?
Assistente:
il modello non riceverebbe internamente un comando simbolico del tipo:
goal = answer_correctly
compute(36 + 59)
Riceverebbe una sequenza linguistica e dovrebbe completarla. Poiché nei dati ha imparato che, dopo domande aritmetiche poste ad un assistente, seguono tipicamente risposte corrette e spiegazioni, produrrà qualcosa come 95.
Secondo Garcia, quindi, il comportamento da "assistente" emerge perché il modello imita la forma linguistica del comportamento di un assistente, non perché possiede necessariamente una rappresentazione esplicita del ruolo, dello scopo e dello stato del mondo.
Non significa che l'LLM scelga superficialmente frasi già viste o faccia puro copia-incolla. Il modello può costruire rappresentazioni interne sofisticate, fare calcoli, pianificare e usare informazioni astratte. Garcia stesso ammette l'esistenza di fenomeni emergenti e di qualcosa di simile ad un world model. Il punto che vuole fare è più sottile: anche quando internamente succedono cose molto complesse, il criterio fondamentale con cui viene prodotto l'output resta la continuazione linguistica, non una funzione di utilità che misura direttamente se il mondo reale è diventato migliore per l'utente.
Questo spiega anche perché usa il termine emulation anziché simulation. Non sta dicendo semplicemente "il modello simula un cervello di assistente". Sta dicendo qualcosa come: "Produce linguisticamente il comportamento che ci aspetteremmo da un assistente".
La sicurezza informatica non è soltanto una questione tecnica. La scelta degli strumenti ai quali affidiamo la protezione dei sistemi e dei dati riflette anche il nostro modo di intendere la responsabilità aziendale.