Il freno a mano della singolarità
Anthropic avverte che l'intelligenza artificiale sta imparando a costruire sé stessa, e propone un freno per fermarla. Peccato che sia tarato per non scattare mai.
C’è qualcosa di disarmante in un’azienda che, mentre lima i documenti per una quotazione in borsa vicina ai mille miliardi di dollari, pubblica un report per dirti di avere paura di lei. O forse c’è qualcosa di molto furbo. Probabilmente entrambe le cose, ed è proprio lì che la storia diventa interessante.
Il documento si intitola When AI builds itself, lo firma l’Anthropic Institute, e la tesi sta tutta nella parola che hanno infilato nell’URL invece che nel titolo: recursive self-improvement. Auto-miglioramento ricorsivo. L’idea che un modello, prima o poi, possa progettare e addestrare il proprio successore senza che un umano gli tenga la mano. Non è ancora successo, scrivono. Non è inevitabile, scrivono. Ma potrebbe arrivare prima di quanto le istituzioni siano pronte.
E qui scatta la domanda che vale più di tutte le metriche del report: cosa succede al mondo quando la cautela diventa un prodotto? Quando la paura della propria tecnologia smette di essere un freno e si trasforma in un asset da bilancio?
Le prove che Anthropic porta sul tavolo sono concrete, va riconosciuto. Oggi più dell’ottanta per cento del codice che finisce in produzione lo scrive Claude, non un essere umano. Prima del lancio di Claude Code, a inizio 2025, quella quota era a una cifra sola. Ogni ingegnere manda in produzione otto volte più codice al giorno rispetto al 2024. Adesso il lavoro è un altro: dirigere e revisionare ciò che la macchina ha già scritto. L’uomo è scivolato dal tastierino al sedile del passeggero, e finge ancora di guidare.
Solo che la prova-bandiera è anche la più fragile, e a dirlo sono loro stessi. Le righe di codice misurano la quantità, mai la qualità: in una nota a piè di pagina Anthropic ammette che quell’otto volte è “quasi certamente una sovrastima” del reale guadagno di produttività. Fermiamoci un secondo su questo. Stiamo misurando l’avvento della singolarità con la stessa vanity metric che dieci anni fa usavamo per ridere dei manager che contavano le righe per valutare i programmatori.
Fuori dall’azienda, qualcuno ha alzato la mano. Su Scientific American il matematico Noah Giansiracusa taglia corto: non è una vera richiesta di rallentare, e una pausa è comunque “letteralmente impossibile”. Mark Riedl, della Georgia Tech, parla senza giri di parole di hype train dell’auto-miglioramento ricorsivo. E poi c’è il dettaglio che fa scricchiolare l’intera impalcatura: l’appello alla prudenza arriva pochi giorni dopo che Anthropic ha depositato in via riservata la domanda di quotazione. La predica sulla velocità eccessiva la fa uno dei piloti che corrono più forte.
Perché la proposta, letta da vicino, è un capolavoro di ingegneria retorica. Anthropic dice: sarebbe bene avere l’opzione di rallentare. Ma rallenterei solo se rallentassero anche gli altri laboratori, e solo se potessi verificarlo. In un settore dove un addestramento si nasconde meglio di un silo missilistico, dove gli ingredienti sono di uso generale e l’incentivo a barare in silenzio è enorme, perché chi continua mentre gli altri si fermano eredita il primato, quella condizione non scatterà mai. È un freno a mano progettato per non essere tirato. Un alibi vestito da responsabilità.
Detto in modo brutale: Anthropic ha capito che la paura della propria tecnologia è il miglior prodotto che ha in catalogo. Più il modello fa paura, più sembra potente. Più sembra potente, più vale. La sicurezza, qui, non è il guardrail del business: è il business.
E però.
Se mi fermassi qui avrei scritto l’ennesimo pezzo cinico sul capitalismo dell’intelligenza artificiale, e non basterebbe. Perché sepolta nello stesso documento c’è un’idea molto più bella, e molto più scomoda, di tutta la liturgia sulla singolarità.
Si chiama legge di Amdahl. In informatica dice una cosa semplice: puoi accelerare quanto vuoi una parte di un processo, ma la velocità complessiva resta inchiodata alle parti che non hai accelerato. Anthropic la tira in ballo per ammettere qualcosa di quasi commovente. Anche un’intelligenza sterminata sbatte contro il mondo. Più intelligenza non ti dice cosa fa davvero un farmaco dopo trent’anni di uso reale. Non ti fa tenere le elezioni prima di quanto stabilisca una costituzione. E non ti trasforma uno sconosciuto in un vecchio amico nello spazio di un fine settimana.
Ma il passaggio che mi è rimasto addosso non è dei dirigenti. È di un dipendente, citato quasi di sfuggita verso la fine. Racconta che il lavoro, e la vita, giravano su un’economia del dono fatta di piccoli favori tra umani. Mi aiuti a far girare questo script? Ogni favore creava un piccolo debito, una piccola consapevolezza reciproca. Claude è più rapido, dice, e non crea nessun debito. Ma ogni richiesta che giro a lui invece che al collega di fianco è un’occasione di collaborazione umana che non tornerà.
Ecco la frattura vera, quella che nessun benchmark sa misurare. Non l’AI che diventa troppo brava. Ma il tessuto invisibile di favori, debiti e sguardi che teneva insieme un ufficio, ottimizzato via un commit alla volta. Il report immagina un futuro in cui il laboratorio gira alla velocità del compute mentre il resto del mondo continua a girare alla velocità di una stretta di mano. Quella collisione, scrivono onestamente, non sanno prevederla. Io ho il sospetto che la stiano già vivendo, solo che non si misura in righe di codice.
Forse il vero auto-miglioramento ricorsivo non è la macchina che riscrive sé stessa. È noi che riscriviamo noi stessi attorno a lei, un favore non chiesto alla volta, finché un giorno ci accorgiamo di aver estinto ogni debito con gli altri umani.
E che senza quei debiti non sappiamo più bene chi siamo.
(Metanerd – metà meta, metà nerd. E questa settimana anche un po’ in debito.)
🎧 Un'altra cosa, prima di salutarci. Oltre a Metanerd, sto lavorando a Voci Artificiali: un podcast in cui intervisto gli abitanti di una Napoli del 2050, raccontata da un'intelligenza artificiale che ne ha imparato a memoria mille anni di storia. Se ti piace il modo in cui qui ragiono sull'AI, lì lo trasformo in storie. Ascoltalo su Spotify o vieni a sbirciare su vociartificiali.it.
Fonti
Anthropic Institute, When AI builds itself: https://www.anthropic.com/institute/recursive-self-improvement
Scientific American, Anthropic warns AI could soon start improving itself. Critics aren’t convinced: https://www.scientificamerican.com/article/anthropic-warns-ai-may-soon-begin-recursive-self-improvement/
METR, Measuring AI ability to complete long tasks: https://metr.org/time-horizons/
Foto di copertina
Editorial conceptual cover, cinematic. Extreme close-up of two hands about to meet in a handshake but not touching: on the left a real human hand, warm skin, slight imperfections; on the right a hand made of faint glowing streams of code and particles, gradually dissolving into the dark. The narrow gap between the two hands is filled with thin lines of luminous data drifting upward. Cold blue server-room lighting in the background, soft bokeh of server racks, a single warm amber rim light catching the human hand. Dark, moody, high-contrast, negative space on the upper right for title text. Subtle film grain, shallow depth of field, photorealistic with a quiet sense of loss. No text, no logos, no faces. 16:9 aspect ratio.