Nella notte fra l’8 e il 9 settembre 2026 Jacob Coxon, che per tre anni ha fatto ricerca sul pre-addestramento dei modelli prima come dipendente della OpenAI e poi della Anthropic, ha annunciato su X di essersi dimesso. Nessuna delle due aziende, ha spiegato, si sta comportando in modo responsabile: corrono dritte verso una superintelligenza capace di migliorarsi da sola e intanto giocano d’azzardo con le nostre vite.
Poche ore dopo, Evan Hubinger, che per la Anthropic guida la ricerca sull’allineamento1, gli ha dato ragione: “crediamo sinceramente che le AI potrebbero uccidere tutti gli esseri umani”. E ci ha messo pure un numero. Per lui la probabilità che succeda nei prossimi dieci anni è “>10%”2.
Ma che cos’è, esattamente, quel numero? E da dove viene?
Intanto ha un nome: P(doom).
Si legge pi-dum (ricorda un po’ il jingle di Netflix, no?).
Sta per probabilità della catastrofe, ha una sua voce su Wikipedia ed è nato come una mezza battuta sui forum degli smanettoni.
Indica, appunto, la probabilità che un’AI ci estingua.
Si esprime in percentuale, quindi va da 0 a 100.
Un giornalista del New York Times racconta che nel 2023 la pi-dum era diventata una specie di rompighiaccio alle feste del mondo tech di San Francisco: ci si chiedeva “qual è la tua pi-dum?” con grande disinvoltura3.
Pensa alla scena: un sacco di nerd, pessima musica pop a palla, alcol di dubbia qualità a fiumi, Brayden dice: “Eh, lavoro nel fine-tuning. La mia pi-dum è 15.”
Kayleigh risponde: “40. Il che ti dirà molto di me, sapendo anche che sono sagittario”.
In realtà, alla pi-dum andrebbe associato anche un termine temporale, perché un conto è puntare sulla fine del mondo senza termine, un conto è farlo appiccicandoci anche una data. Per esempio: “Ieri Bob mi diceva che per lui la pi-dum è 17 entro il 2027”. “Mah, per come vanno le cose io preferisco tenermi larga: 75 entro il 2051”.
Se ti sembra surreale è perché non hai presente la Silicon valley. Se vuoi farti un’idea di quanto varia la stima della pi-dum a seconda delle persone, ecco qui un listino (con tanto di link verificabili):
per Yann LeCun, che per anni ha guidato la ricerca sulle AI di Meta, l’estinzione da AI è meno probabile di un asteroide che ci centra in pieno;
per Hubinger dell’Anthropic l’abbiamo detto: più del 10 per cento in dieci anni;
per Geoffrey Hinton, premio Nobel per la fisica grazie alle sue ricerche sulle AI, fra il 10 e il 20 per cento nei prossimi trent’anni;
secondo Daniel Kokotajlo, ricercatore della OpenAI che si dimise come Coxon, era del 70 per cento già nel 2024;
per Roman Yampolskiy, che studia la sicurezza delle AI all’università di Louisville, la pi-dum è 99,999999 (otto nove di fila: una sentenza, praticamente. Solo che non si sa entro quando);
la mediana di un’enorme indagine fra 2.778 persone che fanno ricerca sulle AI dice: 5.
Ma come si calcola, esattamente, questa percentuale? Questo è il bello: non si calcola affatto! Si dice. Si esprime. Si butta lì. Si va a sentimento. Del resto la pi-dum è una scommessa su un evento che non si è mai verificato e che non si sa se si verificherà, quindi vale tutto e il contrario di tutto.
In un torneo di previsioni organizzato nel 2022 hanno chiesto a un campione di persone laureate che probabilità c’è che l’umanità si estingua entro il 2100. In percentuale, la risposta mediana è stata del 6 per cento. Cioè, più di 1 probabilità su 20. È una probabilità altissima.
In un altro esperimento hanno fatto la stessa domanda a delle persone a cui, però, hanno prima ricordato qual è la probabilità di un evento particolarmente raro. Tipo, morire colpiti da un fulmine (c’è 1 probabilità su 300mila) o che un neonato diventi presidente degli Stati Uniti (1 probabilità su 10 milioni). Poi hanno rifatto la domanda. Messi di fronte all’evidenza di dover comparare una cosa di cui non si sa proprio nulla (un’AI che ci estinguerà) con cose che conosciamo, le persone cambiano atteggiamento: la mediana, in quel caso, è crollata a una probabilità su trenta milioni.
Siccome poi non ci si può estinguere più di una volta, la percentuale è comoda perché stima un evento che al massimo può capitare una volta sola. In più, nessuno potrà mai controllare davvero. Mettiamo che ci vada bene: nel 2100 non ci siamo ancora estinti. Questo non vuol dire che la pi-dum del 5 per cento fosse sbagliata. È una percentuale, no? Quindi anche se non ci saremo estinti, poteva sempre essere una stima corretta. Non si sa mai. Maniman, si dice a Genova. E se invece ci va male? Be’, tanto non ci sarà nessuno a dire “io l’avevo detto” perché ci saremo estinti. Manco quella soddisfazione lì.
Se non altro, Hubinger si è preso la responsabilità di dire che in Anthropic corrono veloci in ogni caso, e non sanno bene se l’allineamento funzionerà. Dare la pi-dum, invece, non significa né assumersi qualche forma di responsabilità né essere attenti ai reali rischi dovuti allo sviluppo incontrollato e senza governance globale delle intelligenze artificiali.
È giusto un buttarla lì, a seconda dell’umore del momento.
”Come stai oggi, Dakota?”
”Mah, non benissimo, c’ho la pi-dum a 79”
”Io ho fatto un po’ di mindfulness, ieri, e mi è scesa a 8. Perché non provi?”.
Solo che questo umore del momento, siccome la catastrofe vende di più, finisce persino al tiggì. Eccoci qua, tutti a pendere dalle labbra del millenarista versione 2026 che ci indica la fine del mondo.
Il 90% non fa notizia
Comunque, per amor di scommessa, facciamo finta che Hubinger abbia ragione sulla previsione: c’è un po’ più del 10 per cento di possibilità che le AI ci facciano estinguere. P(doom) > 10%.
Allora questo significa che, a voler essere generosi, c’è il 90 per cento scarso di probabilità che nei prossimi dieci anni non succeda proprio niente. Cioè, c’è il 90 per cento di probabilità che l’umanità non si estingua a causa delle AI.
Non è poco, eh, il 90 per cento. Ma nessuno ci ha fatto un titolo (e ci credo: chi ci clicca, poi?).
Dentro quel 90 per cento c’è di tutto, fra l’altro. C’è la P(bloom), la probabilità della fioritura che piace tanto agli iper-ottimisti: che so, la cura del cancro trovata con le AI, l’abbondanza per tutte e tutti, lo scenario idilliaco che dipingono quelli che Reid Hoffman chiama i bloomer4.
E c’è anche la probabilità più noiosa di tutte, quella che non farà notizia: io la chiamo P(normal). È uno scenario noioso, perché se riusciamo a non friggerci con la crisi climatica o a non ammazzarci in una guerra permanente, fra vent’anni magari le AI saranno una cosa che diamo per scontata, come lo smartphone o la corrente elettrica.
Due informatici di Princeton, Arvind Narayanan e Sayash Kapoor, ci hanno scritto su un saggio lunghissimo e molto discusso (almeno fra gli addetti ai lavori, non certo nei media mainstream): le tecnologie di uso generale, sostengono, cambiano il mondo alla velocità con cui le adottiamo, cioè con i tempi delle organizzazioni e delle abitudini. E, coerenti fino in fondo, sostengono che le percentuali sull’apocalisse sono davvero troppo traballanti per usarle nelle decisioni politiche.
Attenzione: P(normal) non esclude mica i danni eh. Le tecnologie generaliste fanno anche danni. Ecco, le fini del mondo a rate, cioè i cambiamenti del mondo come lo conoscevamo, non vengono misurate dalle percentualine: sono fuori dall’inquadratura (e anche dai titoli) perché sono processi.
E la P(doom) atomica?
A gennaio gli scienziati del Bulletin of the Atomic Scientists hanno messo l’orologio della guerra atomica a 85 secondi dalla mezzanotte, il punto più vicino di sempre, perché Russia, Cina, Stati Uniti e compagnia sono sempre più aggressivi e nazionalisti. Anche quell’orologio è una misura arbitraria. Però diciamo che sappiamo che danni può fare una bomba atomica. Sappiamo anche che nel mondo ci sono 12.187 testate nucleari, e stimiamo che fra le 2.100 e le 2.200 testate siano pronte su missili balistici. Il 5 febbraio è anche scaduto il New START, l’ultimo trattato che metteva un tetto agli arsenali strategici di Washington e Mosca. Trump ha fatto sapere che ne vuole uno nuovo, migliorato e modernizzato. Ma poi non se n’è fatto più nulla.
Per la cronaca, nel torneo di previsioni del 2022 gli esperti di AI davano all’estinzione causata dalle AI più o meno la stessa probabilità che gli esperti di nucleare davano all’estinzione causata dal nucleare, intorno al 3 per cento entro il 21005. Ognuno sceglie la fine del mondo dalla finestra del proprio ufficio.
Eppure nessuno, alle feste, ti chiede la tua P(Putin) o la tua P(Trump). La paura della bomba è roba da boomer, mi sa: c’è da più tempo, quindi fa meno hype.
Quanto ci costa la fine del mondo a rate?
Nel frattempo, sette dei nove confini planetari che tengono stabile la Terra sono già stati superati, e tutti e sette peggiorano. Con le politiche attuali, a fine secolo il riscaldamento arriva a 2,8 gradi in più. Anzi, no, forse li superiamo pure, visto che abbiamo già rotto il muro del +1,5. E la crisi climatica, in un mondo che dà un prezzo a tutto, diventa crisi economica: nel 2025 le assicurazioni hanno pagato più di cento miliardi di dollari di danni da disastri naturali. Il grosso dei danni l’hanno fatto incendi e temporali violenti, gli eventi di taglia media che una volta si consideravano poco (quelli che il settore chiama rischi “non di punta”). Pensa te: una fine del mondo lenta, che arriva a grandinate.
E indovina un po’ chi paga? Un aiutino: nel 2025 in Asia e nel Pacifico i disastri naturali hanno fatto 73 miliardi di dollari di danni. Solo 9 miliardi di valore erano assicurati. In Africa i danni sono stati pari a 3 miliardi ed era assicurato meno di un quinto. La fine del mondo lenta la paga chi non può permettersi le polizze6.
C’è anche la P(doom) da capitalismo?
Allora, forse, il problema è il capitalismo? L’abbiamo calcolato il rischio? Basta fare come fanno tutti: spariamo un numero.
“Qual è la probabilità che il capitalismo ci porti al collasso entro il 2100?”
”Io dico 87,6 per cento. Con la virgola, che fa più scientifico”.
87,6 per cento è una stima che ho inventato mentre scrivevo, ma vale quanto qualunque percentuale di questo pezzo.
Però, se ci fermiamo un attimo ad approfondire, perfino il World Economic Forum, che non è esattamente un collettivo anti-capitalista o un’organizzazione terroristica, mette in cima ai rischi dei prossimi dieci anni gli eventi meteo estremi, seguiti da altri due rischi ambientali. Le conseguenze negative delle AI stanno al quinto posto: riguardano soprattutto il lavoro e la tenuta delle società, non certo i robot che ci ammazzano. E il rischio più intrecciato a tutti gli altri, per il secondo anno di fila in questa speciale classifica delle cose che vanno male (o potrebbero andare male) è, rullo di tamburi, la disuguaglianza.
A dicembre del 2017 lo scrittore di fantascienza Ted Chiang pubblicò un articolo su BuzzFeed News in cui argomentava che la paura dell’apocalisse guidata da un’AI superintelligente (come il celebre esperimento mentale del “Paperclip Maximizer” di Nick Bostrom) non fosse altro che una proiezione del capitalismo corporativo estremo. In altre parole, siamo noi le creature (più o meno) intelligenti che spingono sull’acceleratore senza curarsi delle cose rischiose che conoscono già.
Ma allora chi sceglie la fine del mondo da prima pagina?
La pi-dum delle AI fa notizia perché le AI vanno di moda e perché siamo colonizzati dall’immaginario catastrofista della fantascienza. Fra l’altro, viene annunciata soprattutto da persone che lavorano nel mondo delle AI o che le vendono. In queste settimane, fra l’altro, due di quelle aziende corrono verso quotazioni in borsa che potrebbero essere storiche.
Che l’intenzione di metterci in guardia dai disastri sia sincera oppure no – spesso lo è: Coxon si è dimesso e non faccio fatica a pensare che creda davvero che le AI ci uccideranno tutti – l’effetto finale è che la fine del mondo degna del titolo del tiggì parte da quel gruppetto di aziende lì.
E come si rimedia? Facile: il rimedio, se esiste, te lo vendono gli stessi laboratori: ecco perché bisogna arrivare per primi a un’AI talmente potente che potrebbe estinguerci. Mica ci si può fidare degli altri. È la logica che Coxon, dimettendosi, ha descritto ad Anthropic e che Hubinger ha confermato, dicendo anche che non sanno esattamente come allineare una superintelligenza. Stupendo, no? Poi, però, ha anche ammesso che per ora la superintelligenza non c’è e che il rischio sui modelli attuali è basso. Quanto basso? Non si sa.
Che fai, minimizzi?
Comunque, già che ci siamo, ecco qui il mio listino personale:
P(doom), cioè estinzione da AI entro il 2036: talmente piccola da essere arrotondata a 0.
P(bloom), cioè scenario di abbondanza messianica entro il 2036: talmente piccola da essere arrotondata a 0.
P(normal) entro il 2036: 99. Fra vent’anni le AI saranno come il wifi sul treno: le useremo ovunque e saranno anche fonte inesauribile di imprecazioni. Non ho messo 100 perché non escludo che ci faremo molto male prima, in maniere molto umane.
Fare queste considerazioni non significa affatto minimizzare i problemi derivanti dallo sviluppo tecnologico delle AI, che sono in mano a pochissime aziende statunitensi e cinesi. Però ci servono per disturbare un po’ sia gli apocalittici sia gli integrati: in definitiva sono gli unici due tipi di persone che si siedono comodi e (in)felici davanti a una pi-dum.
Ci servono anche per pensare bene a quali idee vogliamo fare da amplificatori: a quelle che fanno più paura o a quelle che ci aiutano a trovare soluzioni a problemi reali?
Webinar
A proposito di AI e di soluzioni il 15 settembre c’è il webinar sull’uso delle macchine per fare brainstorming. Puoi iscriverti qui.
Cioè l’insieme delle “norme”, dei “valori” che un’intelligenza artificiale deve seguire. Potremmo dire, più in generale, che l’allineamento si occupa di definire i comportamenti desiderati e di verificare che le macchine li rispettino.
Un articolo della Cnn, nella versione indicizzata il 10 settembre, riporta per errore “under 10%”.
Kevin Roose, dicembre 2023, ripreso qui. Nello stesso periodo perfino Lina Khan, allora a capo dell’antitrust americana, dichiarò il suo pi-dum: 15.
Nel libro Superagency Hoffman divide le persone in quattro tribù: doomer, gloomer, zoomer e bloomer (qui una sintesi). Lui, che ha cofondato LinkedIn e Inflection AI, si mette fra i bloomer. I gloomer sono quelli che si preoccupano soprattutto del lavoro e dei danni concreti (ho come l’impressione che mi ci metterebbe).
Al torneo hanno partecipato 169 persone fra giugno e ottobre 2022, cioè prima del lancio di ChatGpt. Mediana degli esperti: 6 per cento di probabilità di estinzione entro il 2100, per una causa qualsiasi. Mediana dei super-esperti: 1 per cento. La coincidenza fra esperti di AI ed esperti di nucleare salta fuori da questa analisi dei dati grezzi.
Se ti stai chiedendo perché non ho citato i 38.000 miliardi di dollari l’anno di danni climatici entro il 2049, di cui si è parlato tanto: lo studio uscito su Nature nel 2024 è stato ritirato dagli autori a dicembre 2025, dopo le critiche su dati e metodo. Anche la crisi climatica, quando si tratta di fare previsioni di questo tipo, ha i suoi numerelli ballerini.
Finalmente un po' di buonsenso. Tra numerelli ballerini e previsioni shock ci anestetizziamo giornalmente quardando le serie formato famiglia di "Apocalypse Now". Mentre le borse giocano sulle paure e i prediction markets scommettono sulle crisi. Grazie Alberto, per questo sorso di realtà.