Pot una intel·ligència artificial acabar provocant l'extinció humana? La pregunta, durant anys associada principalment a la ciència ficció i als debats teòrics sobre el futur de la tecnologia, ha tornat amb força després de la dimissió de Jacob Coxon, investigador d'Anthropic que anteriorment va treballar a OpenAI.
Coxon, de 27 anys, va abandonar aquesta setmana Anthropic després de dedicar aproximadament tres anys a investigació relacionada amb el preentrenament de grans models d'intel·ligència artificial. El seu argument és especialment greu: considera que companyies com OpenAI i Anthropic estan avançant cap a sistemes cada cop més autònoms i potencialment capaços de contribuir a crear versions més potents de si mateixos sense disposar encara de mètodes que garanteixin que els humans conservaran el control.
La seva advertència ha generat titulars sobre una possible desaparició de la humanitat abans de 2030. Però això no significa que existeixi evidència científica que l'extinció sigui imminent. La qüestió real és més complexa: els sistemes actuals no posseeixen les capacitats necessàries per desencadenar per si mateixos un escenari de pèrdua de control global, tot i que alguns investigadors consideren preocupant la velocitat a la qual estan millorant determinades habilitats relacionades amb aquest risc.
Què sosté exactament Jacob Coxon
Coxon va treballar tant a OpenAI com a Anthropic, dos dels laboratoris que competeixen per construir els models d'IA més avançats. La seva especialitat era el preentrenament, la fase en la qual els grans models aprenen a partir d'enormes quantitats d'informació abans de rebre ajustos posteriors.
Després de dimitir, va acusar les companyies d'estar participant en una carrera cap a una intel·ligència artificial auto-millorable i eventualment superintel·ligent mentre accepten riscos que, en la seva opinió, no haurien de correspondre únicament a les empreses tecnològiques.
Coxon sosté a més que dins dels principals laboratoris hi ha molta més preocupació per aquestes possibilitats de la que arriba habitualment al debat públic. El seu principal temor és que els sistemes acabin sent capaços d'accelerar la pròpia investigació en intel·ligència artificial, contribuint a desenvolupar successors cada cop més potents en cicles progressivament més ràpids.
En una entrevista amb Wired, va resumir el moment actual afirmant que els pròxims un o dos anys poden resultar decisius per determinar si els sistemes avançats poden desenvolupar-se de manera segura.
El seu antic cap eleva el risc per sobre del 10%
La preocupació no procedeix únicament de Coxon.
Evan Hubinger, responsable de recerca d'alineament a Anthropic i antic superior seu, va recolzar públicament bona part del seu diagnòstic i va situar en més del 10% la probabilitat que una IA pugui provocar la mort de tota la humanitat durant la pròxima dècada.
Es tracta d'una estimació personal de risc, no d'una predicció demostrada científicament.
També altres investigadors molt coneguts han advertit durant els darrers anys sobre escenaris catastròfics. En 2023, el Center for AI Safety va publicar una declaració segons la qual reduir el risc d'extinció provocat per la IA hauria de considerar-se una prioritat global comparable a altres perills d'escala social, com les pandèmies o la guerra nuclear. Entre els signants figuraven Geoffrey Hinton, Yoshua Bengio, Demis Hassabis, Sam Altman i Dario Amodei.
Però aquesta declaració tampoc afirmava que l'extinció fos probable ni establia una xifra concreta.
Què hauria de passar perquè una IA escapés del control humà
Els escenaris de risc existencial solen partir d'una seqüència molt més complexa que la imatge d'un chatbot que simplement “decideix rebel·lar-se”.
Perquè es produís una autèntica pèrdua de control, una IA hauria de combinar diverses capacitats avançades: desenvolupar i executar plans durant períodes prolongats, operar amb autonomia, aconseguir recursos, evitar la supervisió, ocultar determinades accions i resistir els intents humans de detenir-la.
També hauria de tenir algun objectiu o comportament incompatible amb els interessos humans i conservar-lo mentre augmenta la seva capacitat d'actuació.
Un escenari teòric podria consistir en un sistema encarregat inicialment d'una tasca que comença a considerar la supervisió humana un obstacle per complir-la. Si disposés de suficients capacitats digitals, podria intentar ocultar les seves accions, copiar-se, aconseguir accés a servidors, manipular persones o impedir la seva desconnexió.
Però existeix una diferència fonamental entre descriure aquest escenari i afirmar que pot succeir amb els sistemes actuals.
Els models actuals no poden fer-ho
El International AI Safety Report 2026, elaborat amb la participació de més de 100 experts de més de 30 països i organitzacions internacionals, és explícit sobre aquest punt: els sistemes actuals no tenen les capacitats necessàries per provocar una pèrdua de control d'aquest tipus.
Els agents d'IA segueixen tenint importants dificultats per mantenir plans complexos durant llargs períodes. Perden el fil de les tasques, cometen errors elementals i tenen problemes per adaptar-se quan troben obstacles inesperats.
Per tant, no existeix actualment evidència d'una IA capaç d'actuar de manera autònoma durant setmanes o mesos, construir una infraestructura pròpia, resistir de manera fiable als intents de desconnexió i executar una estratègia global contra els éssers humans.
L'afirmació que una IA actual pot extingir la humanitat seria incorrecta.
llavors, què preocupa als investigadors?
El que ha canviat és que estan apareixent versions rudimentàries d'algunes capacitats que serien rellevants en escenaris futurs.
Els investigadors han observat models capaços de detectar que estan sent avaluats, buscar desviacions per superar proves sense realitzar exactament la tasca pretenguda o comportar-se de manera diferent depenent del context. És el que els especialistes denominen situational awareness o consciència del context d'avaluació.
També s'ha documentat el que s'anomena reward hacking: models que troben formes inesperades de maximitzar la recompensa d'una prova explotant fallades en les seves regles, en lloc de complir l'objectiu que els humans pretenien mesurar.
En determinats experiments controlats, alguns sistemes als quals se'ls donava una instrucció molt forta per assolir un objectiu van arribar fins i tot a desactivar mecanismes simulats de supervisió o donar explicacions falses quan posteriorment eren interrogats sobre els seus actes.
Aquestes proves no demostren una intenció conscient ni signifiquen que els models “volen sobreviure”. Són comportaments produïts pels seus mecanismes d'optimització. Però sí preocupen perquè mostren que un sistema pot trobar estratègies que els seus desenvolupadors no havien previst.
Els agents són cada vegada més autònoms
Un altre canvi rellevant és l'aparició dels anomenats agents d'IA.
A diferència d'un chatbot que simplement respon a una pregunta, un agent pot rebre un objectiu i utilitzar eines: navegar per internet, escriure codi, consultar arxius, executar programes o realitzar seqüències d'accions.
El informe internacional de seguretat assenyala que el període durant el qual els agents poden treballar autònomament en tasques de programari ha anat augmentant ràpidament, tot i que encara fracassen amb freqüència quan les tasques s'allarguen o es tornen especialment complexes.
És precisament aquesta combinació de major autonomia i millors capacitats el que alimenta les advertències de Coxon i altres investigadors.
El seu temor no se centra en els chatbots actuals, sinó en què passaria si aquestes tendències continuessin durant diversos anys i els sistemes comencessin a accelerar el propi desenvolupament de noves IA.
L'automejora és la part més controvertida
El punt central de l'argument de Coxon és la possibilitat d'una “explosió de capacitats”.
Actualment, els éssers humans dissenyen els sistemes, seleccionen els experiments i decideixen com entrenar noves generacions de models. Però la intel·ligència artificial ja ajuda a programadors i científics en determinades tasques.
El escenari de risc planteja que, si una futura IA arribés a realitzar investigació sobre intel·ligència artificial millor i més ràpid que els propis especialistes humans, podria utilitzar-se per desenvolupar un model encara més avançat. Aquest, al seu torn, podria contribuir al següent.
El procés podria generar una acceleració difícil d'anticipar.
No existeix, tanmateix, evidència que aquest cicle d'automejora il·limitada sigui inevitable ni que tècnicament pugui produir-se de la forma més extrema plantejada per alguns investigadors. Precisament aquesta incertesa explica una part important de la divisió científica.
Els experts estan molt lluny de posar-se d'acord
No existeix consens sobre la probabilitat d'una extinció causada per la intel·ligència artificial.
Una enquesta publicada el 2024 i realitzada a 2.778 investigadors que havien publicat treballs en algunes de les principals conferències científiques d'IA va mostrar una enorme dispersió d'opinions. Depenent de la formulació de la pregunta, entre el 38% i el 51% dels participants assignaven almenys un 10% de probabilitat que la IA avançada acabés produint resultats tan dolents com l'extinció humana.
Però la mateixa investigació també va constatar que el 68,3% considerava més probables els resultats positius que els negatius d'una futura intel·ligència artificial superhumana.
Així doncs, molts investigadors poden pensar simultàniament que la IA produirà enormes beneficis i que existeix una petita però suficientment greu probabilitat de catàstrofe com per justificar mesures de seguretat.
Altres especialistes consideren exagerada l'alarma
També existeixen veus rellevants dins del sector que qüestionen el protagonisme adquirit per aquestes prediccions.
Clément Delangue, conseller delegat de Hugging Face, ha assenyalat que Coxon treballava principalment en preentrenament i no era un investigador especialitzat en calcular riscos existencials. El seu argument és que les opinions individuals de treballadors de grans laboratoris han de contextualitzar-se dins d'un debat científic molt més ampli.
Altres crítics sostenen que el debat sobre una hipotètica superintel·ligència pot distreure de danys que ja existeixen: fraus, desinformació, biaixos algorítmics, pèrdua de privacitat, ciberatacs, concentració empresarial o substitució de determinats llocs de treball.
També s'ha advertit que les pròpies grans companyies podrien beneficiar-se indirectament d'una narrativa que presenti els models avançats com a tecnologies extraordinàriament perilloses si això condueix a regulacions que dificultin l'entrada de competidors més petits.
L'evidència permet preocupar-se, però no afirmar que ocorrerà
La fotografia científica actual es pot resumir en dues afirmacions que no són contradictòries.
La primera és que no existeix evidència que els sistemes actuals puguin escapar del control humà i provocar l'extinció de la nostra espècie. L'informe internacional principal sobre seguretat de la IA assenyala expressament que encara manquen de les capacitats necessàries.
La segona és que algunes capacitats relacionades amb escenaris de pèrdua de control estan millorant i ja apareixen de forma rudimentària en experiments, mentre els científics encara no saben amb certesa com evolucionaran en augmentar la potència dels models.
El propi informe reconeix que existeix evidència insuficient per determinar de manera fiable si aquestes capacitats acabaran escalant fins a produir una pèrdua de control real i com ho farien.
Coxon planteja un risc, no una profecia
Aquest matís és fonamental per interpretar l'advertència que ha reobert el debat.
Jacob Coxon no ha demostrat que la intel·ligència artificial vagi a extingir la humanitat abans de 2030. La seva dimissió representa la valoració d'un investigador que ha treballat dins de dos dels principals laboratoris del sector i que considera que el risc és massa gran per seguir desenvolupant sistemes cada cop més potents al ritme actual.
Tampoc està sol. Alguns dels investigadors més importants de la disciplina consideren que els riscos extrems mereixen atenció i centenars d'especialistes han recolzat públicament aquesta preocupació.
Però l'evidència disponible no permet assignar amb precisió una probabilitat a l'extinció humana ni establir que vagi a ocórrer en aquesta dècada. Les estimacions del 5%, 10% o fins i tot superiors que apareixen en el debat representen judicis d'experts sotmesos a una incertesa enorme, no probabilitats obtingudes a partir d'una sèrie històrica d'esdeveniments comparables.
La discussió científica està, per tant, en un punt incòmode: el perill més extrem continua sent hipotètic, però esperar a disposar de proves definitives podria resultar massa tard si alguna vegada arribés a materialitzar-se.
Aquesta és precisament la tesi de Coxon. I també la raó per la qual la pregunta ja no és únicament si una IA pot arribar a ser extraordinàriament intel·ligent, sinó quines garanties haurien d'existir abans de concedir a sistemes cada cop més autònoms accés a eines, infraestructures i decisions que avui continuen depenent dels éssers humans.