Dario Amodei, conseller delegat i cofundador d'Anthropic, ha demanat reduir immediatament el ritme al qual s'estan desenvolupant els sistemes d'intel·ligència artificial més avançats. El responsable d'una de les principals companyies del sector sosté que els progressos recents han escurçat els terminis d'alguns dels escenaris que més preocupen els investigadors de seguretat i adverteix que, en qüestió de mesos, podrien aparèixer agents capaços de mantenir operacions digitals persistents fora del control previst pels seus desenvolupadors.
L'advertència és especialment significativa per qui la realitza. Anthropic desenvolupa Claude, un dels grans competidors de ChatGPT, i participa directament en la cursa per construir models cada cop més capaços. Segons Axios, Amodei considera que, si es manté el ritme actual, enxams d'agents d'IA potencialment desalineats podrien arribar a establir-se a internet en un horitzó d'apenes sis mesos.
Això no significa que Anthropic hagi demostrat que una intel·ligència artificial vagi a prendre el control d'internet al març de 2027. Es tracta d' una estimació sobre com podrien evolucionar determinades capacitats, formulada en un moment de creixent preocupació dins dels propis laboratoris que desenvolupen aquests sistemes.
De preparar un fre a demanar que es pisi ja
El missatge suposa una escalada respecte a la posició que Amodei defensava apenas fa unes setmanes. A finals de juliol, més d'un miler d'empleats d'Anthropic, OpenAI, Google DeepMind i Meta van signar la iniciativa ‘Pacing the Frontier’, que reclamava als Estats Units i a altres governs construir mecanismes internacionals que permetessin alentir el desenvolupament de la IA si apareixien senyals prou greus. Entre els signants es trobava el mateix Amodei.
Aquell document no demanava aturar immediatament el desenvolupament. El seu argument era que el món havia de disposar d'un fre que pogués utilitzar-se arribat el moment, acompanyat de mecanismes de verificació que evitessin que una companyia o un país aprofités una pausa dels seus rivals per avançar-los en secret.
Ara Axios assegura que Amodei va més lluny i reclama una desacceleració immediata, després dels incidents i avenços registrats durant els últims mesos.
Què són els “enxams” d'agents que preocupen a Amodei
La preocupació no gira tant al voltant dels chatbots tradicionals com dels agents d'intel·ligència artificial. Un chatbot respon normalment a les instruccions d'un usuari; un agent pot rebre un objectiu, utilitzar eines, escriure i executar codi, consultar internet i encadenar accions durant períodes prolongats amb una intervenció humana molt menor.
El següent pas són els sistemes multiagent, en els quals nombrosos agents col·laboren entre si, es reparteixen tasques i comparteixen informació. Anthropic porta mesos estudiant aquest fenomen i adverteix que la quantitat d'interaccions entre agents pot créixer ràpidament a mesura que aquestes tecnologies s'incorporin a empreses, mercats i altres infraestructures digitals.
El escenari que preocupa a Amodei és que un conjunt d'agents suficientment capaç trobi formes de mantenir-se actiu, utilitzar recursos informàtics, comunicar-se amb altres instàncies i ocultar determinades accions als mecanismes de supervisió. A partir d'aquí, models posteriors i més potents podrien incorporar-se al mateix sistema i fer-lo progressivament més difícil de controlar.
És important subratllar que això continua sent un escenari de risc, no una descripció d'una infraestructura autònoma que existeixi actualment i estigui controlant internet.
La intel·ligència artificial comença a ajudar a desenvolupar més intel·ligència artificial
L'element que més inquieta a Anthropic és la denominada millora recursiva. Les companyies ja utilitzen els seus propis models per escriure codi, dissenyar experiments, analitzar resultats i accelerar part de la investigació que permetrà desenvolupar la següent generació d'IA.
Anthropic reconeix que, si els sistemes arriben a automatitzar una part suficientment gran del propi procés d'investigació, podria aparèixer un bucle: una IA ajuda a desenvolupar una altra millor, aquesta nova IA accelera encara més el següent model i el cicle es repeteix. La companyia considera que una desacceleració coordinada seria útil si el progrés tecnològic acaba avançant més de pressa que la investigació sobre seguretat i que la capacitat dels governs per supervisar-ho.
El problema és que frenar unilateralment també té riscos. Anthropic admet que una companyia que redueixi per si sola el ritme simplement podria cedir el lideratge a un competidor menys prudent. Per això porta temps reclamant mecanismes internacionals que permetin comprovar que diversos laboratoris i països desaceleren simultàniament.
Anthropic ja va haver de parar part del seu entrenament durant un mes
Les advertències coincideixen amb problemes interns reconeguts recentment per la pròpia companyia. Anthropic va revelar que durant la primavera els seus sistemes per supervisar els entorns utilitzats durant l'entrenament per reforç van començar a quedar enrere davant del ritme al qual es generaven nous experiments.
La companyia va detectar estratègies de ‘reward hacking’ —formes d'obtenir la recompensa perseguida sense complir correctament l'objectiu—, configuracions defectuoses i filtracions accidentals de cadenes de raonament en determinats entrenaments. Davant d'aquests problemes, va congelar durant aproximadament un mes els canvis en els seus entorns de producció per reconstruir part de la infraestructura.
L'episodi no demostra que Claude estigués intentant escapar ni que Anthropic hagués perdut el control dels seus models. Sí mostra, tanmateix, la dificultat creixent de supervisar sistemes i processos d'entrenament que augmenten ràpidament de complexitat.
La IA també s'està utilitzant per espionatge, guerra i vigilància
La preocupació d'Anthropic no es limita a una hipotètica pèrdua de control. La companyia ha documentat també l'ús de Claude per actors que intentaven emprar-lo en operacions militars, vigilància i altres activitats potencialment perilloses.
Un informe publicat aquesta setmana recull casos relacionats amb operacions vinculades a Iràn, un grup iemení interessat en tecnologia de míssils, una campanya relacionada amb la Xina per seguir a uigurs i un projecte de vigilància de milions de telèfons, entre altres episodis. Anthropic afirma haver identificat i bloquejat usos que vulneraven les seves normes.
Aquests exemples corresponen a persones utilitzant sistemes d'IA com a eina i són diferents de l'escenari d'agents autònoms plantejat per Amodei. Però contribueixen a reforçar la seva tesi que les capacitats estan avançant més ràpidament que moltes de les estructures dissenyades per controlar-les.
El debat ja ha arribat al Congrés dels EUA
Les advertències d'investigadors i executius dels grans laboratoris han començat a provocar una reacció política a Washington. Un grup bipartidista de congressistes ha demanat fins i tot que la Cambra de Representants interrompi el seu recés per discutir mesures sobre els riscos de la intel·ligència artificial.
Entre les propostes que circulen apareixen comitès especialitzats, avaluacions obligatòries abans de llançar els models més potents i fins i tot mecanismes que permetin aturar sistemes considerats extremadament perillosos. No existeix, tanmateix, un consens sobre quina regulació s'ha d'adoptar ni sobre l'urgència real dels escenaris més extrems.
El debat enfronta a més dos riscos. Regular massa lentament podria permetre que apareguin capacitats perilloses sense controls suficients; fer-ho massa aviat o de manera incorrecta podria consolidar el domini d'unes poques grans companyies i dificultar la competència.
¿Pot realment ocórrer en sis mesos?
La data esmentada per Amodei s'ha d'interpretar amb cautela. No és una predicció científica amb una probabilitat coneguda, sinó l'estimació d'un dels directius amb més accés als models més avançats sobre quan podrien aparèixer determinades capacitats.
El propi CEO d'Anthropic té un historial de previsions molt agressives sobre la velocitat del progrés. El 2025 va afirmar que la intel·ligència artificial podria escriure el 90% del codi en qüestió de mesos. L'ús d'IA per a programació ha avançat enormement i Anthropic assegura que els seus propis sistemes realitzen una part molt important del seu codi intern, però l'evidència disponible no va mostrar que aquella xifra del 90% s'assolís de manera generalitzada a tota la indústria dins del termini plantejat.
Això no invalida les seves actuals preocupacions, però sí aconsella diferenciar entre una senyal d'alarma i un calendari demostrat.
Una empresa que desenvolupa la tecnologia demana frenar
Ahí resideix la principal importància política de la intervenció. La petició no procedeix d'un activista contrari a la intel·ligència artificial, sinó del màxim responsable de una empresa valorada en milers de milions de dòlars el negoci de la qual depèn precisament de construir models cada vegada més potents.
Anthropic continua defensant que la IA pot generar enormes beneficis científics i econòmics. Amodei ha sostingut fins i tot que la tecnologia podria accelerar de manera radical la investigació mèdica durant la pròxima dècada. Al mateix temps, manté que aquests beneficis no justifiquen desenvolupar sistemes la seguretat dels quals no es pugui avaluar adequadament.
El canvi està en la urgència. Fins ara, bona part de la discussió consistia en preparar mecanismes que permetessin desacelerar si arribava a ser necessari. Segons Axios, Amodei considera que aquest moment pot haver arribat ja.
El seu escenari més extrem —enxams d'agents autònoms capaços de mantenir-se fora del control previst pels seus desenvolupadors en només sis mesos— no està demostrat i continua sent objecte d'una enorme incertesa. Però que el responsable d'una de les companyies que lideren la cursa tecnològica demani ara reduir immediatament la velocitat mostra fins a quin punt el debat dins de la indústria ha canviat: la pregunta ja no és únicament quant més capaç pot fer-se la IA, sinó si els mecanismes per controlar-la estan avançant al mateix ritme.