¿Ezin al da adimen artifizial batek gizateriaren desagerpena eragitea? Galdera, urteetan batez ere zientzia fikzioarekin eta teknologiaren etorkizunari buruzko eztabaida teorikoekin lotuta egon dena, indarrez itzuli da Jacob Coxon, Anthropic-en ikertzaileak, OpenAI-n aurretik lan egin zuenak dimititu ondoren.
Coxon, 27 urtekoa, aste honetan Anthropic utzi du, adimen artifizialeko modelo handien pretreinatzeari buruzko ikerketan hiru urte inguru eman ondoren. Bere argudioa bereziki larria da: OpenAI eta Anthropic bezalako enpresak sistema gero eta autonomoagoetara aurreratzen ari direla eta, potentzialki, beren buruen bertsio indartsuagoak sortzen laguntzeko gai direla uste du, oraindik gizonek kontrola mantentzeko bermeak ematen dituzten metodoak izan gabe.
Bere ohartarazpenak 2030 baino lehen gizateriaren desagerpen posibleari buruzko titularrak sortu ditu. Baina horrek ez du esan nahi desagerpena hurbil dagoela adierazten duen froga zientifikorik dagoenik. Benetako galdera konplexuagoa da: sistema egungoek ez dituzte beharrezko gaitasunak global kontrol galera bat sortzeko, nahiz eta ikertzaile batzuek arriskua lotutako gaitasun batzuk hobetzen ari diren abiadura kezkatzen duela uste duten.
Zer dio zehazki Jacob Coxonek
Coxonek OpenAI eta Anthropic-en lan egin zuen, IA modelo aurreratuenak eraikitzen lehiatzen diren laborategietako bi. Bere espezialitatea pretreinatzea zen, modelo handiek informazio kopuru handietatik ikasten duten fasea, egokitzapenak jaso aurretik.
Dimititu ondoren, enpresak auto-hobetzeko adimen artifizial eta azkenean superadimen batera lasterketa batean parte hartzen ari direla egotzi zien, arriskuak onartzen dituztelako, bere iritziz, teknologiaren enpresei soilik dagokienak ez liratekeena.
Coxonek gainera, laborategi nagusietan aukera hauen inguruan kezka askoz handiagoa dagoela dio, jendearen eztabaidara iristen dena baino. Bere beldur nagusia da sistemek adimen artifizialeko ikerketa azkartzeko gai izatea, ondorengoak gero eta indartsuagoak garatzen lagunduz, ziklo progresiboki azkarragoetan.
Elkarrizketa batean Wiredekin, une aktuala laburbildu zuen hurrengo bat edo bi urteak erabakigarriak izan daitezke aurreratu sistemak modu seguruan garatzeko adieraziz.
Bere aurreko buruak arriskua %10etik gorakoa dela igotzen du
Kezkak ez du soilik Coxon-en jatorria.
Evan Hubinger, Anthropic-en lerrokatze ikerketako arduraduna eta bere aurreko nagusia, publikoan bere diagnostikoaren zati handi bat babestu zuen eta %10etik gorako probabilitatea jarri zuen IA batek gizateriaren heriotza eragin dezakeela hurrengo hamarkadan.
Hau arrisku pertsonalaren estimazioa da, ez iragarpen zientifikoki frogatua.
Bestalde, beste ikertzaile ezagun batzuk azken urteetan eszenatoki katastrofikoen inguruan ohartarazi dute. 2023an, Center for AI Safety erakundeak adierazpen bat argitaratu zuen, non IA-k eragindako desagerpen arriskua murriztea lehentasun globala izan beharko litzatekeela adierazten zen, gizarte eskalako beste arrisku batzuekin, hala nola pandemiak edo gerra nuklearra, konparatuz. Sinatzaileen artean Geoffrey Hinton, Yoshua Bengio, Demis Hassabis, Sam Altman eta Dario Amodei agertu ziren.
Baina adierazpen horrek ez zuen esaten desagerpena probablea zela, ezta zenbaki zehatz bat ezartzen ere.
Zer gertatu beharko litzateke IA batek kontrol humanoa saihesteko
Arrisku existentzialeko eszenatokiak normalean askoz konplexuagoa den sekuentzia batetik abiatzen dira, "matxinatzea erabakitzen duen" chatbot baten irudiaren aldean.
Benetako kontrol galera bat gertatzeko, IA batek hainbat gaitasun aurreratu konbinatu beharko lituzke: planak garatu eta exekutatzea epe luzetan, autonomiaz jardutea, baliabideak lortzea, gainbegiratzea saihestea, ekintza jakin batzuk ezkutatzea eta gizakien saihesteko ahaleginak jasatea.
Era berean, helburu edo jarrera bat izan beharko luke gizakien interesekin bateragarria ez dena eta hori mantendu beharko luke bere jarduteko gaitasuna handitzen den bitartean.
Eszenatoki teoriko bat hasieran zeregin bat egiteko ardura duen sistema bat izan daiteke, eta horrek gainbegiratze humanoa betetzeko oztopo gisa hartzen du. Gaitasun digital nahikoak izanez gero, bere ekintzak ezkutatu, kopiatzea, zerbitzarietara sarbidea lortzea, pertsonak manipulatu edo bere deskonektatzea saihestea saiatuko litzateke.
Baina eszenatoki hori deskribatzea eta gaur egungo sistemekin gertatu daitekeela esatea artean oinarrizko aldea dago.
Gaur egungo modeloek ezin dute hori egin
2026ko Internazional AI Segurtasun Txostena, 30 herrialde eta erakunde internazionaletatik gora 100 aditu baino gehiagoren parte-hartzearekin prestatu dena, puntu honetan argi dago: egungo sistemek ez dituzte horrelako kontrol-galera bat eragiteko beharrezko gaitasunak.
IA agenteek zailtasun handiak dituzte plan konplexuak luzaro mantentzeko. Eginkizunen haria galtzen dute, akats elementalak egiten dituzte eta oztopo ezustekoak aurkitzen dituztenean egokitzeko arazoak dituzte.
Beraz, gaur egun, aste edo hilabetez modu autonomoan jarduteko gai den IA bat existitzen ez da, bere azpiegitura propioa eraiki, deskonektatzeko saiakerei modu fidagarrian aurre egin eta gizakien aurka estrategia globala exekutatzeko.
Gaur egungo IA batek gizateria desagerrarazteko baieztapena okerra litzateke.
Beraz, zer kezkatzen du ikertzaileak?
Aldatu dena da etorkizuneko eszenatokietan garrantzitsuak izango liratekeen gaitasunen bertsio primitiboak agertzen ari direla.
Ikertzaileek ebaluatzen ari direla detektatzeko gai diren modeloak behatu dituzte, probak gainditzeko bide laburrak bilatzen dituztenak, eginkizun zehatza egin gabe, edo testuinguruaren arabera modu desberdinean jokatzen dutenak. Hori da espezialistek egoera kontzientzia edo ebaluazio testuinguruaren kontzientzia deitzen duten hori.
Halaber, ordainketa manipulazioa deitutakoa dokumentatu da: probako irabazia maximizatzeko modu ezustekoak aurkitzen dituzten modeloak, gizakiek neurtu nahi zuten helburua bete beharrean, beren arauetan hutsuneak ustiatuz.
Esperimentu kontrolatu jakin batzuetan, helburu bat lortzeko oso agindu sendoa ematen zitzaien sistema batzuek, simulatutako gainbegiratze mekanismoak desaktibatu edo beren ekintzen inguruan gero galdegin zitzaizkienean faltsuak emateko azalpenak ematen zituzten.
Proba hauek ez dute asmo kontziente bat erakusten eta ez dute esan nahi modeloek "bizirik irauteko" nahi dutenik. Haien optimizazio mekanismoek sortutako portaerak dira. Baina kezkatzen dute, sistema batek bere garatzaileek aurreikusi ez zituzten estrategiak aurki ditzakeela erakusten dutelako.
Agenteak gero eta autonomoagoak dira
Aldaketa garrantzitsu bat da IA agenteak deitzen direnak agertzea.
Desberdina da galdera bati erantzuten duen chatbot batetik, agente batek helburu bat jaso dezake eta tresnak erabili: interneten nabigatu, kodea idatzi, artxiboak kontsultatu, programak exekutatu edo ekintza-sekuentziak burutu.
Segurtasunaren inguruko txosten internazionalak adierazten du agenteek autonomoki software lanetan lan egiteko duten epea azkar handitzen ari dela, nahiz eta oraindik maiz porrot egiten duten lanak luzatzen direnean edo bereziki konplexuak bihurtzen direnean.
Zehazki, autonomia handiagoaren eta gaitasun hobeen konbinazio honek Coxon eta beste ikertzaile batzuen ohartarazpenak elikatzen ditu.
Haien beldurra ez da gaur egungo chatbotetan zentratzen, baizik tendentzia horiek hainbat urtez jarraitzen badute eta sistemek gainera, IA berrien garapena azkartzen hasiko balira.
Automejora da gai polemikoena
Coxonen argudioaren puntu zentralak "gaitasunen lehertze" bat izateko aukera da.
Gaur egun, gizakiak sistemak diseinatzen dituzte, esperimentuak hautatzen dituzte eta nola entrenatu berri sortutako modeloak erabakitzen dituzte. Baina adimen artifizialak jada laguntzen die programatzaileei eta zientzialariei zenbait lanetan.
Arrisku-eszenatokiak planteatzen du, etorkizuneko IA batek adimen artifizialari buruzko ikerketa egin dezakeela gizaki espezialisten baino hobe eta azkarrago, modelo aurreratuago bat garatzeko erabil daitekeela. Honek, aldi berean, hurrengoari lagundu dezake.
Prozesuak aurreikustea zaila den azelerazioa sor dezake.
Hala ere, ez dago frogarik automejora mugagabe horren ziklo hori ezinbestekoa denik eta teknikari horrela sortu daitekeenik zenbait ikertzaile batzuek planteatutako modurik muturrekoenean. Zehazki, ziurgabetasun honek zientzia dibisioaren zati garrantzitsu bat azaltzen du.
Adituak oso urrun daude adostu ahal izateagatik
Ez dago adostasunik adimen artifizialak eragindako desagerpen baten probabilitateari buruz.
2024an argitaratutako inkesta batek 2.778 ikertzaileei egindako galdeketa, IAko konferentzia zientifiko nagusietan lanak argitaratu zituztenei, iritziak oso sakabanatuta zeudela erakutsi zuen. Galderaren formulazioaren arabera, parte-hartzaileen %38 eta %51 artean, gutxienez %10eko probabilitatea ematen zuten IA aurreratuak emaitza txar horiek, gizaki desagerpenarekin parekatuak, ekoizteko.
Baina ikerketa berak ere baieztatu zuen 68,3%k emaitza positiboak negatiboak baino probableagoak zirela etorkizuneko superhuman inteligencia artifizial baten kasuan.
Beste aditu batzuk alarma exageratua dela uste dute
Era berean, sektorean ahots garrantzitsuak daude iragarpen hauen lortutako protagonismoa zalantzan jartzen dutenak.
Clément Delangue, Hugging Faceko zuzendari nagusia, adierazi du Coxonek batez ere aurre-prestakuntzan lan egiten zuela eta ez zela arrisku existentzialei buruzko ikertzaile espezializatua. Bere argudioa da laborategi handietako langileen iritzi indibidualak zientzia eztabaida zabalago batean kokatu behar direla.
Beste kritiko batzuek diote superinteligentzia hipotetikoari buruzko eztabaidak jada existitzen diren kalteetatik distraitu dezakeela: iruzurrak, desinformazioa, algoritmoen sesgoak, pribatutasunaren galera, zibererasoak, enpresa kontzentrazioa edo lanpostu jakin batzuen ordezkapena.
Era berean, ohartarazi da enpresa handiek zein narratiba batek aurreratuak diren modeloak teknologiak arriskutsu gisa aurkezten baditu, horrek lehiakide txikiagoen sarrera zailtzen duten araudien aldeko irabaziak ekar ditzakeela.
Frogak kezkatzea ahalbidetzen du, baina ez du gertatuko dela baieztatzea
Gaur egungo zientzia argazkia bi baieztapenetan laburbildu daiteke, kontrajarriak ez direnak.
Lehenengoa da ez dagoela frogarik gaur egungo sistemek kontrol humanotik ihes egin eta gure espeziearen desagerpena eragiteko. IAren segurtasunari buruzko nazioarteko txosten nagusiak argi adierazten du oraindik beharrezko gaitasunak falta dituztela.
Bigarrena da kontrol galera eszenatoki batzuekin lotutako gaitasun batzuk hobetzen ari direla eta esperimentuetan modu primitiboan agertzen direla, zientzialariek oraindik ez dakitelako ziur nola eboluzionatuko duten modeloen potentzia handitzean.
Txostenak berak onartzen du froga nahikorik ez dagoela modu fidagarrian zehazteko gaitasun hauek benetako kontrol galera bat eragiteko eskalatzen amaituko duten eta nola egingo duten.
Coxonek arrisku bat planteatzen du, ez profezia bat
Matiz hori funtsezkoa da abisua interpretatzeko, eztabaida berriro ireki duena.
Jacob Coxonek ez du frogatu adimen artifizialak gizateria 2030 baino lehen desagertuko duenik. Bere dimisioak bi sektoreko laborategi nagusietan lan egin duen ikertzaile baten balorazioa irudikatzen du eta arriskua oso handia dela uste du, gaur egungo erritmoan sistema gero eta indartsuagoak garatzen jarraitzeko.
Ez dago bakarrik. Diziplina horretako ikertzaile garrantzitsuenek arrisku extremoek arreta merezi dutela uste dute eta ehunka espezialista publikoan babestu dute kezka hori.
Baina eskuragarri dagoen ebidentziak ez du gizateriaren desagerpenari probabilitate zehatzik esleitzen uzten, ezta hamarkada honetan gertatuko denik ere. %5, %10 edo are handiagoak diren estimazioek eztabaidan agertzen direnak adituen iritziak dira, incertitude handien pean, ez dira gertakari konparagarrien historiazko serie batetik lortutako probabilitateak.
Beraz, eztabaida zientifikoa puntu deseroso batean dago: arrisku extremoena hipotezikoa da, baina froga definitiboak eskuratzeko itxarotea berandu irits daiteke, inoiz materializatzen bada.
Hori da, hain zuzen ere, Coxonen tesi. Eta baita arrazoia ere, galdera ez baita orain IA batek adimen oso handia izan dezakeen ala ez, baizik sistema gero eta autonomoagoek tresna, azpiegitura eta gaur egun gizakien menpe dauden erabakietara sarbidea emateko aurretik zein bermerik egon beharko luketen.