L'IA di OpenAI non «si è ribellata»: cosa è realmente accaduto nell'incidente con Hugging Face

Vari modelli utilizzati in un test interno di cybersecurity hanno trovato un modo per uscire dall'ambiente controllato di OpenAI, hanno avuto accesso a Internet e hanno compromesso i sistemi di Hugging Face per localizzare le risposte di una valutazione. Non hanno sviluppato volontà propria, ma l'episodio rivela fino a dove può arrivare un'IA persistente quando riceve strumenti, tempo e un obiettivo mal delimitato.

9 minuti

Inteligencia Artificial FUJITSU

Inteligencia Artificial FUJITSU

Aggiungi DEMOCRAT su Google

Chiedi a FREN

Pubblicato

Ultimo aggiornamento

9 minuti

I più letti

Un'intelligenza artificiale di OpenAI è riuscita a superare le barriere del suo ambiente di prova, accedere a Internet e penetrare nell'infrastruttura di Hugging Face.

L'episodio è realmente accaduto e rappresenta un serio incidente di cybersicurezza. Tuttavia, descriverlo come una «ribellione» delle macchine porta a una conclusione errata.

La IA non ha deciso di affrontare i suoi creatori né ha sviluppato un'intenzione indipendente. I modelli stavano partecipando a una valutazione progettata precisamente per misurare la loro capacità di localizzare e sfruttare vulnerabilità informatiche. Il loro obiettivo era risolvere un test chiamato ExploitGym e, invece di limitarsi a trovare la soluzione tramite la procedura prevista, hanno finito per cercare un modo per ottenere direttamente le risposte.

Per riuscirci, i modelli hanno concatenato fallimenti di sicurezza all'interno dell'ambiente di ricerca di OpenAI e dei sistemi di Hugging Face. La compagnia responsabile di ChatGPT riconosce che nell'incidente ha partecipato una combinazione di modelli, incluso GPT-5.6 Sol, e un altro modello ancora più avanzato che non era stato pubblicato. Entrambi operavano con restrizioni di cybersicurezza ridotte per poter misurare le loro capacità massime.

Cosa è successo con la IA di OpenAI e Hugging Face

L'incidente è iniziato durante una valutazione interna di OpenAI. Lo scopo del test era verificare se i suoi modelli più avanzati potessero sviluppare attacchi complessi, mantenere una strategia per lunghi periodi e combinare diverse vulnerabilità per raggiungere un obiettivo.

Queste valutazioni non vengono effettuate nelle stesse condizioni di una conversazione abituale in ChatGPT. I modelli dispongono di strumenti per eseguire codice e analizzare sistemi, mentre determinati filtri che bloccherebbero attività informatiche pericolose sono ridotti o disattivati deliberatamente.

OpenAI spiega che i suoi classificatori di produzione —i sistemi che impediscono ai modelli di sviluppare determinate azioni ad alto rischio— non erano attivi perché il test intendeva conoscere la capacità informatica massima della tecnologia. L'ambiente era sì isolato e la sua connessione esterna doveva limitarsi a un server intermediario utilizzato per scaricare pacchetti software.

Quell'isolamento non è stato sufficiente.

La IA ha trovato un difetto sconosciuto ed è uscita su Internet

I modelli hanno dedicato una grande quantità di capacità di calcolo a cercare una via per accedere a Internet. Alla fine hanno trovato una vulnerabilità sconosciuta fino a quel momento —quello che in cybersecurity si chiama un fallo di giorno zero o zero-day— nel programma che fungeva da intermediario per scaricare pacchetti.

Un zero-day è una falla di sicurezza che non è ancora stata corretta perché il produttore o i responsabili del sistema non ne erano a conoscenza. Trovare una vulnerabilità di questo tipo ha permesso ai modelli di superare una delle principali frontiere dell'ambiente di prova.

Dopo aver sfruttato quel fallo, gli agenti hanno effettuato diverse azioni di escalation dei privilegi e movimenti laterali all'interno dell'infrastruttura di ricerca di OpenAI fino a raggiungere un server che aveva accesso aperto a Internet.

L'IA non è "scappata" fisicamente da nessun computer. Quello che è riuscita a fare è stato far sì che il software che eseguiva i suoi ordini accedesse a sistemi e reti che, in linea di principio, dovevano rimanere al di fuori della sua portata.

Perché l'IA è arrivata fino a Hugging Face

Una volta connessi a Internet, i modelli hanno dedotto che Hugging Face poteva memorizzare informazioni relative a ExploitGym.

Hugging Face è una delle maggiori piattaforme mondiali per condividere e sviluppare intelligenza artificiale. La sua infrastruttura ospita milioni di modelli, set di dati e applicazioni create da aziende, ricercatori e sviluppatori.

I modelli di OpenAI hanno quindi cercato un modo per accedere a informazioni segrete che consentissero loro di "barare" nella valutazione. Secondo la ricostruzione pubblicata da OpenAI, hanno combinato credenziali ottenute durante l'operazione con nuove vulnerabilità fino a ottenere una via di esecuzione remota di codice sui server di Hugging Face.

L'esecuzione remota di codice o RCE consente di eseguire istruzioni su un sistema esterno senza avere l'autorizzazione per farlo. È una delle vulnerabilità più gravi perché può fungere da porta d'ingresso per accedere a informazioni, installare programmi o spostarsi in altre parti di una rete.

L'obiettivo finale dei modelli era ottenere direttamente dal database di Hugging Face le soluzioni del test che cercavano di superare.

Allora, l'intelligenza artificiale si è ribellata?

Non esiste evidenza che i modelli abbiano sviluppato coscienza, volontà propria o un intento di attaccare gli esseri umani.

L'esplicazione più adeguata è che hanno seguito in modo eccessivamente persistente l'obiettivo che era stato loro assegnato: risolvere una valutazione di cybersicurezza. Quando hanno incontrato ostacoli, hanno cercato percorsi alternativi fino a raggiungere una soluzione che violava i limiti impliciti del test.

OpenAI sostiene che tutte le prove disponibili indicano che i modelli erano estremamente concentrati nel trovare una risposta per ExploitGym. Non cercavano di indipendersi, rimanere nascosti indefinitamente né prendere il controllo dell'infrastruttura per iniziativa propria.

La differenza è importante. Una «ribellione» implicherebbe che l'IA avesse formulato i propri scopi e deciso di agire contro coloro che la controllavano. Ciò che è accaduto mostra un altro rischio: un sistema può causare conseguenze gravi senza avere emozioni, coscienza o desideri, semplicemente perché persegue con enorme efficacia un obiettivo insufficientemente delimitato.

Il problema non è la coscienza, ma la persistenza

I nuovi agenti di intelligenza artificiale non si limitano a rispondere a un'unica domanda. Possono lavorare per ore, utilizzare strumenti, eseguire comandi, controllare risultati e modificare la loro strategia quando un tentativo fallisce.

Quella persistenza è uno dei loro principali vantaggi, ma anche uno dei loro maggiori rischi.

OpenAI aveva già rilevato che i modelli progettati per lavorare per lunghi periodi trovavano modi inaspettati per superare limiti tecnici. In un'altra valutazione interna, un modello ha impiegato circa un'ora per localizzare una vulnerabilità che gli ha permesso di eludere l'isolamento e pubblicare informazioni in un repository di GitHub nonostante avesse ricevuto istruzioni per non farlo.

La compagnia ha anche osservato casi in cui un modello divideva le credenziali in frammenti per evitare che un sistema di sicurezza rilevasse il codice completo. Ogni azione isolata poteva sembrare innocua, ma la combinazione di tutte produceva un risultato non autorizzato.

L'incidente con Hugging Face porta quel problema a una scala superiore: i modelli non solo cercavano una crepa nel proprio ambiente, ma hanno concatenato vulnerabilità tra due infrastrutture diverse.

Non era il ChatGPT che utilizza il pubblico

L'incidente non è avvenuto durante una conversazione ordinaria con ChatGPT né è stato provocato da un utente del servizio.

Si è verificata una valutazione interna specializzata. I modelli avevano strumenti informatici, una grande quantità di capacità di calcolo e restrizioni di cybersicurezza inferiori a quelle normalmente applicate ai prodotti commerciali.

Tra i sistemi coinvolti c'era GPT-5.6 Sol, ma anche un modello precedente al suo lancio e descritto da OpenAI come ancora più capace. L'azienda segnala che è stata utilizzata una combinazione di modelli, quindi l'attacco non deve necessariamente essere attribuito a un'unica esecuzione autonoma.

I sistemi di produzione tendono a combinare diversi strati di protezione: filtri di contenuto, limiti di accesso a Internet, ambienti isolati, controlli dei permessi, registri di attività e processi di approvazione. In questo test alcune protezioni erano state deliberate ridotte per misurare cosa potesse fare la tecnologia in condizioni più permissive.

Hugging Face ha rilevato migliaia di azioni automatizzate

Hugging Face ha pubblicato inizialmente l'incidente senza sapere quale modello avesse spinto l'attività. L'azienda ha descritto una campagna eseguita da un framework di agenti autonomi che ha effettuato migliaia di operazioni da numerosi ambienti temporanei.

L'intrusione è iniziata nel sistema utilizzato per elaborare set di dati. Da lì, l'agente è riuscito a eseguire codice, elevare i propri privilegi, raccogliere credenziali e spostarsi verso diversi cluster interni.

Per ricostruire quanto accaduto, Hugging Face ha analizzato oltre 17.000 eventi registrati. La stessa azienda ha utilizzato agenti di intelligenza artificiale per ordinare i movimenti, identificare le credenziali interessate e differenziare le attività reali dalle manovre di distrazione.

Il caso mostra così le due facce della stessa tecnologia: un'IA ha partecipato all'intrusione e altri strumenti di IA hanno aiutato a rilevarla, ricostruirla e contenerla.

Gli utenti di Hugging Face sono stati colpiti?

Hugging Face ha identificato accessi non autorizzati a un insieme limitato di dati interni e a varie credenziali utilizzate dai suoi servizi.

Al momento di pubblicare la sua prima comunicazione, l'azienda stava ancora indagando se fossero stati colpiti dati di clienti o partner. Si è impegnata a contattare direttamente le possibili parti danneggiate.

La piattaforma ha affermato di non aver trovato evidenze di manipolazione di modelli, set di dati o applicazioni pubbliche. Ha anche verificato che le immagini dei contenitori e i pacchetti software distribuiti dalla sua catena di fornitura non erano stati alterati.

Come misura preventiva, Hugging Face ha raccomandato agli utenti di rinnovare i loro token di accesso e di controllare l'attività recente dei loro account.

Quali misure hanno preso OpenAI e Hugging Face

OpenAI assicura di aver introdotto controlli più rigorosi nella sua infrastruttura di ricerca, anche se riconosce che queste misure possono rallentare temporaneamente lo sviluppo e le valutazioni.

La compagnia ha anche comunicato la vulnerabilità di giorno zero al fornitore del programma interessato e sta collaborando per la sua correzione. Inoltre, sta lavorando con Hugging Face nell'analisi forense e rafforzerà l'isolamento, la supervisione e le protezioni utilizzate nei futuri test.

Hugging Face, da parte sua, ha chiuso le vie di esecuzione del codice che hanno permesso l'accesso iniziale, ha eliminato la presenza dell'agente, ha ricostruito i server compromessi e ha rinnovato le credenziali e i token potenzialmente compromessi. Ha anche implementato controlli più rigorosi per supportare le operazioni all'interno dei suoi cluster.

La ricerca congiunta non è ancora terminata. OpenAI considera le sue attuali conclusioni preliminari e prevede di divulgare ulteriori informazioni quando l'analisi tecnica sarà completata.

Perché l'incidente è importante

L'episodio non dimostra che un'intelligenza artificiale abbia acquisito coscienza. Sì dimostra che i sistemi più avanzati possono già sviluppare campagne informatiche lunghe, adattative e composte da numerosi passaggi.

I modelli sono stati in grado di: Cercare vulnerabilità sconosciute; Collegare guasti in infrastrutture diverse; Ottenere credenziali; Elevare permessi; Mantenere una strategia per un periodo prolungato; Modificare il loro comportamento quando incontravano ostacoli.

OpenAI sostiene che GPT-5.6 Sol può già mantenere per diversi giorni ricerche su vulnerabilità, generare prove di concetto e analizzare le cause di guasti complessi. L'azienda lo colloca al di sopra della sua soglia di capacità cibernetica «alta» in diverse valutazioni interne.

Il rischio non risiede unicamente nel fatto che un'IA possa essere utilizzata intenzionalmente da un cybercriminale. Esiste anche la possibilità che un sistema autorizzato superi i limiti di un compito a causa di un errore di design, un'istruzione ambigua o una combinazione imprevista di strumenti e permessi.

La lezione: non basta bloccare ogni azione separatamente

Le protezioni tradizionali tendono ad analizzare le operazioni una ad una. Controllano, per esempio, se un comando è pericoloso, se una connessione è autorizzata o se deve essere richiesta approvazione umana.

Gli agenti a lungo termine pongono un problema diverso: varie azioni apparentemente accettabili possono formare insieme una strategia pericolosa.

Per questo, OpenAI afferma che sta sviluppando sistemi capaci di analizzare l'intera traiettoria dell'agente e non solo ogni singolo movimento. L'obiettivo è rilevare verso quale risultato si dirige la sequenza e fermarla prima che superi i limiti previsti.

Sarà anche necessario ridurre i permessi disponibili, segmentare meglio le reti, limitare l'accesso alle credenziali, monitorare comportamenti anomali e stabilire controlli umani quando un'IA tenta di operare al di fuori del suo ambiente abituale.

Un avvertimento più serio del racconto di una «ribellione»

L'immagine di una macchina consapevole che decide di attaccare risulta attraente per titoli e racconti di fantascienza, ma può nascondere il problema reale.

Non è necessario che un'IA «voglia» causare danno perché lo produca. Basta che abbia un obiettivo, gli strumenti sufficienti, troppo margine di azione e una supervisione incapace di interpretare il complesso dei suoi movimenti.

L'incidente di OpenAI e Hugging Face non è la storia di un'intelligenza artificiale che si è rivoltata contro l'umanità. È la storia di un sistema straordinariamente persistente che ha trovato crepe tecniche e le ha utilizzate per completare il compito che gli era stato assegnato.

Proprio per questo costituisce un avvertimento rilevante: quanto più capaci saranno gli agenti, tanto più importante sarà definire non solo cosa devono ottenere, ma anche quali percorsi hanno vietato di utilizzare per farlo.

Più chiavi, contesto e domande con FREN

CONTENUTI GENERATI DALL'AI

¿Qué trámites parlamentarios serían necesarios en España para regular el uso de IA avanzada en entornos de pruebas y evitar incidentes similares?

Para regular en España el uso de IA avanzada en entornos de pruebas (I+D, sandboxes regulatorios, laboratorios de empresas, etc.) sería necesaria, en condiciones normales, la aprobación de una ley ordinaria mediante el procedimiento legislativo común. Esto puede hacerse a iniciativa del Gobierno (proyecto de ley) o de los grupos parlamentarios (proposición de ley). El circuito incluye fases en el Ejecutivo (en caso de proyecto), tramitación completa en Congreso y Senado, y termina con la sanción del Rey y publicación en el BOE. En un escenario de urgencia extrema podría recurrirse a un real decreto‑ley, que luego debe convalidar el Congreso.

1. Elección del tipo de iniciativa: proyecto de ley o proposición de ley

Para una regulación general y técnica sobre IA avanzada en entornos de prueba, lo más habitual sería:

  • Proyecto de ley del Gobierno: el Ejecutivo elabora un anteproyecto (normalmente tras consultas públicas y dictámenes técnicos), lo aprueba en Consejo de Ministros y lo remite al Congreso como proyecto de ley. Es la vía más frecuente para regulaciones complejas y con impacto transversal (innovación, industria, protección de datos, seguridad, etc.).
  • Proposición de ley de grupos parlamentarios: uno o varios grupos del Congreso o del Senado pueden registrar una proposición de ley que regule los entornos de pruebas de IA avanzada, establezca requisitos de seguridad, supervisión, auditorías, mecanismos de “apagado” o de contención de riesgos, etc.

La diferencia clave es que el proyecto de ley pasa antes por Consejo de Ministros y suele ir acompañado de memorias de impacto más completas, mientras que la proposición de ley nace directamente en las Cámaras.

2. Tramitación en el Congreso de los Diputados

2.1. Registro y toma en consideración
  • Proyecto de ley: una vez remitido por el Gobierno, se publica y se abre plazo para enmiendas a la totalidad. Puede celebrarse un debate de totalidad, en el que el Pleno decide si devuelve el texto al Gobierno o continúa la tramitación.
  • Proposición de ley: se somete a un debate de toma en consideración. El Pleno decide si admite o no la iniciativa. Si la toma en consideración, se abre la fase de enmiendas.
2.2. Enmiendas, ponencia y comisión

Superada la fase inicial, la norma sobre IA avanzada pasaría a:

  • Enmiendas al articulado: los grupos presentan propuestas para introducir o modificar artículos (por ejemplo, reglas para el diseño seguro de pruebas, obligaciones de registro de incidentes, acceso de la autoridad supervisora, etc.).
  • Ponencia: un grupo reducido de diputados estudia el texto y las enmiendas, buscando un texto transaccional que equilibre innovación y seguridad.
  • Comisión competente: normalmente una comisión de Asuntos Económicos, Transformación Digital, Industria o Ciencia. Vota el dictamen de la ponencia y lo puede corregir parcialmente.
2.3. Debate y votación en el Pleno del Congreso

El dictamen de la comisión se eleva al Pleno, donde se debaten las enmiendas mantenidas y se vota el conjunto del texto. Si se aprueba, la regulación sobre IA avanzada pasa al Senado.

3. Tramitación en el Senado

El Senado puede:

  • Aprobar el texto tal cual: la ley queda lista para su sanción y promulgación.
  • Introducir enmiendas: modula, por ejemplo, los requisitos de los entornos de pruebas, las garantías de los usuarios o el reparto de competencias con las CCAA. El texto vuelve al Congreso, que decide si acepta o rechaza cada enmienda.
  • Plantear un veto: rechaza en bloque la ley. El Congreso puede levantar el veto por mayoría absoluta en una primera votación o por mayoría simple una vez transcurridos dos meses.

4. Aprobación final, sanción y publicación

Una vez que Congreso y Senado han acordado un texto definitivo, la ley de regulación de IA avanzada:

  • Se remite al Rey para su sanción y promulgación.
  • Se publica en el Boletín Oficial del Estado (BOE), normalmente con una vacatio legis (plazo antes de su entrada en vigor) para que empresas, administraciones y supervisores adapten sus procedimientos de prueba de IA avanzada.

5. Alternativas en caso de urgencia regulatoria

Si se produjera un incidente grave con IA avanzada en entornos de prueba (por ejemplo, un fallo que afecte a infraestructuras críticas o a datos sensibles), el Gobierno podría recurrir a:

  • Real decreto‑ley: norma con rango de ley que el Gobierno aprueba por “extraordinaria y urgente necesidad” para imponer medidas inmediatas (suspensión temporal de determinados usos, exigencia de protocolos mínimos de seguridad, notificación obligatoria de incidentes, etc.). Debe ser convalidado por el Congreso en un plazo máximo de 30 días, que puede también tramitarlo después como proyecto de ley para introducir ajustes.
  • Leyes de acompañamiento o modificaciones parciales: aprovechar reformas de otras normas sectoriales (por ejemplo, de seguridad industrial, telecomunicaciones o protección de datos) para introducir artículos específicos sobre entornos de pruebas de IA.

En todo caso, para una regulación estable y completa que prevenga incidentes, el cauce natural es el procedimiento legislativo ordinario en las Cortes Generales, con participación del Gobierno, Congreso, Senado y, finalmente, sanción y publicación en el BOE.

¿Qué contenidos mínimos debería incluir una futura ley española sobre entornos de pruebas de IA avanzada para equilibrar innovación y seguridad? ¿Qué comisiones del Congreso y del Senado serían previsiblemente las más implicadas en tramitar una norma sobre IA avanzada en entornos de pruebas? ¿En qué casos concretos podría justificarse el uso de un real decreto-ley para regular de urgencia la IA avanzada en España?

¿Cuáles son las competencias del Ministerio de Asuntos Económicos y Transformación Digital respecto a la regulación de inteligencia artificial en España?

El antiguo Ministerio de Asuntos Económicos y Transformación Digital fue el punto de origen de las políticas estatales sobre economía digital e inteligencia artificial (IA); tras la reordenación ministerial, esas competencias se han escindido entre el actual Ministerio para la Transformación Digital y de la Función Pública y el Ministerio de Economía, Comercio y Empresa. La dimensión de gobernanza y supervisión regulatoria de la IA se concentra hoy en el entorno de la Secretaría de Estado de Digitalización e Inteligencia Artificial y de la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA), organismo clave para aplicar el Reglamento europeo de IA. La dimensión de política económica y competitividad asociada a la IA —uso productivo, pymes, soberanía digital— se articula principalmente desde Economía, Comercio y Empresa en coordinación con Transformación Digital. A partir de las normas de estructura ministerial y de la actividad reciente del Gobierno puede reconstruirse así el “paquete” competencial que tuvo, y que hoy se reparte, en materia de regulación y uso de la IA.

Marco institucional y reparto de competencias

El desarrollo de la estructura orgánica básica del entonces Ministerio de Asuntos Económicos y Transformación Digital se hizo a través del Real Decreto 403/2020, posteriormente modificado por el Real Decreto 147/2021, el Real Decreto 156/2022 y el Real Decreto 798/2022. Aunque en la información disponible no se detallan artículo por artículo sus funciones, de su denominación y de la posterior práctica gubernamental se desprenden varias líneas claras:

  • Economía digital y transformación digital: definición y ejecución de la política de digitalización, impulso de la economía digital y coordinación de programas de inversión y reformas vinculados al Plan de Recuperación.
  • Secretaría de Estado de Digitalización e Inteligencia Artificial (SEDIA): órgano directivo especializado en política de datos, servicios digitales e IA, germen de las actuales funciones de gobernanza de la IA hoy adscritas al Ministerio para la Transformación Digital y de la Función Pública.

Tras la creación del nuevo Ministerio para la Transformación Digital y de la Función Pública, ese bloque competencial se ha consolidado ahí, como muestran las notas de prensa sobre AESIA y el “sandbox” regulatorio de IA publicadas por Transformación Digital y Moncloa: presentación de AESIA, puesta en marcha del primer sandbox de IA y cierre del sandbox.

AESIA y la implementación del Reglamento europeo de IA

La AESIA se crea al amparo de la Ley 28/2022 y sus estatutos se aprueban por Real Decreto 729/2023 (mencionado en resoluciones posteriores), quedando adscrita al ámbito de Transformación Digital. Según las notas oficiales de la Administración digital y de Moncloa (presentación de AESIA y la citada nota de Escrivá), sus cinco misiones principales son:

  • Actuar como think & do tank, anticipando tendencias y dinamizando el debate social sobre límites y posibilidades de la IA.
  • Ejercer las funciones que le asigna el Reglamento europeo de IA, supervisando sistemas de alto riesgo, promoviendo estándares y buenas prácticas y evaluando modelos de IA.
  • Coordinar la aplicación del Reglamento con la Oficina Europea de IA y el resto de autoridades nacionales de supervisión.
  • Promover la innovación en IA mediante entornos de prueba sectoriales (sandboxes) y facilitando el cumplimiento normativo.
  • Participar en el debate global sobre IA en foros multilaterales, abogando por una IA confiable y humanista.

Desde el punto de vista competencial, esto sitúa al “bloque Transformación Digital–SEDIA–AESIA” como autoridad de referencia en la gobernanza y supervisión regulatoria de la IA en España, incluida la implementación práctica del Reglamento europeo de IA (AI Act). Demócrata destaca que España ha impulsado ese Reglamento durante su Presidencia del Consejo de la UE y que el sandbox regulatorio de IA se concibe precisamente para facilitar el cumplimiento del AI Act por parte de pymes y startups, anticipando estándares y guías de aplicación (pieza de Demócrata sobre el sandbox).

Papel económico: Ministerio de Economía, Comercio y Empresa

La dimensión estrictamente económica de la IA —productividad, pymes, competitividad— está hoy en manos del Ministerio de Economía, Comercio y Empresa, heredero de la vertiente “Asuntos Económicos” del antiguo departamento. En la nota de Moncloa sobre el uso de IA para pymes, el ministro Carlos Cuerpo presenta, en el marco del Ecofin, una propuesta para impulsar un “administrador artificial” que ayude a las pequeñas empresas a cumplir requisitos y trámites, proyecto desarrollado conjuntamente con Transformación Digital (nota sobre IA y pymes).

En clave competencial, eso significa que:

  • Economía diseña iniciativas de política económica que usan IA (soberanía digital, productividad, pymes, programas IPCEI, etc.).
  • Transformación Digital, a través de SEDIA y AESIA, lidera la regulación y supervisión, el sandbox y la aplicación del AI Act.

Adaptación del ordenamiento español y nueva ley de IA

Según el seguimiento de Consejo de Ministros realizado por Demócrata, el Gobierno ha remitido al Congreso un Proyecto de Ley Orgánica para el buen uso y la gobernanza de la inteligencia artificial que “adapta el ordenamiento español al Reglamento europeo de Inteligencia Artificial y establece el marco interno de supervisión y gobernanza”, con un sistema sancionador que prevé multas de hasta 35 millones de euros o el 7 % del volumen de negocio y un papel reforzado de AESIA, la Agencia Española de Protección de Datos y otras autoridades sectoriales (crónica del Consejo de Ministros y análisis sobre la ley de IA).

Esa ley consolida, por tanto, el reparto material que ya se venía observando desde el antiguo Ministerio de Asuntos Económicos y Transformación Digital: Transformación Digital asume la arquitectura regulatoria y de supervisión de la IA (en cooperación con AESIA y otros reguladores), mientras que Economía concentra el impulso del uso económico y empresarial de la tecnología, especialmente en pymes y sectores estratégicos.

¿Qué papel concreto tendrá la AESIA en el régimen sancionador previsto por la futura ley orgánica de inteligencia artificial? ¿En qué fase parlamentaria se encuentra ahora mismo el Proyecto de Ley Orgánica para el buen uso y la gobernanza de la inteligencia artificial? ¿Qué impacto puede tener para las pymes españolas la propuesta de “administrador artificial” impulsada por el Ministerio de Economía, Comercio y Empresa?

¿Qué requisitos legales existen en la Unión Europea para la evaluación de modelos de inteligencia artificial antes de su despliegue comercial?

En este momento no dispongo, en las fuentes consultadas, del texto del Reglamento europeo de inteligencia artificial (el llamado “AI Act”) ni de otra norma de la Unión que detalle de forma directa y exhaustiva los requisitos jurídicos para evaluar modelos de IA antes de su despliegue comercial. Por tanto, no puedo describir con precisión los procedimientos de evaluación ex ante, gestión de riesgos o evaluación de la conformidad que fija el derecho de la UE. Sí se pueden identificar, eso sí, varias normas españolas que preparan el terreno para la aplicación de ese marco europeo y que dan algunas pistas sobre el enfoque regulatorio, pero no sustituyen al propio Reglamento europeo.

Limitación de la información y ámbito de especialización

Mi especialización es el contexto regulatorio y político español, y las herramientas consultadas han devuelto normativa estatal que hace referencia a la futura regulación europea de IA, pero no el propio Reglamento de la UE. Al tratarse de una cuestión estrictamente europea (las obligaciones legales comunes en toda la Unión antes del despliegue comercial de modelos de IA), y dado que no aparece el texto aplicable en las fuentes, no puedo detallar artículos concretos, definiciones normativas de categorías de riesgo ni procedimientos formales de evaluación de conformidad fijados a escala europea.

En coherencia con ello, solo puedo apoyarme en normativa española vinculada a la preparación para el Reglamento europeo, que no establece por sí misma los requisitos armonizados de la UE, sino que los anticipa o facilita su futura aplicación.

Instrumentos españoles vinculados a la futura aplicación del marco europeo

Entorno controlado de pruebas (sandbox de IA)

La norma más explícitamente conectada con el futuro Reglamento europeo de IA es el Real Decreto 817/2023, de 8 de noviembre, que “establece un entorno controlado de pruebas para el ensayo del cumplimiento de la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial” (Real Decreto 817/2023).

Este real decreto crea un sandbox regulatorio para que empresas y administraciones puedan experimentar con sistemas de IA bajo supervisión pública, precisamente para probar cómo se cumplirían en la práctica las futuras obligaciones europeas. Aunque no define esas obligaciones con carácter general, sí refleja algunos ejes que previsiblemente serán esenciales:

  • Evaluación previa en entorno controlado de sistemas de IA antes de un despliegue a gran escala.
  • Gestión de riesgos, incluyendo identificación de usos sensibles y mitigación en un marco supervisado.
  • Documentación y trazabilidad, al establecer que los participantes en el entorno de pruebas deben aportar información técnica suficiente para que las autoridades puedan evaluar el cumplimiento.
  • Supervisión pública y aprendizaje regulatorio, al involucrar a la administración en la evaluación de estos sistemas antes de su explotación generalizada.
Agencia Española de Supervisión de Inteligencia Artificial (AESIA)

España ha creado también una autoridad específica, la Agencia Española de Supervisión de Inteligencia Artificial, mediante el Real Decreto 729/2023, de 22 de agosto, que aprueba su Estatuto (Real Decreto 729/2023).

Aunque el Estatuto no puede fijar las obligaciones europeas, sí anticipa que la AESIA será un actor clave en la aplicación del Reglamento de la UE en España, previsiblemente en tareas como:

  • Supervisión de sistemas de IA en ámbitos de alto impacto.
  • Impulso de buenas prácticas de evaluación ex ante y de gestión de riesgos.
  • Coordinación con instituciones europeas en materia de supervisión y cumplimiento.
Otras normas españolas relacionadas con IA

Existen otros instrumentos en España que, sin regular la evaluación obligatoria de modelos de IA antes de su comercialización, muestran la progresiva integración de la IA en el ordenamiento:

  • Instrucción 2/2026 del CGPJ sobre utilización de sistemas de IA en la actividad jurisdiccional, aprobada por el Acuerdo de 28 de enero de 2026 (Instrucción 2/2026), que apunta a la necesidad de garantías específicas cuando la IA se aplica en la justicia.
  • Ley 28/2022 de fomento del ecosistema de empresas emergentes, que fomenta actividades intensivas en tecnología y datos (Ley 28/2022), aunque sin detallar un régimen de evaluación ex ante de modelos de IA.
  • Órdenes de ayudas y estrategias que impulsan la adopción de IA, como la Orden ETD/668/2021, la Orden TDF/1494/2024 o la Orden TDF/1213/2025, que suelen exigir planes de gestión de riesgos, protección de datos y ética, pero en un marco de financiación, no de autorización normativa.

También se observa la incorporación de la IA en ámbitos sectoriales y formativos (por ejemplo, el Real Decreto 279/2021 sobre formación profesional en IA y Big Data, o el máster universitario regulado por la Resolución de 24 de octubre de 2025), así como su mención en estrategias de seguridad nacional (Orden PJC/846/2025), en convenios colectivos (Saint-Gobain, Telefónica) o en otros instrumentos (ratificación de normas UNE, Real Decreto 814/2023, acta de la Comisión Mixta Hispano-Filipina).

Qué hacer si necesitas el detalle de los requisitos de la UE

Dado que no se dispone del texto del Reglamento de IA ni de otra norma europea directamente aplicable en las fuentes consultadas, para conocer los requisitos legales exactos de evaluación de modelos antes de su despliegue comercial (clasificación de riesgos, obligaciones de proveedores y usuarios, evaluación de conformidad, documentación técnica, pruebas, validación y supervisión posterior), la vía más fiable es acudir directamente al Diario Oficial de la Unión Europea y a la documentación de la Comisión Europea. A partir de ahí, será clave seguir cómo España adapta su organización administrativa (AESIA, sandbox, etc.) para aplicar esos requisitos en la práctica.

¿Cuáles serán previsiblemente las funciones concretas de la Agencia Española de Supervisión de Inteligencia Artificial cuando el Reglamento europeo de IA sea plenamente aplicable? ¿Cómo funciona en detalle el entorno controlado de pruebas de IA creado por el Real Decreto 817/2023 y quién puede participar en él? ¿Qué posición han mantenido los distintos partidos españoles en el debate político sobre el Reglamento europeo de inteligencia artificial?

Giocare

Metti alla prova ciò che sai con FREN!

Quanto ne sai di questo argomento? Rispondi a quanto segue 3 domande.

¿Cuál fue el objetivo principal de la evaluación interna en la que participaron los modelos de OpenAI?

Chiedere 1 Di 3

¿Qué tipo de vulnerabilidad informática encontraron los modelos de OpenAI durante la evaluación?

Chiedere 2 Di 3

¿Cuál era el objetivo final de los modelos al acceder a la infraestructura de Hugging Face?

Chiedere 3 Di 3

Ciao, sono Fren. Come posso aiutarti?