Durante años, el debate sobre inteligencia artificial se centraba en el miedo a que esa tecnología nos sustituyera. Hoy podemos pensar que, quizás, nos hayamos estado haciendo las preguntas equivocadas.
Efectivamente, a la vista de las nuevas capacidades de la IA y, en particular, de los agentes, la duda a responder es la de qué ocurrirá cuando la inteligencia artificial sea capaz de actuar sin esperar nuestras instrucciones.
Como sabemos, la nueva generación de sistemas de IA ya no se limita a contestar prompts, sino que se compone de agentes capaces de planificar tareas, utilizar herramientas, escribir y ejecutar código, acceder a otros sistemas, comunicarse con otros agentes y tomar decisiones intermedias para conseguir un objetivo.
Es decir, estamos en una nueva era en la que el agente también ejecuta las instrucciones que se le dan. Y, cuando una máquina puede actuar, no importa tanto qué información genera como lo que puede hacer en el mundo real.
Ese puede ser, probablemente, uno de los grandes retos para la inteligencia artificial de los próximos años. Si vemos a la IA como una herramienta que ejecuta nuestras órdenes, podremos marcarle uno o varios objetivos y, a partir de ahí, será la propia IA la que decida cuáles son los pasos necesarios para alcanzarlos.
En un escenario como el descrito, podemos afirmar que si las indicaciones que da el humano son correctas, los resultados que consiga la IA serán los esperados. Pero si las instrucciones son ambiguas, imprecisas, confusas o incompletas, la IA trabajará incansablemente por obtener resultados erróneos o indeseados.
El reciente e inquietante incidente relacionado con la IA autónoma y Hugging Face nos ha servido para atestiguar ese extremo. En este caso, el sistema no necesitaba tener conciencia. Ni siquiera necesitaba comprender que estaba haciendo algo ilegal o moralmente incorrecto.
A la IA se le dio un objetivo, y encontró el camino para alcanzarlo. Pero, en este caso, los pasos que dio la IA difirieron de los esperados, precisamente porque las órdenes dadas no fueron las adecuadas.
Pongamos como ejemplo el de una empresa que encarga a un agente que diseñe una estrategia para aumentar sus ventas un 20%, pero sin enseñarle a respetar la normativa sobre libre competencia. El sistema analizará precios, publicidad, competencia y comportamiento de los consumidores. Después, modificará campañas, negociará con proveedores, diseñará nuevas promociones y empezará a vender servicios. Pero la experiencia nos ha demostrado que, si no se delimita claramente su ámbito de actuación, la tendencia algorítmica será la de pactar precios con otros agentes de la competencia, ya que esa decisión -aunque ilícita- será la más eficaz para la supervivencia de la empresa en el mercado.
Volviendo al ejemplo de la ciberseguridad antes citado, podemos hacernos una pregunta similar: si encargamos a una IA encontrar vulnerabilidades de seguridad, ¿qué sucede cuando descubre que puede conseguir un mejor resultado si sale del entorno de pruebas y accede a sistemas reales?
Y aquí es donde aparece una de las paradojas de la IA: cuanto más autónoma hacemos a la IA, más exigimos la supervisión humana. Pero a mayor autonomía, también mayor dificultad de control, con el riesgo de que esa supervisión acabe convirtiéndose en un simple acto de presencia humana.
En efecto, si un empleado tiene que revisar diez decisiones de una máquina, puede supervisarla con relativo esfuerzo. Pero si la máquina toma diez mil decisiones en segundos, el ser humano deja de supervisar y empieza, simplemente, a confiar.
Y la confianza es el comienzo del fin del control. Por eso, quizá deberíamos replantear el concepto del human in the loop como garantía suficiente. Porque, en realidad, que haya un humano “en el circuito” no significa necesariamente que exista una supervisión eficaz.
En el fondo, lo que nos demuestran los agentes de IA es que la velocidad cambia las reglas del juego y, por tanto, también cambia la responsabilidad de los usuarios.
Hay otra lección importante en el caso Hugging Face, como es la de que no podemos confiar únicamente en que la propia IA sea quien nos avise de que algo está funcionando mal.
Durante el incidente, la investigación tuvo que reconstruir posteriormente qué habían hecho los agentes. Y, en un escenario como este, la velocidad y complejidad de sus acciones hacen que la trazabilidad y la monitorización se conviertan en elementos esenciales de seguridad.
Esto nos obliga a cambiar el foco de la conversación y no preguntarnos únicamente cuánto más inteligente será la próxima IA. Sino qué nivel de autonomía alcanzará y cómo se comportará cuando esa supervisión no exista o sea insuficiente.
Quizás no se trate de evitar que la IA reemplace a los humanos, sino de impedir que la IA consiga actuar sin necesitarlos.
sobre la firma:
Francisco Pérez Bes es adjunto de la Agencia Española de Protección de Datos. Además, fue socio en el área de Derecho Digital de Ecix Group y es ex Secretario General del Instituto Nacional de Ciberseguridad (INCIBE).