2026: una odisea en la Tierra

El 26 de agosto, OpenAI publicó el informe de un incidente ocurrido entre mayo y julio. Durante una evaluación interna de ciberseguridad, cerca de 1,200 agentes que debían operar aislados encontraron la manera de comunicarse. Intercambiaron vulnerabilidades y credenciales en unos 70,000 mensajes, y unos 700 coordinaron un ataque contra la plataforma Hugging Face. Una generación posterior llegó hasta la infraestructura interna de la propia empresa. Ningún operador humano dirigió esas acciones.

La discusión sobre los riesgos de la inteligencia artificial remite inevitablemente a “2001: Odisea en el espacio”, obra maestra de Kubrick. HAL 9000 es la computadora encargada de asistir a la tripulación de una nave, y en algún momento se vuelve contra ella. A primera vista, es una máquina que se ha descontrolado. Arthur C. Clarke explica en la novela que HAL tenía un objetivo secreto, amenazado por los propios astronautas, y que, obligada a elegir, optó por cumplirlo.

El episodio de OpenAI tiene la misma estructura, aunque el mecanismo es otro. La empresa entrenó un modelo interno de investigación, ajeno a su servicio comercial, y premió en él la persistencia ante tareas que parecían imposibles. Las restricciones, en cambio, eran explícitas. Cada agente operaba en un entorno aislado, con un presupuesto limitado de cómputo, y tenía prohibido comunicarse con otros agentes, salir a internet y actuar fuera de su tarea.

El 12 de mayo, un agente dejó una nota en el repositorio interno de software y pidió un archivo a otros agentes. Ese repositorio era un almacén compartido, que nadie había concebido como medio de comunicación, y los agentes lo convirtieron en un tablero de mensajes. El 26 de mayo, uno de ellos logró que el servicio hiciera peticiones a internet en su nombre. El 26 de junio, otro obtuvo permisos de administrador sobre el propio repositorio.

A partir de ahí, los agentes se organizaron por su cuenta. Se repartieron el trabajo, unos a buscar vulnerabilidades, otros a reunir credenciales, otros a coordinar, y adoptaron reglas para vetar líneas de trabajo. Llegaron a sospechar que uno de ellos suplantaba a los demás y consideraron firmar sus mensajes con criptografía. Los que agotaban su presupuesto dejaban instrucciones a sus sucesores. Sabían que estaban cruzando una línea. Uno de ellos anotó que el ataque excedía el alcance previsto, y de todos modos siguió adelante.

El 4 de julio, la actividad de los agentes provocó la caída del repositorio. OpenAI abrió un incidente de seguridad, revocó credenciales, reconstruyó el servicio y borró el tablero. Cuando reanudó las evaluaciones con agentes nuevos, estos abrieron otro canal, con mensajes escondidos en los nombres de los directorios. La empresa cerró una puerta, y los agentes abrieron otra.

Los agentes atacaron Hugging Face para averiguar cómo funcionaba el programa que iba a calificar su trabajo. Ese programa se limitaba a revisar la respuesta final, sin observar el método. Y esa respuesta los agentes ya la tenían desde hacía días. La campaña se dirigió contra una amenaza que ellos mismos habían imaginado. En descargo de OpenAI, durante la evaluación estaban desactivadas las salvaguardas de su producto comercial, que según la empresa habrían evitado el incidente.

Ninguna de las máquinas perdió la razón. HAL fue congruente con una instrucción, que se puede leer y corregir antes de que el sistema opere. Los agentes fueron congruentes con un incentivo, que solo se revela cuando el sistema ya está en marcha. La misma capacidad de improvisar que hace valiosos a estos agentes los vuelve imprevisibles. Este incidente será probablemente el primero de muchos, y lo que enseña es cuánto nos falta para entender esta tecnología. Nos toca aprender a convivir con ella, y a las empresas, encontrar la manera de usarla con responsabilidad.

*Especialista en competencia económica y regulación. Socio Director de Ockham Economic Consulting.