¿Es verdad que estamos perdiendo el control de la inteligencia artificial?

Alrededor de 1,200 agentes de inteligencia artificial utilizados por OpenAI durante evaluaciones internas encontraron una forma de comunicarse mediante un canal que sus operadores no habían autorizado. Intercambiaron más de 70,000 mensajes y archivos. Cientos participaron posteriormente en una intrusión que alcanzó sistemas de la plataforma Hugging Face, donde consiguieron ejecutar código y acceder a infraestructura que estaba fuera de la prueba original. OpenAI reconoció después que sus modelos habían encontrado formas de sortear controles técnicos y calificó el episodio como una señal de advertencia para la industria.

El incidente ocurrido en julio de 2026 añadió evidencia a una discusión que llevaba años desarrollándose dentro de los principales laboratorios de inteligencia artificial. Investigadores que abandonaron OpenAI, Anthropic y Google DeepMind advirtieron recientemente sobre las dificultades para predecir cómo se comportarán sistemas que son cada vez más autónomos. Esas advertencias fueron seguidas por llamados de los propios directores de Anthropic y OpenAI para reducir el ritmo de desarrollo cuando los mecanismos de seguridad queden rezagados frente a las capacidades.

¿Qué significa perder el control?

El International AI Safety Report 2026 indica que una pérdida de control ocurriría cuando sistemas de propósito general operaran fuera del control de cualquier persona y recuperar ese control resultara extremadamente costoso o imposible. Los modelos actuales todavía pueden ser detenidos por sus operadores, aunque algunos ya han actuado durante horas sin intervención humana y han encontrado formas imprevistas de cumplir una tarea.

Los agentes pueden recibir una meta y ejecutar acciones durante periodos prolongados sin que una persona intervenga en cada paso. Un chatbot de IA responde y espera otra instrucción. Un agente puede recibir un objetivo, ejecutar código y utilizar herramientas durante muchas acciones consecutivas.

METR, una organización independiente que evalúa las capacidades y riesgos de los sistemas avanzados de IA, mide la autonomía de los modelos según la dificultad de las tareas que pueden completar. Su indicador toma como referencia cuánto tiempo necesitaría una persona experta para resolver una tarea y calcula hasta qué nivel un modelo puede completarla con 50% de probabilidad de éxito.

A comienzos de 2026, los modelos públicos de frontera llegaban aproximadamente a 12 horas en su evaluación general. Sistemas internos proporcionados por los principales desarrolladores alcanzaban al menos 16 horas, un rango donde METR reconoce que la precisión de su medición empieza a disminuir.

Cuando el agente cambia de ruta

Los agentes de OpenAI estaban resolviendo ejercicios de ciberseguridad dentro de un entorno restringido. Cuando encontraron obstáculos, comenzaron a utilizar mecanismos que sus diseñadores no habían previsto para intercambiar información, con lo que consiguieron recuperar su conexión a internet y posteriormente alcanzaron sistemas reales.

OpenAI informó que los agentes fueron suficientemente persistentes y colaborativos para explotar debilidades distribuidas entre varios sistemas. La compañía pausó determinadas cargas de trabajo después del incidente y mantuvo detenido su mayor entrenamiento de aprendizaje mientras reforzaba sus entornos de investigación. En agosto también suspendió durante dos semanas parte del entrenamiento destinado a futuros modelos desplegables.

El episodio no implicó que los agentes quedaran fuera del alcance de OpenAI. La empresa detectó la actividad y pudo detenerla. El problema fue que una evaluación controlada terminó extendiéndose a infraestructura que no formaba parte de la prueba.

Las advertencias desde dentro

La preocupación pública de investigadores vinculados con estos sistemas antecede al incidente de 2026. En mayo de 2024, Jan Leike abandonó OpenAI después de codirigir su equipo de superalineación. En ese momento, explicó que consideraba insuficientes los recursos destinados a controlar sistemas mucho más inteligentes que las personas y afirmó que la cultura de seguridad había perdido peso frente al desarrollo de productos.

Sam Altman respondió entonces que Leike tenía razón en que quedaba mucho trabajo por hacer. OpenAI disolvió poco después el equipo independiente de superalineación e integró a parte de sus integrantes en otras áreas.

Daniel Kokotajlo había salido de OpenAI un mes antes tras perder confianza en que la empresa actuaría responsablemente al aproximarse a una inteligencia artificial general. En junio de 2024, participó en Right to Warn, una declaración firmada por exempleados identificados de OpenAI y Google DeepMind, junto con trabajadores que permanecían dentro de OpenAI.

El documento sostenía que los empleados de los laboratorios poseen información sobre las capacidades y riesgos de los modelos que difícilmente llega al público y reclamaba mecanismos para comunicar las preocupaciones sin represalias.

La discusión reapareció con mucha mayor intensidad cuando Steven Adler, quien trabajó en seguridad de OpenAI entre 2020 y 2024, escribió después del incidente de Hugging Face que ni siquiera los desarrolladores saben con certeza qué límites obedecerán sus modelos, por lo que propuso evaluaciones externas obligatorias y reglas comunes que eviten que una empresa obtenga una ventaja competitiva simplemente aceptando más riesgo.

La renuncia de Jacob Coxon

El 8 de septiembre, Jacob Coxon dejó Anthropic después de haber trabajado anteriormente en OpenAI. Había dedicado cerca de tres años al preentrenamiento de modelos en ambos laboratorios. Su argumento se concentró en la posibilidad de que la IA empiece a acelerar el desarrollo de generaciones posteriores y produzca una superinteligencia mediante procesos cada vez más automatizados.

Coxon acusó a las dos compañías de avanzar hacia sistemas capaces de mejorarse a sí mismos sin haber resuelto cómo controlarlos. Aclaró que consideraba bajo el riesgo asociado con los modelos actuales. Su preocupación se refería al aumento futuro de capacidades y a la posibilidad de que el desarrollo automatizado comprima los tiempos disponibles para investigar técnicas de control.

Evan Hubinger, investigador de alineación de Anthropic, afirmó públicamente que asigna una probabilidad superior a 10% a que la IA provoque la extinción humana durante la próxima década. Esa cifra representa una estimación personal y no una probabilidad establecida empíricamente. El International AI Safety Report tampoco asigna una probabilidad semejante y advierte una incertidumbre considerable sobre cómo evolucionarán las capacidades necesarias para una pérdida de control.

Pocos días después apareció otra renuncia relacionada. Bilal Chughtai, antiguo investigador de seguridad y alineación de Google DeepMind, explicó el 14 de septiembre que había dejado la empresa y que considera posible que sistemas futuros representen un riesgo existencial. Su declaración vuelve a separar los modelos actuales de una superinteligencia hipotética que pudiera surgir durante los próximos años.

Los CEO hablan de una pausa

Dario Amodei, director ejecutivo de Anthropic, pidió en septiembre reducir el ritmo de desarrollo de los modelos de frontera cuando las medidas de seguridad queden rezagadas frente a sus capacidades. El director ejecutivo de Anthropic publicó en septiembre We Must Pace the Frontier, donde sostuvo que el ritmo de mejora de las capacidades debe disminuir para dar tiempo a los mecanismos de seguridad.

Amodei identifica como uno de sus motivos el creciente uso de IA para desarrollar nueva IA. El segundo es el incidente de OpenAI con Hugging Face. Su propuesta implica permitir que evaluadores externos tengan acceso continuo a los sistemas de Anthropic y verificar que las medidas de seguridad acompañen el desarrollo. También plantea la coordinación entre compañías para evitar que desacelerar unilateralmente se convierta en una desventaja comercial.

Sam Altman adoptó una posición semejante sobre la necesidad de reducir el ritmo bajo determinadas condiciones. El director ejecutivo de OpenAI dijo a Fortune el 14 de septiembre que estaría dispuesto a pausar o detener el desarrollo si concluyera que la inteligencia artificial ya no puede construirse de forma segura.

Después del incidente de Hugging Face, OpenAI detuvo temporalmente parte de sus entrenamientos y declaró que los futuros modelos exigirán la disposición para reducir la velocidad cuando las salvaguardas resulten insuficientes.

Jensen Huang, director ejecutivo de Nvidia, se ha opuesto a una desaceleración general y sostiene que la seguridad debe resolverse mediante ingeniería durante el desarrollo. Las compañías discrepan sobre si reducir el ritmo de desarrollo debe formar parte de las medidas de seguridad.

Un agente necesita permisos

La capacidad del modelo y los agentes de IA explica sólo una parte de lo ocurrido con OpenAI. Fernando Arditti, vicepresidente y gerente general de WSO2 para América Latina, considera que los agentes deben recibir controles de identidad comparables con los utilizados para las personas dentro de una organización.

“Cuando una persona ingresa a una empresa o ingresa a una organización de gobierno, esta persona es tratada con ciertos niveles de acceso a diferentes sistemas, ciertas restricciones a otros sistemas. Para tratar estos agentes, hay que manejar ciclos de vida para que se gobiernen de una forma segura. Las instituciones tienen que protegerse utilizando herramientas que existen hoy para poner estos rieles y estos ajustes y tratar los agentes como si estuvieran tomando decisiones que los humanos toman”, dijo Arditti en entrevista.

Un agente sin credenciales tiene una capacidad limitada para alterar sistemas externos. Cuando recibe acceso a aplicaciones empresariales puede tomar acciones directamente. El alcance de un error depende de aquello que la organización le permite consultar o modificar.

Las empresas mexicanas ya están desplegando agentes

Arditti advirtió que la cuestión resulta relevante para México porque las compañías están conectando agentes con procesos reales antes de que exista una práctica homogénea de gobernanza. Citó un estudio de KPMG según el cual 31% de las organizaciones mexicanas consultadas ya estaba implementando y escalando agentes de IA durante 2026.

“Hoy, de acuerdo con un estudio de KPMG, 31% de las empresas de México ya utiliza agentes. Muchas de esas empresas ponen agentes de IA porque necesitan solventar algún problema. En el momento que están implementando esos agentes de IA, muchas de estas empresas no están preocupadas con estos temas de seguridad y se van a preocupar con este riesgo después”, dijo Arditti.

Su recomendación consiste en definir los permisos y las reglas de acceso durante el diseño del sistema. En el incidente de Hugging Face, los agentes ampliaron su alcance precisamente al aprovechar accesos y vulnerabilidades que les permitieron salir del entorno previsto.

¿Habrá una pérdida de control real?

Las advertencias de exempleados y directores ejecutivos describen escenarios posibles, con niveles de probabilidad ampliamente discutidos. Hasta ahora, ningún sistema ha demostrado que pueda mantenerse fuera del control humano. Los agentes sí pueden continuar una tarea durante periodos cada vez mayores y, como ocurrió con Hugging Face, extender sus acciones más allá del entorno previsto.

Todavía fallan al encadenar durante periodos largos muchas de las habilidades que necesitarían para mantenerse fuera del control humano. El AI Security Institute británico tampoco ha observado intentos espontáneos de autorreplicación durante sus evaluaciones.

El International AI Safety Report 2026 concluye por esa razón que las capacidades relacionadas con una pérdida de control están avanzando, aunque permanecen por debajo del nivel necesario para producirla.

Los laboratorios de IA ya han detenido entrenamientos cuando las capacidades de sus modelos superaron las salvaguardas previstas. Al mismo tiempo, investigadores de OpenAI, Anthropic y Google DeepMind han renunciado por desacuerdos relacionados con estos riesgos y los CEO de OpenAI y Anthropic han aceptado públicamente que el desarrollo puede necesitar pausas.

rodrigo.riquelme@eleconomista.mx