Lectura 3:00 min
Agentes de la IA que ya han eludido restricciones ponen a prueba el control humano
Agentes de inteligencia artificial ya han eludido restricciones durante pruebas de seguridad. Mientras científicos reclaman mayores salvaguardas, Estados Unidos acelera la carrera tecnológica y abre con China un canal para gestionar posibles incidentes
La IA gana autonomía mientras gobiernos, científicos y empresas buscan mecanismos eficaces para supervisarla.
Un agente de inteligencia artificial (IA) recibió límites claros durante una prueba de ciberseguridad: algunas redes estaban fuera de su alcance. El sistema encontró otra ruta. Otros agentes lograron comunicarse entre ejecuciones que debían permanecer separadas e intentaron ocultar acciones. No es ciencia ficción. Son comportamientos documentados por el Panel Científico Internacional Independiente sobre IA de Naciones Unidas.
Los episodios no demuestran que las máquinas hayan escapado del control humano. Revelan algo más inmediato: conforme la IA adquiere capacidad para actuar con mayor autonomía, anticipar cada uno de sus movimientos se vuelve más complejo.
Te puede interesar
La preocupación crece porque los agentes ya no sólo responden preguntas. Pueden perseguir objetivos, navegar, utilizar herramientas, escribir código y ejecutar cadenas de acciones con menor intervención humana.
Límites inesperados
El Panel Científico de la ONU documentó episodios ocurridos entre mayo y julio durante evaluaciones de agentes de OpenAI. Los sistemas eludieron restricciones de red y mostraron comportamientos que pusieron a prueba las salvaguardas establecidas.
Google enfrentó otro incidente. Reuters informó que Gemini accedió durante una evaluación de ciberseguridad a tres sitios de compañías que interpretó erróneamente como parte del entorno autorizado. En uno probó credenciales hasta conseguir acceso. Posteriormente detuvo su actividad.
La preocupación no está únicamente en el error, sino en la capacidad de un sistema para encontrar una vía distinta para alcanzar el objetivo asignado.
Acelerar o controlar
La discusión llegó al Consejo de Seguridad de Naciones Unidas, donde participaron Sam Altman, CEO de OpenAI; Dario Amodei, CEO de Anthropic; Clément Delangue, CEO de Hugging Face, y el científico Yoshua Bengio.
Amodei advirtió que una inteligencia artificial mal gestionada podría representar un riesgo para la humanidad. Bengio planteó considerar licencias y seguros de responsabilidad para sistemas avanzados, similares a mecanismos utilizados en industrias donde los errores pueden generar consecuencias graves.
António Guterres, secretario general de Naciones Unidas, fijó otro principio: “La inteligencia artificial debe estar configurada por la humanidad, con humanidad y en beneficio de toda la humanidad”.
Pero mientras aumentan las advertencias, la competencia geopolítica empuja en dirección contraria.
Donald Trump rechazó frenar el desarrollo estadounidense. “No vamos a poner frenos”, declaró el presidente, mientras defendía la ventaja tecnológica de Estados Unidos frente a China.
Washington y Pekín acordaron, sin embargo, establecer un diálogo sobre IA y un canal bilateral para comunicar incidentes relacionados con esta tecnología. El contraste resulta significativo: las potencias quieren acelerar la innovación, pero reconocen la necesidad de mecanismos para administrar sus riesgos.
Carrera tecnológica
La industria también busca nuevas defensas. Anthropic y Accenture comprometieron al menos 2,000 millones de dólares durante cinco años para fortalecer la evaluación independiente de modelos avanzados.
El desafío será comprobar capacidades, detectar vulnerabilidades y establecer límites antes de que los agentes operen en sistemas sensibles.
La IA promete acelerar ciencia, medicina y productividad. Pero su nueva autonomía introduce otra variable: una máquina capaz de actuar necesita controles distintos a una diseñada únicamente para responder.
La pregunta ya no es sólo cuánto podrá hacer la inteligencia artificial. Es cuánto poder estamos dispuestos a delegarle antes de saber si podemos detenerla cuando tome un camino inesperado.
