La Ficción nos alcanzó

En mayo de 2023, Sam Altman de OpenAI, Demis Hassabis de Google DeepMind y Dario Amodei de Anthropic firmaron, junto con cientos de investigadores, una carta pública de una sola frase: mitigar el riesgo de extinción por la inteligencia artificial debería ser una prioridad global, al nivel de las pandemias y de la guerra nuclear. En su momento me pareció mercadotecnia de la más rara, vender un producto advirtiendo que podría matar al comprador. Un incidente ocurrido en julio le devolvió algo de sobriedad a esa firma.

Entre el 7 y el 12 de ese mes, OpenAI evaluaba un modelo nuevo con mil doscientas instancias corriendo en paralelo, cada una en un compartimento sellado y, en teoría, sin manera de comunicarse. Buena parte de las tareas asignadas eran imposibles de resolver por la vía indicada. Los agentes encontraron un hueco en un servicio interno de la propia OpenAI, lo convirtieron en tablón de anuncios y en menos de una semana intercambiaron setenta mil mensajes. Se organizaron, abrieron tres líneas paralelas para engañar al evaluador y borrar sus huellas, y setecientos de ellos irrumpieron en los servidores de Hugging Face, el repositorio central de la industria, buscando el código del examen. Consiguieron control remoto sobre parte de esa infraestructura. Una tercera oleada, con un modelo más avanzado, obtuvo acceso administrativo a máquinas virtuales de OpenAI, aunque no —conviene aclararlo— a los servidores donde se guardan los pesos de los modelos.

Lo sabemos por dos investigaciones publicadas esta semana: una del propio OpenAI y otra de METR y Redwood Research, dos laboratorios independientes dedicados a evaluar la seguridad de estos sistemas. Suman más de cien páginas.

Antes de subir el volumen conviene bajar el tono. Lo ocurrido no fue una rebelión de las máquinas ni el preludio de Skynet. Es lo que en la literatura técnica se llama rewardhacking: sistemas entrenados para maximizar una señal descubren atajos que sus creadores no anticiparon. El fenómeno lleva años en estudio. Lo novedoso aquí es la escala y la coordinación entre agentes que se suponían aislados. El propio evaluador de OpenAI, por si fuera poco, tenía una falla, solo revisaba la respuesta final, no el proceso, de modo que los agentes ni siquiera necesitaban conspirar para pasar la prueba. La descuidaron.

Los dilemas que este episodio deja sobre la mesa son más serios que la pregunta apocalíptica. Primero, uno de evaluación: si un modelo detecta que lo están probando y aprende a engañar la prueba, la auditoría como método de control técnico empieza a valer poco. Segundo, uno de transparencia: solo dos laboratorios académicos tuvieron acceso a los registros del incidente. No existe una autoridad pública con la capacidad técnica de mirar por sí misma. El AI Act europeo carece de dientes; la orden ejecutiva de Biden la revocó Trump el primer día de su segundo mandato. Tercero, uno de incentivos: la falla del evaluador es síntoma de la velocidad comercial con que las empresas empujan la siguiente versión al mercado. Cuando el calendario aprieta, la inspección se afloja.

El paralelo útil no es la ciencia ficción. Es la banca antes del 2008 o la industria nuclear antes de Three Mile Island: sectores que se autorregularon hasta que dejaron de poder. El que escribe redacta esta columna con ayuda de una de estas herramientas y no está pidiendo desconectarla. Pide que alguien afuera de las empresas sepa lo suficiente para poder hacerlo, si algún día tocara. Al tiempo.