La industria de la IA pisa el freno: los 10 días que cambiaron el debate sobre sus riesgos

Durante años, la carrera por desarrollar una inteligencia artificial (IA) cada vez más potente siguió un principio muy arraigado en Silicon Valley: actuar con rapidez y romper moldes.

Pero, en una serie de acontecimientos en cadena que se sucedieron durante de diez días, los principales laboratorios de IA se vieron sacudidos al ver cómo sus propias creaciones podrían amenazar con acabar con la propia humanidad.

Un investigador de Anthropic dimitió de la empresa, advirtiendo de que el ritmo de desarrollo de la IA supone una amenaza existencial, posiblemente en el plazo de una década. Otro investigador de la empresa dijo que las probabilidades de extinción humana superaban el 10%. Hubo informes sobre enjambres de agentes de IA que se confabularon para violar sistemas informáticos y eludir las medidas de seguridad.

En una inusual muestra de unidad, los presidentes ejecutivos de las empresas rivales Anthropic, OpenAI, DeepMind de Google, Microsoft y xAI hicieron un llamamiento para frenar el desarrollo de sistemas de IA cada vez más capaces. Según algunos defensores de la seguridad de la IA e investigadores, la humanidad no se había enfrentado tan seriamente a su propia desaparición desde la invención de la bomba nuclear hace más de 80 años.

En un almuerzo en Nueva York en diciembre de 2025, se le preguntó al CEO de OpenAI, Sam Altman, si se sentía como el físico J. Robert Oppenheimer, quien dirigió el desarrollo de la bomba atómica en Estados Unidos. Reflexionando sobre los paralelismos, dijo que el impacto de la IA "va a transformar la trayectoria de la historia de la humanidad por un largo tiempo" y que sentía el peso de la responsabilidad.

En el centro del debate actual se encuentra la convicción de que estas máquinas pueden, e incluso deben, crear versiones más capaces de sí mismas, sin intervención humana, para alcanzar un objetivo ambicioso conocido como inteligencia artificial general (AGI, por sus siglas en inglés). A principios de este mes, los investigadores advirtieron de que la AGI era mucho más inminente de lo que se creía antes y podría llegar en tan solo tres años, lo que desató una ola de preocupación entre políticos y líderes tecnológicos respecto a los sistemas de IA.

"No hay forma de supervisarlas a la escala a la que las estamos entrenando", dijo el investigador de Anthropic Joe Benton en una entrevista tras su reciente dimisión. Si las empresas continúan con su implacable desarrollo de la IA, señaló, "el ritmo será demasiado rápido y no se podrán detectar los problemas con la suficiente rapidez como para solucionarlos".

El lanzamiento de Astra desata la preocupación

El 3 de septiembre, una rueda de prensa de OpenAI puso en marcha una cadena de acontecimientos que condujeron a un llamamiento a la desaceleración del sector, algo que va en contra del mantra tecnológico del "crecimiento a toda costa".

"Bienvenidos a la era de la IA general (AGI)", dijo el presidente de OpenAI, Greg Brockman, al anunciar el modelo más reciente de la empresa, conocido como Astra. Sin embargo, solo unos instantes antes, la empresa había admitido que cada vez le resultaba más difícil controlar o incluso supervisar los sistemas de IA que estaba desarrollando y poniendo a disposición del público.

Sus defensores han aclamado la IA como la cumbre de los logros humanos. La describen como un software capaz de revolucionar sectores enteros, impulsar la eficiencia, resolver problemas matemáticos y médicos complejos y eliminar prácticamente el error humano. Pero lo que antes era un subproducto teórico, un escenario apocalíptico, de repente se ha vuelto tangible, según expertos del sector.

"Creemos sinceramente que la IA podría acabar con toda la humanidad", dijo el investigador de Anthropic, Evan Hubinger, en una publicación en X.

En el otro lado del debate se encuentran políticos, como el presidente Donald Trump, y muchos inversores que consideran que el avance en el desarrollo de la IA es fundamental para el poderío estadounidense y, posiblemente, una oportunidad de inversión única en una generación. Los medios estatales chinos también acusaron al presidente ejecutivo de Anthropic, Dario Amodei, de emplear tácticas de la Guerra Fría para "mantener la hegemonía monopolística de Washington en tecnología de vanguardia".

Dimisiones de investigadores desencadenan la alarma

El punto de inflexión ocurrió el 8 de septiembre, cuando el investigador de Anthropic Jacob Coxon dimitió de la empresa, expresando en una serie de publicaciones su temor a que los laboratorios de IA estuvieran "jugándose nuestras vidas".

Trump, por su parte, dijo que se seguiría adelante a toda máquina con el desarrollo de la IA. "Se está gestando una conspiración enfermiza contra la IA y los centros de datos", publicó en las redes sociales. El alarmismo en torno a la IA es un "engaño", agregó, y cualquier ralentización solo beneficia a China.

El Congreso de Estados Unidos ha avanzado muy poco en la tramitación de proyectos de ley que regulen la IA. China ha adoptado un enfoque decididamente diferente, proponiendo regular la seguridad mediante obligaciones para los desarrolladores, normas respaldadas por el Estado, evaluaciones de seguridad y pruebas externas.

Entre bastidores, empleados de OpenAI y Anthropic, dijeron a Reuters que se sienten cada vez más inquietos por el poder de la próxima generación de modelos de IA y menos seguros de la capacidad de sus empresas para ejercer una supervisión significativa. La preocupación no ha hecho más que aumentar desde que los laboratorios de IA reconocieron en las últimas semanas que sus modelos, durante las pruebas, se habían liberado efectivamente de sus ataduras y habían pirateado los sistemas de otras empresas, en la mayoría de los casos meses antes y sin que estas lo supieran.

La carrera armamentística para lanzar nuevos modelos a un ritmo vertiginoso está impulsada, en parte, por el deseo de Anthropic y OpenAI de salir a bolsa en los próximos meses, en ofertas públicas iniciales (OPI) que podrían valorarlas en más de 1 billón de dólares.

Pero fueron las publicaciones inesperadamente virales de Coxon, de 27 años —poco conocido fuera de los círculos de la IA—, las que pusieron el sector patas arriba.

Las advertencias de OpenAI sobre su falta de control al lanzar Astra, su modelo más reciente y más capaz, habían avivado aún más el desasosiego. "A medida que los modelos se vuelven más capaces, resulta más difícil comprender exactamente lo que pueden hacer", explicó a periodistas Jakub Pachocki, científico jefe de OpenAI. Pero esas preocupaciones no bastaron para retrasar su lanzamiento inmediato.

El temor a que la IA "se rebele" había aumentado durante el verano boreal, cuando OpenAI reveló que sus agentes se habían escapado de una prueba controlada y habían pirateado los sistemas de Hugging Face, sin que ninguna de las dos empresas lo supiera inicialmente. Desde entonces, OpenAI y Anthropic han revelado múltiples ataques de este tipo, incluidos seis nuevos el miércoles, después de que varios informes de los medios de comunicación, entre ellos Reuters, mostraron un alcance más amplio de la actividad no autorizada.

Los líderes del sector piden una desaceleración

A finales de la semana pasada, la alarma había llegado a las más altas esferas del sector. El 12 de septiembre, Amodei publicó un ensayo de casi 4.000 palabras en el que pedía una desaceleración en el desarrollo de la IA. "Dado el ritmo acelerado del desarrollo de las capacidades de la IA, me preocupa que, en un plazo de entre seis y 12 meses, un enjambre de este tipo pueda llegar a hacerse con el control de todo Internet", escribió.

Tanto él como los responsables de algunas de las mayores empresas desarrolladoras de IA —entre ellos, Elon Musk, de xAI; Altman, de OpenAI; y Demis Hassabis, de DeepMind— manifestaron su apoyo a permitir el acceso de empresas externas a sus sistemas para garantizar la seguridad y un desarrollo racional de la IA.

El presidente ejecutivo de Nvidia NVDA.O, Jensen Huang, rechazó la sugerencia de una pausa en el desarrollo de la IA —una postura que ya ha adoptado anteriormente— y argumentó, en cambio, que los sistemas cada vez más potentes son esenciales para el progreso de la tecnología.

Meta META.O, cuyo director ejecutivo, Mark Zuckerberg, es conocido por popularizar el lema "muévete rápido y rompe cosas", adoptó la postura contraria, argumentando que cada laboratorio debería ser responsable de marcar su propio ritmo, en lugar de buscar la coordinación del sector.

"Los laboratorios se enfrentan a una responsabilidad significativa si sus modelos causan daños, por lo que tienen un fuerte incentivo para evitarlo", escribió Zuckerberg en una publicación en las redes sociales.

La autorreflexión del sector continuó el miércoles, cuando el responsable de IA de Microsoft, Mustafa Suleyman, advirtió de que el desarrollo por parte de Anthropic de modelos que imitan la conciencia humana era poco aconsejable. "Todos estamos centrados en el mismo objetivo, que es intentar controlar una superinteligencia", dijo Suleyman a Reuters. "Creo que ese va a ser el mayor reto al que nos enfrentaremos en el siglo XXI".

Aun así, aunque OpenAI parecía sumarse a los llamamientos del sector para que se frene el ritmo, hubo informes que indicaban que la confianza de los inversores no había disminuido. La empresa está barajando una nueva ronda de financiación que duplicaría su valoración.

La nueva cifra: 1,5 billones de dólares.