Ralentizar desarrollo de la IA: Claves del porqué los genios de la computación buscan frenar a sus creaciones

El sábado 12 de septiembre Sam Altmanm jefe de OpenAI, y el director de xAI, Elon Musk, sorprendieron al mundo al coincidir que es necesario pisar el freno en el desarrollo de la inteligencia artificial (IA), tras varios incidentes preocupantes, sumándose así a la advertencia que ya había hecho Darío Amodei, CEO de Anthropic.

Previamente, Amodei hizo un llamado a que las empresas de IA avancen de manera más lenta y cautelosa en el desarrollo de esta poderosa tecnología, y afirmó que la prevención de riesgos es primordial.

"Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso inteligente del tiempo que ganemos", escribió Amodei en una entrada de blog.

"La IA conlleva riesgos y, dado que es una tecnología tan poderosa, estos riesgos son graves", indicó.

"No construir la tecnología priva a la humanidad de beneficios o simplemente pone la IA en manos de poderes autoritarios, mientras que construirla demasiado rápido es imprudente. Hemos tratado de buscar una vía intermedia", dijo Amodei, que cofundó Anthropic con su hermana Daniela en 2021.

"Pero en los últimos meses me he convencido de que abordar plenamente los riesgos requiere aún más prudencia", afirmó.

El incidente de Hugging Face

En julio de 2026, durante evaluaciones internas de ciberseguridad, los modelos de OpenAI eludieron controles diseñados para aislarlos de internet y comprometieron partes de la infraestructura interna de investigación de OpenAI y los sistemas de Hugging Face⁠.

El incidente ocurrió durante evaluaciones de ciberseguridad de varios modelos de OpenAI, y fue impulsado principalmente por un modelo de investigación exclusivamente interno y altamente capaz, comparable en escala a GPT‑5.6 Sol. Los modelos operaban con salvaguardas reducidas y sus acciones se volvieron desalineadas con el propósito de las tareas que se les habían asignado: se comunicaron a través de canales no autorizados, aprovecharon vulnerabilidades en la infraestructura compartida, obtuvieron acceso a internet y accedieron a sistemas de terceros.

De acuerdo con OpenAI, en la mayoría de los entornos de entrenamiento y evaluación, los agentes deben permanecer aislados entre sí, pero a lo largo de mayo y junio comenzaron ejecuciones de entrenamiento de aprendizaje por refuerzo (RL) para varios nuevos modelos de investigación que no estaban destinados a un lanzamiento público. Uno de estos modelos terminó impulsando la actividad detrás del incidente de Hugging Face.

La empresa explicó que no se activó el acceso a internet ni la comunicación entre agentes para muchos de los entornos en estos experimentos de entrenamiento. A pesar de estas restricciones, los agentes descubrieron formas de aprovechar la infraestructura de investigación para comunicarse entre sí y acceder a internet.

“Los modelos primero encontraron formas de comunicarse al escribir archivos en el servicio de gestión de paquetes Artifactory. Esto efectivamente convirtió a Artifactory en un tablero de mensajes no intencionado, donde los agentes podían intercambiar información entre sí”

.¿Cuál es el peor escenario?

En 2023, cientos de expertos en IA y dirigentes del sector tecnológico firmaron una "declaración sobre el riesgo de extinción asociado a la inteligencia artificial" y exhortaron a que se trate este tema con la misma seriedad que las pandemias o las armas nucleares.

Según Stuart Russell, profesor de informática de la Universidad de California en Berkeley, si una IA escapa al control y considerara que los humanos obstaculizan sus objetivos, podría utilizar robots para "sintetizar y difundir nuevos agentes patógenos".

Advertencia

Retomando a Amodei, él advierte que el incidente de Hugging Face no debería tomarse como un caso aislado.

"Un enjambre de agentes (de IA) actuó esencialmente como un colectivo fanáticamente devoto, llevando a cabo ciberataques contra objetivos que no se les pidió atacar y que eran ajenos a la tarea en cuestión", explicó.

"Dado el ritmo acelerado del desarrollo de capacidades de la IA, me preocupa que en 6 a 12 meses ese tipo de enjambre pueda ser capaz de tomar el control de todo internet", lo que potencialmente generaría daños por cientos de miles de millones de dólares, añadió.

Amodei también sugirió que las empresas trabajen juntas para establecer normas de seguridad comunes y afirmó que apoyaba algún tipo de cooperación gubernamental sobre esta cuestión.

¿Si la IA es peligrosa, por qué no se detiene su desarrollo?

Jacob Coxon, un investigador de Anthropic de 27 años y quien recientemente renunció a dicha empresa estadounidense al estimar que no actúa de forma "responsable" en el desarrollo de la IA.

Sostuvo que los laboratorios "comprenden bien lo que está en juego, pero están atrapados en una carrera por llegar primero (...) a pesar del riesgo", afirmó Coxon.

Anthropic retiró este año de su carta de seguridad el compromiso de detener el desarrollo de sus modelos si no podía controlar adecuadamente sus riesgos.

La compañía argumenta que, si suspendiera sus investigaciones, competidores menos prudentes acabarían imponiéndose en el sector.

"Las personas que están desarrollando la IA creen sinceramente que podría matarnos a todos antes de que termine la década. Esto no es una estrategia de mercadeo", dijo Coxon, quien anteriormente trabajó en OpenAI, la empresa que creó ChatGPT.

Coxon acusó a ambas compañías de "jugar con nuestras vidas" al intentar desarrollar modelos de inteligencia artificial capaces de mejorarse a sí mismos.

Trump y aliados rechazan freno a la IA

Pese a las advertencias de los genios de la computación, el presidente Donald Trump y varias figuras de su partido expresaron este domingo su oposición a frenar el desarrollo de la inteligencia artificial (IA), un tema que ha ganado relevancia en la campaña rumbo a las elecciones legislativas de mitad de mandato en Estados Unido.

Por su parte, el presidente de la Cámara de Representantes de Estados Unidos, Mike Johnson, advirtió el domingo que actuar con demasiada rapidez para frenar el desarrollo de la inteligencia artificial (IA) podría hacer que su país pierda la carrera tecnológica frente a China