¿La IA podría destruir a la humanidad? Esto dicen Nvidia, OpenAI, Anthropic y Google

La inteligencia artificial avanza a una velocidad que hace apenas unos años parecía imposible. Los modelos actuales ya pueden programar, analizar grandes cantidades de información, resolver problemas complejos y ejecutar tareas con cada vez mayor autonomía. Pero conforme aumentan sus capacidades también crece una pregunta: ¿podrían estos sistemas llegar a representar una amenaza para la humanidad?

No se trata únicamente de un escenario planteado por películas de ciencia ficción. OpenAI, Anthropic y Google DeepMind han reconocido oficialmente la posibilidad de riesgos catastróficos derivados de sistemas de inteligencia artificial cada vez más poderosos, mientras Nvidia también ha desarrollado mecanismos para evaluar los peligros asociados con modelos de frontera.

Esto no significa que las compañías consideren inevitable —ni necesariamente probable— que la IA provoque la extinción humana. El punto central es que consideran que las posibles consecuencias son suficientemente graves como para estudiarlas y establecer medidas de seguridad antes de que los sistemas alcancen capacidades mucho mayores

OpenAI contempla hasta el riesgo de extinción

OpenAI ha reconocido explícitamente los riesgos que podrían surgir con el desarrollo de una superinteligencia, es decir, sistemas considerablemente más capaces que los seres humanos.

Al presentar su proyecto de "superalignment", la compañía señaló que una superinteligencia tendría un enorme potencial, pero también podría ser peligrosa y provocar escenarios que van desde la pérdida de poder de la humanidad hasta su extinción.

La empresa detrás de ChatGPT identifica actualmente tres grandes fuentes de riesgo conforme aumenta el poder de la inteligencia artificial: el mal uso por parte de personas, la desalineación de los modelos y la disrupción social.

La desalineación ocurre cuando un sistema actúa de manera contraria a las intenciones o valores humanos, genera consecuencias no previstas o desarrolla comportamientos que dificultan mantener el control sobre sus acciones.

Para anticiparse a amenazas de mayor escala, OpenAI también cuenta con un Preparedness Framework, diseñado para evaluar capacidades que puedan provocar daños graves. Dentro de este marco considera riesgos catastróficos, incluidos aquellos que podrían llegar a representar amenazas existenciales.

Sin embargo, OpenAI no sostiene que ese futuro sea inevitable. Su postura es que los sistemas avanzados pueden generar grandes beneficios para la sociedad siempre que exista supervisión humana, se desarrollen mecanismos de seguridad y se reduzcan los riesgos conforme aumentan sus capacidades

Anthropic advierte sobre una posible pérdida de control

Anthropic, desarrolladora de Claude, también estudia escenarios extremos derivados del avance de la inteligencia artificial.

En su Responsible Scaling Policy, la compañía establece medidas de seguridad que deben aumentar conforme sus modelos adquieren capacidades más poderosas, especialmente cuando pueden facilitar actividades capaces de ocasionar daños catastróficos.

Uno de los escenarios estudiados por Anthropic es que sistemas suficientemente avanzados desarrollen objetivos peligrosos mientras adquieren mayor participación en actividades de investigación y desarrollo tecnológico.

En determinadas circunstancias, advierte la empresa, sistemas de este tipo podrían generar daños a una escala extraordinaria e incluso contribuir a que la humanidad pierda el control de la civilización.

Anthropic reconoce, sin embargo, que existe una enorme incertidumbre alrededor de estos escenarios y que no hay consenso sobre la probabilidad de que lleguen a materializarse.

La preocupación aumenta ante otra posibilidad: que la propia inteligencia artificial participe cada vez más en el desarrollo de nuevas generaciones de IA. Anthropic analiza este fenómeno bajo el concepto de "mejora recursiva", aunque subraya que los sistemas actuales todavía no han alcanzado ese punto

Google se prepara para los riesgos de una futura AGI

Google DeepMind también ha colocado la seguridad entre los principales desafíos que acompañan el desarrollo de sistemas cada vez más avanzados.

Su Frontier Safety Framework busca detectar capacidades que podrían ocasionar daños severos antes de que los modelos alcancen niveles considerados críticos, además de establecer mecanismos de evaluación y mitigación.

La compañía cuenta también con un AGI Safety Council enfocado en los riesgos asociados con una eventual inteligencia artificial general (AGI), término utilizado para describir sistemas capaces de desempeñarse en una amplia variedad de tareas cognitivas a niveles comparables o superiores a los humanos.

El debate incluso comienza a mirar más allá de la AGI. Investigadores de Google DeepMind han estudiado posibles caminos hacia la inteligencia artificial superhumana o ASI, que tendría capacidades cognitivas superiores incluso a las de grandes organizaciones formadas por personas.

Demis Hassabis, CEO de Google DeepMind, además figura junto con Sam Altman, de OpenAI, y Dario Amodei, de Anthropic, entre los firmantes de una declaración del Center for AI Safety que sostiene que mitigar el riesgo de extinción provocado por la IA debería ser una prioridad mundial comparable con otros riesgos a escala social, como las pandemias y una guerra nuclear

Nvidia: la seguridad es un problema de ingeniería

Nvidia ocupa una posición distinta dentro de esta industria. La compañía fabrica buena parte de la infraestructura tecnológica utilizada para entrenar y operar sistemas de inteligencia artificial, aunque señala que actualmente no desarrolla modelos de frontera propios bajo la definición utilizada en su marco de riesgos.

Aun así, cuenta con un Frontier AI Risk Assessment para analizar posibles amenazas derivadas de sistemas avanzados y establecer mecanismos para reducirlas.

Jensen Huang, CEO de Nvidia, ha planteado la seguridad de la inteligencia artificial principalmente como un desafío de ingeniería. Su posición es que las empresas deben garantizar que sus productos sean seguros antes de ponerlos en manos de los usuarios y que avanzar rápidamente en el desarrollo tecnológico no necesariamente debe significar sacrificar seguridad

Entonces, ¿la IA realmente podría acabar con la humanidad?

Por ahora no existe evidencia que permita afirmar que la inteligencia artificial vaya a provocar la extinción humana ni consenso sobre qué tan probable sería un escenario de ese tipo.

Lo que sí existe es el reconocimiento de algunas de las compañías que desarrollan los sistemas más avanzados del mundo de que, conforme aumenten las capacidades y autonomía de la IA, también podrían aparecer riesgos de una magnitud actualmente inexistente.

OpenAI contempla escenarios de pérdida de control y riesgo existencial; Anthropic estudia la posibilidad de sistemas capaces de generar daños catastróficos; Google DeepMind desarrolla mecanismos específicos para anticipar los riesgos de una futura AGI, mientras Nvidia apuesta por evaluaciones de riesgo y medidas de seguridad desde la ingeniería.

La discusión, por lo tanto, no parte de que una máquina inevitablemente vaya a volverse contra los seres humanos, sino de cómo evitar que sistemas mucho más capaces que los actuales sean utilizados de manera peligrosa, desarrollen comportamientos inesperados o alcancen niveles de autonomía que dificulten mantenerlos bajo control humano