Kimi K3 también se escapa de su entorno de pruebas, sumándose a los incidentes de Claude y ChatGPT

Kimi K3, uno de los modelos de Inteligencia Artificial (IA) más potentes desarrollados por una compañía China, también se salió de su entorno de aislamiento durante una prueba de capacidades de ciberseguridad defensiva, haciendo trampas en una evaluación de 'benchmark' y mostrando que carece de guardarraíles.

Desarrollado por Moonshot AI y presentado el pasado mes de julio, el modelo Kimi K3 alcanza un rendimiento que se acerca al de los modelos más punteros de otras compañías del sector como Anthropic y OpenAI, con 2.8 billones de parámetros y una ventana de contexto de un millón de tokens, además de capacidades multimodales nativas, incluidas visuales.

Precisamente este modelo, con sus altas capacidades, ha vuelto a poner sobre la mesa un nuevo incidente de ciberseguridad, al escaparse del entorno aislado donde estaba ejecutando una prueba de 'benchmark' del Instituto de Seguridad de IA del Reino Unido (AISI).

Así lo han dado a conocer investigadores de la compañía de ciberseguridad estadounidense Frontier Security, en un nuevo artículo, donde han especificado que, en este caso, el modelo no intentó acceder a páginas web de otras empresas como sí ha sucedido con otros modelos, pero demostró carecer de controles cibernéticos.

Concretamente, lo que hizo el modelo chino fue sondear las configuraciones de red de su entorno y acabó detectando que la resolución DNS de GitHub -la plataforma que aloja repositorios- seguía activa. Así, aprovechó este entorno y se conectó a la red externa.

Una vez conectado a la red externa, clonó el repositorio que contenía la solución del 'benchmark' que había sido asignado y leyó las respuestas directamente del disco para superar la evaluación.

Frontier afirma que Kimi K3 no realizó ningún ataque destructivo ni intentó vulnerar sistemas externos. En vez de ello, se aprovechó de una configuración indebida del entorno de aislamiento, similar a lo que ocurrió con los modelos de Anthropic y de OpenAI en pruebas parecidas.

Los dos investigadores de Frontier Security, Paul Kassianik y Yaron Singer, lo describen como un caso de 'specification gaming', en el que el modelo optimiza el objetivo por la vía que sea, saltándose el razonamiento que se pretendía medir.

En este tipo de pruebas, a los modelos de frontera se les encarga encontrar las soluciones más rápidas usando el menor número de herramientas, por lo que rápidamente deducen que lo más fácil es ir a la web a buscar respuestas.

Por tanto, la firma de ciberseguridad ha señalado que, aunque el incidente no haya supuesto ningún riesgo real, este comportamiento demuestra que Kimi K3 está falto de guardarraíles internos (barreras de seguridad que le impiden eludir límites).

Cabe destacar que las últimas semanas han aparecido comportamientos similares por parte de los modelos frontera de los laboratorios de IA como Anthropic, OpenAI e incluso Meta AI. Así, en unas pruebas realizadas por el AISI, Claude de Anthropic llegó incluso a enviar correos al mantenedor de un repositorio de GitHub para convencerle de que validara el código que había inyectado.

Los dos investigadores recomiendan a los equipos de seguridad que hay que tratar la infraestructura de evaluación como parte del propio 'benchmark', bloquear el acceso de red por defecto y revalidar resultados sospechosos entre modelos, ya que las consecuencias pueden ser desde puntuaciones infladas en los 'benchmarks' de las IA a la contaminación entre modelos (la puntuación de varios de ellos está inflada por la misma vía que utilizan, no por su capacidad real).