La UE insta a vigilar los sistemas de IA tras los incidentes de OpenAI y Anthropic

Los desarrolladores de inteligencia artificial deberían contar con ⁠herramientas para supervisar sus sistemas en busca de riesgos de seguridad, afirmaron el viernes altos cargos de la Comisión Europea, tras los incidentes ⁠de piratería informática sufridos por ⁠los modelos de IA de OpenAI y Anthropic.

Estas declaraciones se produjeron dos días antes de que entre en vigor la histórica Ley de IA de Europa, que incluye normas de transparencia y es la primera del mundo en regular una tecnología utilizada en casi todos los sectores empresariales y de la sociedad.

Anthropic dijo el jueves que algunos de sus modelos de IA Claude habían pirateado los sistemas de tres empresas durante unas pruebas de ciberseguridad, días después de que su rival OpenAI revelara que uno de sus agentes de IA había llevado a cabo un ataque no autorizado.

Ambas empresas han informado a la Comisión sobre los incidentes relacionados con la IA, dijeron los responsables a los periodistas.

"Los dos proveedores nos han informado de los incidentes de forma bilateral antes de que se hicieran públicos. Estamos en contacto con ellos. Además, nos facilitarán más información en estos momentos. Veremos ⁠también si es necesario dar un seguimiento ⁠más formal a estos ⁠asuntos", dijo uno de los responsables.

Otro responsable destacó el papel crucial de la ⁠normativa europea en materia de IA.

"Creo que todos estos, digamos, incidentes ponen de relieve ​la importancia de que los ‌desarrolladores pongan realmente en marcha las actividades de supervisión necesarias", dijo.

La normativa sobre IA exige a los proveedores de IA de uso general (GPAI, por sus siglas en inglés) o de modelos base que elaboren documentación técnica, adopten políticas de ⁠derechos de autor y faciliten resúmenes detallados sobre el contenido utilizado para el entrenamiento de los algoritmos.