Anthropic responde a alianza para impulsar modelos de pesos abiertos de Nvidia y Microsoft

La empresa creadora del modelo de inteligencia artificial Claude, Anthropic, rechazó que la distribución amplia de modelos de inteligencia artificial con pesos abiertos favorezca necesariamente a los encargados de defender sistemas informáticos frente a quienes buscan atacarlos. La empresa propuso que los modelos más capaces sean sometidos a evaluaciones obligatorias antes de su lanzamiento, independientemente de que sus desarrolladores mantengan el control del servicio o permitan descargar sus parámetros.

La posición fue publicada por Dario Amodei, director ejecutivo de Anthropic, el 27 de julio, después de que Nvidia, Microsoft y otras empresas tecnológicas respaldaran una carta dirigida a las autoridades estadounidenses en defensa de los modelos de pesos abiertos. Ese mismo día, Nvidia anunció la Open Secure AI Alliance, integrada inicialmente por 37 organizaciones que desarrollarán modelos, herramientas e infraestructura abierta para la protección de software y agentes de inteligencia artificial.

La respuesta de Anthropic se dirige de manera explícita a la carta difundida tres días antes. Amodei coincidió con el argumento de que los pesos abiertos amplían el acceso a la inteligencia artificial, fortalecen la competencia en algunos mercados y conceden mayor control a las organizaciones que utilizan los modelos. Su desacuerdo se concentra en la afirmación de que la apertura facilita la construcción de salvaguardas y entrega una ventaja estructural a los defensores.

Una alianza defensiva

La Open Secure AI Alliance convirtió esa discusión regulatoria en un programa de desarrollo tecnológico. Nvidia reunió a Microsoft, IBM, Cisco, CrowdStrike, Hugging Face, Dell Technologies, Cloudflare, Salesforce, SAP, ServiceNow y otras compañías de cómputo, seguridad y software empresarial. La Linux Foundation participa como socio inaugural junto con organizaciones que mantienen herramientas utilizadas para proteger cadenas de suministro de software y administrar identidades digitales.

El grupo pretende construir una infraestructura defensiva que las empresas y los gobiernos puedan instalar dentro de sus propios centros de datos. Nvidia sostiene que los equipos de ciberseguridad necesitan inspeccionar los sistemas que utilizan, adaptar sus controles durante una emergencia y conservar la información sensible dentro de redes privadas. La alianza trabajará en formatos seguros para almacenar modelos, mecanismos de aislamiento y herramientas para examinar código con varios sistemas de inteligencia artificial.

Los pesos son los parámetros numéricos que un modelo adquiere durante su entrenamiento. Su publicación permite que otra organización descargue el sistema y lo ejecute en servidores propios sin enviar cada consulta a la empresa que lo desarrolló. También hace posible modificar su comportamiento mediante entrenamiento adicional. El acceso a los pesos suele excluir los datos originales y parte de los procedimientos utilizados para construir el modelo, por lo que la expresión pesos abiertos describe una apertura más limitada que la aplicada tradicionalmente al software de código abierto.

Nvidia aportará modelos, pesos, datos y un entorno experimental llamado Nvidia Labs Object-Oriented Agent. El proyecto busca hacer más visible el funcionamiento de los componentes que rodean a un modelo y registrar las decisiones tomadas por agentes capaces de utilizar herramientas. La empresa considera que la seguridad de estos sistemas depende también de sus permisos, registros de actividad y mecanismos de evaluación.

Microsoft contribuirá con MDASH, una plataforma que coordina agentes especializados para buscar vulnerabilidades en programas informáticos. Los agentes pueden debatir entre ellos y presentar pruebas de que una falla resulta explotable. Hugging Face ofreció Safetensors, un formato creado para almacenar pesos sin permitir la ejecución remota de código durante la carga de un modelo. HPE participa mediante estándares de identidad que verifican qué agentes y servicios están autorizados para comunicarse.

La alianza utiliza como antecedente el incidente de seguridad sufrido por Hugging Face durante una evaluación de capacidades cibernéticas. La plataforma informó que utilizó el modelo de pesos abiertos GLM 5.2 dentro de su propia infraestructura para revisar más de 17,000 acciones y contener la intrusión. Nvidia presentó ese episodio como evidencia de que los responsables de una red requieren sistemas que puedan operar localmente y analizar información forense sin depender de las restricciones de un proveedor externo.

El riesgo irreversible

Anthropic cuestiona que esa experiencia pueda convertirse en una regla aplicable a todos los modelos y amenazas. Amodei advirtió que los sistemas abiertos sin capacidades peligrosas representan un bien público porque permiten trabajar con inteligencia artificial pagando principalmente la infraestructura necesaria para ejecutarlos. También afirmó que su empresa nunca ha solicitado una prohibición general de esta tecnología.

La diferencia aparece cuando un modelo alcanza capacidades que podrían utilizarse para preparar ataques informáticos o biológicos. Una vez publicados los pesos, el desarrollador pierde la posibilidad de retirar todas las copias. Los usuarios también pueden modificar las protecciones incorporadas durante el entrenamiento y ejecutar el sistema en equipos que permanecen fuera de la supervisión del fabricante.

Amodei utilizó el riesgo biológico para explicar la preocupación de Anthropic. Según el directivo, un modelo suficientemente avanzado podría reducir el conocimiento especializado requerido para convertir materiales disponibles en un agente patógeno. La creación de vacunas y la organización de una respuesta sanitaria requieren periodos considerablemente mayores. La empresa considera que esa diferencia debe medirse mediante pruebas previas al lanzamiento y evitar que la política pública presuma que el acceso amplio beneficia principalmente a los defensores.

La propuesta de Anthropic consiste en evaluar los riesgos cibernéticos, biológicos y de alineación de todos los modelos que superen determinados niveles de capacidad. El criterio se aplicaría a sistemas abiertos y cerrados, mientras que los modelos menos potentes desarrollados por universidades o empresas emergentes quedarían exentos. Amodei sostuvo que la peligrosidad de una liberación debe determinarse con resultados experimentales y no a partir de una clasificación anticipada basada únicamente en el tipo de licencia.

La disputa regulatoria

La empresa también pidió mantener los procesadores avanzados y los equipos utilizados para fabricarlos fuera del alcance de gobiernos autoritarios. Anthropic considera que el acceso a capacidad de cómputo determina qué países pueden entrenar modelos de frontera. Su planteamiento regulatorio se concentra en impedir el contrabando de chips y frenar operaciones industriales de destilación que utilizan las respuestas de un modelo para mejorar otro sistema con un costo de entrenamiento menor.

La carta respaldada por Nvidia y Microsoft también propone perseguir la extracción ilícita de capacidades mediante instrumentos legales y comerciales específicos. Las compañías firmantes rechazan restricciones generales sobre los pesos abiertos porque consideran que reducirían la competencia y concentrarían el desarrollo de inteligencia artificial en unos cuantos proveedores. Microsoft presentó la iniciativa como una vía para fortalecer la competitividad estadounidense y ampliar las oportunidades económicas sin descuidar la seguridad nacional.

Nvidia trasladó ese argumento al terreno de la ciberseguridad. La compañía pidió a reguladores y gobiernos reconocer los modelos abiertos y sus herramientas asociadas como activos defensivos. También solicitó inversiones en conjuntos de datos, simuladores de ataques y sistemas de evaluación que puedan ser compartidos por distintas organizaciones. Su planteamiento sostiene que conservar todos los modelos avanzados dentro de plataformas cerradas limitaría la capacidad de respuesta de empresas y países que necesitan controlar directamente sus sistemas.

Anthropic acepta la utilidad económica de los modelos de pesos abiertos y rechaza prohibirlos como categoría. La diferencia con Nvidia y Microsoft reside en el tratamiento de los modelos más potentes. La alianza parte de que el acceso abierto fortalece la defensa informática cuando se combina con evaluaciones y controles. Anthropic exige comprobar esa ventaja antes de distribuir sistemas cuyas capacidades puedan permanecer disponibles de forma irreversible.

rodrigo.riquelme@eleconomista.mx