ByteDance crea equipo de seguridad de IA, inicia campaña de contratación a nivel mundial

Seed, la unidad de investigación en IA del gigante tecnológico chino ByteDance, creó un equipo de "Alineación y Preparación" y ha puesto en marcha una campaña global para contratar a 10 investigadores, afirmando que realizará una inversión a largo plazo en la seguridad de la IA para sus modelos, cada vez más capaces.

Esta campaña de contratación se produce en un momento en el que crece el escrutinio sobre la seguridad de los agentes de IA tanto en China como en Estados Unidos, especialmente ahora que los desarrolladores les otorgan autonomía para acceder a Internet.

La "alineación de la IA" se refiere a los esfuerzos por garantizar que los sistemas avanzados de IA actúen en consonancia con los objetivos humanos y los requisitos de seguridad, sobre todo al llevar a cabo tareas complejas que constan de varios pasos.

El anuncio de ByteDance constituye una de las pocas veces en que un importante desarrollador chino de IA ha hecho pública una iniciativa específica centrada en la seguridad de los modelos de vanguardia, la alineación y la preparación ante riesgos emergentes.

El periódico The Paper, respaldado por el Estado, informó el martes que Seed fue el primer laboratorio chino de IA de vanguardia en crear un departamento independiente de seguridad y alineación.

Esta medida se produce además en medio de un debate más amplio entre Estados Unidos y China sobre las medidas de control de la IA, los riesgos de seguridad y los canales de comunicación para informar sobre incidentes importantes relacionados con la IA, incluso mientras ambos países compiten por el liderazgo en el sector.

A medida que mejoran las capacidades de los modelos, la seguridad y la alineación ya no son simplemente medidas de protección frente al riesgo, sino capacidades fundamentales que determinarán si los modelos pueden implementarse a gran escala, afirmó Seed en una oferta de empleo publicada el miércoles en su cuenta oficial de WeChat.

Seed afirmó que proporcionaría al nuevo equipo una capacidad informática y unos recursos de investigación comparables a los de que disponen los equipos dedicados a los modelos de vanguardia. Los puestos se ubicarán en Pekín, Shanghái y San José, California.

Su investigación incluirá formación en seguridad en todas las etapas del desarrollo de modelos, pruebas automatizadas de vulnerabilidades, herramientas para supervisar y explicar el comportamiento de los modelos, entornos de prueba de agentes de IA y preparativos para riesgos emergentes.

Seed afirmó que también buscaría realizar pruebas independientes y colaboraría con universidades e instituciones de investigación, aplicando la investigación en materia de seguridad al entrenamiento, la evaluación y el despliegue de los modelos.