¿Quién le susurra al oído a tu chatbot?

PARÍS – Los algoritmos no son neutrales desde el punto de vista de los valores. Sin embargo, desde hace ya más de diez años, hemos permitido que las grandes empresas tecnológicas los utilicen como guardianes de nuestro ecosistema de información, sin exigir a cambio transparencia ni rendición de cuentas. Las consecuencias han ido desde la amplificación de contenidos polarizadores y sensacionalistas hasta la publicidad personalizada encubierta, pasando por la proliferación de comportamientos monopolísticos y formas de influencia sobre el discurso público que son contrarias a la deliberación democrática.

Aunque tuvimos que aprender por las malas lo que ocurre cuando se cede el control de la infraestructura de información crítica a intereses corporativos sin ningún tipo de supervisión, ahora estamos repitiendo el mismo error con los chatbots de IA -y lo que está en juego podría ser mucho mayor-. Los chatbots no se limitan a curar información ya existente; la generan y la contextualizan. Facebook y Google decidían qué artículos de noticias mostrarte, mientras que herramientas como ChatGPT, Claude y Gemini sintetizan esa información en respuestas que parecen fidedignas.

Esta distinción es importante, porque el paso de curador a editor está haciendo que la influencia indebida sea aún menos visible y más perniciosa. Una vez más, estamos cediéndoles a las empresas privadas un poder sin precedentes sobre la infraestructura de la información del futuro, sin siquiera exigir una supervisión independiente. La amenaza más acuciante no es que estos sistemas de IA puedan volverse rebeldes, sino que un puñado de partes con intereses propios se están convirtiendo rápidamente en los guardianes de la información para una parte importante y cada vez mayor de la población.

Los chatbots actuales no son simplemente grandes modelos de lenguaje (LLM). Más bien, se basan en varias capas algorítmicas opacas que influyen en el desarrollo y la implementación de un modelo, y cada una de ellas puede constituir un punto de acceso para que las plataformas u otras partes manipulen la información según sus intereses.

Esta “pila de influencia algorítmica” consta de por lo menos cinco capas. La primera es la selección de los datos de entrenamiento. Al determinar qué datos se incluyen o se excluyen durante el entrenamiento, las plataformas toman decisiones poco transparentes sobre las fuentes, cómo ponderar las diferentes perspectivas y qué contenido filtrar. Estas elecciones determinan, a su vez, la visión del mundo del modelo. Por ejemplo, en octubre del 2025, Elon Musk lanzó Grokipedia para proporcionar datos de entrenamiento a su chatbot, Grok. Se trata de una enciclopedia controlada por una empresa, cuyo propósito es ofrecer una alternativa “anti-woke” a Wikipedia y a su modelo de gobernanza comunitaria, que durante mucho tiempo ha servido como una fuente de información ampliamente fiable en Internet.

La segunda capa es el aprendizaje por refuerzo a través de la retroalimentación humana y de la IA, el proceso que transformó a los LLM de generadores de texto impredecibles en “asistentes” útiles. Durante esta etapa de “post-entrenamiento” del desarrollo de un modelo, los revisores humanos evalúan los resultados para orientar al sistema hacia los comportamientos deseados, como la utilidad o la cortesía. Por ahora, estas evaluaciones humanas siguen siendo una parte importante, y en gran medida invisible, de la industria de la IA. Pero cada vez más están siendo sustituidas por “profesores” de IA especializados que, supuestamente, deben alinear el modelo central con principios predefinidos que han sido codificados en una “constitución”.

La tercera capa es la búsqueda en la web. Cuando los chatbots realizan búsquedas en línea o acceden a bases de datos digitales, los sistemas de generación aumentada por recuperación (RAG por su sigla en inglés) determinan qué datos se deben incluir en la respuesta del modelo. Esta función es similar a la de los motores de búsqueda tradicionales, que dan prioridad a ciertas fuentes frente a otras. Y, al igual que ocurre con los motores de búsqueda, la introducción de anuncios en las respuestas de los chatbots -algo que ChatGPT ha anunciado para 2026- suscitará nuevas preocupaciones en cuanto a la objetividad.

La cuarta capa está formada por las indicaciones del sistema. Dado que estas se activan cuando un chatbot está generando una respuesta, les permiten a las plataformas modificar el comportamiento del chatbot sin necesidad de volver a entrenarlo. Por ejemplo, como la indicación del sistema de Grok se hizo pública el año pasado, sabemos que incluye directivas como “no evites hacer afirmaciones que sean políticamente incorrectas”. (ChatGPT, Claude y Gemini también utilizan indicaciones del sistema, pero estas siguen siendo secretas).

La última capa son los filtros de seguridad. Antes de que una consulta al chatbot llegue al modelo, los filtros de entrada determinan si es “aceptable”. Del mismo modo, una vez que el modelo genera una respuesta, los filtros de salida pueden modificar, censurar o depurar el contenido antes de que el usuario lo vea. Si bien las plataformas tienen razones legítimas para bloquear ciertas consultas (como aquellas que buscan instrucciones sobre cómo fabricar una bomba), el hecho de que estos filtros sean poco transparentes deja muchas preguntas sin respuesta. Los desarrolladores de modelos podrían crear la infraestructura para una censura sistemática, y nosotros no lo sabríamos. Los filtros de “seguridad” de los chatbots chinos censuran todas las referencias a la masacre de la plaza de Tiananmen.

Los intereses políticos y corporativos ya están dando forma a esta pila de influencia algorítmica, justo cuando los chatbots se están implementando a escala global. Tras la segunda toma de posesión de Donald Trump, Apple actualizó sus instrucciones de entrenamiento de IA para evitar etiquetar a los partidarios de MAGA como “radicales” o “extremistas”. El verano pasado, Reuters descubrió que Meta había actualizado sus directrices internas de IA para relajar las salvaguardas que impedían a sus chatbots realizar comentarios racistas o mantener un comportamiento de “coqueteo” con menores, entre otras cosas. Y el pasado mes de mayo, Grok comenzó a amplificar afirmaciones sin fundamento y fuera de contexto sobre un “genocidio blanco” en Sudáfrica (el propio Musk es un sudafricano blanco). Si bien la empresa le endilgó el problema a “modificaciones no autorizadas”, este tipo de “errores” son habituales y todos parecen ser ideológicamente coherentes con las propias opiniones de Musk.

La manipulación política mediante chatbots ya ha demostrado ser eficaz. Un estudio publicado en Nature en 2025 reveló que los chatbots entrenados para defender a un candidato específico podían influir en los votantes moderados e indecisos (los grupos que deciden la mayoría de las elecciones) con notable facilidad.

A diferencia de los sistemas autoritarios que ejercen un control explícito sobre la información, las democracias dependen de una pluralidad de fuentes y de ecosistemas de información transparentes y responsables. Permitir un poder centralizado y sin rendición de cuentas sobre la infraestructura de IA es invitar a una deriva tecno-autoritaria, ya que es fácil ver cómo cada capa de la pila de influencia algorítmica puede instrumentalizarse para amplificar o suprimir determinadas opiniones sin necesidad de recurrir a una censura abierta.

En diciembre pasado, la Comisión Europea multó a X con 120 millones de euros (138 millones de dólares) por “incumplir sus obligaciones de transparencia en virtud de la Ley de Servicios Digitales”. Como era de esperar, X y sus defensores calificaron la medida como un ataque a la libertad de expresión. Sin embargo, la transparencia es fundamental para la defensa de la libertad de expresión. Sin ella, no podemos saber quién está siendo censurado ni qué influencias se están ejerciendo sobre los medios de comunicación que todos consumimos.

El auge de las redes sociales nos enseñó lo que ocurre cuando la rendición de cuentas va a la zaga de su adopción. No podemos permitirnos repetir los mismos errores con sistemas que ejercen un poder aún mayor sobre el conocimiento público.

*El autor es director y cofundador de AI Forensics.

Copyright: Project Syndicate, 1995 - 2026

www.project-syndicate.org