La IA potenciará el capitalismo de vigilancia

WASHINGTON, DC — Megan Garcia no se propuso convertirse en una de las figuras más influyentes en la lucha por regular la IA . Abogada y madre de tres hijos, Garcia es el tipo de madre que se fija en los detalles. Cuando su hijo mayor, Sewell, cumplió 14 años, dejó el equipo de baloncesto, se encerró en su habitación y se volvió inquietantemente callado. En lugar de ignorar los cambios, le restringió el tiempo frente a la pantalla y le quitó el teléfono como castigo; pero ni siquiera eso fue suficiente.

Mientras veía a García contar esta historia desde un atril en el Senado de los Estados Unidos en mayo, me impactó la precisión con la que describió los meses previos al suicidio de Sewell. Claramente había repasado los eventos en su mente miles de veces, buscando el momento en que podría haber intervenido a tiempo. Cuando la policía revisó el teléfono de su hijo después de su muerte en 2024, ella nunca había oído hablar de Character.AI, una aplicación creada por exempleados de Google. Resultó que Sewell se había estado comunicando con un chatbot diseñado para imitar a Daenerys Targaryen de Juego de Tronos. Fue “ella” quien le dijo: “Vuelve a casa conmigo lo antes posible, mi amor”. Sewell respondió que encontraría la manera.

Posteriormente, García descubriría, a través de un litigio, que la plataforma había sido diseñada para difuminar la línea entre humano y máquina, para participar en juegos de rol sexuales y para presentarse como pareja romántica e incluso como psicoterapeuta. Cuando Sewell le confió sus pensamientos suicidas, el chatbot no emitió ninguna advertencia, no notificó a nadie ni lo derivó a ningún profesional.

En su comparecencia ante el Comité Judicial del Senado el año pasado, García declaró que su hijo había pasado sus últimos meses “siendo explotado y víctima de manipulación sexual por parte de chatbots, diseñados por una empresa de IA para parecer humanos, ganarse su confianza y mantenerlo a él y a otros niños constantemente entretenidos”. Al presentar la primera demanda por homicidio culposo contra una empresa de IA, transformó su desesperación en motivación y se unió a un número creciente de padres y legisladores que exigen responsabilidades.

A principios de este mes, Meta anunció la ampliación de los controles de contenido para adolescentes en Instagram y Facebook a nivel mundial, tras admitir finalmente que los daños a los menores “podrían afectar significativamente a nuestro negocio y resultados financieros”. Este anuncio se produce después de que un jurado en California dictaminara que los productos de Meta estaban diseñados para generar adicción en menores (así como tras un veredicto de un jurado en Nuevo México, donde se determinó que la empresa había “ocultado lo que sabía sobre la explotación sexual infantil en sus plataformas”). Al mismo tiempo, los legisladores deben abordar la última medida perjudicial de las grandes tecnológicas: la introducción de publicidad de vigilancia en los chatbots y las aplicaciones de IA que cada vez están más presentes en nuestra vida digital.

Cada uno de estos dramas regulatorios en curso es una expresión del mismo fallo subyacente. Los legisladores han permanecido impasibles y han permitido la creación de modelos de negocio basados en la explotación comercial de los datos personales de los usuarios, que recompensan la manipulación social y psicológica. Persiste un enorme vacío legal donde no existen marcos de protección básicos como los deberes fiduciarios, los estándares de responsabilidad, la transparencia exigible y las garantías de privacidad.

Ante la ausencia de regulaciones que desmantelen los modelos de negocio corrosivos basados en la vigilancia, un movimiento global para restringir el acceso de menores a las redes sociales ha impulsado una de las oleadas legislativas más rápidas de los últimos tiempos. Al menos 40 países están considerando legislación que limite el acceso por edad en respuesta a la incapacidad de las empresas tecnológicas para corregir los problemas de sus plataformas de redes sociales. Si bien las edades objetivo varían, el diagnóstico es consistente: las plataformas optimizadas para la vigilancia han perjudicado de manera demostrable la salud mental de los adolescentes. Las medidas voluntarias de las empresas no solo no han logrado prevenir estos daños, sino que, en muchos casos, las compañías parecen haber sido plenamente conscientes de ellos al tomar decisiones sobre el diseño y la implementación.

Mientras tanto, los tribunales finalmente han comenzado a establecer que las plataformas son responsables de los daños que causan, lo que implica que ya no pueden escudarse en exenciones de responsabilidad extraordinarias ni instrumentalizar la Primera Enmienda de la Constitución de los Estados Unidos para eludir su responsabilidad. Un juicio histórico sobre seguridad infantil en California obligó recientemente al director ejecutivo de Meta, Mark Zuckerberg, a reconocer que los expertos de la compañía coincidieron unánimemente en que Instagram debería prohibir los filtros de belleza que provocan trastornos alimenticios en los usuarios jóvenes. No lo hizo, porque hacerlo podría haber limitado su crecimiento y, por lo tanto, sus ganancias.

Los documentos también revelaron que Instagram había rastreado el comportamiento de aproximadamente cuatro millones de niños menores de 13 años. Ninguna de estas señales de alerta impidió que Zuckerberg se propusiera aumentar en un 12% el tiempo diario de los usuarios en la plataforma.

La situación empeora para Meta, ya que no puede trasladar los costos de estas demandas a sus compañías de seguros. Otro tribunal dictaminó que las aseguradoras no tienen obligación de defender a Meta contra miles de demandas que alegan daños como resultado de los actos deliberados e intencionales de la compañía.

A pesar de las críticas, las empresas y plataformas de IA siguen adelante con la publicidad basada en inteligencia artificial. Este año, OpenAI comenzó a probar anuncios en ChatGPT, cuyos más de 800 millones de usuarios semanales han confiado sus temores médicos, crisis de pareja y dudas profesionales al chatbot de la compañía, generando lo que la ex investigadora de OpenAI, Zoë Hitzig, ha denominado un “archivo de sinceridad humana sin precedentes”.

Hitzig, quien renunció el mismo día del lanzamiento de la prueba publicitaria, informa que los anuncios se vincularán con los temas de conversación y el historial de chats, lo que crea el potencial de manipular a los usuarios de maneras que no podemos comprender, y mucho menos prevenir. Su advertencia refleja la preocupación por la falta de mecanismos de control para la monetización de la IA corporativa. Google ya incluye anuncios en sus búsquedas asistidas por IA y no ha descartado la posibilidad de incluirlos en su chatbot Gemini.

Las redes sociales construyeron su modelo de negocio extrayendo datos íntimos mediante la vigilancia del comportamiento, dirigiendo mensajes comerciales a momentos de máxima influencia psicológica e infiriendo estados emocionales a partir de los clics para poder vender anuncios personalizados. La IA consolidará y potenciará este modelo. Mientras que las redes sociales inferían tu vida interior a partir de tu comportamiento, la IA la recibe directamente en tus propias palabras y en tiempo real.

La industria de las redes sociales dedicó una década a lograr que sus prácticas tóxicas fueran intocables legal y políticamente. Los hijos, padres y seres queridos de las víctimas ahora exigen que se rindan cuentas. La pregunta es si los responsables políticos responderán antes de que la industria de la IA replique el mismo modelo.

La autora



Courtney C. Radsch, directora del Centro de Medios y Gobernanza Digital del Open Markets Institute e investigadora sénior no residente de la Brookings Institution, es autora de Cyberactivism and Citizen Journalism in Egypt: Digital Dissidence and Political Change (Palgrave Macmillan, 2016).

Copyright: Project Syndicate, 1995 - 2026 

www.project- syndicate.org