Usuarios crean vídeos con niños generados por IA usando Sora 2

Vídeos generados con Sora 2 que muestran niños IA con juguetes de contenido sexual se publican en TikTok. OpenAI, creadora del modelo, ha prohibido varias cuentas tras una investigación.

Falsos anuncios con juguetes sexualizados

Un vídeo, creado con Sora 2, mostraba a una niña realista con un juguete similar a un consolador. Otros contenidos presentaban juegos parodia de figuras como Jeffrey Epstein. Estos vídeos, aunque no son pornografía explícita, parecen buscar interacción de depredadores.

Respuesta legal y moderación

Las leyes sobre material de abuso sexual infantil generado por IA (CSAM) son ambiguas. En el Reino Unido, los informes de CSAM por IA se han duplicado en un año. Una enmienda a la Crime and Policing Bill británica permitirá probar que las herramientas de IA no generen este material.

Las medidas de seguridad y sus límites

OpenAI prohíbe el contenido que explote a menores y reporta el CSAM. Sin embargo, los creadores eluden estas barreras. Mike Stabile, de la Free Speech Coalition, señala que la moderación necesita más matiz y formación para detectar contenido fetichista.

Plataformas retiran contenido

TikTok ha eliminado vídeos y bloqueado cuentas que subieron este material, tras ser alertado por WIRED. La Internet Watch Foundation (IWF) insta a que la seguridad sea una prioridad en el diseño de estas herramientas de IA.

El contexto determina la intención

El problema reside en la interpretación del contexto. Un vídeo de Veo mostraba a un entrenador palpando el estómago de niños con sobrepeso. Los comentarios, con solicitudes de contacto por Telegram, revelaban una intención predatoria. Esta nuancia contextual es difícil de controlar para las IA.