Una nueva función de edición de imágenes y vídeos para el chatbot de kAI, Grok, ha generado miles de imágenes sexualmente explícitas de mujeres y menores sin consentimiento desde que Grok anunció la función de edición en Nochebuena. Se promocionó para permitir agregar a Santa a las fotos.
La creciente facilidad con la que se puede perpetrar violencia sexual utilizando nuevas tecnologías refleja la necesidad urgente de que las empresas de tecnología y los formuladores de políticas den prioridad a la seguridad y la regulación de la inteligencia artificial.
Soy estudiante de doctorado en salud pública. Mi investigación se ha centrado en gran medida en la intersección entre la violencia de género y la salud, y anteriormente trabajé en equipos que utilizan la inteligencia artificial como herramienta para apoyar a las víctimas de violencia. El daño potencial y real de la IA a una escala tan amplia exige nuevas regulaciones para proteger la salud de la población en masa.
Aplicaciones ‘nudizantes’
Las preocupaciones sobre los “deepfakes” sexualmente explícitos se han discutido públicamente durante algún tiempo. En 2018, el público escuchó que Reddit había perfilado herramientas de aprendizaje automático utilizadas para reemplazar los rostros de celebridades como Taylor Swift con material pornográfico.
Leer más: Taylor Swift deepfakes: las nuevas tecnologías se han convertido desde hace tiempo en armas contra las mujeres. La solución nos involucra a todos
Se pueden encontrar otros programas de “nudificación” de la IA en áreas especializadas de Internet. Ahora esta tecnología está fácilmente disponible a nuestro alcance.
Se puede acceder a Grok a través de su sitio web y aplicación o en su plataforma de redes sociales, X. Algunos usuarios han notado que cuando se le pide que cree imágenes pornográficas, Grok dice que está programado para no hacerlo, pero esas aparentes salvaguardas se eluden fácilmente.
Elon Musk asiste al Foro de Inversión Saudita en el Centro Kennedy en noviembre de 2025 en Washington (Foto AP/Evan Vucci, Archivo)
El propietario de kAI, Elon Musk, emitió un comunicado a través de X de que la compañía está tomando medidas contra el contenido ilegal en X eliminándolo, “suspendiendo cuentas permanentemente y trabajando con las autoridades locales y las fuerzas del orden según sea necesario”.
Sin embargo, no está claro cómo y cuándo se implementarán estas políticas.
esto no es nada nuevo
Las tecnologías se han utilizado durante mucho tiempo como medio para la violencia sexual. La violencia sexual inducida por la tecnología abarca una variedad de comportamientos, ya que las tecnologías digitales se utilizan para facilitar el daño sexual tanto virtual como cara a cara. Las mujeres, las minorías sexuales y los menores son las víctimas más frecuentes.
Una forma de esta violencia que ha recibido mucha atención es la “pornografía de venganza”, que se refiere a la distribución de imágenes y vídeos de un individuo en línea sin consentimiento. Las víctimas han informado de efectos en la salud mental de por vida, relaciones dañadas y aislamiento social.
Algunos sitios web de redes sociales tienen políticas que prohíben la distribución de contenido íntimo sin consentimiento y han implementado mecanismos para informar y eliminar dicho contenido.
Los motores de búsqueda como Google y Bing también revisarán las solicitudes para eliminar enlaces de los resultados de búsqueda si violan su política de privacidad. Canadá ha tipificado como delito la “pornografía de venganza” según el Código Penal, que se castiga con hasta cinco años de prisión.
Al igual que en el porno de venganza, las víctimas de deepfakes han informado de angustia mental, incluidos sentimientos de impotencia, humillación y vergüenza, mientras que algunas incluso han sido extorsionadas por dinero.
Los creadores de deepfakes sexualmente explícitos también han atacado a destacadas periodistas y políticas como método de ciberacoso y censura.
¿Y ahora qué?
Esta última controversia sobre Grok refleja un importante fallo predecible en la protección de la IA. Destacados expertos en seguridad de IA y organizaciones de seguridad infantil advirtieron a kAI hace unos meses que la característica era “una herramienta de nudificación esperando ser utilizada como arma”.
El 9 de enero, kAI respondió moviendo la función de edición de imágenes detrás de una suscripción para usuarios X (aunque todavía se puede acceder a ella de forma gratuita en la aplicación Grok) y evitando que Grok cargue automáticamente una imagen generada en los comentarios.
Sin embargo, los usuarios de X aún generan imágenes sexualizadas usando la pestaña Grok y las suben manualmente a la plataforma. Algunos países han tomado medidas para bloquear el acceso a Grok.
Una mirada al futuro
Esta no es la primera vez, ni será la última, que una empresa de tecnología muestra un error tan grave al evaluar el potencial de su producto para la violencia sexual perpetrada por los usuarios. Canadá necesita acciones que incluyan:
1. Penalizar la creación y distribución de deepfakes sexualmente explícitos sin consentimiento.
Los juristas han abogado por penalizar la creación y distribución de deepfakes sexualmente explícitos sin consentimiento, similar a las leyes existentes sobre “pornografía de venganza”.
2. Regular las empresas de IA y hacerlas responsables.
Canadá aún no ha promulgado ninguna legislación para regular la IA, y la propuesta Ley de IA y Datos y la Ley de Daños en Línea estaban moribundas cuando se promulgó el Parlamento en enero de 2025. El Ministro de IA de Canadá mencionó esto en su respuesta a estas preguntas de Grok, pero la respuesta carece de un cronograma específico y un sentido de urgencia.
Canadá necesita medidas más enérgicas para regular las empresas de IA y hacerlas responsables. LA PRENSA CANADIENSE/Sean Kilpatrick
A lire aussie: Por qué la respuesta de Canadá al escándalo Groke ha sido tan silenciosa en medio de la protesta mundial
A medida que avanza la IA, es necesario adoptar importantes medidas regulatorias para evitar mayores daños derivados de la violencia sexual. Las empresas de tecnología deben pasar controles de seguridad exhaustivos para sus productos de IA, incluso a costa de una desaceleración.
También plantea dudas sobre quién debería ser responsable de los daños causados por los resultados de la IA.
Tres senadores estadounidenses pidieron a Apple y Google que eliminaran Grok de sus tiendas de aplicaciones por claras violaciones de las políticas, citando ejemplos recientes de la capacidad de las empresas para eliminar rápidamente aplicaciones de sus tiendas.
3. Ampliar el alcance de los servicios sociales contra la violencia sexual para apoyar a los afectados por deepfakes sexualmente explícitos sin consentimiento.
A medida que la perpetración de violencia sexual a través de tecnologías de inteligencia artificial se generaliza, las organizaciones de violencia sexual pueden ampliar su alcance para apoyar a aquellos afectados por deepfakes sexualmente explícitos sin consentimiento. Pueden hacerlo utilizando los servicios existentes, incluida la atención de salud mental y el apoyo legal.
4. Eliminar la cultura subyacente de la violación que perpetúa estas formas de violencia.
La raíz de la violencia sexual es el predominio de la cultura de la violación, que se fomenta en entornos en línea donde se tolera o fomenta el abuso y el acoso sexual.
Para eliminar la cultura de la violación es necesario responsabilizar a los perpetradores y denunciar el comportamiento que normaliza dicho comportamiento.
Descubre más desde USA Today
Suscríbete y recibe las últimas entradas en tu correo electrónico.
Spanish 