La pornografía deepfake podría ser un problema creciente en medio de la carrera de la IA

Algunas compañías de redes sociales también han endurecido sus reglas para proteger mejor sus plataformas contra materiales dañinos.

TikTok dijo el mes pasado que todos los deepfakes o contenido manipulado que muestre escenas realistas deben etiquetarse para indicar que son falsos o están alterados de alguna manera, y que ya no se permiten deepfakes de figuras privadas y jóvenes. Anteriormente, la compañía había prohibido el contenido sexualmente explícito y las falsificaciones profundas que engañan a los espectadores sobre eventos del mundo real y causan daño.

La plataforma de juegos Twitch también actualizó recientemente sus políticas sobre imágenes explícitas de falsificación profunda después de que se descubriera que un popular transmisor llamado Atrioc tenía un sitio web de pornografía falsa abierto en su navegador durante una transmisión en vivo a fines de enero. El sitio presentaba imágenes falsas de otros streamers de Twitch.

Twitch ya prohibió los deepfakes explícitos, pero ahora que muestra un atisbo de dicho contenido, incluso si tiene la intención de expresar indignación, “se eliminará y resultará en una aplicación”, escribió la compañía en una publicación de blog. Y promover, crear o compartir el material intencionalmente es motivo de una prohibición instantánea.

Otras empresas también han intentado prohibir las falsificaciones profundas en sus plataformas, pero mantenerlas alejadas requiere diligencia.

Apple y Google dijeron recientemente que eliminaron una aplicación de sus tiendas de aplicaciones que estaba ejecutando videos falsos de actrices sexualmente sugerentes para comercializar el producto. La investigación sobre la pornografía deepfake no es frecuente, pero un informe publicado en 2019 por la firma de inteligencia artificial DeepTrace Labs descubrió que estaba casi completamente armada contra las mujeres y que las personas más atacadas eran las actrices occidentales, seguidas de los cantantes de K-pop de Corea del Sur.

La misma aplicación eliminada por Google y Apple había publicado anuncios en la plataforma de Meta, que incluye Facebook, Instagram y Messenger. El portavoz de Meta, Dani Lever, dijo en un comunicado que la política de la compañía restringe tanto el contenido para adultos generado por IA como el que no lo es y ha restringido la publicidad de la página de la aplicación en sus plataformas.

En febrero, Meta, así como sitios para adultos como OnlyFans y Pornhub, comenzaron a participar en una herramienta en línea, llamada Take It Down, que permite a los adolescentes denunciar imágenes y videos explícitos de sí mismos en Internet. El sitio de informes funciona con imágenes regulares y contenido generado por IA, que se ha convertido en una preocupación creciente para los grupos de seguridad infantil.

“Cuando la gente le pregunta a nuestro liderazgo sénior cuáles son los cantos rodados que bajan de la colina que nos preocupan. El primero es el cifrado de extremo a extremo y lo que eso significa para la protección infantil. Y en segundo lugar está la IA y específicamente las falsificaciones profundas”, dijo Gavin Portnoy, portavoz del Centro Nacional para Niños Desaparecidos y Explotados, que opera la herramienta Take It Down.

“Todavía no hemos podido formular una respuesta directa”, dijo Portnoy.