[ADRN Issue Briefing] Delitos sexuales de deepfake en aumento en Corea del Sur y respuestas legales recientes

Vulnerabilidad de Corea del Sur a los delitos sexuales de deepfake

En octubre de 2024, un tribunal de Corea del Sur dictó una sentencia de diez años de prisión al autor de un delito sexual de deepfake. El cabecilla, un exalumno de 40 años de la Universidad Nacional de Seúl, creó y distribuyó 1.852 fotos y vídeos deepfake de estudiantes y otras mujeres. El grupo criminal estableció más de 200 salas de chat en Telegram y continuó los delitos durante cuatro años. No obtuvieron beneficios de la pornografía ilícita, sino que perpetraron los delitos para satisfacer sus deseos sexuales (Kim 2024a). Los informes de los medios de comunicación caracterizaron el delito como una consecuencia de que estudiantes ordinarios no lograran aprobar exámenes, conseguir empleo o casarse, y desarrollaran una percepción sexual distorsionada que los transformó en delincuentes sexuales. El tribunal también señaló que "los perpetradores expresaron sus complejos de inferioridad y su odio hacia las mujeres socialmente exitosas de una manera pervertida y con anonimato". Este caso, que sigue al llamado caso de la "Nth Room" de 2019, que implicó la distribución organizada de material de abuso sexual a través de salas de chat de Telegram, demuestra cómo los delitos sexuales digitales están evolucionando en conjunto con nuevas tecnologías como los deepfakes.

Los delitos sexuales de deepfake también se están infiltrando en las escuelas. De enero a septiembre de 2024, se recibieron 434 informes de material de abuso sexual procedentes de escuelas, y el Ministerio de Educación remitió 350 de ellos para investigación (Ministerio de Educación 2024-09-09). De las 474 personas detenidas por delitos sexuales de deepfake entre enero y octubre de 2024, 381 eran adolescentes (Lee 2024a), lo que indica que los menores no solo son particularmente susceptibles a los delitos sexuales de deepfake, sino que también la mayoría de los presuntos perpetradores son menores.

Los rápidos avances en la tecnología de inteligencia artificial (IA) han acompañado la proliferación mundial de material de abuso sexual de deepfake. Un informe de una empresa de ciberseguridad de EE. UU. reveló un aumento significativo en el número de pornografía deepfake de 3.725 en 2022 a 21.019 en 2023. Notablemente, el 99 por ciento de estos vídeos se dirigían a mujeres. El informe también reveló que aproximadamente el 53 por ciento de las personas representadas en pornografía deepfake son surcoreanas, y ocho de cada 10 de las personas que aparecen con mayor frecuencia son cantantes surcoreanas (Security Hero 2024). Cabe señalar que la nacionalidad de la víctima y del perpetrador pueden diferir. No obstante, estos hallazgos ilustran la vulnerabilidad de la sociedad altamente digitalizada de Corea del Sur a los delitos sexuales de deepfake y la necesidad imperiosa de respuestas legales y sociales.

El delito sexual digital se considera una grave violación de los derechos humanos fundamentales de las mujeres. Las víctimas han informado haber experimentado no solo daño psicológico, sino también deterioro físico con síntomas acompañantes (Instituto de Derechos Humanos de las Mujeres de Corea 2023). Además, los delitos sexuales digitales también pueden resultar en costos sociales considerables, como el desaliento de las actividades sociales y laborales de las mujeres. Atacar a periodistas mujeres que han informado sobre casos de delitos sexuales de deepfake en la sala de chat de Telegram representa una amenaza tanto para sus derechos personales como para la libertad de prensa.

Respuesta legislativa a los delitos sexuales de deepfake en aumento

La victimización repetida y generalizada tipifica el delito sexual digital a través de la reproducción y difusión de material. Su ocurrencia en el ciberespacio y a través de fronteras hace que sea difícil de detectar y recuperar completamente del daño. Además, puede llevar tiempo a las víctimas reconocer el delito, si es que lo reconocen. En respuesta a la naturaleza de estos delitos, algunas democracias avanzadas han implementado las siguientes medidas.

En los Estados Unidos, se está tramitando legislación para criminalizar los delitos sexuales de deepfake a nivel federal. La "Ley DEFIANCE", que regula las falsificaciones digitales no consentidas, fue aprobada por el Senado en julio de 2024 y actualmente está siendo considerada por la Cámara de Representantes. El proyecto de ley permitiría a los demandantes buscar reparación a través de litigios civiles por abuso sexual de deepfake. También facultaría a los tribunales para imponer daños punitivos u ordenar la eliminación y destrucción del material. Además, la legislación proporciona medidas para salvaguardar la privacidad de las víctimas, como autorizar a los demandantes a usar seudónimos. Además, la "Ley de Responsabilidad de DEEPFAKES" se introdujo en la Cámara de Representantes en septiembre de 2023. Esta ley impondría una multa o prisión por la creación y distribución de material de abuso sexual de deepfake con la intención de humillar o acosar a una persona. Varios estados, incluidos California, Texas y Nueva York, ya han promulgado leyes que permiten demandas civiles y sanciones penales por delitos sexuales de deepfake.

En mayo de 2024, el Consejo Europeo aprobó la Ley de Inteligencia Artificial, clasificando la IA en cuatro niveles de riesgo. Los deepfakes se clasifican como "riesgo limitado", cayendo bajo el nivel 2. Si bien el objetivo principal de la Ley es regular y prohibir los niveles más altos, también aborda el nivel 2. Por ejemplo, el Artículo 50 impone una obligación de transparencia a los sistemas de IA, exigiéndoles que revelen que han generado resultados con deepfakes. Además, la Ley de Servicios Digitales describe las obligaciones de las principales plataformas en línea y motores de búsqueda. También implica garantizar que los deepfakes se etiqueten al publicarse y realizar al menos una evaluación anual del riesgo de violencia de género, con la implementación de contramedidas apropiadas.

El Reino Unido y Australia también han promulgado legislación que criminaliza la difusión o la amenaza de difusión de imágenes o vídeos íntimos de otras personas, incluidos los deepfakes, sin su consentimiento. Además, las plataformas en línea y los motores de búsqueda están obligados a implementar sistemas de denuncia y respuesta para mitigar el riesgo de información ilegal. El gobierno canadiense está invirtiendo en investigación y desarrollo tecnológico para prevenir la creación y distribución de deepfakes (Lawson 2023). Además de criminalizar la producción y distribución de pornografía deepfake, estos países también están tomando medidas activas contra los delitos en línea contra las plataformas que facilitan dichas actividades. En Corea del Sur, junto con el aumento de las sanciones, son necesarias medidas proactivas para erradicar la difusión de material de abuso sexual de deepfake.

En el caso de Corea del Sur, los actores interesados del país han abogado por una legislación que proporcione definiciones claras y sanciones para los delitos de deepfake. La Ley sobre el Castigo de Delitos Sexuales, enmendada en marzo de 2020, estipula que cualquier individuo que produzca o distribuya deepfakes con la intención de distribución será castigado. Al mismo tiempo, las leyes revisadas que regulan las comunicaciones por Internet exigen a los proveedores de servicios de Internet que implementen medidas para prevenir la difusión de contenido de vídeo ilícito. Sin embargo, se ha observado que las sanciones no son lo suficientemente estrictas. En los cuatro años transcurridos desde la promulgación de la ley, el 39% de los acusados fueron sentenciados a libertad condicional. La mayoría de los casos en los que se dictaron sentencias de prisión se vieron agravados por la adición de otros cargos además del delito de deepfake en sí (Kim 2024b). En este contexto, la reciente sentencia de 10 años de prisión dictada al cabecilla del caso de deepfake en la Universidad Nacional de Seúl se consideró una sanción significativa, dado que el poder judicial aceptó inusualmente todas las sentencias solicitadas por la fiscalía.

A medida que los incidentes de pornografía deepfake provocan una protesta pública, el legislador ha respondido con un castigo más severo. En octubre de 2024, la Ley sobre el Castigo de Delitos Sexuales fue revisada para criminalizar la producción de pornografía deepfake, incluso en ausencia de intención de distribución, y también aumentó el plazo máximo de prisión por producción y distribución. La nueva legislación también criminaliza la posesión, compra, almacenamiento y visualización de pornografía deepfake. Además, el estado se hizo responsable de facilitar la eliminación de material ilícito y ayudar a las víctimas. Posteriormente, se aprobó legislación para permitir a los organismos de investigación realizar investigaciones encubiertas sobre delitos sexuales digitales.

Algunos políticos han argumentado que los informes de los medios están exagerando la amenaza de los delitos sexuales de deepfake y han expresado su preocupación por la regulación excesiva. Señalaron que es una exageración concluir que 220.000 suscriptores de un canal de Telegram con un bot que sintetiza pornografía deepfake representan el mismo número de perpetradores de sextorsión deepfake en Corea. Dada la dificultad para determinar la nacionalidad de los usuarios de Telegram, esta observación tiene sentido. Aun así, dada la capacidad de un número relativamente pequeño de individuos para generar cantidades sustanciales de pornografía deepfake en un corto período de tiempo utilizando IA, el bajo número de perpetradores no indica necesariamente un nivel de gravedad correspondientemente bajo de sextorsión deepfake.

Contexto estructural de los delitos sexuales de deepfake en Corea del Sur

Para identificar soluciones a los recurrentes delitos sexuales de deepfake, es esencial obtener una comprensión integral del contexto estructural subyacente. En primer lugar, ha habido intentos de encontrar un vínculo con la ansiedad experimentada por la generación más joven en los últimos años. Los hombres jóvenes, en particular, están experimentando una mayor competencia, una crisis de desempleo y escasez de vivienda; sin embargo, los vestigios de la cultura patriarcal todavía imponen más responsabilidad a los hombres, lo que conduce a una brecha de percepción (Lee 2024b). Esta discrepancia se ve exacerbada por la percepción de que no existen desigualdades de género estructurales entre la generación más joven. Para ellos, la baja igualdad de género y la participación de las mujeres en la política y en puestos corporativos de alto nivel en Corea del Sur (Foro Económico Mundial 2024) se perciben como un legado del pasado. Estos intentos concluyen que la ansiedad y la insatisfacción derivadas de la discrepancia entre la realidad económica y la percepción social dan lugar a sentimientos anti-mujeres y a delitos sexuales como manifestaciones de este odio. Esta interpretación se alinea con el creciente conflicto de género en la sociedad surcoreana, particularmente entre la generación más joven. Sin embargo, dado que la mayoría de las personas detenidas por delitos sexuales de deepfake son adolescentes, es difícil atribuir este fenómeno únicamente a la percepción masculina.

Los expertos en educación sexual y asesoramiento para jóvenes han observado que los deepfakes ya se han convertido en una forma de entretenimiento entre los adolescentes, postulando que estas personas tienden a ver los delitos sexuales de deepfake como un medio para obtener la aprobación de sus pares (Mackenzie y Choi 2024). Sin embargo, la percepción de los deepfakes como una forma de juego no indica necesariamente una falta de conciencia de su gravedad. En una encuesta sobre ciberacoso que preguntaba las razones de la persistencia de los delitos sexuales digitales, las razones citadas con mayor frecuencia por los adolescentes fueron "castigo débil" (26,1%) y "no preocuparse por ser atrapado debido al anonimato de Internet" (22,3%). Las razones principales citadas por los adultos fueron "para ganar dinero" (31,5%) y "debido al castigo débil" (30,5%). La respuesta más baja entre adolescentes y adultos fue "porque no es grave" (Comisión de Comunicaciones de Corea 2023-04-07). Aunque la encuesta fue diseñada para medir la opinión pública y no pretende directamente representar las motivaciones de los delincuentes reales, sí indica una tendencia de personas que son conscientes de la ilegalidad de la pornografía deepfake pero que confían en el anonimato de Internet y las lagunas en el castigo para cometer el delito.

Acción adicional contra los delitos sexuales de deepfake

Aún está por determinar si la legislación revisada será un elemento disuasorio eficaz contra los delitos sexuales de deepfake. Se pide una mayor acción legislativa, incluida la intervención rápida de la autoridad policial para que los proveedores de servicios de Internet eliminen y bloqueen materiales ilícitos, ya que estos pueden seguir proliferando mientras el proceso de toma de decisiones se retrasa. Además, en consonancia con los principios de las democracias avanzadas, es imperativo mejorar la responsabilidad de los proveedores de servicios de Internet para implementar medidas preventivas más proactivas, como la prevención de la publicación de material de abuso sexual y la monitorización regular. En cuanto al tema del castigo, se propuso que quienes instiguen la creación de material de abuso sexual rindan cuentas. Además, se afirma que es imperativa una legislación integral para abordar las formas emergentes de violencia a medida que avanza la tecnología. Es necesario que los legisladores estén adecuadamente informados de la gravedad de la situación y que cualquier legislación desarrollada sea legalmente estable y ambigua.

En un sentido más integral, es necesario reforzar el marco regulatorio y la respuesta a la desinformación en su totalidad. La proliferación de la desinformación ha provocado un aumento significativo de las amenazas a los procesos democráticos. Estas amenazas se han observado en forma de vídeos falsos de políticos y noticias falsas de fuentes desconocidas, que tienen el potencial de influir en los resultados electorales e impedir la capacidad de los ciudadanos para tomar decisiones informadas. Si bien los organismos encargados de hacer cumplir la ley deben responder con prontitud para identificar los delitos sexuales digitales, también se requieren medidas integrales contra las nuevas tecnologías en rápida evolución para abarcar todo el espectro de la desinformación y facilitar una respuesta unificada entre los ministerios del gobierno y entre el gobierno y el sector privado.

A la luz de la omnipresencia de los delitos sexuales de deepfake entre los jóvenes, la educación pública debe dotar a los estudiantes de la capacidad de reconocer la gravedad y la perjudicialidad de estos delitos y de responder rápidamente cuando ocurran. La educación más eficaz sería demostrar que quienes perpetran delitos se enfrentarán a mayores investigaciones y sanciones. Además, son necesarias iniciativas educativas adicionales para informar al público sobre la desinformación y cultivar una nueva alfabetización digital que permita a las personas determinar la veracidad de la información que encuentran y consumirla de manera informada.

Junto con la proliferación de material de abuso sexual de deepfake, existe un creciente llamado de la sociedad civil para una respuesta rápida y decisiva. La democracia coreana se enfrenta ahora al desafío de frenar los delitos sexuales de deepfake a través de medidas legislativas e institucionales en aras de los derechos humanos de las mujeres. ■

Referencias

Comisión Europea. 2024. "El paquete de la Ley de Servicios Digitales". https://digital-strategy.ec.europa.eu/en/policies/digital-services-act-package(Consultado el 5 de diciembre de 2024)

Future of Life Institute. 2024. "La Ley de Inteligencia Artificial de la UE". https://artificialintelligenceact.eu/(Consultado el 5 de diciembre de 2024)

Kim, Dongwon. 2024a. "¿Mis fotos íntimas en un chat grupal?... Crecientes delitos de deepfake dejan al público con miedo". The AI. 27 de agosto. https://www.newstheai.com/news/articleView.html?idxno=6220(Consultado el 5 de diciembre de 2024)

Kim, Jeonghwa. 2024b. "Análisis de todas las sentencias desde la Ley de Abuso Sexual de Deepfake de 2020 – Libertad Condicional en casi el 40 por ciento". (en coreano) The Kyunghyang Shinmun. 4 de septiembre. https://www.khan.co.kr/article/202409041031011(Consultado el 5 de diciembre de 2024)

Comisión de Comunicaciones de Corea. 2023. "Cuatro de cada 10 adolescentes han experimentado ciberacoso, una persona más que el año pasado". 7 de abril. https://www.kcc.go.kr/user.do?mode=view&page=E04010000&dc=E04010000&boardId=1058&cp=10&boardSeq=54874(Consultado el 5 de diciembre de 2024)

Lawson, Amanda. 2023. "Una mirada a los enfoques globales de regulación de deepfakes". Responsible Artificial Intelligence Institute. 24 de abril. https://www.responsible.ai/a-look-at-global-deepfake-regulation-approaches/(Consultado el 5 de diciembre de 2024)

Lee, Soo-Jung. 2024a. "Adolescentes 80% de 474 sospechosos arrestados por pornografía deepfake este año". Korea JoongAng Daily. 16 de octubre. https://koreajoongangdaily.joins.com/news/2024-10-16/national/socialAffairs/Adolescents-80-of-474-suspects-arrested-for-deepfake-porn-this-year-/2156145(Consultado el 5 de diciembre de 2024)

Lee, Soohyun Christine. 2024b. "Política Anti-Género, Inseguridad Económica y Populismo de Derecha: El Auge del Sexismo Moderno entre los Hombres Jóvenes en Corea del Sur". Social Politics: International Studies in Gender, State & Society. 18 de octubre. https://academic.oup.com/sp/advance-article/doi/10.1093/sp/jxae016/7826751(Consultado el 5 de diciembre de 2024)

Mackenzie, Jean, y Leehyun Choi. 2024. "Dentro de la crisis de pornografía deepfake que asola las escuelas coreanas". BBC News. 3 de septiembre. https://www.bbc.com/news/articles/cpdlpj9zn9go(Consultado el 5 de diciembre de 2024)

Ministerio de Educación. 2024. “Publicados los resultados de la Segunda Encuesta sobre la Situación de Daños por Delitos Sexuales de Deepfake en Escuelas.” (en coreano) https://www.moe.go.kr/boardCnts/viewRenew.do?boardID=294&boardSeq=100958&lev=0 (Consultado el 5 de diciembre de 2024)

Security Hero. 2024. “Estado de los Deepfakes en 2023.” https://www.securityhero.io/state-of-deepfakes/ (Consultado el 5 de diciembre de 2024)

Congreso de los Estados Unidos. 2024a. “S.3696 - DEFIANCE Act of 2024.” https://www.congress.gov/bill/118th-congress/senate-bill/3696 (Consultado el 5 de diciembre de 2024)

______. 2024b. “H.R.5586 - DEEPFAKES Accountability Act.” https://www.congress.gov/bill/118th-congress/house-bill/5586 (Consultado el 5 de diciembre de 2024)

Instituto de Derechos Humanos de las Mujeres de Corea. 2023. “Investigación sobre la Experiencia de Difusión de Delitos Sexuales Digitales y Ansiedad.” (en coreano) https://www.stop.or.kr/home/kor/M788976317/promotion/published/research/index.do (Consultado el 5 de diciembre de 2024)

Foro Económico Mundial. 2024. “Informe sobre la Brecha de Género Global 2024.” https://www.weforum.org/publications/global-gender-gap-report-2024/ (Consultado el 5 de diciembre de 2024)

■ Hansu Park es Investigador Asociado en el Instituto de Asia Oriental.

■ Editado por Hansu Park, Investigador Asociado

    Para consultas: 02 2277 1683 (ext. 204) | hspark@eai.or.kr