[ADRN Issue Briefing] La montée des crimes sexuels par deepfake en Corée du Sud et les récentes réponses juridiques

Vulnérabilité de la Corée du Sud aux crimes sexuels par deepfake

En octobre 2024, un tribunal sud-coréen a prononcé une peine de dix ans de prison à l'encontre du responsable d'un crime sexuel par deepfake. Le chef du réseau, un ancien élève de l'Université nationale de Séoul âgé de 40 ans, a créé et distribué 1 852 photos et vidéos deepfake d'étudiantes et d'autres personnes. Le groupe criminel a mis en place plus de 200 salons de discussion sur Telegram et a poursuivi ses infractions pendant quatre ans. Ils n'ont pas profité de la pornographie illicite, mais ont plutôt commis ces crimes pour satisfaire leurs désirs sexuels (Kim 2024a). Les reportages médiatiques ont qualifié ce crime de conséquence de l'échec d'étudiants ordinaires à réussir leurs examens, à trouver un emploi ou à se marier, et du développement d'une perception sexuelle déformée qui les a transformés en délinquants sexuels. Le tribunal a également noté que « les auteurs ont exprimé leurs complexes d'infériorité et leur haine des femmes socialement réussies d'une manière perverse et anonyme ». Cette affaire, qui fait suite à la soi-disant affaire de la « Nth Room » de 2019, impliquant la distribution organisée de contenus d'abus sexuels via des salons de discussion Telegram, démontre comment les crimes sexuels numériques évoluent en conjonction avec les nouvelles technologies telles que les deepfakes.

Les crimes sexuels par deepfake s'infiltrent également dans les écoles. De janvier à septembre 2024, 434 signalements de contenus d'abus sexuels ont été reçus des écoles, le ministère de l'Éducation en ayant référé 350 à des fins d'enquête (Ministère de l'Éducation 2024-09-09). Sur les 474 personnes appréhendées pour crimes sexuels par deepfake entre janvier et octobre 2024, 381 étaient des adolescents (Lee 2024a), ce qui indique que les mineurs ne sont pas seulement particulièrement sensibles aux crimes sexuels par deepfake, mais que la majorité des auteurs présumés sont également des mineurs.

Les progrès rapides de la technologie de l'intelligence artificielle (IA) ont accompagné la prolifération mondiale des contenus d'abus sexuels par deepfake. Un rapport d'une société américaine de cybersécurité a révélé une augmentation significative du nombre de pornographies deepfake, passant de 3 725 en 2022 à 21 019 en 2023. Notamment, 99 % de ces vidéos ciblaient des femmes. Le rapport a également révélé qu'environ 53 % des personnes représentées dans la pornographie deepfake sont sud-coréennes, et que huit des dix personnes les plus fréquemment représentées sont des chanteuses sud-coréennes (Security Hero 2024). Il convient de noter que la nationalité de la victime et de l'auteur peut différer. Néanmoins, ces conclusions illustrent la vulnérabilité de la société hautement numérisée de la Corée du Sud aux crimes sexuels par deepfake et l'impératif de réponses juridiques et sociales.

Le crime sexuel numérique est considéré comme une grave atteinte aux droits humains fondamentaux des femmes. Les victimes auraient subi non seulement des dommages psychologiques, mais aussi une détérioration physique avec des symptômes associés (Women’s Human Rights Institute of Korea 2023). De plus, les crimes sexuels numériques peuvent également entraîner des coûts sociaux considérables, tels que le découragement des activités sociales et professionnelles des femmes. Cibler des journalistes femmes qui ont signalé des cas de crimes sexuels par deepfake dans les salons de discussion Telegram représente une menace à la fois pour leurs droits personnels et pour la liberté de la presse.

Réponse législative à la montée des crimes sexuels par deepfake

La victimisation répétée et omniprésente caractérise le crime sexuel numérique par la reproduction et la diffusion de contenus. Son occurrence dans le cyberespace, transfrontalière, rend difficile la détection et la pleine récupération des dommages. De plus, il peut falloir du temps aux victimes pour reconnaître le crime, si elles le reconnaissent. En réponse à la nature de ces crimes, certaines démocraties avancées ont mis en œuvre les mesures suivantes.

Aux États-Unis, une législation est en cours pour criminaliser les crimes sexuels par deepfake au niveau fédéral. Le « DEFIANCE Act », qui réglemente les contrefaçons numériques non consensuelles, a été adopté par le Sénat en juillet 2024 et est actuellement examiné par la Chambre des représentants. Le projet de loi permettrait aux plaignants de demander réparation par le biais de litiges civils pour les abus sexuels par deepfake. Il habiliterait également les tribunaux à imposer des dommages-intérêts punitifs ou à ordonner la suppression et la destruction du matériel. De plus, la législation prévoit des mesures pour protéger la vie privée des victimes, telles que l'autorisation pour les plaignants d'utiliser des pseudonymes. En outre, le « DEEPFAKES Accountability Act » a été introduit à la Chambre des représentants en septembre 2023. Cette loi imposerait une amende ou une peine d'emprisonnement pour la création et la distribution de contenus d'abus sexuels par deepfake dans le but d'humilier ou de harceler une personne. Plusieurs États, dont la Californie, le Texas et New York, ont déjà adopté des lois qui autorisent les poursuites civiles et les sanctions pénales pour les infractions sexuelles par deepfake.

En mai 2024, le Conseil européen a approuvé le règlement sur l'intelligence artificielle, classant l'IA en quatre niveaux de risque. Les deepfakes sont classés comme « risque limité », relevant du niveau 2. Bien que l'objectif principal du règlement soit de réglementer et d'interdire les niveaux supérieurs, il aborde également le niveau 2. Par exemple, l'article 50 impose une obligation de transparence aux systèmes d'IA, exigeant qu'ils divulguent qu'ils ont généré des résultats avec des deepfakes. De plus, le Digital Services Act définit les obligations des grandes plateformes en ligne et des moteurs de recherche. Il prévoit également que les deepfakes soient étiquetés lors de leur publication et qu'une évaluation au moins annuelle du risque de violence fondée sur le genre soit réalisée, avec la mise en œuvre de contre-mesures appropriées.

Le Royaume-Uni et l'Australie ont également adopté des lois qui criminalisent la diffusion ou la menace de diffusion d'images ou de vidéos intimes d'autrui, y compris les deepfakes, sans leur consentement. De plus, les plateformes en ligne et les moteurs de recherche sont obligés de mettre en place des systèmes de signalement et de réponse pour atténuer le risque d'informations illégales. Le gouvernement canadien investit dans la recherche et le développement technologiques pour prévenir la création et la distribution de deepfakes (Lawson 2023). En plus de criminaliser la production et la distribution de pornographie deepfake, ces pays prennent également des mesures actives de lutte contre la criminalité à l'encontre des plateformes en ligne qui facilitent de telles activités. En Corée du Sud, outre des sanctions accrues, des mesures proactives sont nécessaires pour éradiquer la diffusion de contenus d'abus sexuels par deepfake.

Dans le cas de la Corée du Sud, les parties prenantes du pays ont plaidé en faveur d'une législation qui fournirait des définitions claires et des sanctions pour les infractions liées aux deepfakes. La loi sur la répression des crimes sexuels, modifiée en mars 2020, stipule que toute personne qui produit ou distribue des deepfakes dans l'intention de les distribuer sera punie. Parallèlement, des lois révisées réglementant les communications Internet exigent que les fournisseurs de services Internet mettent en œuvre des mesures pour empêcher la diffusion de contenus vidéo illicites. Cependant, il a été observé que les sanctions ne sont pas suffisamment strictes. Au cours des quatre années suivant l'entrée en vigueur de la loi, 39 % des personnes accusées ont été condamnées à une peine avec sursis. La majorité des cas dans lesquels des peines de prison ont été prononcées étaient aggravés par l'ajout d'autres charges que l'infraction de deepfake elle-même (Kim 2024b). Dans ce contexte, la récente peine de 10 ans de prison prononcée contre le chef du réseau de l'affaire de deepfake à l'Université nationale de Séoul a été considérée comme une sanction importante, étant donné que le système judiciaire a exceptionnellement accepté toutes les peines demandées par l'accusation.

Alors que les incidents de pornographie deepfake suscitent un tollé public, le législateur a réagi par des sanctions plus sévères. En octobre 2024, la loi sur la répression des crimes sexuels a été révisée pour criminaliser la production de pornographie deepfake, même en l'absence d'intention de distribution, et elle a également augmenté la peine de prison maximale pour la production et la distribution. La nouvelle législation criminalise également la possession, l'achat, le stockage et la visualisation de pornographie deepfake. De plus, l'État est devenu responsable de faciliter la suppression du matériel illicite et d'aider les victimes. Par la suite, une loi a été adoptée pour permettre aux agences d'enquête de mener des enquêtes secrètes sur les crimes sexuels numériques.

Certains politiciens ont soutenu que les reportages médiatiques exagèrent la menace des crimes sexuels par deepfake et ont exprimé leur inquiétude quant à une réglementation excessive. Ils ont souligné qu'il est exagéré de conclure que 220 000 abonnés à une chaîne Telegram avec un bot qui synthétise de la pornographie deepfake représentent le même nombre d'auteurs de sextorsion par deepfake en Corée. Compte tenu de la difficulté à déterminer la nationalité des utilisateurs de Telegram, cette remarque a un fondement. Néanmoins, étant donné la capacité d'un nombre relativement restreint d'individus à générer des quantités substantielles de pornographie deepfake en peu de temps à l'aide de l'IA, le faible nombre d'auteurs n'indique pas nécessairement un niveau de gravité de la sextorsion par deepfake proportionnellement faible.

Contexte structurel des crimes sexuels par deepfake en Corée du Sud

Afin d'identifier des solutions aux crimes sexuels récurrents par deepfake, il est essentiel de comprendre de manière approfondie le contexte structurel sous-jacent. Premièrement, des tentatives ont été faites pour établir un lien avec l'anxiété ressentie par la jeune génération ces dernières années. Les jeunes hommes, en particulier, connaissent une concurrence accrue, une crise du chômage et une pénurie de logements ; cependant, les vestiges de la culture patriarcale font toujours peser une plus grande responsabilité sur les hommes, ce qui entraîne un décalage de perception (Lee 2024b). Cet écart est encore exacerbé par la perception qu'il n'y a pas d'inégalités structurelles entre les sexes au sein de la jeune génération. Pour eux, la faible égalité des sexes en Corée du Sud et la faible participation des femmes à la vie politique et aux postes de direction dans les entreprises (Forum Économique Mondial 2024) sont perçues comme un héritage du passé. Ces interprétations concluent que l'anxiété et l'insatisfaction découlant de l'écart entre la réalité économique et la perception sociale donnent naissance à des sentiments anti-femmes et à des crimes sexuels comme manifestations de cette haine. Cette interprétation s'aligne sur le conflit de genre croissant dans la société sud-coréenne, en particulier chez les jeunes générations. Cependant, étant donné que la majorité des personnes arrêtées pour crimes sexuels par deepfake sont des adolescents, il est difficile d'attribuer ce phénomène uniquement à la perception masculine.

Les experts en éducation sexuelle et en conseil pour les jeunes ont observé que les deepfakes sont déjà devenus une forme de divertissement chez les adolescents, suggérant que ces individus ont tendance à considérer les crimes sexuels par deepfake comme un moyen d'obtenir l'approbation de leurs pairs (Mackenzie et Choi 2024). Cependant, la perception des deepfakes comme une forme de jeu n'indique pas nécessairement un manque de conscience de leur gravité. Dans une enquête sur le cyberharcèlement demandant les raisons de la prévalence continue des crimes sexuels numériques, les raisons les plus fréquemment citées par les adolescents étaient « les sanctions faibles » (26,1 %) et « ne pas craindre d'être pris en raison de l'anonymat d'Internet » (22,3 %). Les principales raisons citées par les adultes étaient « pour gagner de l'argent » (31,5 %) et « en raison des sanctions faibles » (30,5 %). La réponse la moins fréquente chez les adolescents et les adultes était « parce que ce n'est pas grave » (Commission des communications de Corée 2023-04-07). Bien que l'enquête ait été conçue pour évaluer l'opinion publique et ne prétende pas directement représenter les motivations des criminels réels, elle indique une tendance chez les personnes qui sont conscientes de l'illégalité de la pornographie deepfake mais qui s'appuient sur l'anonymat d'Internet et les lacunes dans les sanctions pour commettre le crime.

Actions supplémentaires contre les crimes sexuels par deepfake

Il reste à déterminer si la législation révisée constituera un moyen de dissuasion efficace contre les crimes sexuels par deepfake. Des appels sont lancés pour des actions législatives supplémentaires, y compris l'intervention rapide de l'autorité policière auprès des fournisseurs de services Internet pour supprimer et bloquer les contenus illicites, car ceux-ci peuvent continuer à proliférer pendant que le processus de prise de décision est retardé. De plus, conformément aux principes des démocraties avancées, il est impératif de renforcer la responsabilité des fournisseurs de services Internet afin qu'ils mettent en œuvre des mesures préventives plus proactives, telles que la prévention de la publication de contenus d'abus sexuels et une surveillance régulière. Concernant la question des sanctions, il a été proposé que ceux qui incitent à la création de contenus d'abus sexuels soient tenus responsables. De plus, il est affirmé qu'une législation complète est impérative pour faire face aux nouvelles formes de violence à mesure que la technologie progresse. Il est nécessaire que les législateurs soient adéquatement informés de la gravité de la situation et que toute législation développée soit juridiquement stable et sans ambiguïté.

Dans un sens plus large, il est nécessaire de renforcer le cadre réglementaire et la réponse à la désinformation dans son ensemble. La prolifération de la désinformation a entraîné une augmentation significative des menaces aux processus démocratiques. Ces menaces ont été observées sous la forme de fausses vidéos de politiciens et de fausses nouvelles provenant de sources inconnues, qui ont le potentiel d'influencer les résultats des élections et d'entraver la capacité des citoyens à prendre des décisions éclairées. Alors que les forces de l'ordre doivent réagir rapidement pour identifier les crimes sexuels numériques, des mesures complètes contre les nouvelles technologies en évolution rapide sont également nécessaires pour couvrir tout le spectre de la désinformation et faciliter une réponse unifiée entre les ministères du gouvernement et entre le gouvernement et le secteur privé.

Compte tenu de l'omniprésence des crimes sexuels par deepfake chez les jeunes, l'éducation publique devrait doter les élèves de la capacité de reconnaître la gravité et le caractère nuisible de ces crimes et d'y réagir rapidement lorsqu'ils se produisent. L'éducation la plus efficace consisterait à démontrer que les auteurs de crimes feront face à des enquêtes et des sanctions accrues. De plus, des initiatives éducatives supplémentaires sont nécessaires pour informer le public sur la désinformation et cultiver une nouvelle littératie numérique qui permette aux individus de déterminer la véracité des informations qu'ils rencontrent et de les consommer de manière éclairée.

Parallèlement à la prolifération des contenus d'abus sexuels par deepfake, un appel croissant de la société civile demande une réponse rapide et décisive. La démocratie coréenne est désormais confrontée au défi de freiner les crimes sexuels par deepfake par des mesures législatives et institutionnelles, dans l'intérêt des droits humains des femmes. ■

Références

Commission européenne. 2024. « Le paquet sur le Digital Services Act ». https://digital-strategy.ec.europa.eu/en/policies/digital-services-act-package(Consulté le 5 décembre 2024)

Future of Life Institute. 2024. « Le règlement de l'UE sur l'intelligence artificielle ». https://artificialintelligenceact.eu/(Consulté le 5 décembre 2024)

Kim, Dongwon. 2024a. « Mes photos nues dans un groupe de discussion ? »… La montée des crimes par deepfake laisse le public dans la peur. » The AI. 27 août. https://www.newstheai.com/news/articleView.html?idxno=6220(Consulté le 5 décembre 2024)

Kim, Jeonghwa. 2024b. « Analyse de toutes les peines depuis la loi sur la répression des abus sexuels par deepfake de 2020 – Presque 40 % de peines avec sursis. » (en coréen) The Kyunghyang Shinmun. 4 septembre. https://www.khan.co.kr/article/202409041031011(Consulté le 5 décembre 2024)

Commission des communications de Corée. 2023. « Quatre adolescents sur dix ont subi du cyberharcèlement, soit une personne de plus que l'année dernière. » 7 avril. https://www.kcc.go.kr/user.do?mode=view&page=E04010000&dc=E04010000&boardId=1058&cp=10&boardSeq=54874 (Consulté le 5 décembre 2024)

Lawson, Amanda. 2023. « Un aperçu des approches mondiales de réglementation des deepfakes. » Responsible Artificial Intelligence Institute. 24 avril. https://www.responsible.ai/a-look-at-global-deepfake-regulation-approaches/(Consulté le 5 décembre 2024)

Lee, Soo-Jung. 2024a. « Les adolescents représentent 80 % des 474 suspects arrêtés pour pornographie deepfake cette année. » Korea JoongAng Daily. 16 octobre. https://koreajoongangdaily.joins.com/news/2024-10-16/national/socialAffairs/Adolescents-80-of-474-suspects-arrested-for-deepfake-porn-this-year-/2156145(Consulté le 5 décembre 2024)

Lee, Soohyun Christine. 2024b. « Politique anti-genre, insécurité économique et populisme de droite : la montée du sexisme moderne chez les jeunes hommes en Corée du Sud. » Social Politics: International Studies in Gender, State & Society. 18 octobre. https://academic.oup.com/sp/advance-article/doi/10.1093/sp/jxae016/7826751(Consulté le 5 décembre 2024)

Mackenzie, Jean, et Leehyun Choi. 2024. « Au cœur de la crise de la pornographie deepfake qui engloutit les écoles coréennes. » BBC News. 3 septembre. https://www.bbc.com/news/articles/cpdlpj9zn9go(Consulté le 5 décembre 2024)

Ministère de l'Éducation. 2024. « Résultats de la deuxième enquête sur la situation des dommages causés par les crimes sexuels de deepfake dans les écoles publiés. » (en coréen) https://www.moe.go.kr/boardCnts/viewRenew.do?boardID=294&boardSeq=100958&lev=0 (Consulté le 5 décembre 2024)

Security Hero. 2024. « État des deepfakes en 2023. » https://www.securityhero.io/state-of-deepfakes/ (Consulté le 5 décembre 2024)

Congrès des États-Unis. 2024a. « S.3696 - DEFIANCE Act de 2024. » https://www.congress.gov/bill/118th-congress/senate-bill/3696 (Consulté le 5 décembre 2024)

______. 2024b. « H.R.5586 - DEEPFAKES Accountability Act. » https://www.congress.gov/bill/118th-congress/house-bill/5586 (Consulté le 5 décembre 2024)

Women’s Human Rights Institute of Korea. 2023. « Recherche sur l'expérience de la diffusion de crimes sexuels numériques et l'anxiété. » (en coréen) https://www.stop.or.kr/home/kor/M788976317/promotion/published/research/index.do (Consulté le 5 décembre 2024)

Forum Économique Mondial. 2024. « Rapport sur l'écart entre les sexes dans le monde 2024. » https://www.weforum.org/publications/global-gender-gap-report-2024/ (Consulté le 5 décembre 2024)

■ Hansu Park est chercheur associé à l'Institut d'Asie de l'Est.

■ Rédigé par Hansu Park, Chercheur associé

    Pour toute demande : 02 2277 1683 (poste 204) | hspark@eai.or.kr