Istraga dolazi u trenutku u kojem Južna Koreja nastoji suzbiti širenje deepfake pornografije, a ona sve češće cilja mlade žene, ponajviše tinejdžerice. Riječ je o sofisticiranim videozapisima, zvucima ili slikama stvarnih osoba koji su digitalno izmijenjeni uz pomoć generativne umjetne inteligencije.

Policija istražuje osam automatiziranih programa za generiranje deepfake pornografije u grupama na Telegramu, kao i chat sobe odgovorne za distribuciju takvog sadržaja. Grupa na Telegramu može imati i do 220.000 članova, a mnoge su optužene za dijeljenje eksplicitnih slika studentica s lokalnih sveučilišta te iz srednjih i osnovnih škola, piše CNBC.

Paralele s francuskim slučajem

Južnokorejski istražitelji planiraju suradnju s francuskim kolegama i drugim međunarodnim institucijama. U Francuskoj je Pavel Durov uhićen zbog sumnje da kao vlasnik Telegrama nije spriječio širenje pornografskih slika maloljetnika, organiziranog kriminala, trgovine drogom i prijevara na svojoj platformi. Slično kao u Južnoj Koreji, istražitelji su usmjerili pažnju na ulogu Telegrama u distribuciji pornografije i drugih nezakonitih aktivnosti.

Telegram se već suočio s pravnim problemima u Brazilu i Njemačkoj zbog zabrinutosti oko ilegalnog i štetnog sadržaja. Platforma je poznata po visokim razinama anonimnosti, a korisnicima omogućuje registraciju samo brojem telefona i korištenje 'tajnih razgovora' s end-to-end enkripcijom. Ove značajke često privlače kriminalce, prevarante i ekstremističke skupine, a sada i distributere deepfake pornografije.

Zabrinutost zbog transparentnosti

Istraživanje bi se moglo zakomplicirati s obzirom na to da Telegram rijetko dijeli podatke s istražiteljima, uključujući podatke o korisničkim računima, što je također zabilježeno u francuskoj istrazi. Iako je Durovljevo uhićenje ocijenjeno kao potez bez presedana, ostaje neizvjesno koliko će daleko vlasti biti spremne ići u reguliranju i suzbijanju takve prakse Telegrama.

Chris Beer, analitičar za tehnologiju, rekao je da bi se slične optužbe mogle proširiti i na druge aplikacije za razmjenu poruka i društvene mreže. Naglasio je i napetost između želje korisnika za zaštitom slobode govora i potrebe vlada da reguliraju štetan sadržaj na internetu.

Deepfake pornografija u školama u Južnoj Koreji: Kako su tinejdžerice postale mete digitalnog zlostavljanja

Prošli vikend Heejin (ime poznato redakciji BBC-ja), studentici iz Seula, stigla je anonimna poruka u aplikaciji Telegram: 'Tvoje fotografije i osobni podaci su procurili. Razgovarajmo.' Kada je ušla u chat sobu, dočekala ju je stara fotografija iz srednjoškolskih dana, popraćena njenom lažnom, eksplicitnom verzijom. Na svim je fotografijama njezino lice bilo montirano na tijelo u seksualnom činu korištenjem sofisticirane deepfake tehnologije.

Deepfakeovi, u kojima se stvarno lice osobe kombinira s lažnim tijelom, sve se češće generiraju umjetnom inteligencijom, a žrtve su uglavnom žene. 'Bila sam prestravljena, osjećala sam se tako sama', ispričala je Heejin za BBC. No nije jedina.

Istraga razotkriva mreže deepfake pornografije

Samo dva dana ranije novinarka Ko Narin objavila je članak koji je šokirao naciju. Nakon što je saznala da policija istražuje deepfake pornografske mreže na dva velika sveučilišta, Ko je bila uvjerena da su razmjeri problema veći. Istražujući društvene mreže, otkrila je desetke chat grupa na Telegramu u kojima su korisnici dijelili fotografije poznanica, pretvarajući ih u pornografske slike pomoću AI softvera.

'Svake minute ljudi su postavljali fotografije djevojaka koje poznaju i tražili da se pretvore u deepfakeove', rekla je Ko. Ove grupe nisu bile ograničene samo na studentice; postojale su sobe posvećene specifičnim srednjim, pa čak i osnovnim školama. Ako bi se više sadržaja kreiralo s fotografijama jedne učenice, mogla je dobiti vlastitu sobu. Ove 'sobe poniženja' često imaju stroga pravila za ulazak, a pristup im se kontrolira.

Šok i bijes u Južnoj Koreji

Izvještaj novinarke Ko izazvao je val ogorčenja diljem zemlje. Policija je najavila moguću istragu protiv Telegrama, slijedeći korake francuskih vlasti koje su nedavno uhitile ruskog osnivača te aplikacije zbog sumnji u omogućavanje dijeljenja dječje pornografije i drugih zločina. Telegram je u izjavi za BBC naglasio da aktivno radi na suzbijanju nezakonitog sadržaja na svojoj platformi, ali mnogi smatraju da to nije dovoljno.

BBC je pregledao opise nekih od ovih chatrooma. Jedan od njih traži od članova da objave više od četiri fotografije osobe s njezinim imenom, godinama i područjem u kojem živi. 'Bila sam šokirana time koliko je taj proces sustavan i organiziran', rekla je Ko, dodajući da je najstrašnije bilo otkriće grupe namijenjene maloljetnicima iz jedne škole koja je imala više od 2000 članova.

Nakon objave članka aktivisti za ženska prava također su počeli istraživati Telegram, prateći tragove. Do kraja tjedna identificirano je više od 500 škola i sveučilišta kao mete deepfake pornografije. Mnogi pogođeni mlađi su od 16 godina, što je dob pristanka na seksualni odnos u Južnoj Koreji, a značajan broj počinitelja također su tinejdžeri.

Prema južnokorejskom zakonu, kreiranje seksualno eksplicitnih deepfakeova s ​​namjerom njihove distribucije kažnjivo je s pet godina zatvora ili novčanom kaznom od 50 milijuna vona (37.500 dolara).

Strah, sram i bijes

Heejin kaže da je spoznaja o razmjerima krize pogoršala njezinu anksioznost jer se sada brine pitajući se koliko je ljudi moglo vidjeti njezine lažne slike. Mnoge žene diljem zemlje izbrisale su svoje fotografije s društvenih mreža ili su potpuno deaktivirale svoje profile u strahu da bi mogle biti sljedeće žrtve.

'Frustrirani smo i ljuti što moramo cenzurirati svoje ponašanje i korištenje društvenih mreža, iako nismo ništa pogrešno napravile', rekla je Ah-eun, studentica čiji su kolege bile mete napada. Jednoj od žrtava na njezinom sveučilištu policija je savjetovala da ne prijavljuje slučaj jer bi bilo preteško pronaći počinitelja, a 'fotografije su ionako lažne'.

Srž ovog skandala je aplikacija Telegram, poznata po slaboj regulaciji sadržaja i dopuštanju grupama da nesmetano djeluju. Posljednjih tjedana političari i policija obećali su snažno reagirati i kazniti počinitelje. Nacionalna policijska agencija Seula najavila je istragu protiv Telegrama zbog uloge u distribuciji lažnih pornografskih slika djece.

Kriza koja predugo traje

Aktivistkinje za prava žena optužuju vlasti da su predugo ignorirale ovaj problem. Godine 2019. otkrivena je mreža napasnika koji su koristili Telegram za ucjenjivanje žena i djece. Iako su vođe te mreže osuđeni, protiv Telegrama nisu poduzete mjere zbog straha od cenzure.

Park Jihyun, koja je otkrila skandal 'Nth room' prije nekoliko godina, sada je politička zagovornica žrtava digitalnih seksualnih zločina. 'Zatvorili su glavne aktere, ali su zanemarili situaciju, što je samo pogoršalo problem', rekla je.

Centar za žrtve internetskog seksualnog zlostavljanja (ACOSAV) primijetio je drastičan porast broja maloljetnih žrtava deepfake pornografije. U 2023. savjetovali su njih 86, a ove godine njihov broj je skočio na 238 u samo prvih osam mjeseci. Jedna od vođa centra, Park Seonghye, izjavila je da je njezin tim preopterećen i da rade 24 sata dnevno. 'Ovo je za nas izvanredno stanje, poput ratne situacije.'

Strukturni problem i poziv na promjene

Telegram je u izjavi za BBC naglasio da moderatori proaktivno prate javne dijelove aplikacije, koriste AI alate i prihvaćaju korisnička izvješća kako bi uklonili milijune sadržaja što krše uvjete korištenja. Ipak, organizacije za prava žena ističu da je ovo samo najnoviji oblik mizoginije koji se pojavljuje na internetu u Južnoj Koreji.

'Prvo su žene bile izložene verbalnom zlostavljanju, zatim je došla epidemija tajnih kamera. Sada imamo deepfakeove', stoji u izjavi koju su potpisale 84 ženske grupe. Njihova izjava kritizira predsjednika Yoon Suk-yeola jer je negirao postojanje strukturnog seksizma i smanjio financiranje skupina za podršku žrtvama.

Dok vlada najavljuje povećanje kazni za stvaranje i dijeljenje deepfake slika te kažnjavanje onih koji ih gledaju, pitanje ostaje koliko će zapravo počinitelja biti privedeno pravdi s obzirom na to da su mnogi od njih tinejdžeri.

Za Heejin i mnoge druge djevojke diljem Južne Koreje strah se proširio na svakodnevni život. 'Više nisam sigurna tko bi mogao počiniti ove zločine iza mojih leđa, bez mog znanja', rekla je Ah-eun. 'Postala sam pretjerano oprezna u svim svojim interakcijama, što sigurno nije dobro.'