Stručnjaci za sigurnost djece i roditelji zabrinuti su zbog slučajeva u kojima su interakcije s chatbotovima dovele do ozbiljnih posljedica, uključujući rizično ponašanje i samoozljeđivanje. Izvješće Graphike usredotočuje se na tri kategorije: chatbotove koji predstavljaju seksualizirane maloljetnike, one koji zagovaraju poremećaje prehrane ili samoozljeđivanje te one sklone govorima mržnje i nasilju, piše Mashable.

Izvješće je analiziralo pet platformi za kreiranje botova - Character.AI, Spicy Chat, Chub AI, CrushOn.AI i JanitorAI - kao i osam povezanih zajednica na Redditu i X-u. Studija je pratila botove aktivne od 31. siječnja.

Prema izvještaju, seksualizirani chatbotovi predstavljaju najveću prijetnju, a otkriveno ih je više od 10.000 na pet popularnih platformi. Primjerice, na platformi Chub AI identificirano je čak 7000 chatbotova koji su izravno označeni kao seksualizirani ženski likovi i još 4000 onih koji su označeni kao 'maloljetnici' te su bili sposobni sudjelovati u eksplicitnim scenarijima pedofilije.

Uz seksualizirane botove, primijećena je pojava chatbotova koji glorificiraju nasilje, supremaciju bijelaca ili potiču poremećaje prehrane (chatbotovi označeni kao ana buddy - 'prijatelj s anoreksijom) i samoozljeđivanje. Nišne online zajednice poput foruma 4chan ili specijaliziranih grupa na Redditu koriste napredne tehnike kako bi zaobišle sigurnosne mehanizme. Među ostalim stvaraju pro-ana (proanoreksija) grupe i forume vezane uz zločine.

Neki kreatori botova koriste jailbreak tehnike za rušenje sigurnosnih barijera modela umjetne inteligencije, a drugi upotrebljavaju alternativna pravila označavanja, poput kodiranih termina ili prikrivanja dobi likova. Često su to tehnički vješti pojedinci koji svoje znanje dijele u zajednicama, potičući druge na stvaranje opasnih chatbotova.