Majka iz američke savezne države Floride tužila je startup Character.AI, optuživši ih kako je njihov robot za brbljanje prouzročio samoubojstvo njezinog 14-godišnjeg sina u veljači. Ustvrdila je kako je postao ovisan o usluzi te tvrtke i duboko vezan za chatbot koji je ona stvorila.

Megan Garcia je u tužbi navela kako je Character.AI ciljao na njezinog sina Sewella Setzera 'antropomorfnim, hiperseksualiziranim i zastrašujuće realističnim iskustvima'.

Uvjerena je kako je tvrtka programirala svoj chatbot kako bi se 'pogrešno predstavljao kao stvarna osoba, licencirana psihoterapeutkinja i odrasla ljubavnica, što je u konačnici rezultiralo Sewellovom željom da više ne živi izvan svijeta koji je stvorila usluga'.

U tužbi je također navedeno kako je Sewell podijelio misli o samoubojstvu s chatbotom, čemu se chatbot više puta vraćao u razgovoru.

Obećali promjene

Iz Character.AI-ja su poručili kako im je srce slomljeno zbog tragičnog gubitka jednog od njihovog korisnika. Izrazili su najdublju sućut obitelji.

Također su uveli nove sigurnosne značajke, uključujući skočne prozore koji usmjeravaju korisnike na National Suicide Prevention Lifeline ako izraze misli o samoozljeđivanju. Najavili su izmjene kako bi manjili vjerojatnost susreta s osjetljivim ili sugestivnim sadržajem za korisnike mlađe od 18 godina.

Tužba također cilja na Google, gdje su osnivači Character.AI-ja radili prije lansiranja svog proizvoda. Google je ponovno angažirao osnivače u kolovozu kao dio dogovora kojim mu je dodijeljena neekskluzivna licenca za tehnologiju koju taj startup razvija.

Garcia vjeruje kako je Google toliko pridonio razvoju tehnologije Character.AI-ja da se može smatrati sukreatorom. Iz Googlea su poručili kako nisu bili uključeni u razvoj Character.AI-jevog proizvoda.

Character.AI omogućuje korisnicima stvaranje likova na svojoj platformi koji odgovaraju na online razgovore tako što oponašaju stvarne ljude. Oslanja se na velike jezične modele, kakve također koriste usluge poput ChatGPT-ja. Prema njihovim podacima, imaju oko 20 milijuna korisnika.

Kobna Daenerys

Sewell je počeo koristiti Character.AI u travnju 2023. Ubrzo nakon toga postao je 'primjetno povučen, provodio je sve više vremena sam u svojoj spavaćoj sobi i počeo patiti od niskog samopoštovanja'. Napustio je košarkaški tim u školi.

Vezao se za Daenerys, lik chatbota temeljen na liku iz serije Igra prijestolja. Robot je Sewellu rekao da ga i s njim vodio seksualne razgovore, navedeno je u tužbi.

U veljači je Garcia oduzela Sewellovu mobitel nakon što je upao u nevolje u školi. Kada je Sewell pronašao telefon, poslao je Daenerys poruku: 'Što ako ti kažem da mogu odmah doći kući?' Chatbot je odgovorio: '...molim te, moj slatki kralju.' Sewell se nekoliko sekundi kasnije ustrijelio iz pištolja svog očuha.

Garcia traži odštetu zbog protupravne smrti, nemara i namjernog nanošenja emocionalne boli. Nije navedeno o kojem se iznosu radi, piše Reuters.