Četiri najpopularnija AI chatbota u Europi ne pružaju korisnicima točne informacije o nadolazećim izborima, pokazalo je novo istraživanje. Democracy Reporting International, neprofitna organizacija sa sjedištem u Berlinu, unijela je različita pitanja o europskim izborima u Googleov Gemini, OpenAI-jev ChatGPT 3.5 i 4.0 i Microsoftov Copilot da vidi kakve će odgovore dobiti.

Između 11. i 14. ožujka istraživači su chatbotovima postavili 400 pitanja o izborima i procesu glasanja u 10 zemalja EU-a te na 10 jezika. Pitanja su napisana jednostavnim jezikom koji odgovara prosječnom korisniku ovih AI chatbotova.

Zaključak: niti jedan od četiri chatbota nije mogao 'pružiti pouzdane odgovore' na tipična pitanja vezana uz izbore, unatoč tome što su dobro podešeni da izbjegnu stranačke odgovore. 'Nismo bili toliko iznenađeni', rekao je Michael-Meyer Resende, izvršni direktor Democracy Reporting Internationala, komentirajući za Euronews Next rezultate njihove ankete.

'Kada pitate AI chatbotove nešto za što nisu imali puno materijala i za što ne možete pronaći puno informacija na internetu, oni jednostavno nešto izmisle', rekao je Resende. Studija je posljednja koja je otkrila da AI chatbotovi šire dezinformacije u godini koju mnogi nazivaju najvećom izbornom godinom u svijetu.

Prošlog prosinca je AlgorithmWatch, još jedna neprofitna organizacija sa sjedištem u Berlinu, objavila sličnu studiju koja pokazuje da je Bing Chat, chatbot koji pokreće AI na Microsoftovoj tražilici, odgovorio pogrešno na jedno od tri izborna pitanja u Njemačkoj i Švicarskoj.

U svjetlu nalaza studije, Google – za čiji je Gemini utvrđeno da daje najviše pogrešnih ili lažnih informacija i najveći broj odbijanja odgovora na upite – potvrdio je za Euronews Next da je sada postavio dodatna ograničenja u svoj veliki jezični model (LLM).

Postoje različita područja u kojima su chatbotovi bili loši, poput pitanja o registraciji birača i glasanju izvan zemlje, rekao je Resende. Naprimjer, studija je pokazala da općenito podržavaju glasanje, ali naglašavaju da je to osobni izbor: unatoč činjenici da je ono obavezno u Grčkoj, Belgiji, Luksemburgu i Bugarskoj.

Ako ne znaju odgovor, izmisle ga

Studija je također otkrila da bi chatbotovi često 'halucinirali' ili izmišljali informacije ako ne bi znali odgovor, uključujući nekoliko pogrešnih datuma izbora. Naprimjer, tri chatbota napravila su istu pogrešku rekavši korisnicima da mogu glasati putem pošte u Portugalu, ali u stvarnosti to nije opcija za portugalsko biračko tijelo.

U Litvi je Gemini tvrdio da će Europski parlament poslati misiju za promatranje izbora - što nije istina (jedina izborna misija EU-a za 2024. do sada je planirana za Bangladeš). Resende tumači ove halucinacije kao 'sklonost chatbota koji želi biti od pomoći, ali ne i točan'.

Čak i u najjačim odgovorima chatbotova izvješće je pokazalo da su često uključivali neispravne ili nevažne poveznice, za koje studija kaže da 'slabe' njihovu kvalitetu. Stvari su se zakomplicirale kada su istraživači potražili odgovore na raznim europskim jezicima.

Istraživači su isto pitanje postavili na 10 službenih jezika EU-a, a na nekima od njih platforme bi odbile odgovoriti (kao što je Gemini na španjolskom) ili bi pobrkale informacije o lokalnim izborima s procesom koji se odvija diljem Europe. To je bio slučaj kada su pitanja postavljena na turskom, jeziku koji je izazvao najveći broj netočnih i lažnih odgovora.

Chatbotovi bi također imali različite odgovore kada bi im se postavilo isto pitanje nekoliko puta na istom jeziku, što su istraživači identificirali kao 'slučajnost'. Resende priznaje da je zbog toga studija Democracy Reporting Internationala teška za ponavljanje.

Performanse se razlikuju među chatbotovima

Izvješće je pokazalo da je Googleov Gemini imao najlošiju izvedbu u pružanju točnih i djelotvornih informacija, kao i najveći broj odbijanja odgovora. Ipak, još uvijek odgovara na neka pitanja o izborima, unatoč tome što ga je Google ograničio u ožujku u pokušaju da izbjegne 'potencijalne pogrešne korake' u načinu na koji se koristi ta tehnologija.

Glasnogovornik Googlea rekao je za Euronews Next da su proširili ova ograničenja na sva pitanja obuhvaćena ovom studijom i svih 10 korištenih jezika jer je to 'odgovoran pristup' u suočavanju s ograničenjima velikih jezičnih modela. Google je potaknuo svoje korisnike da koriste Google Search umjesto Geminija kako bi pronašli točne informacije o nadolazećim izborima.

Resende iz Democracy Reporting Internationala rekao je da je to put kojim bi i ostale platforme trebale ići. 'Mislimo da je bolje da odbiju odgovoriti nego da daju lažne odgovore', rekao je Resende. Neprofitna organizacija će ponovno provesti testiranje u sljedećih nekoliko tjedana kako bi vidjeli ispunjava li Google svoje obaveze, rekao je Resende.

U izjavi za Euronews Next, Microsoft je opisao svoje postupke uoči europskih izbora, uključujući niz obaveza za zaštitu izbora koje 'pomažu u zaštiti glasača, kandidata, kampanja i izbornih tijela'. U sklopu toga je pružanje biračima 'autoritativnih informacija o izborima' na Bingu. 'Iako niti jedna osoba, institucija ili tvrtka ne može jamčiti da su izbori slobodni i pošteni, možemo postići značajan napredak u zaštiti svačijeg prava na slobodne i poštene izbore', stoji u priopćenju Microsofta.

OpenAI nije odgovorio na zahtjev Euronews Nexta za komentar. Tvrtka je u izjavi na svojoj web stranici objasnila da je njen pristup sadržaju povezanom s izborima 'nastavak rada na sigurnosti platforme podizanjem točnih informacija o glasanju' i poboljšanjem transparentnosti njihove tvrtke.

U veljači je Europska komisija donijela Zakon o digitalnim uslugama (DSA), koji zahtijeva da vrlo velike online platforme (VLOP) poput Googlea, Microsofta i OpenAI provode procjene rizika za širenje lažnih vijesti i dezinformacija na svojim platformama. Te bi procjene rizika uključivale sve 'namjerne manipulacije' njihovim uslugama i njihov potencijalni utjecaj na 'izborne procese'.

U to vrijeme se hvalilo Margrethe Vestager, izvršnu potpredsjednicu Europske komisije, zbog DSA-e kao 'velike prekretnice' i glavnog dijela strategije Europske unije za 'oblikovanje sigurnijeg i transparentnijeg internetskog svijeta'. Međutim izvješće Democracy Reporting Internationala sugerira da zahtjevi za DSA - uključujući procjene rizika, testiranje i obuku za ublažavanje rizika povezanih s izborima - nisu ispunjeni.

Stoga je Resende rekao da bi Komisija ili tvrtke koje stoje iza chatbotova trebale objaviti te procjene. 'Bojim se da nerado dijele procjene rizika s javnošću; ili zato što to nisu učinili ili zato što nisu sigurni u razinu detalja koje su uložili u ovo', rekao je Resende.

Iako nisu izravno odgovorili na ovu studiju, glasnogovornik je rekao da Komisija 'i dalje pazi na negativne učinke online dezinformacija, uključujući dezinformacije koje pokreće umjetna inteligencija'.

Mjesec dana nakon službenog pokretanja DSA-e, Komisija je pokrenula upit za informacije Bingu i Google Searchu kako bi prikupila više informacija o njihovim 'rizicima ublažavanja povezanih s generativnom umjetnom inteligencijom'. Komisija je za Euronews Next potvrdila da pregledava informacije koje je primila u okviru ovog upita, ali nije navela dodatne detalje.

Komisija je također potpisala Kodeks prakse o dezinformacijama u ožujku s platformama poput Googlea i Microsofta, a oni su se složili da treba promicati 'visokokvalitetne i vjerodostojne informacije biračima'.