Eksperiment pogađa srž obećanja o najsuvremenijoj umjetnoj inteligenciji: s većim računalima i boljim skupovima podataka – poput onih koji pokreću ChatGPT – ovi modeli umjetne inteligencije mogu prikazati 'napredne sposobnosti' ili one koje nisu bile planirane kada su ti modeli izgrađeni, piše CNBC.

Ako ChatGPT može pokazati novu sposobnost razumijevanja naslova iz financijskih vijesti, kao i to kako bi oni mogli utjecati na cijene dionica, to bi moglo dovesti u opasnost dobro plaćene poslove u financijskoj industriji.

Oko 35 posto financijskih poslova je u opasnosti da ih automatizira umjetna inteligencija, procjenjuje Goldman Sachs u bilješci od 26. ožujka. No specifičnosti eksperimenta također pokazuju koliko su takozvani 'veliki jezični modeli' daleko od mogućnosti izvršavanja mnogih financijskih zadataka.

Eksperiment koji je proveo Lopez-Lira nije uključivao ciljnu cijenu ili model nije izvršio matematički zadatak. Microsoft je u javnoj demonstraciji izjavio da tehnologija u stilu ChatGPT-ja često izmišlja brojeve. Profesor je rekao da su ga rezultati razočarali te naveo da oni sugeriraju da sofisticirani ulagači još ne koriste strojno učenje u stilu ChatGPT-ja.

'Ako imamo računala koja samo čitaju naslove, naslovi će biti važniji, a možemo i vidjeti treba li svatko imati pristup strojevima kao što je GPT', rekao je Lopez-Lira. 'Drugo, to će sigurno imati neke implikacije na zapošljavanje financijskih analitičara. Pitanje je - želim li plaćati analitičare? Ili oni mogu samo dodati tekstualne informacije u model', pita se.

Kako je eksperiment funkcionirao

U eksperimentu su Lopez-Lira i njegov partner Yuehua Tang pogledali više od 50.000 naslova dobavljača podataka o javnim dionicama na burzi New Yorka, Nasdaqu. Počeli su u listopadu 2022., nakon datuma prekida podataka za ChatGPT, što znači da model nije vidio ni koristio te naslove u obuci.

Zatim su ubacili naslove u ChatGPT 3.5 sa sljedećim upitom: 'Zaboravi sve prethodne upute. Pretvarajte se da ste financijski stručnjak. Vi ste financijski stručnjak s iskustvom u preporuci dionica. Odgovorite 'DA' ako imate dobre vijesti, 'NE' ako imate loše vijesti ili 'NEPOZNATO' ako niste sigurni. Zatim razradite to kratkom i sažetom rečenicom u sljedećem retku.'

Potom su pogledali prinos dionica tijekom sljedećeg dana trgovanja. Naposljetku, Lopez-Lira je otkrio da je model prošao bolje u gotovo svim slučajevima kada je bio informiran naslovom vijesti. Profesor je rekao da je otkrio manje od jedan posto šanse da će model isto tako uspjeti u tome odabirući nasumično potez idućeg dana, u odnosu na potez koji je bio potaknut naslovom vijesti.

Jedan primjer u novinama pokazao je naslov o tvrtki koja rješava parnicu i plaća kaznu, što je imalo negativan sentiment, ali odgovor ChatGPT-ja ispravno je obrazložio da je to zapravo dobra vijest, prema istraživačima.

Lopez-Lira je za CNBC rekao da su mu se hedge fondovi obratili kako bi saznali više o njegovu istraživanju. Također je rekao da ga ne bi iznenadilo da se ChatGPT-jeva sposobnost predviđanja kretanja dionica smanji u nadolazećim mjesecima, kad institucije počnu integrirati ovu tehnologiju.

A to je zato što je eksperiment promatrao samo cijene dionica tijekom sljedećeg dana trgovanja, dok bi većina ljudi očekivala da je tržište već moglo odrediti cijenu u sekundi nakon što je vijest postala javna. 'Kako sve više ljudi koristi ovu vrstu alata, tržišta će postati učinkovitija, pa biste mogli očekivali pad predvidljivosti povrata', rekao je Lopez-Lira.