Da bi se veliki modeli umjetne inteligencije obučili za svoj posao, u atmosferu se emitira više od 284 tone ekvivalenta ugljičnog dioksida, izračunali su istraživači sa sveučilišta u Massachusettsu. To je gotovo pet puta više od emisije ugljičnog dioksida koju za svog trajanja emitira prosječni američki automobil, uključujući njegovu proizvodnju. Brojke, objavljene u znanstvenom radu koji se može pročitati na stranicama sveučilišta Cornell doista su zabrinjavajuće.

'Mnogi su na taj problem dosad upozoravali tek na apstraktnoj razini. No ove brojke doista ukazuju na veličinu problema', zabrinut je Carlos Gómez-Rodríguez, računalni znanstvenik sa sveučilišta A Coruña u španjolskoj pokrajini Galiciji, koji nije sudjelovao u ovom istraživanju. 'Ni ja ni drugi istraživači s kojima sam razgovarao nismo mogli ni zamisliti da bi utjecaj na okoliš mogao biti toliko velik.'

Značajne prekretnice

U radu se konkretno razmatra proces obuke modela za obradu prirodnog jezika (NLP), području razvoja umjetne inteligencije u kojem se strojeve podučava ljudskom jeziku. U posljednje dvije godine NLP zajednica postigla je nekoliko značajnih prekretnica u strojnom prevođenju, završavanju rečenica i drugim standardnim zadacima.

Istraživači su proučili četiri modela s najvećim skokovima u performansama: Transformator, ELMo, BERT i GPT-2. Ovaj potonji, proizvod je istraživačkog centra OpenAI iz San Francisca, a na zao je glas došao ispisivanjem prilično uvjerljivih novinskih članaka s lažnim vijestima.

Ugljični otisak umjetne inteligencije

Svaki od ovih modela testiran je na GPU-u kako bi se izmjerila njihova dnevna potrošnja energije. Potom su znanstvenici temeljem broja sati, utrošenih na obuku, izračunali ukupnu potrošnju energije tijekom cijelog procesa obuke. Taj broj na kraju je pretvoren u kilograme ekvivalenta ugljičnog dioksida, odnosno njihov ugljični otisak, ukupnu emisiju stakleničkh plinova koje izravno ili neizravno uzrokuje neka osoba, proizvod, tvrtka ili događaj.

Otkriveno je da su ekološki troškovi obuke rasli proporcionalno veličini modela, a zatim bi eksplodirali svakim dodatnim podešavanjem. Proces ugađanja pretraživanjem neuronske arhitekture, temeljenom na nizu pokušaja i pogrešaka, bio izuzetno rastrošan, uz gotovo nikakvu korist. Bez tog ugađanja najskuplji model, BERT, imao je ugljični otisak od otprilike 635 kilograma ekvivalenta ugljičnog dioksida. A toliko otprilike iznosi ugljični otisak čovjeka koji ze zrakoplovom preletio Ameriku od Atlantskog do Tihog oceana.

Ovo su tek polazne vrijednosti

Emma Strubell, doktorandica sa sveučilišta u Massachusettsu i potpisnica ovog istraživanja, smtara da bi se te brojke trebale smatrati tek polaznim vrijednostima. U praksi je mnogo vjerojatnije da će istraživači razviti novi model od nule ili prilagoditi postojeći model novom skupu podataka, od kojih svaki može zahtijevati mnogo više ciklusa obuke i podešavanja.

'Većina najnovijih istraživanja umjetne inteligencije zanemaruje učinkovitost. Vrlo velike neuronske mreže koriste se za različite zadatke, a tvrtke i institucije koje imaju pristup takvim računalnim resursima to koriste kako bi stekle prednost pred konkurencijom', smatra Gómez-Rodríguez.

Znanost kaska za industrijom

Ovo istraživanje ukazuje na još jedan rastući problem: zbog skupoće cijelog istraživačkog procesa, akademska zajednica sve više kaska za industrijom.

'Sveučilišta si ne mogu priuštiti obuku golemih modela na tonama podataka jer mi jednostavno ne raspolažemo takvim računalnim resursima', kaže Strubell. 'Istraživači iz akademskih krugova nemaju isti pristup podacima kao istraživači koji rade u industriji.'

Neki se stoga zalažu da se stvari malo prikoče i više pažnje posveti onome što je u stanju osmisliti ljudski mozak.

'Ljudski mozgovi mogu učiniti zadivljujuće stvari trošeći pritom malo energije', kaže Siva Reddy sa sveučilišta Stanford. 'Pitanje je možemo li izraditi i takve, štedljivije strojeve.'