Meta Platforms je objavila novu kolekciju modela umjetne inteligencije Llama: Llama 4 Scout, Llama 4 Maverick i Llama 4 Behemoth.

Svi su bili obučeni o 'velikim količinama neoznačenog teksta, slika i video podataka' kako bi im se omogućilo 'široko vizualno razumijevanje', naveli su u Meti.

Razvoj novih modela navodno je ubrzan nakon uspjeha otvorenih modela DeepSeeka, što je potaklo Metu na proučavanje kako je kineski startup smanjio troškove rada i implementirao modele poput R1 i V3.

Scout i Maverick su dostupni na Llama.com i kod Metinih partnera, uključujući platformu Hugging Face, dok je Behemoth još u fazi obuke.

Meta AI je digitalni pomoćnik s umjetnom inteligencijom u WhatsAppu, Messengeru, Instagramu i drugim aplikacijama, ažuriran za korištenje Llame 4 u 40 država. Multimodalne značajke za sada su ograničene na Sjedinjene Države na engleskom jeziku. Neki programeri mogu imati problema s licencom Llama 4.

Korisnicima i tvrtkama s 'domicilom' ili 'glavnim mjestom poslovanja' u Europskoj uniji zabranjeno je koristiti ili distribuirati modele, što je vjerojatno rezultat zahtjeva upravljanja koje nameću regionalni zakoni o umjetnoj inteligenciji i privatnosti podataka.

Kao i s prethodnim izdanjima Llame, tvrtke s više od 700 milijuna mjesečno aktivnih korisnika moraju zatražiti posebnu licencu od Mete, koju Meta može odobriti ili odbiti prema vlastitoj procjeni.

Nova arhitektura

Llama 4 je prva kohorta modela koji koriste arhitekturu mješavine stručnjaka (MoE), koja je računalno učinkovitija za obuku i odgovaranje na upite. Te arhitekture u osnovi rastavljaju zadatke obrade podataka na podzadatke i zatim ih delegiraju manjim, specijaliziranim 'stručnim' modelima.

Maverick, na primjer, ima 400 milijardi ukupnih parametara, ali samo 17 milijardi aktivnih parametara preko 128 'stručnjaka'. (Parametri otprilike odgovaraju vještinama modela za rješavanje problema.) Scout ima 17 milijardi aktivnih parametara, 16 stručnjaka i 109 milijardi ukupnih parametara.

Prema Metinom internom testiranju, Maverick, za kojeg tvrtka kaže da je najbolji kao asistent opće namjene i za razgovore, premašuje modele kao što su OpenAI GPT-4o i Googleov Gemini 2.0 u određenim mjerilima kodiranja, rezoniranja, višejezičnosti, dugog konteksta i slika.

Međutim, Maverick se baš i ne može mjeriti sa snažnijim novijim modelima kao što su Googleov Gemini 2.5 Pro, Anthropicov Claude 3.7 Sonnet i OpenAI-jev GPT-4.5.

Snage Scouta leže u zadacima poput sažimanja dokumenata i rasuđivanja nad velikim bazama kodova. Ima vrlo veliki kontekstni prozor: 10 milijuna tokena. (Tokeni predstavljaju komadiće neobrađenog teksta - npr. riječ fantastično podijeljena je na fan, tas i tično.)

Scout može primiti slike i do milijune riječi, što mu omogućuje obradu i rad s iznimno dugim dokumentima. Što se hardvera tiče, Scout može raditi na jednom Nvidia H100 GPU-u, dok Maverick zahtijeva Nvidia H100 DGX sustav ili ekvivalent. Behemoth će trebati će još jači hardver. Ima 288 milijardi aktivnih parametara, 16 stručnjaka i gotovo dva bilijuna ukupnih parametara.

Metin interni benchmarking pokazuje kako Behemoth nadmašuje GPT-4.5, Claude 3.7 Sonnet i Gemini 2.0 Pro (ali ne i 2.5 Pro) na nekoliko procjena mjerenja STEM vještina poput rješavanja matematičkih problema.

Niti jedan od modela Llama 4 nije pravi model 'rezoniranja' poput OpenAI-jevih o1 i o3-mini. Modeli rasuđivanja provjeravaju svoje odgovore i općenito pouzdanije odgovaraju na pitanja, ali kao posljedica toga potrebno je dulje nego tradicionalnim modelima 'bez rasuđivanja' za davanje odgovora.

Modeli Llama 4 trebali bi također rjeđe odbijati odgovarati na potencijalno sporna ili škakljiva, a trebali bi biti i 'dramatično uravnoteženiji'. Dosad je pokazalo kako je pristranost u umjetnoj inteligenciji nerješiv tehnički problem, piše Tech Crunch.