Adobe je službeno ušao u svijet generativne AI tehnologije za video lansiranjem prethodno najavljenog i odsad dostupnog Firefly Video Modela. Novi alati su osmišljeni da bi kreatorima omogućili generiranje videa pomoću statičnih slika, tekstualnih opisa i proširenje postojećih videoisječaka, sve izravno unutar aplikacija kao što je Premiere Pro i putem weba.

Generative Extend u Premiereu Pro

Jedan od glavnih novih alata, Generative Extend, sada je dostupan u beta verziji za Premiere Pro. Dizajniran je kako bi kreatorima omogućio proširenje postojećih videoisječaka koji su možda prekratki ili kako bi popravili manje probleme tijekom snimanja, poput pomicanja očiju izvan okvira ili neočekivanih pokreta. Snimci se mogu produžiti do dvije sekunde, što je dovoljno za male dorade, kao i izbjegavanje potrebe za ponovnim snimanjem zbog malih grešaka.

Naprimjer, ako je videozapis u kojem osoba hoda prema automobilu prekratak, Generative Extend može dodati nekoliko koraka na kraju snimke, čime omogućuje širu upotrebu materijala. Alat također može produžiti audio elemente poput zvučnih efekata ili ambijentalnih zvukova do 10 sekundi, što može pomoći u stvaranju prirodnijih prijelaza između scena. Međutim ne može generirati ili produžiti govorne dijaloge ili glazbu, što trenutno ostavlja neka ograničenja u njegovoj funkcionalnosti.

Produženi videozapisi mogu biti generirani u rezolucijama od 720p ili 1080p pri 24 sličice po sekundi, što je standardna kvaliteta za većinu online videosadržaja. Iako su te nadogradnje relativno male u trajanju i rezoluciji, alat Generative Extend može značajno uštedjeti vrijeme i resurse u procesu montaže, smanjujući potrebu za dodatnim snimanjima za popravljanje manjih grešaka.

Text-to-Video i Image-to-Video na webu

Pored alata u Premiereu Pro, predstavljene su dvije nove mogućnosti generiranja videa putem weba - Text-to-Video i Image-to-Video - s time da su obje opcije dostupne u ograničenoj javnoj beta verziji unutar Adobeove web aplikacije Firefly. Ove alatke omogućuju korisnicima da generiraju kratke videozapise iz tekstualnih opisa ili statičnih slika, što otvara mnoge nove kreativne mogućnosti za korisnike bez potrebe za snimanjem novih materijala.

Text-to-Video

Slično kao i kod drugih video generatora, kao što su Runway ili OpenAI-jeva Sora, korisnici unose tekstualni opis željene scene. Primjerice, korisnik može unijeti opis poput 'zmaj leti iznad vulkana tijekom erupcije' i alat će stvoriti kratki video zasnovan na tom opisu. Ovaj alat može emulirati različite stilove, poput tradicionalnog filma, 3D animacije ili tehnike stop-motion. Kreatori mogu dodatno prilagoditi video koristeći različite 'kontrole kamere', simulirajući kutove kamere, pokrete i udaljenost snimanja.

Image-to-Video

Alat Image-to-Video ide korak dalje, omogućujući korisnicima da uz tekstualni opis dodaju referentnu sliku kako bi imali još veću kontrolu nad ishodom generiranog videa. Adobe sugerira da se ova funkcionalnost može koristiti za kreiranje b-roll snimaka iz fotografija ili za vizualizaciju reshootova dodavanjem statičnih slika iz postojećih videozapisa.

Međutim, iako su rezultati impresivni, alati još nisu dovoljno sofisticirani da u potpunosti zamijene stvarne snimke ili ponovno snimanje. Primjerice, u demonstraciji alata Image-to-Video, stvoreni video pokazuje određene pogreške, kao što su kabeli koji se pomiču bez razloga i nestabilna pozadina, što ukazuje na to da tehnologija još uvijek nije dovoljno zrela za potpuno zamjenjivanje profesionalnih snimanja.

Iako je alat ograničen na generiranje videozapisa u trajanju do pet sekundi i maksimalnoj rezoluciji od 720p pri 24 sličice po sekundi, ovo je i dalje značajan iskorak u korištenju generativne AI tehnologije za video. U usporedbi s konkurencijom, poput OpenAI-jeve platforme Sora, koja može generirati videozapise do minute, Adobe je odlučio ograničiti duljinu svojih isječaka na najviše četiri do pet sekundi. Međutim planira i uvesti 'turbo mod' kako bi se vrijeme generiranja smanjilo s trenutnih 90 sekundi po videozapisu.

Komercijalna sigurnost i autorska prava

Jedna od glavnih prednosti Adobeovih alata u odnosu na konkurenciju njihova je 'komercijalna sigurnost'. Adobe tvrdi da su njegovi alati obučeni na sadržaju za koji su imali dozvolu, čime su sigurni za komercijalnu upotrebu, za razliku od drugih alata, poput Runwaya, koji su pod istragom zbog optužbi da su obučeni na tisućama videa preuzetih bez dopuštenja s platformi poput YouTubea. Ovo je važan čimbenik za mnoge korisnike jer omogućuje sigurno korištenje AI generiranih sadržaja bez rizika od kršenja autorskih prava.

Dodatno, videi generirani pomoću Fireflya mogu imati ugrađenu listu korištenog sadržaja i autora, što pomaže u transparentnom označavanju korištenja AI tehnologije prilikom objavljivanja sadržaja na internetu. Ovi podaci također mogu sadržavati informacije o pravima vlasništva, što dodatno štiti kreatore.

Širi planovi za Adobeovu AI tehnologiju

Ovi AI alati predstavljeni su na Adobeovoj godišnjoj konferenciji MAX, a tvrtka je predstavila i niz drugih značajki koje koriste umjetnu inteligenciju unutar kreativnih aplikacija, poput Photoshopa, Illustratora i After Effectsa. Firefly se pokazao kao središnji dio Adobeove strategije za budućnost, a s novim videoalatima pozicionira se kao ključni igrač na polju generativne umjetne inteligencije, posebno u kontekstu kreativne industrije.

Iako je tehnologija još uvijek u beta fazi i ograničena u pogledu duljine i kvalitete videa, Adobeovi alati otvaraju nove mogućnosti za kreatore u industriji filma, marketinga i društvenih medija, omogućujući brže i jednostavnije stvaranje visokokvalitetnih videosadržaja s minimalnim naporom, zaključuje Verge.