Znanstvenici iz tima sa Sveučilišta u Marylandu pretvorili su odazir u oku u donekle razgovjetne trodimenzionalne scene. Rad se temelji na tehnologiji umjetne inteligencije NeRF (skraćeno od Neural Radiance Fields, polja neuralnog zračenja) uz pomoć koje se trodimenzionalne scene mogu izgraditi uz pomoć dvodimenzionalnih fotografija. Premda je pristup refleksije u oku daleko od bilo kakvih praktičnih primjena, studija pruža intrigantni uvid u tehnologiju koja će u jednom trenu moći razotkriti okoliš uz pomoć jednostavnih potrtreta.

Tim je za pokus koristio seriju snimki refleksije svjetla u ljudskom oku pomoću kojih su pokušali rekonstruirati okoliš. Počeli su s nekoliko fotografija visoke rezolucije iz fiksne pozicije, snimivši osobu u pokretu koja stalno gleda prema kameri, a potom su se zumirali na refleksije, izolirali ih i pomoću njih na seriji fotografija pokušali odrediti u kojem je smijeru osoba gledala.

Rezultati prikazuju relativno razanjivu rekonstrukciju okoliša izrađenu pomoću ljudskih očiju u kontroliranim uvjetima. Scena snimljena pomoću umjetnog oka polučila je impresivnijom sanjivom scenom. Pokušaj modeliranja refleksija oka iz videa Lady Gage i Miley Cyrus samo je stvorio mrlje koje su znanstvenici razaznali kao LED rasvjetu i kameru na stativu, ilustrirajući koliko je ta tehnologija daleko od primjene u pravom svijetu.

Tim je morao vrlo velike prepreke kako bi uopće uspio rekonstruirati grupe i zamućene scene. Primjerice, The team overcame significant obstacles to reconstruct even crude and fuzzy scenes. Primjerice,

rožnica uvodi 'inherentnu buku' koja otežava odvajanje reflektirane svjetlosti od složenih tekstura ljudske šarenice. Kako bi riješili taj problem, znanstvenici su uveli posebnu optimizaciju položaja rožnice i razgradnju tekstura šarenice tijekom treninga umjetne inteligencije. Radijalni gubitak regularizacije teksture (tehnike strojnog učenja koja simulira glađe teksture od izvornog materijala) pomogao je u daljnjoj izolaciji i poboljšanju reflektiranog krajolika.

Unatoč napretku i pametnim zaobilaznim rješenjima, i dalje postoje značajne prepreke. 'Naši trenutni rezultati iz stvarnog svijeta proizlaze iz 'laboratorijskog postavljanja', kao što je snimanje zumiranog lica osobe, rasvjete područja za osvjetljavanje scene i namjernog kretanja osobe", napisali su autori. 'Vjerujemo da su nesputanije postavke i dalje velik izazov (primjerice, videokonferencije s prirodnim pokretima glave) zbog niže razlučivosti senzora, nižeg dinamičkog raspona i zamućenja pokreta.' Tim je također otkrio da bi njihove univerzalne pretpostavke za teksturu šarenice mogle biti previše jednostavne da bi se primijenile u širokim razmjerima, posebno kada se oči obično šire šire nego u ovoj vrsti kontroliranog okruženja.

Tim unatoč svemu svoj napredak vidi kao prekretnicu koja može potaknuti buduća otkrića. 'Nadamo se da ćemo ovim radom potaknuti buduća istraživanja koja iskorištavaju neočekivane, slučajne vizualne signale za otkrivanje informacija o svijetu oko nas, šireći horizonte rekonstrukcije 3D scene.' Iako bi napredne verzije ovog istraživanja mogle proizvesti neka jeziva i neželjena uplitanja u privatnost, možete spavati mirno znajući da ova verzija može samo nejasno razaznati lutku Kirbyja čak i pod najidealnijim uvjetima, zaključuje Engadget.