U tvrtci Sony razvili su novu hibridnu tehnologiju. Povezali su senzor slike sa sustavom za obradu koji se oslanja na umjetnu inteligenciju u jedinstven, hardverski integriran sustav.

Osnovna zamisao je prilično jednostavna. Uzmete klasični senzor slike CMOS kakav ćete naći u bilo kojem smartfonu ili kameri danas i povežete ga s logičkim čipom osmišljenim ne samo za povlačenje piksela sa senzora već i za pokretanje te upravljanje modelom strojnog učenja koji izvlači informacije iz tih piksela.

Rezultat je Intelligent Vision Sensor, jedinstven elektronički sklop koji može obaviti puno zanimljivih postupaka obrade fotografije prije no što ista bude poslana u druge dijelove računala (poput matične ploče, grafičkog procesora i tome slično) ili izvan njega (u računalni oblak).

Senzori slike već imaju prateće procesore zadužene za obradu piksela, njihovo komprimiranje u format .jpeg i druge zadaće. Ali, u pravilu su specijalizirani za obavljanje šake jednostavnih zadaća vrlo brzo. Sonyjev čip bi trebao biti sposoban za sofisticiranije procese i rezultate.

Primjerice, dobije li sliku psa u polju može ju odmah raščlaniti na pojedine prikazane objekte i, umjesto slanja pune slike, poslati informaciju o tome što je prepoznao (psa, travu, livadu...) Također može obaviti i jednostavne zadaće uređivanja - recimo, izrezati sve na fotografiji osim dijeloa koje je prepoznao i onoga što mu je naloženo.

Zanimljive mogućnosti primjene

Tako bi, na primjer, mogao na slici cvijeta izdvojiti samo ocvijeće, ne i stabljiku. Najveća prednost takvog sustava je to što može odbaciti razne vrste nepotrebnih ili neželjenih podataka prije no što uopće dospiju u ostale dijelove računala i drugih dijelova sustava za obradu.

To znači manje opterećenje za glavni procesor, ali moguće i višu razinu sigurnosti.

Recimo, kamere na javnim mjestima mogle bi ga upogoniti kako bi automatski zamaglile lica ili registracijske pločice na automobilima. Pametni uređaji u domaćinstvu mogli bi prepoznati pojedince bez pohranjivanja ili slanja podataka o slikama.

Hoće li novi Sonyjev čip povećati potrošnju energije ili usporiti rad računala općenito? Zasad nije poznato, ali tvrtke kao što je Xnor (nedavno ih je kupio Apple) pokazale su kako takve zadaće mogu biti obavljene vrlo brzo i uz krajnje niske troškove.

Zasad je Intelligent Vision Sensor tek u fazi prototipa, dostupan za testiranje, ali ne i za proizvodnju. No, kako je Sony jedan od najvećih proizvođača senzora za obradu slike na svijetu, za očekivati je kako će se prije ili kasnije naći u velikom broju uređaja, piše Tech Crunch.