U današnje doba Industrije 4.0 i interneta stvari (Internet of Things, IoT) izravna komunikacija stroja sa strojem (M2M, Machine-to-Machine Communications) preuzima sve važniju ulogu. Tokovi podataka rastu alarmantnim stopama i utoliko predstavljaju sve veći izazov u obradi.

Prvi open source softver dizajniran za analizu velikih podatkovnih tokova u realnom vremenu u distribuiranim sustavima, s ciljem zatvaranja ovoga jaza, objavljen je u sklopu EU projekta 'Flexible Event Processing for Big Data Architectures' (FERARI).

Projektni tim sastavljen je od stručnjaka iz njemačkog instituta Fraunhofer - Institut für Intelligente Analyse und Informationssysteme (IAIS) i pet drugih partnera, uključujući i Poslovnu inteligenciju iz Hrvatske.

'Namjera projekta FERARI je olakšanje obrade velikih količina podataka. Pojedinačni senzori uključenih strojeva u konačnici odlučuju žele li komunicirati informacije koje prikupe i koje druge komponente u sustavu smatraju relevantnima. To znači da se tok podataka reducira na minimum', kaže dr. Michael Mock, voditelj projekta na Fraunhofer IAIS-u.

U kombinaciji s metodom obradom složenih međuovisnih događaja (CEP, Complex Event Processing), omogućeno je da se važne korelacije sada mogu pronaći u višestruko povezanim tokovima podataka u stvarnom vremenu. 'Posebice tijekom faze razvoja, osjetili smo da je presudno omogućiti korisnicima da se, što je prije moguće, upoznaju sa softverom', ističe Mock, 'Zbog tog i drugih razloga odlučili smo integrirati cijelu programsku konfiguraciju u tzv. docker container.'

To znači da korisnici s uporabom mogu početi odmah po preuzimanju, bez potrebe za daljnjom instalacijom. Dopunska video dokumentacija pokazuje kako se u nekoliko koraka mogu razviti inicijalne aplikacije i potom testirati pomoću seta podataka koji se isporučuju kao primjeri.

Ideja iza ovog jednostavnog pristupa je unaprijediti distribuciju modernih Big Data aplikacija za znanost i gospodarstvo u najvećoj mogućoj mjeri. Tehnološku osnovu za projekt dao je partner IBM Haifa i njihov alat 'IBM Proactive Technology Online (Proton), posebno dizajniran za obradu složenih događaja.

'Da bi se koristio u kombinaciji s FERARI-jem, Proton je trebalo pripremiti za obradu velikih tokova podataka, pa smo odlučili integrirati naš softver s platformom Apache Storm', objašnjava dr. Fabiana Fournier, IBM-ova znanstvenica zadužena za projekt. To omogućuje rad Proton on Storma na više računala istovremeno, što je bitan preduvjet za obradu izuzetno velikih količina podataka u realnom vremenu.

'Ocjene koje smo dobili za prvu godinu projekta i ova objava softvera potvrđuju da smo na dobrom putu. Kao dio projekta, Poslovna inteligencija radi na algoritmima za anonimizaciju podataka, koje planiramo prezentirati široj stručnoj javnosti u sljedećem periodu', kaže Dražen Oreščanin, predsjednik uprave Poslovne inteligencije.

Osim Fraunhofer IAIS-a, IBM Haifa Research Labs i Poslovne inteligencije, ostali suradnici na projektu FERARI su Technion - Izraelski institut za tehnologiju, Tehničko Sveučilište s Krete, Hrvatski Telekom. Projekt se ukupno 36 mjeseci financira u sklopu Sedmog okvirnog programa EU za istraživanje (FP7).