Kultna pjesma 'Another Brick in the Wall' britanskog benda Pink Floyd mogla bi biti prekretnica u znanstvenim istraživanjima. Znanstvenici su, naime, računalno uspjeli rekonstruirati dionicu pjesme čitajući moždanu aktivnost. Dok je 29 pacijenata bilo na operaciji, slušali su tu pjesmu, a za to vrijeme znanstvenici su koristili elektrode za prikupljanje moždanih signala pacijenata, da bi potom rekreirali pjesmu pomoću umjetne inteligencije
Istraživači s Kalifornijskog sveučilišta u Berkeleyju kažu da je ovo prvi put da su znanstvenici rekonstruirali pjesmu iz snimaka moždane aktivnosti pacijenata. Nakon što su im postavili elektrode, snimali su mozgove 29 pacijenata s epilepsijom u Medicinskom centru Albany u državi New York od 2009. do 2015. godine.
Moždana aktivnost dobrovoljaca detektirana je postavljanjem elektroda izravno na površinu njihova mozga dok su bili podvrgnuti operaciji. Umjetna inteligencija zatim je korištena za dekodiranje snimaka, a potom za kodiranje reprodukcije zvukova i riječi.
Kako se tehnike snimanja mozga poboljšavaju, moglo bi također postati moguće napraviti takve snimke bez potrebe za operacijom, već korištenjem osjetljivih elektroda pričvršćenih na tjeme, piše Jordan News.
vezane vijesti
Tim je odabrao pjesmu Pink Floyda dijelom zato što se sviđala starijim pacijentima.
'Glazba je po svojoj prirodi emotivna i prozodijska – ima ritam, naglasak i intonaciju. Sadrži mnogo veći spektar stvari od ograničenih fonema u bilo kojem jeziku, što bi moglo dodati još jednu dimenziju implantabilnom dekoderu govora', rekao je Robert Knight, neurolog s Berkeleyja koji je proveo studiju s postdoktorandom Ludovicom Bellierom.
Ovo otkriće moglo bi biti ključno za pomoć osobama s oštećenjima na mozgu, uzrokovanih neurološkim stanjima – kao što su moždani udar ili amiotrofična lateralna skleroza – da bolje i jasnije komuniciraju. Proteklih nekoliko godina znanstvenici su napravili velike pomake u izdvajanju riječi iz električnih signala koje proizvode mozgovi ljudi s paralizom mišića kada pokušavaju govoriti, piše TheGuardian.
Dok se u prethodnom istraživanju dekodirala električna aktivnost iz govornog motoričkog korteksa u mozgu – područja što kontrolira sitne pokrete mišića usana, čeljusti, jezika i grkljana koji tvore riječi – sadašnja studija koristila je snimke iz slušnih regija mozga, gdje se obrađuju svi aspekti zvuka.
Temeljem tih podataka istraživači su razvili računalni model za rekonstrukciju zvukova iz podataka o moždanoj aktivnosti te tako otkrili da mogu proizvesti zvukove koji podsjećaju na kultnu pjesmu s albuma 'The Wall' iz 1979. godine.
Kako se može čuti u audiozapisu iznad, rekreirani taktovi zvuče iskrivljeno, no pjesmu je lako prepoznati, a elementi ritma, melodije i harmonije posve su jasni.
Premda vrlo prigušeno, fraza 'All in all, it's just another brick in the wall' probija se u rekonstruiranoj pjesmi – s netaknutim ritmovima i melodijom. 'Zvuči pomalo kao da govore pod vodom, ali ovo je naš prvi pokušaj', rekao je dr. Knight.
Istraživači već godinama rade na dekodiranju aktivnosti mozga pomoću umjetne inteligencije. Pokušali su čitati snimke mozga kako bi odredili koje riječi ljudi slušaju, a čak su pokušali prevesti cijele priče. Drugo istraživanje imalo je cilj reproducirati slike koje su gledali sudionici.
'Ovo je uzbudljivo vrijeme'
Ove godine istraživači su pod vodstvom dr. Alexandera Hutha sa Sveučilišta Teksas u Austinu objavili da su uspjeli prevesti moždanu aktivnost u kontinuirani tok teksta koristeći podatke neinvazivnog MRI skeniranja. Sustav nije bio dovoljno precizan da dekodira točne riječi, ali je mogao otkriti srž rečenica.
'Ova nova studija stvarno je lijepa demonstracija toga da se puno istih tehnika koje su razvijene za dekodiranje govora također može primijeniti na glazbu, nedovoljno cijenjeno područje u našem području, s obzirom na to koliko je glazbeno iskustvo važno u našem životu', rekao je Huth.
'Iako nisu bilježili reakcije mozga dok su subjekti zamišljali glazbu, ovo bi mogla biti jedna od stvari za koje će se sučelja moždanih strojeva koristiti u budućnosti: prevođenje zamišljene glazbe u stvarnu stvar. Ovo je uzbudljivo vrijeme', istaknuo je.
Istraživanje, objavljeno u PLoS Biology, također je odredilo nova područja mozga uključena u otkrivanje ritma i potvrdilo da je njegova desna strana više prilagođena glazbi nego lijeva.
Bolje razumijevanje načina na koji se obrađuju glazba i jezik moglo bi imati i praktične primjene, poput pomoći u rasvjetljavanju misterija zašto ljudi s Brocinom afazijom, koji se bore pronaći i izgovoriti prave riječi, često mogu pjevati bez poteškoća.
Znanstvenici se nadaju da će izgraditi novu 'govornu protetiku' za ljude s neurološkim bolestima koje utječu na njihovu vokalnu produkciju. Cilj je da ovi uređaji prenose ne samo ono što netko pokušava reći, već i zadržavaju dio muzikalnosti, ritma i emocija organskog govora.
