Godine 1946. bio je dirigent Simfonijskog orkestra Radio Zagreba, predavao je dirigiranje na zagrebačkoj Muzičkoj akademiji, bio je šef dirigent Irskog radija u Dublinu, šef dirigent Simfonijskog orkestra Austrijskog radija u Beču, profesor dirigiranja na Visokoj muzičkoj školi u Grazu, šef dirigent Zagrebačkih simfoničara RTZ, šef dirigent Simfonijskog orkestra u Grazu. Bio je i rukovoditelj glazbenog dijela programa Dubrovačkih ljetnih igara.

Pet je godina bio i šef-dirigent Nacionalnog simfonijskog orkestra u Dublinu, a od 1969. do 1975. vodio je i Simfonijski orkestar ORF-a u Beču. Bio je počasni dirigent Komornog orkestra Lausanne, a od 1981. stalni gost dirigent i počasni član Slovenske filharmonije.

Punih šezdeset godina surađivao je sa Zagrebačkom filharmonijom i bio je njezin šef-dirigent, direktor, stalni gost-dirigent, a od 1985. doživotni počasni šef-dirigent. Vodio je orkestar Zagrebačke filharmonije u nekim od njegovih najsjajnijih trenutaka u Salzburgu, Veneciji, Marseilleu, Ženevi, Beču, SAD-u.

Surađivao je s najvećim svjetskim solistima poput Mstislava Rostropoviča, Davida Ojstraha, Yehudija Menuhina, Artura Benedettija Michelangelija i nagrađivan najvišim državnim nagradama i priznanjima.

Zagrebačka filharmonija ističe da je maestra Horvata izvanredna karijera vodila na sve krajeve svijeta i pred mnoge najpoznatije svjetske orkestre, a njegov ogromni repertoar odlikovao se 'savršenom preciznošću i reljefnošću oblikovanja'.