Karlov je rođen u Moskvi 1954. godine, a diplomatsku karijeru započeo je u svojim ranim 20-im godinama, nakon što je diplomirao na Moskovskom državnom institutu za međunarodne odnose. Poslije završene diplomatske akademije, od 2001. do 2006. bio je ruski veleposlanik u Sjevernoj Koreji

Britanski veleposlanik u Turskoj Richard Moore opisao je Karlova na svojem profilu na Twitteru kao osobu blagog glasa i čovjeka koji je uvijek bio gostoljubiv i profesionalan.

Karlova su u Turskoj često prozivali zbog tenzija oko uloge Rusije u ratu u Siriji, a službena je Ankara - nakon što je ruska vojska bombardirala područja u Siriji na kojima živi turska manjina - u nekoliko navrata pozvala Karlova da prenese jasnu poruku Moskvi.

'Vrlo je stresno to što akcije Moskve nisu borba protiv terora, već bombardiranje sela u kojima živi turska manjina. Ovo bi moglo imati ozbiljne posljedice', izjavio je jednom prilikom turski ministar vanjskih poslova Mevlut Cavusoglu

Nakon što su prošle jeseni turski lovci oborili ruski avion u blizini granice sa Sirijom, tvrdeći da je povrijedio turski zračni prostor, Karlovu je službena Ankara stalno upućivala prosvjedne note u kojima je stajalo da ruske zračne snage konstantno ulaze u turski zračni prostor.

Karlov je iza sebe ostavio suprugu Marinu i sina, a ruske agencije javljaju da se ona onesvijestila čuvši vijesti da je ubijen te je odmah hospitalizirana.

Povjesničari, inače, tvrde da je ovo prvo ubojstvo ruskog veleposlanika još od atentata na veleposlanika tadašnjeg Sovjetskog Saveza Pjotra Vojkova u Poljskoj 1927. godine, a u 19. stoljeću u Teheranu je od posljedica opsade ruskog veleposlanstva u Iranu poginuo ruski pjesnik i diplomat Aleksandar Gribojedov