Posljednjih se 13 mjeseci Norton oporavljao od moždanog udara, ali u srijedu je izgubio bitku. Ostat će upamćen kao jedini teškaški svjetski prvak koji naslov nije osvojio u ringu. Naime, 1977. ga je Svjetsko boksačko vijeće (WBC) proglasilo prvakom jer je Leon Spinks odbio boksati protiv njega kao prvog izazivača, potpisavši umjesto toga ugovor za revanš protiv Alija. Već sljedeće godine je, međutim, Norton izgubio naslov u legendarnom meču protiv Larryja Holmesa u Las Vegasu i nikada više nije bio svjetski prvak.

Najslavniji trenutak Nortonove karijere dogodio se pet godina ranije, točnije 31. ožujka 1973. u San Diegu. Pobijedio je tada velikog Muhammada Alija, slomivši mu pritom i čeljust. Postao je tek drugi boksač (nakon Joea Fraziera) koji je izašao kao pobjednik iz meča protiv jednog od najvećih sportaša svih vremena. Boksao je nakon toga još dva puta protiv Alija, ukupno 27 rundi, ali je oba puta poražen.

U posljednjoj borbi u karijeri Norton je 1981. izgubio od Gerryja Cooneyja. Profesionalnu je karijeru okončao s 42 pobjede (33 nokauta), sedam poraza i jednim neodlučenim ishodom.