Legendarni Frazier, ki se je rodil 12. januarja 1944 v Južni Karolini kot najmlajši od 12 otrok, je umrl doma v Filadelfiji dober mesec dni za tem, ko so zdravniki odkrili, da je zbolel za rakom na jetrih.
Zlato olimpijsko kolajno je osvojil v težki kategoriji na igrah leta 1964 v Tokiu, kjer je do svoje prve zlate kolajne prišel tudi slovenski telovadec Miro Cerar. Šest let pozneje je Frazier kot profesionalec postal svetovni prvak v tej kategoriji, ko je s nokavtom premagal Jimmyja Ellisa. Naslov je izgubil leta 1973 proti Georgeu Foremanu. Frazier je leta 1971 zmagal v "borbi stoletja" proti Mohamedu Aliju in tako postal sploh prvi boksar, ki mu je uspelo premagati Alija. "Smokin' Joe", kot je bil Frazierjev vzdevek, je Alija v slovitem newyorškem Madison Square Gardnu s slovitim levim krošejem, s katerim je premagal še marsikaterega drugega nasprotnika, ugnal v 15. rundi. Oba boksarja sta po borbi končala v bolnišnici, vsak od njiju pa je prejel po 2,5 milijona dolarjev.
Frazier je nato naslednja dva dvoboja proti Aliju izgubil, vključno s slovito borbo leta 1975 na Filipinih, imenovano triler v Manili. V tem brutalnem dvoboju je Frazier izgubil po tehničnem nokavtu, saj mu trener Eddie Futch po 14. rundi zaradi poškodovanega obraza in zaprtega očesa ni več pustil nadaljevati. Tega mu Frazier nikoli ni oprostil.
V karieri je zbral 32 zmag, od tega 27 s KO, štiri poraze in en neodločen izid. Leta 1990 so ga sprejeli v mednarodni boksarski hram slavnih.