1990 wurde Frazier in die "International Boxing Hall of Fame" aufgenommen. Zur Legende machten den "Smokin' Joe" genannte Boxer vor allem seine drei Kämpfe gegen Muhammad Ali.

8. März 1971, Madison Square Garden New York: Joe Frazier Sieger nach Punkten

Joe Frazier fügt dem großen Ali im Kampf um die WM-Gürtel von WBA und WBC die erste Niederlage in dessen Karriere zu. In dem "Kampf des Jahrhunderts" schlug Frazier seinen Widerpart in der 15. und letzten Runde mit einem linken Haken zu Boden. "Ich kann mich nicht erinnern, dass ich gefallen bin. Also muss mich Joe Frazier voll getroffen haben", gab Ali später zu. 20 455 Zuschauer, darunter alle Größen der amerikanischen Gesellschaft, bescherten den Veranstaltern Rekordeinnahmen in Höhe von 1,352 Millionen Dollar. Die beiden Boxer bekamen Rekordbörsen von jeweils 2,5 Millionen Dollar.

28. Januar 1974, Madison Square Garden New York: Muhammad Ali Sieger nach Punkten

Das zweite Aufeinandertreffen der Box-Legenden ging angesichts der beiden anderen spektakulären Duelle unter. Beide kämpften um den Titel des unbedeutenden Verbandes NABF. Frazier war nach harten Treffern von Ali in der fünften Runde zweimal am Boden, konnte sich aber über die Zeit retten. Für den damals 30 Jahre alten "Smokin' Joe" war dies die zweite Niederlage seiner Karriere, nachdem er ein Jahr zuvor WBA- und WBC-WM-Gürtel durch Technischen K.o. in der zweiten Runde gegen seinen Landsmann George Foreman verloren hatte.

1. Oktober 1975, Araneta Coliseum Manila: Muhammad Ali Sieger durch Aufgabe nach der der 14. Runde

28 000 Zuschauer im prall gefüllten Araneta Coliseum wurden Zeugen der wohl größten Ringschlacht. In die Boxgeschichte ging das Duell als "Thrilla in Manila" ein. Weil das Duell zur besten TV-Zeit in den USA gezeigt werden sollte, musste am philippinischen Vormittag geboxt werden. Im Hexenkessel wehte kein Lufthauch, bei tropischer Gluthitze lieferten sich beide Boxer über 14 Runden einen gnadenlosen Schlagabtausch, der ein abruptes Ende fand. Trainer Eddie Futch nahm Frazier vor der Schlussrunde trotz dessen Proteste aus dem Ring. "Der nächste Schlag hätte tödlich sein können", begründete Futch seine Entscheidung. Aber auch Ali war völlig am Ende, erlitt im Ring einen Kollaps und lag am Boden.