V svoji dolgi diplomatski karieri je bil od leta 1972 do 1982 generalni sekretar OZN, njegova kandidatura za predsednika avstrijske države pa je sprožila ostre razprave o njegovi vlogi v nemški vojski v času druge svetovne vojne ter v Avstriji povzročila intenzivno soočenje s preteklostjo. S svojo izjavo, ki jo je kasneje obžaloval, češ da je izpolnil le svojo obvezo kot sto tisoče drugih poštenih Avstrijcev, je stanje še poslabšal.
Kljub temu je Waldheim zmagal na volitvah in Avstriji predsedoval od leta 1986 do 1992. Njegovo zmago so v veliki meri pripisali temu, da je razprava o njegovi preteklosti mobilizirala protestne volilce, ki si niso pustili predpisati, koga lahko volijo in koga ne. Zaradi njegove izvolitve je odstopil tedanji kancler Fred Sinowatz.
ZDA so Waldheima leta 1991 uvrstile na tako imenovano "watch list", s katero mu je Washington dejansko prepovedal vstop v Združene države. Kljub kasnejšim intenzivnim diplomatskim prizadevanjem Avstrije ga ZDA nikoli niso umaknile s te liste. Leto pred iztekom predsedniškega mandata se je odpovedal ponovni kandidaturi. Avstrijska vlada je ustanovila mednarodno zgodovinsko komisijo, ki naj bi raziskala njegovo vojno preteklost. Ta je potrdila, da osebno ni zakrivil vojnih zločinov, vendar so bile njegove navedbe pomanjkljive in deloma napačne. Kot ordonanc je moral vedeti za deportacije deset tisočev Judov, italijanskih ujetnikov, za streljanje zavezniških vojakov in pokol jugoslovanskih partizanov v zahodni Bosni.
Razprava o njegovi preteklosti se je v času predsedovanja nadaljevala, tuji državniki ga niso vabili na obiske in ga niso obiskovali, Waldheim pa je postal "osamljeni mož v Hofburgu".
