Koch se je rodil leta 1924 v Bronxu judovskima priseljencema iz Poljske. V času velike gospodarske depresije so živeli v Newarku v sosednji državi New Jersey, to pa je bil tudi eden redkih časov, ki ga je bil Koch prisiljen preživeti izven mesta, v katerega je bil zaljubljen.
Leta 1982 je sicer kandidiral za guvernerja države New York, vendar je svojo kandidaturo potopil sam, ko je dejal, da bo življenje v prestolnici Albany dolgočasno in moreče zapravljanje življenja. Koch si je pred leti za 20.000 dolarjev kupil grob na edinem pokopališču Manhattna pri cerkvi Sv. trojice, ko je še imela nekaj prostora. Takrat je dejal, da si ne more zamisliti, da bi ga preselili v New Jersey, niti po smrti.
Koch je sodeloval v drugi svetovni vojni kot navaden vojak, leta 1948 pa je končal pravo na Newyorški univerzi. Od leta 1966 do leta 1977 je bil mestni svetnik, dokler ni istega leta zmagal na volitvah za župana. Leta 1981 je bil gladko izvoljen še enkrat, leta 1985 pa je dobil kar tri četrtine glasov.
Bil je šele tretji župan v zgodovini mesta, ki je osvojil tri mandate. Za njim so zakon spremenili in županovanje omejili na največ dva mandata, vendar pa ga je sedanji župan Michael Bloomberg spremenil nazaj in sedaj končuje že tretji mandat.
Koch si je za svoj največji dosežek štel rešitev finančne krize mesta, kar mu je uspelo z drastičnimi varčevalnimi ukrepi in za nekaj od teh mu je bilo kasneje žal. Na primer za to, da je zaprl edino bolnišnico v Harlemu. Mestu je prihranil devet milijonov dolarjev, a je obenem temnopolte zdravnike, ki drugje niso mogli dobiti služb, obsodil na brezposelnost.
Ko je bil na položaju, pa je bil neizprosen. Odločno je zagovarjal državo Izrael. Do kriminalcev in odvisnikov od mamil ni imel usmiljenja, je pa vedno odločno podpiral pravice homoseksualcev. Koch ni bil nikoli poročen in ko so ga spraševali o spolni usmerjenosti, je imel vedno kratek odgovor: "Odjebi, neke stvari morajo ostati zasebne!" Vprašanja so se potem hitro nehala.
Njegova politična filozofija je bila ta, da če te nekdo udari, moraš udariti nazaj dvakrat močneje. Nikoli se ni bal povzdigniti glasu in ozmerjati nasprotnikov s sočnimi izrazi, ki so bili sinonim tako zanj, kot za mesto, ki ga je vodil. Po rasističnih umorih ob koncu njegovega tretjega mandata ga je na primarnih volitvah demokratske stranke ugnal David Dinkins, ki je postal prvi temnopolti župan mesta.
Ena od slavnih izjav, ki jih je Koch dal, je ta, da on ne dobi čira na želodcu, ampak ga povzroča pri drugih. Bogataša Donalda Trumpa je nekoč imenoval za prašička, v zgodovino pa je šel njegov nastop na mostu Queensboro, ki povezuje Astorio v Queensu z Manhattnom.
Leta 1980 so delavci mestnega prometa izpeljali eno od njihovih pogostih stavk. Koch je šel na most in ljudi, ki so ga prečkali, vzpodbujal z besedami, da "nas ti prasci ne bodo spravili na kolena". Ljudje so mu zaploskali in leta 2011 je most dobil njegovo ime.
Koch je velikokrat prestopil strankarske bregove in demokrati mu še posebej zamerijo, da je leta 2004 podprl republikanca Georgea Busha mlajšega na predsedniških volitvah. Podpiral je tudi Bloomberga, ki je kandidiral kot republikanec.
O sebi je Koch govoril, da je liberalec z zdravo pametjo. Po izgubi županskega položaja se ni upokojil. Delal je kot radijski voditelj, pisec komentarjev, televizijski sodnik in igralec. Velikokrat je zaigral kar samega sebe v raznih televizijskih serijah.
