Prvič je napadel že poleti 1996, kot je razložil, predvsem z namenom, da bi zmedel in osramotil oblasti. S tem je želel doseči odpoved olimpijskih iger, ki naj bi promovirale "svetovni socializem", ali pa vsaj organizatorjem povzročiti velike izgube dobička. Ker ni mogel priti do močnega eksploziva, se je odpovedal prvotnemu načrtu, da bi med olimpijado v Atlanti uničil celotno oskrbo mesta z elektriko. Bomba, ki jo je razneslo med koncertom v sklopu iger, je bila skrita v nahrbtniku, ki mu ga je, napolnjenega z žeblji in vijaki, uspelo pretihotapiti na prizorišče kljub izredno ostremu varnostnemu nadzoru. Eksplozija je razpršila železne delce med nič hudega sluteče poslušalce, zaradi česar je ena ženska umrla, 111 ljudi pa je bilo ranjenih. Na srečo Rudolphu ni uspelo uresničiti svojega peklenskega načrta, saj je imel v mislih vsaj pet bombnih napadov v razmiku nekaj dni. "Resnično sem upal, da mi bo uspelo vso stvar izpeljati brez nedolžnih žrtev," je skesano priznal obtoženi, "in nimam nobenega izgovora za to, kar sem storil. Prevzel bom vse posledice." Ko je videl, kakšen je bil razplet dogodkov na prizorišču prve eksplozije, je preostale štiri bombe odnesel na prazno zemljišče v predmestju Atlante in jih tam aktiviral. Poleg priznanja za napad med olimpijado je obtoženi potrdil svojo krivdo za napad na nočni lokal, kjer so se zbirali homoseksualci, v katerem je bilo leta 1997 ranjenih pet ljudi. Istega leta je podtaknil bombo v poslovni stavbi prav tako v Atlanti, v kateri je imela svoj sedež klinika za opravljanje splavov. Ranil je šest ljudi. Sočasno kot teče proces v Atlanti, mu sodijo tudi v zvezni državi Alabami, kjer je leta 1998 v napadu na kliniko za opravljanje splavov umrl policist. Tudi tam je, ko ga je sodnik vprašal, ali je kriv, z visoko dvignjeno glavo ponosno izjavil, da je. Po napadih se je Rudolph uspešno izmikal roki pravice več kot pet let. Skrival se je v gorah Severne Karoline, kjer mu je prišlo prav znanje o preživetju, ki si ga je nabral med služenjem vojaščine. Prijeli so ga po naključju, ko je leta 2003 brskal za hrano med smetmi neke trgovine z živili.