Legenda pravi, da je velikost olimpijskega štadiona nastala tako, da je Heraklej naredil 400 korakov in s tem določil obseg objekta, zato je atletski krog še vedno dolg 400 metrov. Zmagovalce olimpijskih iger so častili skoraj tako kot bogove in jim spesnili številne speve. Tedaj so tekmovali zgolj za čast, ki je Grkom ogromno pomenila, in za lovorjev ali oljkin venec, medtem ko so zmagovalci včasih za nagrado dobili tudi hrano.

Olimpijske igre je obudil Pierre de Coubertin. Oče olimpijskih iger moderne dobe je leta 1892 prvič predstavil idejo o olimpijskih igrah in jo dve leti zatem močno približal uresničitvi. Takrat je bil ustanovljen Mednarodni olimpijski komite, ki je sklenil, da bodo prve olimpijske igre moderne dobe leta 1896. Izbira kraja je bila logična, kajti prireditev je gostila Grčija. Podobno logičen se je zdel predlog, da bi morale biti igre v Atenah tudi leta 1996, ko je minilo sto let od prvih v grški prestolnici. Tedaj so se Grki potegovali za organizacijo športnega spektakla, a je kapital dobil prednost pred tradicijo in igre so bile v Atlanti, kar je v Grčiji povzročilo val ogorčenja. V deželi tisočerih otokov so se delno potolažili šele leta 2004, ko so gostili zadnje olimpijske igre, medtem ko De Coubertin ne bil prav nič navdušen, če bi vedel, da so ekonomski interesi že zdavnaj presegli njegove ideje, ki so temeljile na časti in amaterstvu, saj v njegovih časih tekmovalci za svoje dosežke niso smeli dobiti plačila.

Tako je bilo tudi na prvih igrah, ki so v Atenah in celotni Grčiji požele veliko pozornosti. Kljub navdušenosti ni šlo brez težav. Organizatorjem je primanjkovalo sredstev, zato jim je na pomoč priskočil premožni Georgios Averoff, ki je poskrbel za prenovo olimpijskega štadiona Panathinaiko, na katerem so bile tako antične igre kot prve moderne dobe. Averoff je investiral milijon grških drahem, kar naj bi bilo takrat okoli 100.000 ameriških dolarjev. Na prenovljenem štadionu je lahko na velikonočni ponedeljek šestega aprila leta 1896 spremljal otvoritveno slovesnost, ki ji je prisostvovalo 80.000 ljudi.

Tekmovalo je 241 športnikov, nekateri pa so na igre "zašli" povsem po naključju, kajti svoje reprezentance je zastopalo tudi nekaj turistov, ki so bili v tistem času v Atenah. Največji junak je bil zmagovalec maratona Spiridon Louis, po katerem se imenuje štadion, na katerem so bile olimpijske igre leta 2004. Nekatere discipline so potekale v zanimivih in predvsem nenavadnih okoliščinah. Tako so se morali plavalci spopadati z ogromnimi valovi, kajti tekmovanje je potekalo v morju, Louis pa je imel med maratonom še toliko časa, da je k svojemu stricu zavil na kozarec vina. Tako kot v antiki tudi leta 1896 ženske niso smele tekmovati. To je Stamato Revithi tako razjezilo, da je dan po maratonu za moške v znak protesta še sama pretekla isto razdaljo.