Varga je svojo kariero začel v Ferencvarosu iz Budimpešte. Za državno reprezentanco je odigral 13 tekem, z njo pa leta 1964 v Tokiu osvojil naslov olimpijskega prvaka. Po igrah 1968 v Mehiki se je preselil v zahodno Evrope, kjer je sprva igral za Standard Liege (1968/69), nato za Hertho (od 1969 do 1972), Aberdeen (1972/73), Ajax Amsterdam (1973/74), Borussia Dortmund (od 1974 do 1976), Augsburg (1976/77) in Gent (1977/78). Po končani karieri nogometaša je deloval kot trener v nemških in madžarskih klubih. Varga je veljal za odlično tehnično podkovanega igralca iz stare šole Ferencvarosa.
Madžarski nogometaš Zoltan Varga se je zgrudil med tekmo veteranov in umrl
Madžarski nogometaš Zoltan Varga je v petkovih večernih urah umrl v 65. letu starosti. Nekdanji reprezentant in kasneje trener se je zgrudil med polčasom tekme veteranov v Budimpešti, poskusi oživljanja pa niso pomagali. Varga je v igro vstopil osem minut pred koncem prvega polčasa.