Varga je svojo kariero začel v Ferencvarosu iz Budimpešte. Za državno reprezentanco je odigral 13 tekem, z njo pa leta 1964 v Tokiu osvojil naslov olimpijskega prvaka. Po igrah 1968 v Mehiki se je preselil v zahodno Evrope, kjer je sprva igral za Standard Liege (1968/69), nato za Hertho (od 1969 do 1972), Aberdeen (1972/73), Ajax Amsterdam (1973/74), Borussia Dortmund (od 1974 do 1976), Augsburg (1976/77) in Gent (1977/78). Po končani karieri nogometaša je deloval kot trener v nemških in madžarskih klubih. Varga je veljal za odlično tehnično podkovanega igralca iz stare šole Ferencvarosa.