Ivić je v 70ih letih prejšnjega stoletja zgradil najboljšo generacijo Hajduka, s katero je trikrat osvojil naslov hrvaških prvakov (v letih 1974, 1975 in 1979). Prvenstva je osvojil še v petih evropskih državah, kjer je prvak postal z Ajaxom, Portom, Anderlechtom, Olympiacosom in Marseillom. S Portom je leta 1987 osvojil štiri lovorike, poleg prvenstva še portugalski pokal, evropski spuerpokal ter interkontinentalni pokal. Poleg omenjenih klubov je vodil še Galatasaray, Fenerbahče, Panathinaikos, zagrebški Dinamo, PSG, Atletico Madrid, Benfico, Monaco, ...

Ivić je bil v bogati trenerski karieri tudi selektor treh reprezentanc, Hrvatom pa bo ostal v spominu po prvi veliki zmagi njihovih nogometašev, ko so leta 1994 v Palermu ugnali Italijo z 2:1.

Od aktivnega treniranja se je po nasvetu zdravnikov poslovil pred desetimi leti.