Nelson je profesionalno igral v ligi NBA od leta 1962 do leta 1976. Največji pečat je pustil pri ekipi Boston Celtics, kjer je igral enajst sezon in z njo osvojil pet šampionskih prstanov. Nato je prevzel delo trenerja, ki ga je opravljal od leta 1976 do leta 2010.
Treniral je košarkarje ekip Milwaukee Bucks, New York Knicks, Dallas Mavericks in nazadnje Golden State Warriors. Z njimi je dosegel 1335 zmag, s čimer je takrat postal trener z največ zmagami v ligi NBA. Ta rekord je šele leta 2022 presegel Gregg Popovich s San Antonio Spurs (1390).
Od leta 1997 do leta 2005 je bil trener kluba Dallas Mavericks in je pomembno prispeval h karieri nemškega zvezdnika Dirka Nowitzkega v ligi NBA. Trikrat je bil imenovan za trenerja leta v ligi NBA (1983, 1985, 1992), dvakrat pa je svoje igralce popeljal na tekmo vseh zvezd.
Nelson je bil selektor ZDA na svetovnem prvenstvu leta 1994 v Torontu, kjer so Američani osvojili zlato medaljo.