Rose je zablestel kot 17-letni fant na poletnih olimpijskih igrah leta 1956 v Melbournu, ko je osvojil kar tri zlata olimpijska odličja v prosti tehniki na 400 in 1500 m ter štafeti 4 x 200. Štiri leta kasneje na OI v Rimu pa je osvojil zlato kolajno na 400 m prosto ter srebrno in bronasto kolajno na 1500 m prosto.