Svojo kariero je začel, ko je ustanovil glasbeno skupino z Billyjem Connollyjem. Bil kje soavtor skladbe Stuck In The Middle With You skupine Stealers Wheel, s katero je leta 1992 Quentin Tarantino podložil film Stekli psi. Ključen za njegovo slavo pa je bil hit Baker Street iz leta 1978, ki se je prodal v milijonih izvodov, z njim pa je na leto z avtorskimi pravicami zaslužil okoli 94 tisoč evrov.
V zadnjih letih se je Rafferty pojavljal v medijih zaradi alkoholizma, leta 2008 pa je prestal tudi odpoved jeter.
