Rumford se narodil a vyrostl v Perthu ve státu Západní Austrálie. Golf začal hrát v deseti letech a brzy prokázal, že má přirozený talent pro kombinaci pohybu očí a rukou. Díky tomu dnes patří mezi jednoho z nejlepších hráčů na greenu. Austrálii reprezentoval v amatérském golfu (společně s dalšími budoucími hráči PGA Tour Aaronem Baddeleyem, Brendanem Jonesem a Kimem Feltonem) a byl členem elitního golfového programu AIS. Je známý především díky velmi tiché osobnosti a fantastickou pracovní morálkou, která mu už několikrát pomohla dostat se z těžkých období jeho hráčské kariéry. V roce 1999 Rumford vyhrál jako amatér turnaj ANZ Players Championship, který se hrál v rámci PGA Tour of Australasia. Hned následující rok přešel mezi profesionály. Od roku 2001 hraje European Tour na které vyhrál tři turnaje. V roce 2003 triumfoval na St Omer Open, v roce 2004 na Irish Open a v roce 2007 na turnaji Omega European Masters. Nejlepšího umístění na Order of Merit dosáhl v roce 2004, kdy obsadil 37. příčku. V roce 2008 Rumford po získání tour karty v kvalifikační škole hrál PGA Tour a sezónu zakončil 149. místem v žebříčku FedEx Cupu. V roce 2009 se vrátil do European Tour.