Fiatalon kezdett el futballozni a szülővárosában található Jedinstvo Užice akadémiáján. Öt év után elhagyta a csapatot, és tizenkét éves korában a Sloboda Užice együtteséhez szerződött. 2000-ben felfigyelt rá az ország egyik legsikeresebb klubja, a Crvena zvezda. Tizennyolc éves korára felhívták az első keretbe, nemsokára pedig alapemberré nőtte ki magát. 2004 nyarán először szerződött külföldre, az orosz Szpartak Moszkva igazolta le. Itt Európa legkeresettebb hátvédei közé került, főként a válogatottban nyújtott teljesítménye miatt, ahol vezére volt hazája védelmének.
2006 januárjában a Manchester United szerződtette 7 millió euróért.[4] A vezetőedző, Alex Ferguson kezdetektől alapemberként számított rá. A manchesteriek színeiben ötször nyerte meg az angol bajnokságot, háromszor a ligakupát, egyszer pedig a Bajnokok Ligáját, emellett kétszer is a szezon játékosának választották a Premier League-ben. A 2010–11-es szezontól három éven át ő volt a United csapatkapitánya. Nyolc év után, 2014 nyarán ingyen igazolhatóként távozott a klubtól, majd az olasz Internazionale szerződtette. 2016 januárjában jelentette be visszavonulását.
2002. október 12-én bemutatkozott a jugoszláv nemzeti csapatban, egy Olaszország elleni mérkőzésen. Ezt követően három éven keresztül Szerbia és Montenegró válogatottját erősítette, egyszer pedig az U21-esek között is pályára lépett. 2006-tól 2011-ig a Szerbia színeiben szerepelt. 2011 októberében bejelentette visszavonulását a nemzeti csapattól.