A Hannovernél nem tűnt különösebben tehetséges játékosnak, ezért egy év múlva már azon gondolkodott, hogy végleg felhagy a labdarúgással. Ezek ellenére a Hannover 96 edzője megengedte, hogy a profi csapat edzésein vegyen részt. 2003 novemberében először léphetett pályára a Bundesligában. Hamarosan profi szerződést ajánlottak neki, mégis négy hónapot kellett várnia a következő első osztályú mérkőzésre. 2004-ben már a legbiztosabb csapattagok közé tartozott, ebben a szezonban a német labdarúgók őt választották a legnagyobb német labdarúgó-reménységnek.
2006. augusztusában igazolt Brémába a Werder csapatához, ahová 2012-ig írt alá.[2]
A 2007–08-as szezonban megkapta élete első piros lapját a VfB Stuttgart elleni vereség alkalmából (6-3).[3] A második helyen végeztek a bajnokságban, így a következő szezonban indulhatnak a Bajnokok Ligájában. A szezon végén, 2 évvel meghosszabbította az eredeti szerződést.[4]
Miután visszatért a 2008-as Európa-bajnokságról, Mertesacker ismét hiányzott a szezon elejéről, térd sérülés és betegség miatt. Szeptemberben tért vissza a kezdőcsapatba. Gólt szerzett a Német Kupa elődöntőjének a visszavágóján a rivális Hamburg ellen, hosszabbításban 4-2-re nyertek. A következő mérkőzéseken mindig szerepelt, egy sérülés miatt kénytelen volt kihagyni a UEFA-kupa elődöntő második mérkőzését a Hamburg ellen.[5] Később kiderült, hogy szalag szakadás történt a jobb bokájában amit műteni kellett. Kihagyta az UEFA-kupa döntőt, amit elvesztettek a Shakhtar Donetsk ellen, a győztes Német Kupa döntőt is kénytelen volt kihagyni.
Mertesacker jól kezdte a 2009-10 szezont is egy 5-0 arányú győzelemmel az FC Union Berlin ellen a DFB-Kupában, a szezon első játékában. Októberben szerezte az első gólját a szezonban egy 2-0-s Hoffenheim elleni győzelem során, és egy egyenlítő gólt is jegyzett az utolsó pillanatban a Bayer Leverkusen elleni februári összecsapásban.
2011. augusztus 31-én hivatalosan bejelentették hogy az Arsenal játékosa lett.[6] Első évében nem kapott sok játéklehetőséget a nagyon jó formában lévő Laurent Koscielny és a csapatkapitány-helyettes Thomas Vermaelen mögött. A 2012-13-as szezonban viszont a francia formahanyatlásának köszönhetően stabil kezdőember lett, csapata egyik legjobbja volt az őszi idényben. A Tottenham Hotspur FC ellen 5-2-re megnyert mérkőzésen gólt is fejelt. Tavasszal Koscilenyvel alkottak nagyon stabil védőpárost, a csapatkapitánnyá váló Vermaelen pedig kispadra szorult. A szezon során még egyszer betalált a Spurs hálójába, és a Fulham ellen is gólt fejelt. A 2013-14-es szezon elején az Aston Villa elleni vesztes, és a Fenerbahçe elleni nyertes meccsen ő viselhette a csapatkapitányi karszalagot, Thomas Vermaelen és Mikel Arteta hiányában.
A Hannover 96-nál elért sikereit követően hívta meg őt Jürgen Klinsmann a nemzeti válogatottba. A válogatottban 2004. október 9-én lépett először pályára az iráni labdarúgó-válogatott ellen. 2006-ban a világbajnokságon részt vevő német válogatott alapembere volt. A 2008-as Európa-bajnokságra Joachim Löw a német focirajongók nyomására hívta csak meg Mertesackert, ahol a csapattal együtt ezüstérmes lett. A 2010-es világbajnokságon is tagja volt a bronzérmet szerző válogatottnak.
Ez a szócikk részben vagy egészben a Per Mertesacker című angol Wikipédia-szócikk fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.