Palhers a Jordane völgyében fekszik, 740 méteres (a községterület 668-1022 méteres) tengerszint feletti magasságban, Marvejols-tól 5 km-re délre. Északi határán magasodik a Truc de Midi 1020 méter magas orma.
A település a történelmi Gévaudan tartományban fekszik. Brèche-de-Roland-nál őskori település nyomait tárták fel, Brugers-nél pedig római emlékoszlopot találtak. A 12. században a templomosok kommendája működött itt, mely a 14. században a Máltai Lovagrend birtoka lett.