La Fage-Montivernoux az Aubrac-hegység bazaltfennsíkjának és a Margeride gránithegységének a határán fekszik, 1200 méteres (a községterület 1030-1292 méteres) tengerszint feletti magasságban, a Bédoués patak völgye felett. A falutól délre a Puy de Montivernoux 1289 méter magas orma magasodik, keleti határán pedig a Truc de l´Homme (1274 m).
Az ókorban egy római út vezetett erre, később pedig a Le Puy-ből Santiago de Compostelába vezető Via Podiensis. 1250-ben már kápolna állt itt, a település ekkor Fouon Clausso néven szerepelt. Nevét a bükkfa latin neve (fagus) után kapta. A helyi legenda szerint egy szalamandra mentette meg a falu népét a megmérgezéstől, így kapott helyet a község 1986-ban elfogadott címerében.
A történelmi Gévaudan tartományban fekvő falu lakossága az utóbbi két évszázadban az elvándorlás következtében kevesebb mint 1/3-ára csökkent.