Felsőábrányt mint lakott települést 1395-ben említi először írott történeti forrás. A 3-as számú főút mellett fekvő mai temető minden bizonnyal már ekkor temetkezési helyül szolgált az itt lakóknak. Az ősi sírkert azonban a maitól kissé délre, a ravatalozó mögötti, mélyebben fekvő területen volt. Itt mára már mindössze néhány régi, különleges formájú sírkő áll mementóként az elmúlt századokat idézve.

Felsőábrány történelme során mindig is nemesi birtok volt, sőt több nagy múlttal rendelkező nemesi család is lakta. Ez híven tükröződik a temető arculatán is. Itt építtetett kriptát családjának 1891-ben Máhr Sándor nagybirtokos, de a XVI. században nemesi rangra emelt Menyhárt család nyughelye is itt található.
A nemesi birtoklás másik jelentős hozadéka volt a faluban, hogy az 1517-es reformáció után hamar reformátussá lett a falu nemessége és többi lakosa is. Ennek következtében szinte kizárólag reformátusok temetkeztek ide évszázadokon keresztül. A falusi köznyelv mind a mai napig "református temető"-ként emlegeti a sírkertet.
Alsó- és Felsőábrány egyesítése után 1950-től azonban felgyorsult a lakosság vallási keveredése, így egyre több lett a katolikus elhunytak száma is a temetőben. Mára már közös kezelésben van a sírkert: mintegy 2/3-át a református, 1/3-át a katolikus egyházközség tartja fenn.
2014-ben az önkormányzat jelentős forrásokat biztosított felújítási munkálatokra. Ekkor készült el az új kerítés, igényes térkő burkolatot kaptak a közlekedési utak és kiépült a térvilágítás is.