Il a été établit qu'une voie romaine passait à Beylongue.

L'église Saint Pierre est inscrite Monument Historique en 1996. Elle a été bâtie sur un cimetière d’urnes funéraires. C’est un édifice roman que son décor sculpté permet de dater du second quart du XIIème.

Elle a été fortifiée au XIVème. Elle se présente comme une longue nef dotée d’une abside semi-circulaire à chacune de ses extrémités. Cette particularité très rare provient de la fonction défensive qu’elle a assuré au fil des siècles. La partie la plus ancienne, à l’Est, (fin du XIème) est couronnée à l’extérieur sous la toiture actuelle, d’une série de modillons sculptés. Elle possède une colonnade aveugle qui a pu être restaurée. Au XIIIème puis au XIVème ce premier édifice court et massif est agrandi.

Une fontaine Saint Pierre est identifiée (mais non décrite à la demande du propriétaire) sur la base d'une monographie sur cette commune.