Des fouilles effectuées à l’Abbaye Bénédictine, à partir de 1926, ont permis de découvrir les fondations de trois églises construites sur le même emplacement, au IX^e, X^e et XI^e siècle. De cette dernière – Eglise Saint-Fortuné – consacrée en 1904 par saint Hughes de Cluny, subsistent seulement la dernière travée, la façade, et le narthex ajouté devant au début du XII^e siécle. Le tympan du grand portail du narthex, chef-d’œuvre de l’art roman, figure le Christ en majesté et les symboles des Évangélistes; le linteau, la Vierge avec deux anges et les apôtres.

A droite s’ouvre une élégante baie en plein cintre avec, sur son tympan, les noces de Cana.

Le Cloître actuel date de la seconde moitié du XV^e. Il s’ouvre, à l’est sur la salle capitulaire, du début XVI^e, par une colonnade bien conservée, provenant sans doute d’un premier cloître. De cette salle, dont le pupitre taillé dans une rareté, on accède à la Chapelle du Prieure (fin XV^e), surmontée d’un clocheton en bois.

Toujours sur le côté Est du cloître, ont été aménagés deux musées : dans l’ancien parloir, un musée lapidaire (Daniel dans la fosse aux lions, Annonciation,…), et dans une ancienne cave, un musée d’art religieux (XV^e – XIX^e). Par une porte monumentale crénelée, on pénètre dans la cour de l’Hôtel du Prieur qui, construit au début du XVI^e siècle, possède de belles charpentes en chêne.