Des fouilles ont révélé sous l'abbatiale Saint-Pierre le couloir annulaire d'une église préromane avec un graffiti du ive siècle, et les piliers ronds de la nef primitive. La partie la plus ancienne qui subsiste est le clocher-porche de 1120, fortifié vingt ans après et abritant l'un des plus beaux portails romans qui soient. La partie basse de la nef, en pierre, est également romane, mais la partie haute en briques est du gothique méridional ; les deux travées du chœur, l'abside à cinq pans et les chapelles sont du xve siècle. On y voit une Pietà du xve siècle et une crucifixion du xviie siècle.
Les chapiteaux romans du cloître étaient achevés en 1100 sous l'abbé Ansquitil, mais l'ensemble a été repris au xiiie siècle avec d'autres colonnettes et d'autres arcades en ogive. Salles des moines, palais des abbés et tour s'échelonnent du xiiie au xve siècle.