La citadelle faisait partie de la ceinture de défense du domaine royal contre les ducs de Normandie.
Deux enceintes protégeaient le fort et, au milieu de la seconde, s’érigeait un donjon de 40 mètres.
Le château a été détruit pendant la guerre de Cent Ans, et les pierres ont été récupérées par les habitants pour construire la ville.

La salle abritait le minot : grand récipient en bois servant de mesure, ainsi que deux pressoirs en bois destinés à extraire le jus du raisin des vignes cultivées sur les coteaux. Les moniales avaient le monopole du droit de minage à Épernon, c’est-à-dire le mesurage des denrées, grains et légumes dans la ville. Le cellier constituait un marché en soi car on y vendait les liquides : vin, cidre, huile…

Elle est la dernière des cinq églises paroissiales existant avant 1793. En juin 1940, un bombardement a provoqué la chute partielle des fausses voûtes en stuc datant de 1885, laissant apparaitre les charpentes lambrissées peintes du XVIème siècle. Sous le chœur, un cercueil en bois repose dans un caveau dont l’épitaphe gravée sur une plaque de cuivre attribuerait le corps à Anne Viallard, fille du Duc d’Épernon, décédée au XVIIème siècle.

Inscrite monument historique en 2011, elle comprend, côté rue, un décor sculpté composé, à gauche, d’une statue de Saint-Christophe portant le Christ sur ses épaules et, à droite, d’une statue de l’archange Gabriel, surmontée d’une colombe, évocation de l’Annonciation. Côté cour, la construction en moellons est ornée d’une haute tourelle d’escalier qui culmine à 11 mètres. Cette maison faisait office de bureau de change permettant de remplacer les monnaies en circulation, alors nombreuses à l’époque, par de la monnaie locale pour effectuer les transactions.

Ces derniers sont comblés dès le XVIIIème avec les remblais des carrières de grès des alentours. Par la suite, la commune fait l’acquisition de ces parcelles et les transforme en voie de circulation qui menait aux jardins ouvriers au XIXème siècle.

Les moines tiraient leurs revenus des terres qu’ils possédaient et des impôts qu’ils prélevaient. Épernon étant une étape entre Chartres et Saint-Jacques de Compostelle, les moines accueillaient des pèlerins.
Le prieuré a été vendu à la Révolution et occupé jusqu’en 1936 par différents industriels. Aujourd’hui, la communauté religieuse de la Congrégation des Sœurs du Christ assure la pérennité de ce lieu d’accueil de pèlerins et ouvre le parc à la promenade.

Dans ces carrières à ciel ouvert, l’extraction était peu ou pas mécanisée. C’était un travail de forçat exécuté à la seule force des bras. L’exploitation des carrières a connu son apogée au XIXème siècle et n’a disparu que dans les années 1960. L’extraction de la meulière se faisait, elle, au sud de la rivière La Drouette.

C’est de cette gare que vont partir les pavés qui constitueront près de 75 % des rues de Paris. C’est de là également que seront chargées les célèbres meules de moulins d’Épernon dont la dureté et la résistance sont mondialement reconnues. Elles seront ensuite acheminées dans le monde entier.

Elle a durablement marqué l’histoire d’Épernon. A travers une abondante collection d’outils, de témoignages et de documents originaux, le conservatoire des meules et pavés raconte cette surprenante aventure humaine et cette épopée industrielle.

Le bâtiment principal a été construit en 1970 par les architectes D. Maunoury et M. Bréant. Ses panneaux en dalles de verre sont l’œuvre du maître verrier eurélien Jacques Loire. Le bâtiment a obtenu en 2016 le label « Architecture Contemporaine Remarquable ».

Au XIXème siècle, avec la gare toute proche, les terrains sont convoités par la bourgeoisie parisienne pour la construction de maisons de style éclectique. Une partie de la prairie est restée intacte et sert aujourd’hui de lieu de promenade privilégié pour les Sparnoniens.

Un des directeurs du grand magasin le Bon Marché à Paris et son épouse, Madame Kelsen, se font construire une maison et des communs ainsi qu’une ferme modèle, lieu d’innovation technologique et agricole. Une partie du domaine a disparu, subsistent néanmoins la bergerie de la ferme et la rotonde. La rotonde correspond au pavillon de Normandie présenté pendant l’exposition universelle de Paris en 1900. Ce pavillon a été démonté et reconstruit à Épernon. Une partie est devenue une aire de battage et abrite aujourd’hui « le conservatoire des meules et pavés ».

Son architecture est caractéristique de l’inventivité du XIXème siècle : il mêle techniques modernes et styles librement inspirés du passé. Cet hôtel particulier abrite la mairie depuis 1980 et une partie de l’ancien domaine est occupée par le collège.

Il leur ouvre la porte de son hôtel particulier à Épernon, où sont organisées des réceptions. De nombreux artistes vont ainsi fréquenter la cité.

Deuxième piscine olympique de France, elle a été creusée par les membres de l’association, pendant leur temps libre.

Bâtie sur pilotis pour limiter l’empreinte sur l’environnement et ouverte par de larges baies, la médiathèque brouille les frontières entre intérieur et extérieur. Les fresques de l’artiste Rafaëlle Ishkinazi représentent les patrimoines de la ville sur les plafonds de la médiathèque et incarnent cette rencontre voulue par les architectes.
En 2020, le bâtiment a reçu le Coup de Coeur du jury du Grand prix Livres Hebdo des Bibliothèques, séduit par la luminosité, la modernité et la sérénité du lieu.