Vers le Xᵉ siècle, le château de Mormoulins s'élevait au milieu des marais. L'on s'y rendait de Chaudon par une chaussée en grès dont les fondations existent encore.
Les marais se sont comblés au fil des siècles, pour devenir ces prairies bordant l'actuelle et pittoresque route de Mormoulins.
La légende veut que l'un de ses propriétaires ait été tué au cours d'un duel le lendemain de ses noces, dont un fils naquit neuf mois plus tard. Une autre légende assure qu'un capitaine des gardes chargés de la défense du château se fit tuer avec cent hommes la veille de son mariage.
Après de nombreuses recherches généalogiques dans le grand armorial général de France (Registre de la noblesse), il est apparu que Jean-Baptiste-Antoine de LOYAC (1675–1743) est devenu seigneur de Chaudon et Mormoulins par l'alliance de son père Jean-Baptiste de LOYAC avec Anne-Charlotte BOCHART.
Son grand-père Antoine de LOYAC fut commandant dans l'île de Ré et Gouverneur du château de la Bastille en 1653.
Jean-Baptiste-Antoine de LOYAC, Chevalier, Seigneur de Chaudon et de Mormoulins, chevalier de l'ordre royal et militaire de Saint-Louis, né le 17 août 1675, fut fait successivement :
Mort à l'armée, à Ingolstad, en Bavière, le 10 janvier 1743.
Il avait épousé en 1730 Marie-Claude GRENET, fille de Claude GRENET, écuyer, seigneur de Châtillon. Ils eurent 7 enfants, tous nés à Chaudon :
En 1774, le receveur général des Finances de Picardie, beau-frère de la Pompadour, s'en rendit acquéreur. C'est lui qui fit creuser les canaux encore visibles de nos jours.
En 1781, le propriétaire en était M. Fergeol, de Villers, dont la veuve céda les ruines du château en 1817 à M. du Temple de Chevrigny.
C'est alors que furent construits l'actuel château et la route, par la suite agrandie et élargie. Le pont de l'Eure date de 1820. Depuis très longtemps se trouve à Mormoulins un moulin situé sur la rive droite. Chaudon comptait un autre moulin, maintenant disparu, qui s'élevait près du petit ruisseau se jetant dans l'Eure.
Remerciements à M. Thiercelin pour l'autorisation de photographier le tableau représentant l'ancien château de Mormoulins, et à M. et Mme Laplanche-Raynaud pour le plan de 1826, une étude de M. Billaud, architecte de jardin, réalisée pour étudier la question de la réparation du vieux château ou de sa reconstruction.