Visible depuis la route, le château de Sagonne fut construit au XIVe siècle pour assurer la protection de la route de Moulins à Bourges contre les attaques des mercenaires qui sévissaient pendant la guerre de Cent Ans.
Mais Sagonne est surtout connu pour avoir été la demeure du célèbre surintendant royal des bâtiments et manufactures sous Louis XIV : Jules-Hardouin Mansart. Il acquiert les terres ainsi que la Seigneurie en 1699 et sera également anobli par le roi devenant ainsi comte de Sagonne.
Il entreprend des modifications sur la partie Est de l'enceinte qu'il fait démolir pour construire un jardin à la française aujourd'hui disparu et créer une nouvelle entrée qu'on peut encore imaginer grâce aux vestiges.
À la Révolution française, la comtesse de Noailles est guillotinée et le château entre dans une longue période de déclin. Il est pillé, ses toits sont démontés pour récupérer le plomb et il sert de carrière de pierre et de ferme. Le château est classé monument historique dès 1914, mais reste à l'abandon. Racheté en 1977 par François Spang-Babou, le château fait l'objet de restaurations. Visitable, il abrite de magnifiques traces de peinture sur les murs de certaines pièces, nous laissant libre d'imaginer la splendeur des lieux.