Ami d'enfance de François Ier, Philippe Chabot de Brion début en 1534 des travaux pour transformer cette forteresse médiévale en une agréable résidence d'agrément.
Philippe Charot de Brion, accompagne François Ier lors de ses campagnes militaire principalement en Italie et est nommé Amiral de France. En 1526, il épousera le nièce du roi ; Françoise de Longwy. Cette ascension sociale doit se refléter dans son château. Il fait donc construire un logis aujourd'hui disparu avec deux tours que l'on peut encore admirer et visiter.
Mais l'amiral tombe en disgrâce, le château devient la propriété de Jean de Brosse, Duc d'Etampes et Comte de Penthièvre puis passe entre les mains des familles de la Tremoille puis Montmorency.
En 1733, le château est dans un malheureux état. La charpente est attaquée par des capricornes et demande trop d'argent pour la rénover, le propriétaire décide de démolir le logis et de vendre les pierres et il n'est plus utilisé que pour ses terres agricoles avant de devenir la propriété de la famille Thébault qui le lègue à la commune en 1966.
L'histoire du château finie passons à la découverte des lieux.
Sous la tour Ouest, une voûte cavalière est construite permettant aux équipages et attelages provenant des rives de la Vie (fleuve située en contre bas du château) de rejoindre la porte d'honneur du logis.
Le tour Est est composée de cinq niveaux visitables : au rez-de-chaussée, un espace cuisine, cette pièce possède une magnifique porte ouvragée ainsi qu'un plafond à caisson, nous indiquant ainsi que ça fonction n’était pas une cuisine à l'origine.
A l'étage, deux appartements dans lequel Louis XIII a séjourné le 17 avril 1622 et des combles.