Sully, le célèbre ministre d'Henri IV aimait venir au château de la Chapelle-d'Angillon, propriété de la famille pour se délasser. Le château est composé d'un ensemble de bâtiments flanqués aux angles de tours rondes qui entourent une cour centrale.

Une fois dans la cour, ce qui semble être une tour est enfaîte le donjon, et sans doute le plus ancien spécimen d'architecture militaire du département. Puis le château fut modifié de nombreuses fois au fil des époques et de leurs modes. On peut encore ces évolutions sur la façade.

Au XVIe, on entreprend la construction d'une galerie juste en face le corps de logis. Les colonnes sont ornées de motifs en bas reliefs. Au XIXe, elle servit d'écurie et fut totalement restaurée en 1980. L'intérieur se visite mais ne présente pas vraiment d'intérêt et les photos sont comme dans beaucoup de château dans le Berry interdites.