Le château d'Isle -Savary est plus imposant de l'extérieur avec son majestueux donjon que de l'intérieur qui est en rénovation pour accueillir événements privés et chambres d'hôtes. Nous sommes loin d'une restauration historique.
Le premier propriétaire connu est la famille Savary qui donna son nom au château au XIIIe siècle puis il fut vendu à Guillaume de Varie financier au service de Jacques Cœur en 1462. Ce dernier rasa l'ancien château pour construire l'actuelle habitation.
L'imposant donjon fait partie de la visite et même si les plafonds n'existent plus, on peut encore apercevoir les portes, coussièges et cheminées.