Au loin entre les arbres qui bordent ma route j’aperçois le château de Talmont qui domine la ville et ses alentours mais aussi l'estuaire du Payré. Aujourd'hui cela ne se voit plus mais au XIe siècle le site était encerclé par deux rivières : la Sauvagère et le Payré, il était donc totalement isolé deux fois par jour lors des marées hautes.
Il avait aussi un important port, le plus grand entre Nantes et Bordeaux qui permit à la ville de se développer rapidement.
Guillaume le Chauve, premier seigneur de Talmont, entreprend la construction d'une tour en pierre vers 1020, ainsi qu'une enceinte en bois qui laissera rapidement la place à une enceinte en pierre. Son fils Guillaume le Jeune continuera l'oeuvre de son père en construisant le donjon.
En 1138, Guillaume de Lezay, le seigneur de Talmont, doit recevoir la visite de Louis VII, roi de France, récemment marié avec Aliénor, duchesse d'Aquitaine. Le roi venait pour recevoir l'hommage du seigneur de Talmont et s'assurer de sa loyauté. Mais au moment où l'avant-garde pénètre, Guillaume de Lezay fait prisonnier ses membres les plus importants. Le roi prend les armes et lance l'assaut contre le traître. Le château réputé imprenable, tombe entre les mains des Français qui l'incendient entraînant la destruction d'une partie de la tour et serait à l'origine de la disparition de l'église située à son pied.
A la mort de Guillaume de Lezay, la forteresse revient à la famille des Mauléon. Au fil du temps la forteresse va être transformée en un château dont l'apparence menaçante et majestueuse marquera la puissance de la dynastie. A la mort de Savary de Mauléon, le roi de France, Louis IX, prend possession de Talmont en 1233.
Au milieu du XIIIe siècle, le château de Talmont devient propriété des vicomtes de Thouars, famille la plus influente du Poitou. Mais étant située en périphérie de zones de conflits et en proie à l'ensablement, la forteresse perd de son intérêt stratégique et devient une résidence secondaire. Par mariages, Talmont passe entre les mains de la famille d'Amboise puis des La Tremoille qui sont à l'origine de l'aménagement d'un nouveau logis, à l'extérieur de la haute cour dont on peut encore voir les vestiges de fenêtres à meneaux.
Dès le début du XVIe siècle, la Réforme atteint le Poitou et Talmont devient rapidement une place forte protestante malgré la conversion au catholicisme de Claude de La Trémoille. Louis XIII ordonne le démantèlement du château pour éviter qu'il ne devienne un refuge pour les Protestants. En 1628, le prince de la Trémoille, en échange d'un paiement de cent mil livres entame la destruction de larges pans des murailles extérieures et intérieures, des parties hautes de la tour maîtresse et des logis.
Le château, en ruine est utilisé comme carrière, par les habitants. Son dernier seigneur, Antoine-Philippe de la Trémoille, monte à l'échafaud en 1794. Racheté par la municipalité en 1920 et classé aux Monuments Historiques en 2009, il est depuis mis en valeur grâce à des campagnes de restaurations et des fouilles.