Au IX^e siècle, leurs embarcations légères et de faible tirant d'eau permettaient aux Normands de remonter les fleuves et leurs affluents. Coulon fut saccagé ainsi que Marans, Damvix, Magné et Niort par ces pirates scandinaves avides d'aventures guerrières ne laissant derrière eux que des débris fumants. Ce fut surtout par la Sèvre Niortaise que les Normands pénétrèrent au cœur du Poitou. Le 4 octobre 853, le comte de Poitiers, Ramnulf, et le comte d'Herbauges les battirent près de Coulon à Brillac ou Brouillac, Brilliacum ou Brulliacum dans les textes anciens.

Brillac ou Brouillac désigne le village qui s'élevait autrefois au Champ du Bois en face de l'actuel Port du Brouillac. Ce village fut détruit au cours de la bataille et n'a pas été relevé de ses ruines. Son emplacement est marqué par des tombeaux gallo-romains et mérovingiens et par des substructions anciennes.

Le choc entre les soldats du Poitou et les Normands se produisit à Brouillac mais le combat se poursuivit en direction nord. Au dessus de l'ancien Brouillac et en plusieurs endroits, le soc de la charrue a rencontré des restes de murs qui semblent être des ruines d'habitations détruites par les violences  : des pierres portent la trace du feu.

Le souvenir des Normands dans ces parages a longtemps subsisté. Dans un acte d'arrentement de quelques morceaux de terre fait par Louis de Maillé, sieur d'Aleu en Coulon en date du 4 décembre 1529, on trouve les dénominations suivantes : les Champs aux Normands, la Tombe aux Normands, la Bataille. Ces noms ont été perdus et on ne peut pas situer aujourd'hui les terrains qui les portaient. Au dessus de Nessier, nous trouvons encore Gorge-Bataille.

Lorsque Charles le Chauve, par son édit de 862, prescrivit de construire des forteresses pour arrêter les invasions des Normands et mettre un terme à leurs dégradation, les châteaux de Salbart, de Niort, les tours de Magné, de Maillezais, de Saint-Maxire furent sans doute élevées pour la défense du pays. Coulon eut aussi sa forteresse appelée Château Gaillard où se situent actuellement (2021) le salon de coiffure place de la Pêchoire, la médiathèque, le restaurant et les maisons adjacentes. Nous retrouvons le nom de Château gaillard en milieu du Moyen Âge, mais à cette époque la forteresse n'existe plus.