Château
Le château du moyen âge, attesté dès 1034 et rasé le 27 janvier 1613, est signalé en ruines par la carte de Cassini, établie en 1771 ; mais il n’en subsiste plus aucune traces. J. Baylé, dans une communication à la SASLA et publiée dans le BSA de 1974, en s’appuyant sur trois terriers de Varilhes et divers documents, apporte une réponse :
« Le château et ses annexes occupaient l’espèce de triangle délimité de nos jours par la rue du Quai, l’Ariège, la Place du Pont et la rue du Bailh (avec son prolongement). »
J. Baylé donne des précisions :
« Le château de Varilhes était entouré de murailles du côté de l’Ariège et protégé vers la ville par un fossé, probablement sec… Le premier édifice en bois fut brûlé lors de la croisade des Albigeois en 1211. Reconstruit dans le cours du XIII°, il était au début du XIV° siècle le plus beau château du comté de Foix, puisqu’il était attribué, comme demeure à Jeanne d’Artois, parente du roi de France, qui venait d’épouser Gaston de Foix en 1301. Il possédait naturellement une chapelle, attestée en 1324 et 1391. Au XVI° siècle, il comportait au moins une tout, appelée Tour Maurine en 1500 »