La seigneurie de Cazavet appartenait à la châtellenie de Salies du Salat.
Dépendant, avant la Révolution de la Généralité d’Auch, Cazavet était siège de justice royale
En 1301, les habitants bénéficient d’une charte de coutumes octroyées par huit co-seigneurs (Cl. Pailhès dans « Archives ariégeoises » (2009), n°1 « Les cadres institutionnels du Couserans médiéval »)
Parmi les seigneurs, mentionnons Lucrèce de Rauquemaurel (d’Ustou) qui épouse Etienne de Cabalby en 1582
Sur la colline de Bouche, où se trouvent les ruines du château féodal détruit à l’époque de la Révolution habitait le sire de Bramebaque, plus tard sire de Narbonne
Carrières de marbre exploitées (en 1909 par une société de Paris : Dervillé et Cie)
Au début du XXème siècle, deux instituteurs et un curé y exercent pour Cazavet et ses hameaux de Cazaux, Salège, l’Hyder, Foueillet, Gèle, Aliou
La commune se trouve dans le périmètre du Parc Naturel Régional des Pyrénées Ariégeoises