Le château comtal est adossé à l'enceinte intérieure ouest à l'endroit où la pente est la plus raide. Il possède un plan en forme de parallélogramme allongé du nord au sud et est percé de deux issues à l'ouest du côté de la porte de l'Aude et à l'est du côté intérieur de la Cité. Il a été construit en deux temps. Sa construction est lancée par Bernard Aton IV Trencavel durant l'époque romane aux alentours de 1130 pour remplacer un château primitif probablement situé à l'emplacement de la porte Narbonnaise. Le château est constitué de deux corps de bâtiment en L dominés par une tour de guet, la tour Pinte. Seule une palissade séparait le château du reste de la Cité. Le château et son enceinte comportent 9 tours dont deux sont d'époque wisigothe: la tour de la chapelle et la tour Pinte. Toutes les autres tours ont des dispositions intérieures et extérieures identiques, car construites en même temps aux 12e siècle. Ces tours sont constituées de trois étages et d'un rez-de-chaussée. Le rez-de-chaussée et le premier étage comportent un plafond voûté tandis que les étages supérieurs sont dotés de simples planchers. La communication entre les étages se fait par le biais des trous servant de porte-voix dans les voûtes et les planchers. Des hourds reconstitués par Viollet-le-Duc ornaient vraisemblablement l'enceinte et les tours comme le montre la reconstitution actuelle. | 
