Au XIIIe siècle, le château de Selles est une véritable forteresse de grès de 15 mètres de haut, de forme polygonale et flanquée de 6 tours dont une géminée. Il a alors une double fonction : assurer la surveillance de la porte de Selles et de l'Escaut et asseoir l'autorité du comte-évêque sur les Cambrésiens. Il est en partie remblayé au XVIe siècle. A l'intérieur des tours subsistent deux niveaux de salles voûtées d'ogives. Elles sont reliées entre elles par un système original de gaines, couloirs aménagés dans l'épaisseur des murailles et utilisés comme prison dès le XIVe siècle. D'émouvants graffiti gravés dans les murs reflètent les engagements politiques et religieux des détenus.