L'enceinte médiévale, longue de 4 km, est flanquée d'une cinquantaine de tours hautes de 15 m qui permettent aux archers de défendre les murs de courtines depuis les embrasures. Ces tours sont construites en pierre calcaire sur un solide soubassement de grès. Au XVIe siècle est ajouté un parapet de briques. La tour Saint-Fiacre est rebaptisée tour des Sottes au XIXe siècle en raison du voisinage d'un asile de femmes.