La Kasbah de Sousse se dresse au point culminant de la ville. C'est un édifice fortifié qui servait de quartier général aux soldats pour défendre la ville. Elle a été construite sur les remparts de la ville au XIe siècle, et comprend la majestueuse tour Khalaf, qui a été construit par les Aghlabides en 859 après JC en même temps que les murs ont été établis.La Médina, qui a remplacé Rabat comme tour de guet principale de la ville, et l'actuelle Kasbah de Sousse abrite l'impressionnant musée archéologique de Sousse.