Kasbah Sousse berdiri di titik tertinggi kota. Merupakan bangunan berbenteng yang digunakan sebagai markas tentara untuk mempertahankan kota. Dibangun di tembok kota pada abad kesebelas, dan termasuk Burj Khalaf yang megah, yang dibangun oleh Aghlabids pada tahun 859 M bersamaan dengan didirikannya tembok kota, yang menggantikan Rabat sebagai menara pengawas utama kota, dan saat ini Kasbah Sousse menampung Museum Arkeologi Sousse yang megah.