تقف قصبة سوسة عند أعلى نقطة في المدينة، وهي عبارة عن مبنى حصين كان يُتّخذ مقراً للجند للدفاع عن المدينة، وقد تم بناؤها على أسوار المدينة في القرن الحادي عشر، وتضم برج خَلَف المهيب الذي بناه الأغالبة عام 859 ميلادي في نفس الوقت الذي أُسست فيه أسوار المدينة، والذي حل محل الرباط كبرج المراقبة الرئيسي في المدينة، ويضم مبنى قصبة سوسة اليوم متحف سوسة الأثري الرائع.