Tebessa şehrini karakterize eden tarihi yapılardan biri olan Bizans Duvarı, MS 535 ile MS 538 yılları arasında inşa edildiğinden Bizans Kalesi ve Kasbah olarak da anılıyor. Bu duvarın birçok savaşa ve çatışmaya tanıklık etmiş üç orijinal kapısı vardır: Caracalla Kapısı, Süleyman Kapısı ve Şahla Kapısı.Daha sonra Fransızlar, duvarın dışına gidiş-dönüş hareketini kolaylaştırmak için üç küçük kapı daha ekledi.