سُمي هذا القصر من قبل بقصر البارون ديرلنجي وهو من أبرز المعالم في هذه المدينة الجميلة، فهو يجمع بين خصائص التصاميم المعمارية الأندلسية المهيبة، والهندسة التونسية المميزة. يحتوي القصر على طابقيين سفلي وعلوي بهما غرف كبيرة مذهبة وغرفة تسمى بالغرفة الزرقاء، بالإضافة إلى صحن مستطيل وغرفة مكتبة وغرفة الموسيقى التي تحتوي على لوحة رخامية بيضاء مع آلات موسيقية تعود إلى مختلف الفترات الزمنية. وقم تم تحويل المبنى إلى مركز للموسيقى العربية عام 1991م، مما جعله يحتضن الآلات الموسيقية العربية النادرة.