Osmanlı İmparatorluğu'nun büyümesi sırasında Çimşi, 1472 ve 1501 yıllarında iki kez Venediklilerin saldırısına uğramış, bu nedenle kale daha sonraki saldırılara karşı önlem olarak inşa edilmiştir. 1508 yılında Osmanlı Padişahı II. Bayezit döneminde yaptırılan kalenin vekili Aydın Vilayetinin hükümdarı Mir Haydar'dır.Aslen kıyıda olan bu kale, alüvyonlar nedeniyle kıyıdan biraz uzaklaşmıştır. Dikdörtgen planlı olan kalenin üç tarafı altı burçlu hendekleri vardır.Kalenin önünde Sezerli Gazi Hasan Paşa Anıtı bulunmaktadır.Kale, Çimshi Müzesi'ne ev sahipliği yapmakta olup aynı zamanda Çimshi'nin merkezi olarak da kullanılmaktadır. Her yıl düzenlenen Uluslararası Müzik Festivali.