يُعتقد أن قلعة كرمان بنيت في أواخر القرن الحادي عشر، وأوائل القرن الثاني عشر، إذ كانت تتكون من ثلاثة جدران متداخلة، والتي كانت تسمى بالقلعة الخارجية والمتوسطة، والداخلية، وما لدينا اليوم هي القلعة الداخلية، إذ أنها الجزء الوحيد المتبقى من الأجزاء الثلاثة، فتقع القلعة الداخلية على آثار من العصر البرونزي، والعصر الروماني، والبيزنطي، وتتكون من تسعة أبراج، أربعة منها مستديرة، وخمسة منها ذات أربعة واجهات. كما قام العثمانيون بإصلاح القلعة الداخلية عام 1465، وتم استخدام النقوش، والأجزاء المعمارية المتبقية من المباني التي تدمرت في بناء جدران هيكل القلعة عند ترميمها.