Castille adalah kastil pertahanan yang dirancang oleh arsitek terkenal Perancis Antoine de Ville dengan gaya Perancis pada abad ketujuh belas. Tujuannya adalah untuk membuat kastil di pusat kota Pula dan di tempat dengan pemandangan indah ke daerah sekitarnya. Museum ini kemudian selesai dibangun dengan menggunakan batu-batu bangunan dari teater besar Romawi kuno, yang kini menjadi museum sejarah dan maritim di provinsi Istria.