Kastamandap adalah bekas kuil yang dibangun pada abad ke-7 Masehi, dan diyakini sebagai salah satu bangunan kayu tertua di dunia, dan kuil itulah yang menjadi nama kota tersebut. Pura ini awalnya berfungsi sebagai pusat komunitas yang dikunjungi oleh para peziarah dan pengunjung yang datang dari berbagai daerah dekat dan jauh, kemudian pada abad ketiga belas Masehi diubah menjadi kuil yang berhubungan dengan keluarga kerajaan. Ia memegang sebuah kotak kayu berisi gambar Dewa Goraknath, yang hanya diketahui dari jejak kakinya.