Kastamandap, MS 7. yüzyıla tarihlenen eski bir tapınak olup, dünyanın en eski ahşap yapılarından biri olduğuna inanılan, şehre adını veren tapınaktır. Başlangıçta yakın ve uzak her bölgeden gelen hacıların ve ziyaretçilerin ziyaret ettiği bir toplum merkezi olarak hizmet veren bu tapınak, MS 13. yüzyılda kraliyet ailesiyle ilişkilendirilen bir tapınağa dönüştürüldü. Elinde yalnızca ayak izleriyle tanınan Tanrı Gorakhnath'ın resmini içeren tahta bir kutu vardı.