कस्तमंडप 7वीं शताब्दी ईस्वी का एक पूर्व मंदिर है, और माना जाता है कि यह दुनिया की सबसे पुरानी लकड़ी की इमारतों में से एक है, और यह वह मंदिर है जिसके नाम पर शहर का नाम रखा गया है। यह मंदिर शुरू में एक सामुदायिक केंद्र के रूप में कार्य करता था, जहां निकट और दूर-दूर के सभी क्षेत्रों से आने वाले तीर्थयात्री और आगंतुक आते थे, फिर इसे तेरहवीं शताब्दी ईस्वी में शाही परिवार से जुड़े मंदिर में बदल दिया गया। उनके पास एक लकड़ी का बक्सा था जिसमें भगवान गोरखनाथ की एक छवि थी, जो उनके पैरों के निशान से ही जानी जाती थी।