Kastil pertama di Ghent dibangun pada abad kesepuluh M, jauh sebelum berdirinya negara Belgia. Pada abad kesebelas, kayu yang digunakan untuk membangun kastil diganti dengan batu. Pada abad-abad berikutnya, bangunan tersebut diubah dan diperluas beberapa kali, dan pada akhir abad ke-19, kota Ghent dan pemerintah Belgia membeli bangunan kastil dari pemiliknya dan memulai proses restorasi kastil abad pertengahan.Sekarang, kastil tersebut menjadi museum wisata, tetapi sekarang menjadi museum wisata. juga menjadi tempat berbagai kegiatan budaya sepanjang tahun dan menjadi tempat banyak penduduk setempat menikah.Upacara diadakan di sana.