Malgré son nom et son aspect lugubre, le diable n'a jamais résidé dans ce château du XIIIème siècle qui a été au fil des âges une résidence de chevaliers, un arsenal, un monastère, une école, une école épiscopale, et en 1623 le lieu est devenu un lieu pour les malades mentaux et une maison pour les orphelins de sexe masculin Une autre partie du bâtiment a été utilisée comme prison ou centre de détention, et le nom vient d'un chevalier belge appelé Gérald le Diable, un symbole historique distingué dans la chronologie de la ville de Gand.