Construit au XIIIe siècle, l'hôtel-musée Le Vergeur était alors une résidence aristocratique située dans un quartier habité par de riches marchands. Au XVIème siècle, l'hôtel était la propriété de Nicolas Le Vergeur, qui le transforma et lui donna les caractéristiques d'un château privé avec des façades intérieures disposées autour d'une cour privée. Plus tard, Hugos Krafft revint de ses voyages à travers le monde des pièces distinctives, des vêtements et des plaques photographiques pour former une importante collection ethnographique dans l'hôtel, et à sa mort, ses collections, ainsi que ses meubles et peintures, sa bibliothèque et ses archives devinrent un musée qui s'enrichit chaque année grâce à la générosité de nombreux donateurs.