Dibangun pada abad ke-13, Le Vergeur saat itu merupakan kediaman bangsawan yang terletak di kawasan yang dihuni oleh para saudagar kaya.Pada abad ke-16, kepemilikan hotel diserahkan kepada Nicolas Le Vergeur, yang mengubahnya dan memberinya ciri khas istana pribadi, dengan fasad interior diatur mengelilingi halaman. Secara pribadi, Hugues Krafft kemudian membawa kembali benda-benda khas, pakaian dan pelat fotografi dari perjalanannya keliling dunia untuk membentuk koleksi etnografi penting di hotel tersebut. Setelah kematiannya, koleksinya, beserta perabotannya, lukisan, perpustakaan dan arsip, menjadi museum yang diperkaya setiap tahunnya berkat kemurahan hati banyak donatur.