تم بناء فندق لو فيرغور في القرن الثالث عشر، وكان حينها مسكناً أرستقراطياً يقع في منطقة يسكنها التجار الأثرياء، وفي القرن السادس عشر، انتقلت ملكية الفندق إلى نيكولاس لو فيرغور (Nicolas Le Vergeur) الذي قام بتحويله وأعطاه خصائص قصر خاص بواجهات داخلية مرتبة حول فناء خاص، وفي وقتٍ لاحق أعاد هوغو كرافت (Hugues Krafft) من أسفاره حول العالم قطع مميزة وملابس وألواح تصوير ليشكل مجموعة إثنوغرافية مهمة في الفندق، وعند وفاته، أصبحت مجموعاته بالإضافة إلى أثاثه ولوحاته ومكتبته وأرشيفه متحفاً يتم إثراؤه كل عام بفضل كرم العديد من المتبرعين.