Müze, Place des Vosges'te bulunmaktadır ve tarihi 1605 yılına kadar uzanmaktadır. Malikane Isaac Arnold'a verildiğinde ve de Rohans ailesi tarafından büyük ölçüde iyileştirildiğinde, Victor Hugo, 1832 yılının Ekim ayında eşi Adele ile birlikte eve taşındığında otuz yaşındaydı. Paul Meurisse, evi satın almak için Paris şehrine büyük bir bağışta bulununca saray müzeye dönüştürüldü. Artık Victor Hugo'nun değerli antikalarının sergilendiği tarihi bir müze olarak kabul ediliyor.