Museum ini terletak di Place des Vosges, dan dibangun pada tahun 1605. Ketika rumah besar itu diberikan kepada Isaac Arnold dan diperbaiki secara signifikan oleh keluarga de Rohans, Victor Hugo berusia tiga puluh tahun ketika dia pindah ke rumah tersebut pada bulan Oktober 1832 bersama istrinya Adele. Istana ini diubah menjadi museum ketika Paul Meurisse memberikan sumbangan besar ke kota Paris untuk membeli rumah tersebut. Sekarang dianggap sebagai museum sejarah yang memamerkan barang antik berharga Victor Hugo.