Istana Orangery dibangun pada masa pemerintahan Landgrave Charles antara tahun 1703 M dan 1711 M, dan sejak itu menjadi sudut utara Taman Karlsø, namun saat ini digunakan sebagai museum dan gudang astronomi dan energi. Istana Barok ini dibangun dengan gaya desain arsitektur Perancis, panjang bangunan induk 139,40 meter, dirancang dalam bentuk struktur rendah dengan bagian tengah lebih tinggi dari dua lantai dan dua sayap tinggi tiga lantai. Arsitektur bangunan meneruskan tema taman Barok, dan galeri panjangnya berfungsi sebagai ruang dansa sekaligus rumah musim dingin bagi tanaman yang diawetkan. Istana ini tetap menjadi landmark penting yang menjadi sumber inspirasi para arsitek hingga saat ini.