Istana Kantor Suci dibangun setelah tahun 1514 di bawah perlindungan Kardinal Lorenzo Pucci. Pada tahun 1524, arsitek Pietro Roselli, Giuliano Leni dan Michelangelo membangun kembali fasadnya. Kardinal Bucci akhirnya meninggal, namun istana tersebut belum selesai dibangun sampai Paus Pius IV datang antara tahun 1566 dan 1567 ke lokasi istana dan membelinya dengan harga 9.000 scudi. Paus kemudian mengubahnya menjadi kantor pusat gereja, sehingga memerlukan renovasi. .