کاخ دفتر مقدس پس از سال 1514 تحت حمایت کاردینال لورنزو پوچی ساخته شد. در سال 1524، معماران پیترو روزلی، جولیانو لنی و میکل آنژ نما را بازسازی کردند. کاردینال بوچی سرانجام درگذشت، اما این کاخ تکمیل نشد تا اینکه پاپ پیوس چهارم بین سال‌های 1566 و 1567 به محل کاخ آمد و آن را با هزینه 9000 اسکدی خریداری کرد. سپس پاپ آن را به مقر کلیسا تبدیل کرد که نیاز به بازسازی آن داشت. .