Le Palais du Sacré-Office a été construit après 1514 sous le patronage du Cardinal Lorenzo Pucci. La façade a été reconstruite par les architectes Pietro Roselli, Giuliano Leni et Michelangelo en 1524. Le cardinal Pucci mourut à la fin, mais le palais ne fut achevé que lorsque le pape Pie IV vint entre 1566 et 1567 à l'endroit du palais et l'acheta au prix de 9 000 écus, puis le pape en fit le siège de l'église, qui a nécessité sa rénovation.