Agman Kalesi'nin tarihi on yedinci yüzyıla, yani geç Rönesans'a kadar uzanır ve burada Angerburg ve Widmannsstätten gibi birçok kral ve soylu aile yaşamıştır. 1733 yılında burada küçük bir kilise inşa edilmiştir ve sunak duvarında sanatçı Frank tarafından yapılmış bir fresk bulunmaktadır. Jelovšek, 18. yüzyılın en ünlü Sloven ressamlarından biridir.Saray, yıllar içinde birkaç kez yenilenmiştir ve bugün Ursuline Manastırı'nı da içermektedir.