Albufeira'ya yaklaşık 10 kilometre uzaklıkta, Quarteira Nehri'ne bakan bir burun üzerinde yer alan kumtaşından inşa edilen Paderne Kalesi, ilk olarak 2. yüzyılda Romalılar tarafından kullanılmış ancak bugün gördüğümüz kale, 12. yüzyılda Berberiler tarafından inşa edilmiş. Sonraki yüzyıllarda inşaatçıları Müslümanlar ve Hıristiyan fatihler arasında bir dizi değişiklik geçirmiş ve bugün surlarının içinde 14. yüzyıldan kalma küçük bir kilisenin kalıntıları bulunmaktadır.