Taman San Carlos dibangun sebagai benteng pertahanan di luar tembok pada abad ke-14, dan kota ini menyusul pada abad ke-16. Secara bertahap, taman ini kehilangan arti pentingnya sebagai benteng atau "kastil tua", dan setelah ledakan gudang di dalamnya, ditinggalkan sampai dipugar oleh Carlos de Croix (Carlos F. de Croix) sebagai taman pada abad ke-18. Saat ini, taman ini menjadi salah satu landmark alam khas kota ini.