La porte Schwabentor fait partie de l'enceinte défensive médiévale de la ville. La tour de la porte a été construite vers 1250 et était à l'origine ouverte vers le centre-ville et n'était entourée d'un mur de pierre qu'en 1547. Matthias Schwäri a peint en 1572 le portrait d'un marchand avec un char sur le mur intérieur. Cette image au 19ème siècle a donné naissance à une légende sur un homme souabe qui est venu à Fribourg avec deux barils pleins d'or pour acheter la ville. Les gens se moquaient de lui, surtout après avoir découvert que les barils ne contenaient que du sable et du gravier. La légende raconte qu'avant son départ sa femme avait secrètement échangé de l'or contre une obturation sans valeur.