Das 1494 erwähnte Schwabtor ist eines der beiden Haupttore der Stadt. Der nordwestliche Stadtausgang war durch ein Fallgitter gesichert und führte bis ins 17. Jahrhundert durch eine Torschanze an den Lech und ins nichtbayerische „Ausland“. Vor dem runden Turm lag eine abwehrkräftige Bastion. Dahinter erstreckte sich von der Heiliggeistmühle bis zur Ziegelbastei ein breiter Wassergraben. Der heute stehende Schwabtorturm wurde 1973 rekonstruiert.
Ein heute wieder rekonstruierter bärtiger Männerkopf aus Stein trug die Inschrift „Sieh auf“. Seit dem 16. Jahrhundert mahnte es den Betrachter zur Achtsamkeit außerhalb der Stadt. Der Schwabtorturm diente zeitweise als Schuldnerturm. Unter ihm tagten auch Gerichte öffentlich.