Gegenüber liegt die Klosterkirche, das einzige erhaltene Bauwerk des 1228 errichteten Franziskaner-Klosters.
Der erste Bau wurde 1248 vollendet und erhielt den Namen >Unserer lieben Frauen< oder >Marienkirche<. Mit ihren kühnen Gewölben auf hohen, schlanken Pfeilern ist sie ein einzigartiges Zeugnis mittelalterlicher Baukunst. Die ältesten Bauteile sind die Nord- und Westmauer. Sie haben keine Strebefeiler, da sich nördlich der Kreuzgang und die einstigen Klosterbaulichkeiten und nach Westen die Stadtmauer anlegten. Zwischen 1381 und 1428 erfolgte eine Erweiterung der Kirche. Nach der Zerstörung durch die Hussiten 1429 wurde sie wiederum im gotischen Stil in größerem Grundriß mit zweitem (südlichen) Schiff errichtet.
Die Einweihung mit den Altaren und dem Kirchhof erfolgte 1484. Um 1500 vollzog sich die Einwölbung der Kirche, wie wir sie vorfinden, und der Anbau der St. Annenkapelle.

Die Turmhaube (Renaissance) wurde um 1600 aufgesetzt. Von den erhaltenen Toren zeigt das südöstliche reiche Profilierung und hat zu beiden Seiten je eine Fiale.

Nach der Einführung der Reformation 1539 und der Säkularisierung des Franziskaner-Klosters wurde der Hauptteil der Kirche nur noch vorübergehend kirchlich genutzt. Das Hauptgebäude des Klosters diente nach 1616 dem St. Georgen-Hospital, später Klosterhospital. Im Lauf der Zeit verfielen die Klostergebäude, bis sie nach 1835 abgerissen wurden. An ihrer Stelle errichtete man das königliche Amtsgericht mit Gefängnisgebäude. Obwohl die Klosterkirche mehrmals nach der Reformation repariert wurde, um 1787 erfolgte sogar eine Hauptreparatur, diente sie meist völlig anderen Zwecken: Heumagazin, Lazarett (1812/13), Lagerraum, Reithalle des Ulanenregiments (1885-92).

Sie war einem allmählichem Verfall preisgegeben. Erst 1924 wurde unter Leitung der Kirchgemeinde der östliche Teil des Klosterschiffes abgetrennt und eine Zwischendecke eingezogen. Der obere Gemeindesaal hat schöne gotische Gewölbe und ist schlicht und zweckgebunden eingerichtet.

Im Erdgeschoß wurden in rustikalem Stil zwei Gemeinderäume eingerichtet, und die zeizende Annen-Kapelle erstand wieder.

In den Jahren 1978-82 wurde mit großer Initiative der Kirchgemeinde das gesamte Gebäude umfassend restauriert sowie Dach- und Giebel erneuert. Der Turm erhielt eine neue Kupferabdeckung. So konnte die Bausubstanz des einzigartigen Denkmals mittelalterlicher Baukunst gerettet werden.

Gegenüber der Klosterkirche führt der Rundgang in das entzückende Gäßchen "Am Zwinger".