Das historische Gasthaus bildet die Ecke vom Neumarkt zur Sporerstraße. Seit Mitte des 15. Jahrhunderts bezeugen Urkunden die Nutzung dieses Grundstückes. 1458 besaß ein Peter Dorbach "Die Stuben", in denen 1477 schon Kurfürst Ernst von Sachsen Gast gewesen sein soll. Als Gasthof wird das Haus 1547 erstmals erwähnt, das 1602 kurfürstliches Privileg erhielt.
Seit 1630 ist es als Gasthof "Zum Weißen Schwan" bezeugt und bestand seit 1656 aus zwei Häusern, die beide Stadtbrände überdauert haben. Die Landesherrschaft stieg während der Zeit der Poststraße oft hier ab. Häufige Umbauten veränderten und ergänzten das Grundstück.
Seit 1872 befand sich der Gasthof im Besitz der Familie Krug und nach 1980 im Besitz der Konsumgenossenschaft. Ab 1990 war dieses ehrwürdige Grundstück geschlossen.
Am 23. Oktober 1999 wurde es nach 10monatiger Bauzeit wieder eröffnet. Gepflegte Gastronomie und moderne Hotelerie erwarten die Gäste.
Im September 2005 erweiterte sich die Kapazität des Hotels um 2 Bettenhäuser am Altmarkt, die über einen überdachten Gang mit dem Gasthaus verbunden sind.