Das neoklassizistische Gebäude der Galerie am Domhof wurde zum Teil auf den Grundmauern der alten Zwickauer Lateinschule erbaut. Baumeister für den Mittelbau und den Westflügel der Galerie war der Zwickauer Franz Wolf. Die Galerie eröffnete am 22. Dezember 1876 als Ausstellungshalle des damaligen Zwickauer Kunstvereins. Im Jahr 1904 erfolgte eine Erweiterung des Gebäudes in östlicher Richtung, um die Sammlung des Kunstvereins präsentieren zu können. Nach Auflösung des Vereins diente das Haus verschiedenen Zwecken. Unter anderem wurde es 1949 bis 1970 als Naturkundemuseum genutzt, bevor es 1977 als städtische Galerie am Domhof wieder eröffnet wurde.

Bereits in den sechziger Jahren des 20. Jahrhunderts wurden zahlreiche Umbauarbeiten durchgeführt. So wurde zum Beispiel die Dekoration an der Fassade zurückgebaut. Auch die Glasaufbauten auf den Dächern, die zur Belichtung der Räume dienten, wurden abgerissen. Ab 1998 erfolgten Arbeiten zur Sanierung des Daches und der Fassade. Dabei wurde die ursprüngliche Dachform über dem West- und Ostflügel wiederhergestellt.

Mit ihrer Architektur ist die Galerie gemeinsam mit den restaurierten mittelalterlichen Priesterhäusern und dem Dom St. Marien ein besonderes städtebauliches Ensemble im Zentrum von Zwickau.

Im September 2015 fanden nach etwa einjähriger, baubedingter Schließung umfangreiche Sanierungs- und Restaurierungsmaßnahmen ihren Abschluss. Seither erstrahlt die Galerie in neuem Glanz. Besonders beeindruckend präsentiert sich der große Ausstellungssaal mit seiner nun wieder sichtbaren, erbauungszeitlichen Kassettendecke und Oberlicht. So bilden die historischen Mauern einen würdigen Rahmen für Ausstellungen zeitgenössischer Kunst.