Das Gebäude des heutigen Rathauses wurde im Jahr 1861 als Baumwollspinnerei errichtet. Am 10. Mai 1930 erfolgte die Einweihung als Rathaus.

In den Jahren 1999 / 2000 wurde das unmittelbar an der Bundesstraße 101 liegende Gebäude saniert und weiter ausgebaut.

Der dabei eingebaute Fahrstuhl ermöglicht allen Besuchern einen barrierefreien Zugang zu dem jeweiligen Ansprechpartner.

Im Zuge der Umgestaltung des Rathausparkes wurde 2010 ein Kunstwerk zur Würdigung von Stefan Heym für seinen Roman "Schwarzenberg" vor dem Rathaus aufgestellt.

Der Schriftsteller Stefan Heym machte die einmalige Nachkriegsgeschichte der Stadt durch seinen 1984 erschienenen Roman "Schwarzenberg" überregional bekannt.

Im Rahmen eines Teilnahmewettbewerbs hatten Schwarzenberger Künstler die Möglichkeit, einen Bezug zwischen dem Gedanken "Lesen - Lernen - Erinnern" und der Würdigung herzustellen.

Die Stadträte entschieden sich mehrheitlich für das Kunstwerk von Hartmut Rademann, bestehend aus zwei gleichgroßen, leichtgewölbten Stahlblechplatten (ca. 2,5 m hoch und 1,25 m breit), welche in Buchform auf dem Rasen aufgestellt sind. Das Romanzitat und die Zeichnung (nach einer Fotographie von Stefan Moses) wurden gelasert.