Eine erste urkundliche Erwähnung des Rathauses stammt aus dem Jahr 1530. In den Jahren 1664 bis 1666 wurde es in Fachwerkbauweise erbaut und verfügte über eine Ratsstube für den Rat, eine Bürgerstube für die Stadtverordneten und über eine Ratsschänke sowie einen Ratskeller. Am Haus befand sich ein Balken mit der Inschrift „Wer Gott vertraut, hat wohl gebaut“. Die Wetterfahne auf dem Rathaus zeigte die Jahreszahl 1665 sowie das Wappen Gernrodes. Die Grundsteinlegung für das neue Rathaus erfolgte am 5. Mai 1914 und von 1914 bis 1915 wurde es im Stil des Historismus errichtet. Am 27. Februar 1915 fand die Einweihung statt. Das sich in seiner Gebäudekubatur an den Bautraditionen der Region orientierende Haus ist von einem hohen Krüppelwalmdach bedeckt. Auf dem Dach ist ein hoher mit einer Uhr versehener Dachreiter angeordnet, der über ein Belvedere und eine Welsche Haube verfügt. Das Erdgeschoss des Gebäudes wurde in massiver Bauweise errichtet. Der Eingang des Rathauses befindet sich in einem großen rundbogigen Portal. Das obere Stockwerk sowie das im Dach angeordnete Zwerchhaus entstanden in Fachwerkbauweise. Am Fachwerk befinden sich Verzierungen. Türen und Fenster sowie die Bleiglasfenster des Gebäudes stammen noch aus der Bauzeit. Ein Herzogsrelief, welches sich im Sitzungssaal befindet, wurde 1915 von Dr. Baur aus Gernrode gestiftet.