Der Bau des Hofgärtnerhauses wurde nach Plänen von Nicolas de Pigages (1723 - 1796) im Auftrag von Kurfürst Carl Theodor zu Pfalz 1769/70 errichtet. (Pigages zählt zu den bedeutendsten Architekten am Übergang vom Spätbarock zum Klassizismus.) Noch im gleichen Jahr zog der Hofgärtner Behrends ein, der für die Instandhaltung des Hofgartens zuständig war, in das einstöckige Gebäude mit einem Mansardendach, das im Halbkreis angelegt war, und in dessen Mittelteil sich das Eingangstor befand.

Es entwickelte sich zu einem geselligen Treffpunkt, wo auch Konzerte, Bälle und Liebhabertheateraufführungen stattfanden. 1780 wurde das Gebäude durch Peter Köhler seitlich erweitert und aufgestockt. Bei der Beschießung Düsseldorfs durch französische Truppen 1796 wurde es zerstört.

Im Auftrag des Kurfürsten Max Josef von Pfalz-Bayern begann man 1802 mit dem Wiederaufbau des Gebäudes. 1803/04 kam der Landschaftsgärtner Maximilian Friedrich Weyhe (1775 - 1846) nach Düsseldorf, und zog in das Hofgärtnerhaus. Seit 1821 diente das Hofgärtnerhaus der Unterkunft von Bediensteten des Prinzen Friedrich von Preußen und wurde zusätzlich als Gartenlokal genutzt.

Um 1872 diente es als Magazin und Bibliothek.

Im letzten Krieg wurde das Hofgärtnerhaus zerstört und 1955 wieder aufgebaut. Dabei wurde das Gebäude um je eine Seitenachse erweitert und für das Goethemuseum hergerichtet. Seit 1988 befindet sich im Hofgärtnerhaus das Theatermuseum der Landeshauptstadt