Der östlich "französische" Garten ist durch die ornamental gefassten Kaskaden und seitliche Rabatten reich aufgegliedert gewesen. Auch der westliche war ähnlich geplant mit dem sogenannten "deutschen Parterre". An der Gartengestaltung der alten Anlagen war der Gartenmeister Petri beteiligt.
Ehemals waren beide Seitengärten für Kurfürst und Kurfürstin getrennt bestimmt, wie Pigage es in seiner Beschreibung auch angibt, gemäß der inneren Aufteilung des Schlosses.
Die Westseite ist um 1841 aus romantischer Anschauung als botanischer "englischer" Garten, heute kurz Blumengarten genannt, mit Eremitenhaus (vom Volksmund Hexenhäuschen getauft), umgewandelt. Maximilian Weyhe, Botaniker und Gartenarchitekt, Schöpfer des Düsseldorfer Hofgartens, machten diesen zu einer Kostbarkeit, nicht nur in der Anmut der Anlage, sondern auch in dem Wert seines Bestandes. Heute außerordentlich seltene Bäume sind hier vertreten.
Unterhalb der Orangerie befand sich im 17. Jahrhundert eine Gartenanlage. Durch Infrarot-Luftbildaufnahmen, Zeichnungen und Gemälden gelang es den Gartenarchitekten, diese Anlage zu rekonstruieren. Der Garten wird durch ein Wegekreuz in vier Quadranten unterteilt. Den Mittelpunkt der Anlage bildet ein Fontänenbrunnen.
Der Küchengarten versorgte im 18. Jahrhundert das Schloß mit Gemüse, Kräutern, Beerenobst und Spalierobst. Er ist umgeben von einer sanierten Mauer. Das Innere wird gegliedert durch einen Hauptweg, von dem auf einfache Weise verschlossene Längs- und Querwege abgehen.