Erst als Herzog Adolf das Haus Eller mit Waffengewalt eroberte, war Heinrich von Eller 1424 bereit, seine Burg als "Offenhaus" dem Landesherrn jederzeit zur militärischen Verfügung zu stellen. Mit diesem Vertrag wurde die Öffnung der Burg besiegelt.
Der Wohlstand des Geschlechts schwand infolge häufiger Erbteilungen im Laufe des 14. und 15. Jahrhunderts dahin. Immer mehr Teile des ursprünglich reichen Besitzes mussten veräußert werden, um den überkommenen Lebensstil noch pflegen zu können, da die Erträge des verkleinerten Besitzes nicht mehr ausreichten. Im Zuge dieser Entwicklung verkaufte Heinrich von Eller 1448 dann das Haus Eller mit allem Zubehör an den Ritter Adolf Quade. Der neue Besitzer, der im Dienst des Herzogs hohe Ämter bekleidete, baute in der Mitte des 15. Jahrhunderts das Haus Eller zu einer stattlichen massiven Burg aus, als deren Überrest der Turm, der den Kern des heutigen Schlosses bildet, noch erhalten ist. Nach dem Tode von Quade um 1469 kam die Burg im Erbgang nacheinander in die Hände bedeutender Adelsfamilien. Als die Burg von 1599 bis 1621 keinen Besitzer hatte, verwahrloste das einst so ansehnliche Besitztum weitgehend. Kontributionen und Plünderungen im Dreißigjährigen Krieg führten zu weiteren Schädigungen.