Das Schloss wurde auf einem nach drei Seiten abfallenden Bergmassiv in der Zeit vom 13. Bis zum 15. Jahrhundert abschnittsweise errichtet. Seit dieser Zeit diente es der Familie Fürst zu Stolberg-Stolberg als Herrschersitz und wurde durch die differenzierten gestalterischen Geschmäcker der jeweils regierenden Generationen architektonisch beeinflusst.

Sein heutiges Antlitz bekam das Schloss durch Umbauten zwischen 1690 und 1700, wodurch auch die ehemaligen Wehranlagen in Gärten umgewandelt wurden.

Nach 1945 und nach der Wiedervereinigung entstand ein stetig anwachsender Sanierungsstau, welcher durch den neuen Eigentümer, die Deutsche Stiftung Denkmalschutz nun sukzessive abgebaut wird. So sind Teile des Schlosses seit 2008 wieder zur Besichtigung freigegeben. . Die Schlosskapelle konnte 2009 wieder eingeweiht werden und seit 2010 sind der Schlossgarten und der Südflügel wieder zugänglich.