Anstelle der wehrhaften mittelalterlichen Burganlage ließ Graf Heinrich von Harscamp 1746 ein herrschaftliches Landschloss errichten. Dazu wurde der gesamte Bau bis auf geringe Teile der Vorburg abgetragen und ein zweigeschossiger, achtachsiger Bau mit 50 Räumen und hohem Mansarddach errichtet.
Bei einem Großbrand wurde das Schloss 1970 zu 70 Prozent zerstört. Zwischen 1985 und 1987 erfolgte der Wiederaufbau des Schlosses, das im Volksmund vielfach auch "Großes Haus" gennant wird.