Im Jahre 1763 erwarb der kurkölnische Geheime Rat und Staatsekretär Constantin von Gruben die mittelalterliche Burg Gelsdorf und ließ an ihrer Stelle ein standesgemäßes Residenzschloss erbauen. Ein Feuer zerstörte das Schloss 1979 fast bis auf die Grundmauern.
Die heutige Gestalt hat das Schloss durch aufwendige Restaurierungsarbeiten erhalten, die 1985 abgeschlossen werden konnten. Das Anwesen befindet sich in Privatbesitz.