Bereits im 12. Jahrhundert wurde an der Stelle des heutigen Schlosses ein vermutlich hölzerner Vorläuferbau von den Bischöfen von Utrecht angelegt. Im 13. Jahrhundert wurde diese Anlage zu einer steinernen Burg ausgebaut, deren Gräften vom Wasser der nahen Issel gespeist wurden.

Noch heute kann man am ältesten Gebäude der Schlossanlage, dem mächtigen, die Hauptburg dominierenden Rundturm („dicker Turm“), das damals bevorzugte Baumaterial, den hellen Tuffstein, erkennen. Die Anlage auf der Hauptburg wurde seit dem 14. Jahrhundert immer wieder erweitert und überformt, die Wasserburg wurde letztlich im 17. Jahrhundert zum „Schloss“ umgestaltet.

Weite Teile des Schlosses wurden bei schweren Bombardierungen 1945 stark beschädigt und machten einen Wiederaufbau nach dem Zweiten Weltkrieg erforderlich. Zum Glück wurden alle beweglichen Kunstgegenstände vor der Bombardierung des Schlosses in Sicherheit gebracht. So konnte nach dem Wiederaufbau im Hauptgebäude des Schlosses ein Museum eingerichtet werden, während die Vorburg zu einem Hotel und Restaurant umgebaut wurde.

Im Museum ist heute das über viele Jahrhunderte gewachsene Inventar des Schlosses als historische Kunstsammlung der Fürsten zu Salm – unter anderem die größte private Gemäldesammlung in NRW – der Öffentlichkeit zugänglich. Das 5- Sterne-Hotel sowie eine 18-Loch Golfplatzanlage runden das moderne touristische Angebot ab.