Der aus einer der reichsten Industriellenfamilien Deutschlands im Saarland stammende Ferdinand Eduard Stumm war seit 1866 als Diplomat in preußischen Diensten. 1870/71 nahm er als Offizier am Krieg gegen Frankreich teil. 1872 war er Geschäftsträger beim Heiligen Stuhl, dann Botschaftsrat in St. Petersburg und London. Ab 1875 fungierte er als preußischer Gesandter im Großherzogtum Hessen – Darmstadt, 1877 in Dänemark. Von 1879 bis zu seinem Ausscheiden aus dem Dienst 1890 lebte er als Botschafter in Madrid, dann wechselnd im Sommer in Schloss Holzhausen und im Winter häufig in Florenz. Sein vorzeitiger Rückzug aus dem Dienst 1890 stand möglicherweise mit der Entlassung Bismarcks in Zusammenhang. Dem Reichskanzler ist ein oberhalb des Schlosses platziertes Denkmal gewidmet, das durch die darauf zuführende Kastanienallee besonders hervorgehoben wird.

In zeitüblicher Weise traten der 1888 in den Adelsstand erhobene Schlossherr und seine Frau wohltätig hervor und stifteten in Holzhausen eine neue Dorfkirche, ein Schulhaus, ein Gemeindehaus, einen Kindergarten sowie die Wasserversorgung und Straßen. Kranke und Bedürftige wurden unterstützt, und Freifrau von Stumm bescherte zu Weihnachten persönlich Personal und Kindergartenkinder.

Der Sohn Ferdinand von Stumm, ebenfalls Diplomat, verkaufte das Anwesen, zu dem außer Schloss und Park noch der alte Gutshof im Ort gehörten 1938 und 1941 wegen der hohen Unterhaltskosten.

Auch zwei Brüder Ferdinands ließen sich neue Schlösser errichten und große Landschaftsparks anlegen. Der Chef der Familie, Carl Ferdinand, der „König von Saarabien“, residierte in Schloss Halberg bei Saarbrücken und Hugo von Stumm erbaute 1893 – 1895 Schloss Ramholz bei Schlüchtern.