Au cours de la première moitié du XIXe siècle, le comte Charles Gelou fit aménager le parc du château en style paysager. Le parc comprend une forêt de feuillus mixtes avec des sources, des chutes d’eau et des étangs naturels. Selon la mode de l’époque, il fit transformer le “hoff vant s’Heeren Huys”, le jardin du château en un jardin à la française qui, allié au parc paysager, forma ainsi un ensemble de parc particulier appelé parc de style mixte.
En 1959, le dernier héritier fit don du château pour une somme symbolique à la Commune d’Elsloo. Celle-ci céda le jardin à l’Institut d’éducation de la protection de la nature (Instituut voor Natuurbeschermingseducatie IVN) qui l’aménagea en jardin de plantes aromatiques à caractère éducatif.
L’assortiment se compose de plantes aromatiques de cuisine, de plantes médicinales et de plantes sauvages rares. Les administrateurs du jardin échangent environ 2.000 variétés de semences de plantes les plus diverses avec d’autres amoureux de jardins du monde entier. De cette manière, l’accent mis sur le jardin éducatif de plantes aromatiques se porte de plus en plus vers un jardin botanique où poussent des familles de plantes venant de toutes les régions du monde. La collection de fougères est l’un des exemples d’une telle collection, mais aussi des arbres solitaires exotiques peuvent être admirés à Elsloo, comme l’arbre aux mouchoirs (Davidia involucrata), le staphilier et les arbres du genre botanique Cornus, le cornouiller à fleurs (Cornus florida) et cornouiller de Nuttal (Cornus nuttallii).
Un jardin de curé fait également partie du château. Outre les plantes aromatiques, il y pousse du buis taillé en formes diverses. Le parc paysager adjacent au jardin est aussi accessible au public. Au printemps, on peut y admirer l’ail des ours, les anémones des bois, les ficaires, les corydales et les arums en floraison.