Das zunächst als “Favorite” bezeichnete Schlösschen wurde nach einem Entwurf des Hamburger Malers Hans Hinrich Rundt erbaut. Es lag am so genannten Friedrichstaler Kanal, der die Residenz in der Stadt mit der außerhalb gelegenen Orangerie und einem aufwendigen Terrassenpark verband.

Der nach niederländischen Vorbildern 1701 erbaute Kanal war schiffbar und diente der lippischen Herrscherfamilie zur Rekreation, vor allem aber repräsentativen Zwecken.

Zwischenzeitlich diente das Schlösschen dem Maler Wilhelm Tegeler als Atelier
Von 1841 – 1846 lebte hier Ernst von Bandel, der Erbauer des Hermannsdenkmals.
Nach dem Auszug von Bandels entschied sich Fürst Leopold II. (1796 – 1851) das Palais für seinen Sohn und Nachfolger, den späteren Leopold III. (1821 – 1875), umzugestalten. Nach Plänen des lippischen Landbaumeisters F. Brune erfolgte nun der Umbau des Gebäudes zu einer Residenz im spätklassizistischen Stil, dem „Neuen Palais“. Dabei wurde das Mansardendach abgetragen und ein drittes Geschoss aufgesetzt. Vor dem Gartenportal wurde die heute noch vorhandene Freitreppe errichtet.

Nördlich des Palaisgartens befindet sich die „Gartenstraße“ mit spätklassizistischen Wohnhäusern und großen Gärten. Auch nicht weit vom Palaisgarten entfernt liegt das Freilichtmuseum Detmold, das größte europäische Museum dieser Art mit seinen sehenswerten westfälischen Bauerngärten.