Midden van de 19de eeuw kwam het kasteel van Stuyvenberg in handen van Arcadie Claret. Die kon het aankopen dankzij het fortuin van haar minnaar koning Leopold I. Claret bleef 20 jaar lang aan de zijde van Leopold I. Officieel was ze gehuwd met de Coburgse weduwnaar Ferdinand Meyer. Die erkende ook alle kinderen die Leopold I bij haar verwekte. Die werden later geadeld en gingen door het leven onder de naam Eppinghoven. Wanneer Leopold I overleed, verkocht Claret het kasteel aan een stroman van de overleden vorst. Zelf week ze uit naar Duitsland.
Later bood het kasteel onder meer onderdak aan koningin Elisabeth en koningin Astrid. Koningin Fabiola overleed er in 2014. Het kasteel ligt op een zeer groot tuin-domein dat ooit aansloot op dat van het koninklijk paleis. De nieuwe huurders gaan het kasteel nu opfrissen en aanpassen. Ze zouden het vanaf volgend jaar bewonen.