Het Witte Huisje is in 1858 gebouwd als timmerschuur van het kasteel, in opdracht van de toenmalige baron Maximiliaan Jacob Leonard Taets baron van Amerongen, Heer van Renswoude (1821 – 1901). De vermoedelijk bouwer is Bart van Droffelaar, timmerman te Renswoude (1835 – 1920). Bij een latere restauratie en verbouwing tot woonhuis zijn in een stuk kalkcement de initialen ‘BVD’ aangetroffen en het jaartal 1859 (om onduidelijke redenen komen we ook het jaartal 1830 en 1858 tegen als (her)bouwjaar, wellicht is de bouw in 1858 begonnen en in 1959 voltooid).

In 1958 is de timmerwerkplaats omgebouwd tot woonhuis en zijn de buitenmuren wit geschilderd. Sindsdien staat het bekend als Het Witte Huisje van Renswoude.

(Uit: Dorpsstraat ons dorp, 375 jaar Renswoudse bewoningsgeschiedenis - E. Wolleswinkel)

Ons landgoedje maakt onderdeel uit van Kasteelpark Renswoude. Het park is ontworpen en aangelegd is de 17e eeuw. Oorspronkelijk lagen de moestuinen zo dicht mogelijk bij de keuken, dus vlak achter het kasteel. Later, toen de Engelse landschapstijl in de mode kwam, zijn die verplaatst naar de rand van het park achter de kasteelmuur. Tegen de warme zuidmuur werd een druivenkas gebouwd, en verder waren er waarschijnlijk nog 2 grote kassen en 2 koude bakken. Dit zijn rechthoekige bakken van stenen muurtjes met eenruiters (ramen) erop.

Onze oude buurman kon zich nog herinneren dat in de Tweede Wereldoorlog, tijdens de hevige gevechten in deze regio, de kassen zijn kapotgeschoten. In ons huisje zie je op de hoek nog de kogelgaten in de muren, en ook binnen zie je bij sommige dakbalken de schade opgelopen tijdens de beschietingen.