De geschiedenis van Oolde gaat terug tot 1367. Olt Oolde lag ong. 500 m ten noorden van het huidige Oolde en werd gebouwd door Gijsbert van Keppel. Het huidige en enig overgebleven Oolde is gebouwd door Goossens van Keppel en heette eerst het Nijenhuis. Het had mogelijk de functie van jachtslot maar er wordt ook een kapel beschreven bij Old Oolde waar de kruisgewelven in het “onderhuis” het restant van zouden kunnen zijn.
Door een volgende Keppel genaamd Duivel Derck werd het Nijenhuis/Oolde tot een Havezathe gemaakt. In 1849 zijn Olt Oolde en het Nijenhuis verenigd door Graaf van Rechteren Limpurg die beide Ooldes kocht van Duivel Derck. Olt Oolde is afgebroken, er rest alleen de herinnering aan een slotgracht op satellietbeelden.
Adolf van Rechteren Limpurg gaf Oolde in 1951 aan zijn dochter Maria Catharina Frederica toen ze trouwde met Graaf van Wassenaer Starrenburg.
Onder haar leiding werd er flink geïnvesteerd. De bekende tuinarchitect Hendrik Copijn werd in 1871 verzocht een ontwerp te maken van de tuin (de originele tekening hangt in de hal). De slotgracht verdween. Enkele monumentale eiken, onderdeel van de oprijlaan vanuit het dorp, moesten wijken voor een ovaal parkdeel met rondlopende rijroute. Door hergebruik van een deel van deze bomen werd een subtiel zicht op de voorgevel van Oolde gecreëerd. Aan de oostkant werd een Franse tuin aangelegd met strakke lijnen en veel geschoren buxus. Een hortus seclusus was onderdeel van het ontwerp, een omsloten afgeschermde bloementuin voor de vrouw des huizes (door Copijn pleasureground genoemd). Aan de westkant kwam een Engelse tuin, met vijver en embryonale golvende lijnen (karachi vormen) naar de heersende mode. Er kwam aan de achterkant een aanbouw aan het huis waar op de begane een keuken en boven twee badkamers gecreëerd werd. De gevel werd gepleisterd zodat het huis zich beter voegde in haar nieuwe landschappelijke omgeving.
Er kwam een koetshuis met paardenstal ontworpen door Eberson, de vaste architect van Koning Willem 3. Kosten noch moeite werden gespaard om Oolde te verfraaien, (waarschijnlijk ter voorbereiding van het huwelijk van jongste dochter Caroline met Willem van Welderen Rengers) maar Mevrouw van Wassenaer heeft zich overduidelijk vertild aan project Oolde want in 1905 is Landgoed Oolde (groot 540 ha) in een executoriale veiling verkocht. Van Wassenaer was al in 1857 overleden maar door financiële ondersteuning van familieleden konden huis en tuin uit de executie gehouden worden.
Oolde is via de Welderen Rengers teruggekomen bij de familie van Rechteren totdat Mevrouw Taets van Amerongen – Bieruma Oosting, grootmoeder van de huidige eigenaren, het in 1955 kocht van weduwe Ruby van (weer een) Adolf van Rechteren Limpurg.
Naast het huis bevindt zich op het terrein nog het koetshuis, paardenstal (met gevelsteen die mevrouw van Wassenaer memoreert) en het tuinmanshuis achter de moestuin. De vaas in de Franse tuin is van monumentale waarde net zoals het hek naar de moestuin. Opvallend in het ontwerp van Copijn zijn de verschillende zichtassen, altijd doorsneden door een boom. De grote rode of koperbeuk voor het huis maakt deel uit van een zichtas vanuit het huis. Ook is er een zichtas gecreerd over de “parkwei”, de omheinde wei ten westen van het huis. Onderdeel van deze zichtas was een markante meerstammige beuk, die Copijn aantrof en onderdeel maakte van zijn ontwerp. Helaas is deze beuk in 2005 gekapt. De zichtas over de vijver is met behulp van studenten weer in ere hersteld.
In de tweede wereldoorlog werd naast de ingang van de moestuin een V1-bommenwerp installatie geplaatst. De munitieopslag lag aan de overkant van de weg, op het Valthermont. Het cirkelvormige betonnen wegdek voor het koetshuis herinnert aan de mogelijkheid de richting van de lancering van de bommen nauwkeurig af te stemmen op de ligging van Antwerpen, het doel van de V1’s. Huis Oolde werd aangemerkt als Duits “culturbesitz” en is redelijk onbeschadigd de oorlog doorgekomen. De meeste schade vond aan het eind van de oorlog plaats. De bomen rond de moestuin hebben scherven van bombardementen in de kroon (wat ze onverkoopbaar maakt). Bevrijdende troepen richten schade in huis (aan een schilderij) en buitenshuis door op het huis te schieten.