Het is mogelijk dat op de stroomrug van Heemstede, mede gezien de ligging en de naam, al vóór de latere grootschalige ontginningen bewoning is geweest. De ligging van Heemstede ten opzichte van de latere ontginningen is zeer markant, daar het juist aan de grens van twee verschillende ontginningen ligt. Het is opmerkelijk dat de oudste bewoningsplaats van Heemstede precies in dit gebied aan de westzijde van de dijk was gesitueerd.

Volgens Dekker kan dit worden verklaard doordat de dijk niet de oorspronkelijke westelijke afsluiting van de Heemsteedse ontginning vormt, maar later gelegd was als oostelijke afsluiting van de aangrenzende ontginningseenheid van Jutphaas, door de bestaande Heemsteedse verkaveling heen.

Om de grootscheepse ontginning van Jutphaas recht te kunnen beëindigen had men een gedeelte van Heemstede meegenomen in de perceelsuitzetting en herverkaveld. Hierbij bleef men het deel van het oude Heemstede, dat in Jutphaas was komen te liggen, ook Heemstede noemen.

Pas vanaf 1645, na de bouw van het nieuwe huis aan de oostzijde van de Heemstederdijk, wordt - ter onderscheiding hiervan - het middeleeuwse kasteel en ridderhofstad als ‘Oude Heemstede’ aangegeven, zoals op de kaart van De Roij van de provincie Utrecht uit 1696. Pas in het begin van de 14de eeuw vinden wij de eerste schriftelijke gegevens over de kavel, waarop later de ridderhofstad blijkt te staan.

In 1339 verkocht Sander van Heemstede aan zijn broer Borre van Heemstede en zijn zwager Hak van Schelluinen al het goed dat zijn broer Nicolaas in leen hield van de heer van Vianen. Uit een latere belening uit de 14de eeuw is bekend dat hiermee een hoeve land (ca. 15 ha) in Jutphaas werd bedoeld. Onder de getuigen komen twee zonen van Borre voor: Elias en

Dirk. Reeds vroeger, in 1323 werd melding gemaakt van een Everard van Heemstede, ridder. Vermoed wordt dat deze Everard een telg was uit het oude Utrechtse geslacht Van Wulven en zich later Van Heemstede is gaan noemen. In 1358 droeg Zweder van Schelluinen de bovengenoemde hoeve land in Jutphaas over aan Borre van Heemstede, mogelijk een kleinzoon van de voorgaande Borre.

Hij werd in 1381 door de bisschop van Utrecht beleend met een hoeve land in Heemstede onder Houten, waarop in de 17de eeuw de buitenplaats Heemstede zou worden aangelegd. Zijn zoon, Everard van Heemstede, die leenplichtig was aan de heerlijkheid Vianen, had drie kinderen, Borre, Hildegonda en Sander. Bij zijn dood in 1392 erfde de oudste zoon, Borre, het goed. Op 1 juni van dat jaar werd hij nog beleend met een hoeve land zonder meer. 

Twaalf jaar later wordt het kasteel Heemstede voor het eerst expliciet genoemd. Op 22 februari 1404 werd de nicht van Borre, Elsabe Mouwer, echtgenote van Godschalk van Winssen, door de heer van Vianen beleend met een hoeve land ‘mit husinge ende hofstede geheiten die Heemstede’. Dekker meent hieruit te kunnen opmaken dat de ridderhofstad tussen 1392 en 1404 werd gebouwd.

In 1439 was Elsabe overleden en werd Godschalk van Winssen beleend met kasteel Heemstede. Deze familie Van Winssen was een zeer aanzienlijke Utrechtse familie, waarvan leden gedurende de 15de en 16de eeuw vrijwel ononderbroken de ambten van schepen en burgemeester van Utrecht uitoefenden.

Door deze functies zullen de Van Winssens meestal in hun stadshuis in de tegenwoordige Herenstraat in Utrecht hebben gewoond. In 1524 werd Godschalk van Winssen eigenaar. In 1536 werd Heemstede als ridderhofstad erkend. Volgens Lisman was Willem II van Winssen, die vanaf 1557 met de ridderhofstad beleend werd, één van de weinige personen die het afgelegen huis min of meer permanent bewoonde.

De tekening van Roghman laat enkele onregelmatigheden in de gevels zien, die erop zouden kunnen wijzen dat het kasteel mogelijk in twee of meer bouwfasen tot stand was gekomen. De door de zon beschenen gevel laat zich onderverdelen in een rechterdeel, bestaande uit een min of meer zelfstandig bouwblok met een regelmatige verdeling van vier vensters met kloosterkozijnen, en een kleiner linkerdeel met de ingang, dat mogelijk een trappehuis bevatte.

Roghman tekende halverwege in de schaduwzijde van het gebouw ook nog een verticale lijn, mogelijk een bouwnaad. Hierdoor wordt de indruk gewekt dat het rechter gedeelte op de voorgrond een kleine woontoren (ca. 7x7m) was, die later aan twee zijden werd vergroot tot een bouwblok van ca. 12 x 12 m. De tekening toont verder nog de kleine terreinverhoging ter plaatse van het gebouw. Sporen van eventuele bijgebouwen zijn echter niet te onderscheiden.

De ruïne verdween in de loop van de tweede helft van de 17de eeuw. Ter plaatse vindt men nu een boomgaard. Vermoedelijk bevinden zich in het perceel nog de resten van de ondering. Omstreeks i960 werden bij een archeologische verkenning enkele bakstenen aangetroffen, die ogenschijnlijk deel uitmaakten van deze fundering15. Het formaat van de gevonden baksteen, 29/30 x 16 x 8 cm, ondersteunt de datering van de woontoren in de 14de eeuw.

Hiertoe besloot het echtpaar redelijk snel, daar in 1645 de bouw in volle gang was. Hun besluit kan waarschijnlijk niet los worden gezien van de omstandigheid dat de oude ridderhofstad,die waarschijnlijk sinds het overlijden van Willem II van Winssen in 1614 niet meer werd bewoond, inmiddels tot een ruïne was vervallen. Later, in 1655, verkreeg het echtpaar door vererving nog het stadshuis van de familie De Waell van Vronesteyn op de Plompetorengracht te Utrecht, dat door hen twee jaar later zou worden verbouwd.

Diderick van Velthuysen heeft in de periode 1680-1700 het huis, de interieurs en de tuinen volledig gemoderniseerd en uitgebreid, zodat één van Nederlands fraaiste buitenplaatsen ontstond. Na zijn overlijden, op 20 juli 1716, was de glorietijd van Heemstede grotendeels voorbij.

De latere eigenaars en bewoners brachten relatief weinig veranderingen meer aan en de tuinen werden sterk vereenvoudigd. Omstreeks 1720 kwam het huis met de ambachtsheerlijkheid en de ridderhofstad in het bezit van mr. Cornells Quint. Deze neef van Van Velthuysen had geen belangstelling voor deze bezittingen van zijn oom en droeg ze binnen enkele dagen over aan Antonij Torck.

Reeds in 1723 werd het landgoed overgedragen aan Esaye Gillot. Deze hugenoot was gehuwd met Madelaine Desormeaux, een Waalse predikantsdochter afkomstig uit Haarlem. Esaye Gillot
herstelde de verwaarloosde en deels vernielde tuinen weer in grote lijnen en liet enkele moderniseringen uitvoeren.

De voorgevel onderscheidt zich van de andere gevels door de aanwezigheid van de hoofdingang met de daarboven gelegen erker. De aan de bovenzijde halfronde eiken deur is gevat in een zandstenen omlijsting, bestaande uit een kroonlijst, gedragen door twee Toscaanse halfzuilen. In het fries is in Romeinse cijfers het bouwjaar aangebracht: MDCXLV. Boven de entree bevinden zich twee consoles, waarop via een korfboog de erker rust. Op de zandstenen consoles treft men de wapens van de bouwheer en -vrouwe van Heemstede aan; links het wapen van Hendrick
Pieclc en rechts dat van Maria Agnes van Winssen.

Het zorgvuldig ontworpen buitenhuis was gesitueerd in een fraaie Hollandse tuin. Deze tuin werd gekenmerkt door een eenvoudige aanleg, waarbij de nog bestaande weilandverkavelingrond om het huis laat zien dat men hiervoor twee vrijwel gelijke‘slagen’ had samengevoegd.

Hierin werd het huis op de centrale symmetrie-as geplaatst, dus ter plaatse van de voormalige sloot die de twee slagen vroeger scheidde. De tuinstructuur werd waarschijnlijk aangelegd op basis van een moduul van 5x5 Utrechtse roede, waarin de pas later afgebeelde de parterres, sterrenbos en moestuin mogelijk al voorkwamen.

Diderickvan Velthuysen liet de buitenplaats moderniseren in de periode 1680-1700. Hierbij werd eerst de oude tuin rondom het huis vernieuwd, terwijl deze pas waarschijnlijk na 1690 verder
werd uitgebreid in oostelijke richting. De tuin, oranjerie, parterres, vijvers, paviljoen, sterrenbos, moestuin en boomgaarden werden getekend door Isaac de Moucheron en beschreven in
hofdichten van Lucas Rotgans en Adriaan Reets.

Ze geven tezamen een goed beeld van de tuin. Na het overlijden van Diderick van Velthuysen werd de buitenplaats niet meer gemoderniseerd, doch slechts vereenvoudigd. Met name gold dit de tuinen; deze werden alleen door Esaye Gillot aanzienlijk verbeterd, terwijl de latere eigenaars uitsluitend versoberingen doorvoerden.