Velserbeek kent als buitenplaats een lange geschiedenis. Buitenplaats Velserbeek stamt uit het jaar 1544. De hofstede is op dat moment in het bezit van het regenten-geslacht Ramp, dat zelf het Huis Rollant bewoonde in Overveen en waarvan de leden belangrijke bestuurlijke functies uitoefenen in de stad Haarlem.

In 1628 wordt deze familie Ramp zelfs verheven in adelstand en laat zich vanaf dan Ramp van Rollant noemen. Begin 18e eeuw zou de famile Ramp van Rollant echter roemloos ten onder gaan aan hoge schulden die niet betaald konden worden. In 1639 wordt de hofstede verkocht aan de rijke Amsterdamse koopman Jerimias van Keulen voor 7500 gulden. Van Keulen liet zich later Van Collen noemen.

Van Keulen was erg rijk en had een gezin van 15 kinderen. Hij liet de hofstede uitbouwen tot een buitenplaats met het huidige herenhuis en de siertuinen. Het park werd aangelegd in de Franse stijl “Le Notre”. Als hij in 1668 failliet gaat wordt, hij gedwongen afstand te doen van Velserbeek. In vergelijking met de bezittingomschrijving van 1639 is Velserbeek onder Van Keulen uitgegroeid tot een riante buitenplaats met een “groot huis, hovenierswoning, stalling voor zes paarden, hooi en wagenhuis, plantagie, boomgaard, bloem en moestuin, vlindertuin en het erf”.

Vele jaren daarna kende Buitenplaats Velserbeek een aantal opvolgende eigenaren die hun bezitting aanzienlijk gingen uitbreiden en de bestaande tuinen werden omgevormd. In 1761 bevatte de hofstede een herenhuis, paarden en koeien stallen, koets en wagenhuis, oranjerie (nu Theeschenkerij), tuinmanwoning, schuur, speelhuis, beplanting, broeikassen, een perceel duingebied, een stuk bos genaamd “de Vinkenkroft” met een daarin gelegen “vinkenbaan” en “vinkenhuis” en de binnen Velserbeek gelegen werkmanswoning “De Blink”.velser 2

In 1769 kocht de rijke Amsterdammer Frans Jacob Berg, die Kapitein-Ingenieur in dienst van de VOC in Batavia was, voor 16.600 gulden Velserbeek. Berg was gehuwd met Amalia Maria Goll van Franckenstein.

Frans Jacob Berg stierf in 1775 en zijn weduwe zet Velserbeek te koop in de Oprechte Haerlemmer Courant. Echter ziet zij van de verkoop af. In 1781 verkoopt zij Velserbeek aan haar vader Johan Goll van Franckenstein senior voor 27.000 gulden.

Johan Goll van Franckenstein senior was getrouwd met Maria Wilkens. Johan was oorspronkelijk betrokken bij een Duits bankiershuis en werd niet veel later een bekende Amsterdamse bankier, kunstkenner en kunstverzamelaar. Johan was ook nog eens een invloedrijke financiële expert, want hij behartigde de financiële belangen van de Oostenrijkse keizerin Maria Theresia die hem als teken van waardering in de adelstand verhefde. Het werd Johan toegestaan om “van Franckenstein” aan zijn familienaam toe te voegen.

Na het overlijden van Johan Goll van Franckenstein senior in 1785 neemt Goll Junior het vrijwel direct het eigen initiatief om de geometriche tuin te gaan inrichten in de stijl van het Engelse landschap met sierelementen als een kluizenaarhut, een ruïne, Chinees schellenhuisje en een jeneverhuisje. De tuin liet hij ontwerpen door Johan Georg Michaël, de tuinarchitect van Beeckestijn.

Goll junior werd meteen na het vertrek van Napoleon, raadslid van Amsterdam en lid van de Provinciale Staten van Noord-Holland. In 1818 verhief Koning Willem I hem in de adelstand met de titel “jonkheer”. Goll Junior stierf in 1821. Tot aan het jaar 1832 bleef Velserbeek in bezit van de erven Goll van Franckenstein.