Das Anwesen des Poet’s Walk Park war ursprünglich Teil eines Landstipendiums von 1688 an Colonel Pieter Schuyler aus Albany.Um 1800 verkaufte General John Armstrong Jr., der mit Alida Livingston, der Tochter des Richters Robert Livingston (1718-1775) und Margaret (née Beekman) Livingston von Clermont, verheiratet war, seinen Hof „Almont“. Für die nächsten zehn Jahre diente Armstrong zuerst im Kongress als Senator aus New York, dann als Minister in Frankreich. Um 1811 gründete er ein Anwesen etwas weiter nördlich in Barrytown. Die Armstrongs nannten das Anwesen La Bergerie. Hier züchteten sie Merinoschafe, die Napoleon Ihnen gegeben hatte. Im Jahr 1818 heiratete ihre Tochter Margaret William Backhouse Astor Sr.. Um 1835 kaufte Astor das 728 Hektar große Anwesen für ein Sommerhaus; Margaret Astor benannte es in „Rokeby“ um.Im September 1844 heiratete ihre Tochter Laura Eugenia Astor den Kaufmann / Finanzier Franklin Hughes Delano. Als Hochzeitsgeschenk schenkte William Astor dem Paar die südlichsten 100 Hektar „Rokeby“. Das Anwesen wurde bekannt als „Steen Valetje“ (was auf Niederländisch „kleines Steintal“ bedeutet).

1849 beauftragten die Astors und die Delanos den in Deutschland geborenen Landschaftsgärtner Hans Jacob Ehlers mit der Verbesserung des Geländes in „Rokeby“ und „Steen Valetje“, in dessen Verlauf er einen Waldweg namens „Poet’s Walk“ zu Ehren von Washington Irving und Fitz-Greene Halleck errichtete, die dort spazieren gegangen sein sollen.Der Park wurde von vielen Literaten besucht, darunter William Cullen Bryant (1794-1878) und Jack Kerouac (1922-1969).Heute wird die visuelle Integrität des Parks und seiner Umgebung durch die Naturschutzmaßnahmen des Scenic Hudson Land Trust auf den umliegenden 800 Hektar (3,2 km2) geschützt. Der Park ist von 9am bis zur Abenddämmerung geöffnet (6pm im Winter, 8pm im Sommer). Scenic Hudson behielt Optimus Architecture bei, um sowohl den Informationskiosk am Ausgangspunkt als auch den rustikalen Overlook Pavilion zu entwerfen, von wo aus die Besucher die beste Aussicht auf den Park haben. Das Projekt erhielt einen Designpreis des New Yorker Kapitels der Society of American Registered Architects.