Scion av en stor Virginia-familj, John Randolph föddes den 2 juni 1773 på sin farfars plantage i Prince George County. Genom sin styvfar, St. George Tucker, indoktrinerades han med en världslig visdom utöver sina år. Innan han var 12 hade han läst mycket i Shakespeare och de grekiska och Romerska klassikerna. Hans formella utbildning var i Columbia och Princeton, och han läste lag på kontoret för sin farbror, Edmund Randolph. Som skolpojke bevittnade han invigningen av George Washington och tidiga sessioner av den första kongressen, vilket antände hans intresse för politik.

vid 25 års ålder, efter en ”stor debatt” med Patrick Henry, gick Randolph in i USA: s representanthus. Hans geni blev snart erkänt. Som golvledare för sin kusin Thomas Jefferson och som ordförande för Ways and Means Committee knäckte han piskan över kammarmedlemmarna. Men hans excentriciteter kom snart ikapp honom. Han dämpade dåligt rättegången mot domare Samuel Chase (1804), och han diskvalificerade sig själv som förman för Aaron Burr conspiracy trial (1807) på grund av hans länge omhuldade fördomar mot Burr.Randolph bröt öppet med Jefferson 1806 över försöket till Florida-köp, krävde en återgång till principerna från 1798 och framträdde som grundare av den första av Amerikas ”tredje” politiska partier, Quids. Randolph besegrades för omval 1813 på grund av hans motstånd mot kriget 1812. Han tjänstgjorde igen i huset 1815-1817, 1819-1825 och 1827-1829, och han tjänade också en enda period som amerikansk senator från 1825 till 1827. Under denna tid var han ofta sjuk och led av psykisk störning.Randolphs välkända motstånd mot Missouri-kompromissen 1820-1821 (även om han hatade slaveri, ogillade han inblandning i den institutionen), hans rädsla för tvingad frigörelse och hans lysande försvar av staternas rättigheter rörde John C. Calhouns dystra intellekt. Randolph var delegat till Virginia-Konventionen 1829-1830 och motsatte sig starkt alla konstitutionella förändringar. Under några månader 1830 tjänstgjorde han som minister för Ryssland. Han bröt bittert med Andrew Jackson över ogiltighetskrisen 1832 och önskade att han kunde få sin döende kropp fastspänd på sin häst, radikal och rida till försvaret av South Carolina. Den 24 maj 1833 dog han i Philadelphia.