Scion suuresta Virginialaisperheestä, John Randolph syntyi 2.kesäkuuta 1773 isoisänsä plantaasilla Prince Georgen piirikunnassa. Isäpuolensa St. George Tuckerin kautta häneen indoktrinoitiin ikänsä ylittävä maallinen viisaus. Ennen 12-vuotiasta hän oli lukenut laajalti Shakespearea sekä kreikkalaisia ja roomalaisia klassikoita. Hänen muodollinen koulutuksensa oli Columbiassa ja Princetonissa, ja hän luki lakia setänsä Edmund Randolphin toimistossa. Koulupoikana hän todisti George Washingtonin virkaanastujaisia ja ensimmäisen kongressin varhaisia istuntoja, mikä sytytti hänen kiinnostuksensa politiikkaan.

Randolph nousi 25-vuotiaana Patrick Henryn kanssa käydyn ”suuren väittelyn” jälkeen Yhdysvaltain edustajainhuoneeseen. Hänen neroutensa huomattiin pian. Serkkunsa Thomas Jeffersonin salijohtajana ja Ways and Means-komitean puheenjohtajana hän löi ruoskan parlamentin jäsenten päälle. Mutta hänen omituisuutensa saivat hänet pian kiinni. Hän vaimensi pahoin tuomari Samuel Chasen virkasyyteoikeudenkäynnin (1804) ja luopui Aaron Burrin salaliittooikeudenkäynnin esimiehestä (1807), koska hänellä oli pitkään vaalittuja ennakkoluuloja Burria kohtaan.

Randolph erosi avoimesti Jeffersonista vuonna 1806 Floridan ostoyrityksestä vaatien paluuta vuoden 1798 periaatteisiin ja nousemista Amerikan ensimmäisen ”kolmannen” poliittisen puolueen, Quidien, perustajaksi. Randolph kärsi tappion uudelleenvalinnassa vuonna 1813, koska hän vastusti vuoden 1812 sotaa. Hän istui edustajainhuoneessa uudelleen vuosina 1815-1817, 1819-1825 ja 1827-1829 ja toimi myös yhden kauden Yhdysvaltain senaattorina vuosina 1825-1827. Tänä aikana hän oli usein sairas ja kärsi mielenterveyshäiriöistä.

Randolphin tunnettu vastustus Missourin kompromissia vastaan 1820-1821 (vaikka hän vihasikin orjuutta, hän paheksui sekaantumista tuohon instituutioon), pelko pakotetusta vapautuksesta ja loistava valtioiden oikeuksien puolustaminen herättivät John C. Calhounin synkän älyn. Randolph oli 1829-1830 Virginian konvention delegaattina ja vastusti kiivaasti kaikkia perustuslaillisia muutoksia. Muutaman kuukauden ajan vuonna 1830 hän toimi ministerinä Venäjällä. Hän katkaisi katkerasti välinsä Andrew Jacksoniin vuoden 1832 mitätöintikriisin vuoksi ja toivoi, että hän voisi saada kuolevan ruumiinsa sidottuna hevoseensa, radikaaliin, ja ratsastaa Etelä-Carolinan puolustukseen. Toukokuuta 1833 ja kuoli Philadelphiassa 24.