Hijo de una gran familia de Virginia, John Randolph nació el 2 de junio de 1773, en la plantación de su abuelo en el condado de Prince George. A través de su padrastro, San George Tucker, fue adoctrinado con una sabiduría más allá de sus años. Antes de cumplir los 12 años había leído extensamente Shakespeare y los clásicos griegos y romanos. Su educación formal fue en Columbia y Princeton, y estudió derecho en la oficina de su tío, Edmund Randolph. Como estudiante, fue testigo de la inauguración de George Washington y de las primeras sesiones del primer Congreso, lo que encendió su interés en la política.

A la edad de 25 años, después de un «gran debate» con Patrick Henry, Randolph entró en la Cámara de Representantes de los Estados Unidos. Su genio pronto fue reconocido. Como líder de piso de su primo Thomas Jefferson y como presidente del Comité de Medios y Arbitrios, rompió el látigo sobre los miembros de la Cámara de Representantes. Pero sus excentricidades pronto lo alcanzaron. En el juicio de destitución del juez Samuel Chase (1804), se descalificó a sí mismo como capataz del juicio de conspiración de Aaron Burr (1807) debido a sus prejuicios largamente apreciados contra Burr.

Randolph rompió abiertamente con Jefferson en 1806 por el intento de compra de Florida, exigiendo un retorno a los principios de 1798 y emergiendo como fundador del primero de los «terceros» partidos políticos de América, los Quids. Randolph fue derrotado para la reelección en 1813 debido a su oposición a la Guerra de 1812. Sirvió de nuevo en la Cámara de Representantes en 1815-1817, 1819-1825 y 1827-1829, y también sirvió un solo término como senador de los Estados Unidos de 1825 a 1827. During this time he was often ill and suffered from mental disorder.

La conocida oposición de Randolph al Compromiso de Missouri de 1820-1821( aunque odiaba la esclavitud, desaprobaba la interferencia con esa institución), su miedo a la emancipación forzada y su brillante defensa de los derechos de los estados agitaron el sombrío intelecto de John C. Calhoun. Randolph fue delegado en la Convención de Virginia de 1829-1830 y se opuso ferozmente a cualquier cambio constitucional. Durante unos meses en 1830 se desempeñó como ministro de Rusia. Rompió amargamente con Andrew Jackson por la crisis de anulación de 1832 y deseó que pudiera tener su cuerpo moribundo atado a su caballo, Radical, y cabalgar en defensa de Carolina del Sur. El 24 de mayo de 1833, murió en Filadelfia.