James Forten syntyi Philadelphiassa vuonna 1766. Purjesepän oppipoikana hänestä tuli työnjohtaja vuonna 1786 ja vuonna 1798 hän omisti oman yrityksen vuonna 1798. Menestynyt liikemies keräsi yli 100 000 dollarin omaisuuden.

Forten kiinnostui aktiivisesti politiikasta ja kampanjoi raittiuden, naisten äänioikeuden ja afroamerikkalaisten yhtäläisten oikeuksien puolesta. Vuonna 1800 hän järjesti vetoomuksen, jossa vaadittiin kongressia vapauttamaan kaikki orjat. Hän myös kirjoitti ja julkaisi pamfletin, jossa hän hyökkäsi Pennsylvanian lainsäätäjää vastaan, koska tämä kielsi vapautettujen mustien orjien maahanmuuton muista osavaltioista.

vuonna 1817 Fordenista tuli Richard Allenin kanssa Värikokous. Järjestö puolusti karanneiden mustien orjien sijoittamista Kanadaan, mutta vastusti jyrkästi kaikkia suunnitelmia kotiuttamisesta Afrikkaan. Muita liikkeen johtohahmoja olivat William Wells Brown, Samuel Eli Cornish ja Henry Highland Garnet.

vuonna 1833 Forten oli mukana perustamassa American Anti-Slavery Societya. William Lloyd Garrisonin läheinen ystävä Forten oli mukana kirjoittamassa orjuuden vastaista the Liberator-lehteä. James Forten kuoli 24. helmikuuta 1842.