Er wurde am 4. Januar 1824 in Newcastle in der Grafschaft Northumberland, New Brunswick, als Sohn schottischer Eltern geboren. Er studierte Rechtswissenschaften und wurde 1848 in die Anwaltskammer der Provinz New Brunswick berufen. Er übte seinen Beruf vier Jahre lang aus und ging dann eine Partnerschaft mit einem Herrn Hawe im Holz- und Schiffbau ein.

Mitchell kandidierte 1856 erneut als Gegner der von der Regierung vorgeschlagenen Prohibition. Er trug eine Pistole zum Schutz während der Kampagne und Rum für seine Anhänger. Er war bei dieser Wahl erfolgreich. In der Legislative lehnte Mitchell konfessionelle Schulen ab und unterstützte die Schaffung einer Stadtverwaltung. Er wurde 1859 Mitglied des Exekutivrates und führte das erste Insolvenzgesetz der Kolonie ein, um den Schuldnern die Arbeit zu erleichtern. Mitchell kandidierte 1861 nicht zur Wiederwahl, wurde aber bald in den Legislativrat von New Brunswick (das Oberhaus der Kolonie) berufen und trat wieder dem Exekutivrat bei.Während der Teilnahme an der Quebec-Konferenz von 1864 war Peter Mitchell ein starker Befürworter der kanadischen Konföderation. Er trat 1865 aus dem Exekutivrat zurück, als die Pro-Konföderationsregierung von Samuel Leonard Tilley besiegt wurde, und half Vizegouverneur Arthur Hamilton Gordon, den Rücktritt der Anti-Konföderationsregierung von Albert J. Smith im Jahr 1866 zu erzwingen. Gordon ernannte Mitchell zum neuen Premier. Mitchell bat Gordon, eine Wahl einzuberufen, und er und seine Konföderationspartei wurden mit einer Mehrheit zurückgegeben, die die Teilnahme der Kolonie an der kanadischen Konföderation in 1867 genehmigte.

Mitchell nahm an der Londoner Konferenz teil, die den British North America Act entwarf. Er wurde in den neuen Senat von Kanada für seine konstituierende Sitzung im Juli 1867 ernannt. Mitchell wurde Mitglied des ersten Kabinetts von Sir John A. Macdonald als Minister für Marine und Fischerei. Er war ein aggressiver Verteidiger kanadischer Interessen und bestritt die ausländische Fischerei in kanadischen Gewässern, um amerikanische Schiffe mit Kanonenbooten zu beschlagnahmen.

Mitchell trat 1872 aus dem Senat zurück, um für einen Sitz im kanadischen Unterhaus zu kandidieren, wo er das Gefühl hatte, mehr Einfluss zu haben. Er wurde in einer Nachwahl gefeiert, aber 1873 fiel die Macdonald-Regierung aufgrund des Pazifikskandals. Mitchell verließ die liberal-konservative Partei von Macdonald und erklärte sich zum unabhängigen Abgeordneten. Als Unabhängiger hatte er wenig Einfluss und wurde sowohl von Konservativen als auch von Liberalen misstraut.Mitchell trat 1878 von seinem Sitz zurück, nachdem er beschuldigt worden war, gegen das Gesetz über die Unabhängigkeit des Parlaments verstoßen zu haben, indem er ein Gebäude an die Regierung verpachtete, während er Senator war. Bei den anschließenden Nachwahlen wurde er erneut vorgeschlagen und ins Parlament zurückgebracht.Er kandidierte bei den Bundestagswahlen 1878 als „Unabhängiger Liberaler“, der Macdonalds nationale Politik unterstützte. Mitchell wurde vom unabhängigen Kandidaten Jabez Bunting Schneeball besiegt.

Mitchell kehrte bei den Wahlen von 1882 ins Unterhaus zurück und wurde bei den Wahlen von 1887 als unabhängiger Liberaler wiedergewählt, bei den Wahlen von 1891 jedoch besiegt.Im Jahr 1885 kaufte Mitchell den Montreal Herald und die Daily Commercial Gazette und nutzte sie, um die Politik der Liberalen und Konservativen anzugreifen. Er forderte auch Gnade für Louis Riel und beschuldigte Macdonald, den Riel-Aufstand verursacht zu haben, indem er sich nicht mit Métis-Beschwerden befasste. Er wurde ein Anhänger von Sir Wilfrid Laurier und kandidierte als Liberaler bei den Wahlen von 1896, verlor jedoch. Laurier ernannte ihn zum Generalinspektor der Fischerei für Quebec und die Seeprovinzen, und Mitchell hatte diese Position bis zu seinem Tod 1899 inne.Im Juli 1899, als er das Parlamentsgebäude in Ottawa verließ, wurde er von einer Lähmung heimgesucht. Er schien sich zu erholen, aber am 25.Oktober 1899 wurde er tot in seinen Zimmern im Windsor Hotel in Montreal aufgefunden.