Il est né de parents écossais à Newcastle dans le comté de Northumberland, au Nouveau-Brunswick, le 4 janvier 1824. Il fit ses études à la Quebec grammar school; il étudia le droit et fut admis au barreau de la province du Nouveau-Brunswick en 1848. Il a exercé sa profession pendant quatre ans, puis s’est associé avec un certain M. Hawe dans le secteur de l’exploitation forestière et de la construction navale.

Mitchell se présente à nouveau en 1856 en tant qu’opposant à la prohibition, qui avait été proposée par le gouvernement. Il portait un pistolet pour se protéger pendant la campagne et du rhum pour ses partisans. Il a réussi cette élection. À l’Assemblée législative, Mitchell s’oppose aux écoles confessionnelles et soutient la création d’un gouvernement municipal. Il devint membre du Conseil exécutif en 1859 et présenta la première loi sur la faillite de la colonie afin de faciliter les choses pour les débiteurs. Mitchell ne se représenta pas en 1861, mais fut bientôt nommé au Conseil législatif du Nouveau-Brunswick (la chambre haute de la colonie) et réintégra le Conseil exécutif.

Pendant qu’il assistait à la Conférence de Québec de 1864, Peter Mitchell était un fervent partisan de la Confédération canadienne. Il démissionne du Conseil exécutif en 1865 lorsque le gouvernement pro-confédération de Samuel Leonard Tilley est défait et aide le lieutenant-gouverneur Arthur Hamilton Gordon à forcer la démission du gouvernement anti-confédération d’Albert J. Smith en 1866. Gordon nomme Mitchell nouveau premier ministre. Mitchell demanda à Gordon de déclencher des élections, et lui et son Parti de la Confédération furent réélus avec une majorité qui approuvait la participation de la colonie à la Confédération canadienne en 1867.

Mitchell a assisté à la Conférence de Londres, qui a rédigé l’Acte de l’Amérique du Nord britannique. Il fut nommé au nouveau Sénat du Canada pour sa session inaugurale en juillet 1867. Mitchell devient membre du premier cabinet de Sir John A. Macdonald en tant que ministre de la marine et des pêches. Défenseur acharné des intérêts canadiens, il s’opposa à la pêche étrangère dans les eaux canadiennes au point d’utiliser des canonnières pour s’emparer de navires américains.

Mitchell démissionne du Sénat en 1872 pour briguer un siège à la Chambre des communes du Canada où il estime avoir plus d’influence. Il fut acclamé lors d’une élection partielle, mais en 1873, le gouvernement Macdonald tomba en raison du scandale du Pacifique. Mitchell abandonne le Parti libéral-conservateur de Macdonald et se déclare député indépendant. Il avait peu d’influence en tant qu’indépendant et se méfiait des conservateurs et des libéraux.

Mitchell démissionne de son siège en 1878 après avoir été accusé d’avoir violé la Loi sur l’indépendance du Parlement en louant un bâtiment au gouvernement alors qu’il était sénateur. Il se présenta de nouveau à l’élection partielle qui suivit et fut réélu au parlement.

Il se présenta aux élections fédérales de 1878 en tant que  » libéral indépendant  » qui appuyait la politique nationale de Macdonald. Mitchell a été battu par le candidat indépendant Jabez Bunting Snowball.

Mitchell revient aux Communes aux élections de 1882 et est réélu aux élections de 1887 en tant que libéral indépendant, mais il est défait aux élections de 1891.

En 1885, Mitchell achète le Montreal Herald et le Daily Commercial Gazette et s’en sert pour attaquer les politiques des libéraux et des conservateurs. Il réclama également la clémence de Louis Riel et blâma Macdonald d’avoir provoqué la rébellion de Riel en ne traitant pas les plaintes des Métis. Il devint partisan de sir Wilfrid Laurier et se présenta comme libéral aux élections de 1896, mais perdit. Laurier le nomma inspecteur général des pêches pour le Québec et les provinces maritimes, poste qu’il occupa jusqu’à sa mort en 1899.

En juillet 1899, alors qu’il quittait les édifices parlementaires d’Ottawa, il fut frappé de paralysie. Il semble s’en remettre, mais le 25 octobre 1899, on le retrouve mort dans ses chambres de l’hôtel Windsor, à Montréal.