Nació de padres escoceses en Newcastle, en el condado de Northumberland, Nuevo Brunswick, el 4 de enero de 1824. Fue educado en la escuela de gramática de Quebec; estudió derecho y fue llamado al colegio de abogados de la provincia de Nuevo Brunswick en 1848. Ejerció su profesión durante cuatro años, y luego se asoció con un tal Sr. Hawe en el negocio de la madera y la construcción naval.

Mitchell se postuló de nuevo en 1856 como opositor a la Prohibición, que había sido propuesta por el gobierno. Llevaba una pistola para protegerse durante la campaña y ron para sus partidarios. Tuvo éxito en esta elección. En la legislatura, Mitchell se opuso a las escuelas confesionales y apoyó la creación de un gobierno municipal. Se convirtió en miembro del Consejo Ejecutivo en 1859, e introdujo la primera ley de bancarrota de la colonia para facilitar las cosas a los deudores. Mitchell no se presentó a la reelección en 1861, pero pronto fue nombrado miembro del Consejo Legislativo de Nuevo Brunswick (la cámara alta de la colonia) y se reincorporó al Consejo Ejecutivo.

Mientras asistía a la Conferencia de Quebec de 1864, Peter Mitchell fue un firme partidario de la Confederación Canadiense. Renunció al Consejo Ejecutivo en 1865, cuando el gobierno pro-Confederación de Samuel Leonard Tilley fue derrotado, y ayudó al teniente gobernador Arthur Hamilton Gordon a forzar la renuncia del gobierno anti-Confederación de Albert J. Smith en 1866. Gordon nombró a Mitchell como nuevo primer ministro. Mitchell le pidió a Gordon que convocara elecciones, y él y su Partido de la Confederación regresaron con una mayoría que aprobó la participación de la colonia en la Confederación Canadiense en 1867.

Mitchell asistió a la Conferencia de Londres, en la que se redactó la Ley Británica para América del Norte. Fue nombrado para el nuevo Senado de Canadá para su sesión inaugural en julio de 1867. Mitchell se convirtió en miembro del primer gabinete de Sir John A. Macdonald como ministro de marina y pesca. Fue un agresivo defensor de los intereses canadienses, y disputó la pesca extranjera en aguas canadienses hasta el punto de usar lanchas cañoneras para capturar buques estadounidenses. Mitchell renunció al Senado en 1872 para postularse para un escaño en la Cámara de los Comunes de Canadá, donde sintió que tendría más influencia. Fue aclamado en una elección parcial, pero en 1873 el gobierno de Macdonald cayó debido al Escándalo del Pacífico. Mitchell abandonó el Partido Liberal Conservador de Macdonald y se declaró Miembro independiente del Parlamento (MP). Tenía poca influencia como independiente, y desconfiaba tanto de los conservadores como de los liberales.Mitchell renunció a su escaño en 1878 después de ser acusado de violar la Ley de Independencia del Parlamento al arrendar un edificio al gobierno mientras era senador. Volvió a ofrecerse en las elecciones parciales posteriores y fue devuelto al Parlamento.

Se postuló en las elecciones federales de 1878 como un «Liberal Independiente» que apoyó la Política Nacional de Macdonald. Mitchell fue derrotado por el candidato independiente Jabez Bunting Bola de nieve.Mitchell regresó a los Comunes en las elecciones de 1882 y fue reelegido en las elecciones de 1887 como liberal independiente, pero fue derrotado en las elecciones de 1891.

En 1885, Mitchell compró el Montreal Herald y el Daily Commercial Gazette, y lo usó para atacar las políticas de liberales y conservadores. También pidió misericordia para Louis Riel, y culpó a Macdonald de causar la Rebelión de Riel al no tratar con las quejas de los métis. Se convirtió en partidario de Sir Wilfrid Laurier y se postuló como liberal en las elecciones de 1896, pero perdió. Laurier lo nombró inspector general de pesca para Quebec y las provincias Marítimas, y Mitchell ocupó ese cargo hasta su muerte en 1899.

En julio de 1899, cuando salía de los edificios parlamentarios de Ottawa, sufrió una parálisis. Parecía recuperarse, pero el 25 de octubre de 1899, fue encontrado muerto en sus habitaciones en el Hotel Windsor, Montreal.