En una carrera de 22 años, Jones compiló un récord de 229-217 con 1223 ponches y una EFECTIVIDAD de 3.84 en 3.883 entradas lanzadas. Jones firmó su primer contrato profesional en 1913, con un equipo de ligas menores en Zanesville, Ohio. Hizo su debut en grandes ligas con los Indios en 1914. Antes de la temporada de 1916, fue enviado a Boston en el mismo oficio que llevó a Tris Speaker a Cleveland.

En 1918, Jones se unió a la rotación inicial de los Medias Rojas, terminando con una marca de 16-5, mejor efectividad de 2.25 de su carrera y mejor de la liga .762 porcentaje de victorias. Su temporada más productiva llegó en 1921, cuando registró máximos en victorias (23), ponches (98) y entradas (298,2), y lideró la liga en blanqueadas (5). Pero su temporada más recordada puede haber sido 1923 como el as del personal de los Yankees; registró un récord de 21-8 con una efectividad de 3.63 y llevó a su equipo a su primer título de la Serie Mundial. Jones también no hit con los Philadelphia Athletics 2-0 el 4 de septiembre en Shibe Park, en un juego en el que no registró un ponche en todo el juego. Solo otros dos lanzadores (Earl Hamilton y Ken Holtzman) han lanzado un no-hitter sin ponches. Jones fue 2-1 contra los Gigantes de Nueva York en esa Serie Mundial, y su trabajo de relevo crucial en el juego final de la Serie aseguró el campeonato para los Yankees. Como la mayoría de lanzadores de su tiempo, Jones relevó y comenzó, y sus ocho salvamentos en 1922 lideraron a los lanzadores relevistas de la liga.

Jones perdió 21 partidos en 1925. Lanzó para los Browns un año más tarde, y fue cedido a Washington en 1927. Con los Senadores, Jones recuperó su forma, liderando al personal de su equipo con un récord de 17-7. Disfrutó de su última buena temporada en 1930, terminando con una marca de 15-7. Después de cuatro años de servicio para los Medias Blancas, Jones se retiró en 1935 como el jugador activo de más edad en ese momento (42). Sus 22 temporadas consecutivas lanzando en una liga es un récord de grandes ligas compartido con Herb Pennock, Early Wynn, Red Ruffing y Steve Carlton.

Fue un lanzador de bateo mejor que el promedio en su carrera, compilando a .197 promedio de bateo (245 por 1243) con 151 carreras, 6 jonrones y 101 carreras impulsadas.

Sad Sam Jones murió en Barnesville, Ohio, a la edad de 73 años.