Nacido en Morganton, Carolina del Norte en 1894 (algunas fuentes afirman que en 1897 o 1899), Williams huyó de casa a los 11 años para unirse a un espectáculo de tiendas de campaña. Más tarde trabajó en barcos de exhibición en Mississippi antes de dirigirse a Nueva York. Después de aparecer en varias producciones teatrales, Williams consiguió un papel en Eyes of Youth, protagonizada por Marjorie Rambeau. El papel impulsó su carrera y le hizo notar. Puso su carrera en espera para unirse al Ejército de los Estados Unidos, donde sirvió en el Regimiento de Infantería 166 durante la Primera Guerra Mundial. Después de la guerra, Williams regresó a los Estados Unidos y reanudó su carrera como actor. En 1922, hizo su debut teatral en Broadway en la popular comedia teatral Abie’s Irish Rose. También apareció en producciones de That French Lady, Scarlet Pages, y Love, Honor and Betray.

Después de aparecer como «Johnnie Coles» en la obra de teatro Rebound en 1930, Williams fue elegido por el director Edward H. Griffith para repetir el papel en la versión cinematográfica de 1931. Recibió críticas favorables por su trabajo en la película y le siguió un papel secundario en Devotion, que también se estrenó en 1931. Más tarde ese mismo año, Williams fue elegido para su primer y único papel principal en la película de comedia romántica Platinum Blonde, protagonizada por Loretta Young y Jean Harlow. Fue su última aparición en pantalla.