Nacido y criado en Cincinnati, Ohio, Rudy comenzó a cantar en la iglesia a una edad temprana. En su adolescencia, cantaba como miembro de The Isley Brothers con Kelly, Ronnie y Vernon. En 1957, tras la muerte de Vernon, los tres elder Isleys restantes se mudaron a Nueva York para buscar un contrato de grabación, más tarde grabando para sellos más pequeños hasta conseguir un contrato con RCA Records en 1959, donde escribieron, grabaron y lanzaron su primera grabación significativa, «Shout». Para el verano de ese año, la familia Isley se había mudado de Cincinnati a una casa en Englewood, Nueva Jersey.

Después de «Shout», los hermanos grabaron para otros sellos con un éxito modesto, con excepciones como el hit top 40,»Twist & Shout «y el hit de Motown,»This Old Heart of Mine (Is Weak for You)». En la década de 1960, Rudy y sus hermanos fundaron el sello T-Neck Records para promocionar sus grabaciones. Después de su separación con Motown, reactivaron el sello y obtuvieron un éxito ganador de un Grammy con «It’s Your Thing» en 1969. Mientras Ron Isley era el cantante principal prominente del grupo, Rudy grabó algunas voces principales en algunas canciones de Isley Brothers, tras la reactivación de T-Neck. Después de que el grupo se reorganizara en una banda después de la inclusión de los hermanos menores Ernie y Marvin Isley y su cuñado Chris Jasper, Rudy era conocido por usar sombreros y ropa de piel y también por llevar un bastón. Rudy compartía la voz principal con sus hermanos Ron y Kelly en éxitos como» Fight the Power «y»Livin’ in the Life». Rudy también cantó en otras canciones como» You Still Feel the Need » del álbum, Harvest for the World, y su éxito de 1979,»It’s a Disco Night (Rock Don’t Stop)». En 1986, el hermano mayor de Rudy, Kelly, murió repentinamente de un ataque al corazón mientras dormía. La muerte de Kelly devastó a Rudy ya que los hermanos habían estado cerca. Después de grabar los álbumes, Smooth Sailin’ y Spend the Night, Rudy Isley dejó el grupo y la industria de la música para siempre en 1989 para seguir un objetivo de toda la vida de ser un ministro cristiano. Rudy fue incluido como miembro de The Isleys en el Salón de la Fama del Rock and Roll en 1992.