Né et élevé à Cincinnati, Ohio, Rudy a commencé à chanter à l’église à un jeune âge. À l’adolescence, il chantait en tant que membre des Isley Brothers avec Kelly, Ronnie et Vernon. En 1957, après la mort de Vernon, les trois autres aînés d’Isleys déménagent à New York pour chercher un contrat d’enregistrement, enregistrant plus tard pour de plus petits labels jusqu’à conclure un contrat avec RCA Records en 1959 où ils écrivent, enregistrent et publient leur premier enregistrement important, « Shout ». À l’été de la même année, la famille Isley avait déménagé de Cincinnati dans une maison à Englewood, dans le New Jersey.

Après « Shout », les frères enregistrent pour d’autres labels avec un succès modeste à quelques exceptions près, dont le hit du top 40, « Twist&Shout » et le hit de la Motown, « This Old Heart of Mine (Is Weak for You) ». Dans les années 1960, Rudy et ses frères fondent le label T-Neck Records pour promouvoir leurs enregistrements. Après leur séparation avec Motown, ils réactivent le label et remportent un grand succès aux Grammy Awards avec « It’s Your Thing  » en 1969. Alors que Ron Isley était le chanteur principal du groupe, Rudy a enregistré quelques voix sur certaines chansons des Isley Brothers, suite à la réactivation de T-Neck. Après que le groupe se soit réorganisé en groupe après l’inclusion des frères plus jeunes Ernie et Marvin Isley et de son beau-frère Chris Jasper, Rudy était connu pour porter des chapeaux et des vêtements en fourrure et était également connu pour porter une canne. Rudy partagerait le chant avec ses frères Ron et Kelly sur des tubes tels que « Fight the Power » et « Livin’ in the Life ». Rudy a également chanté en solo sur d’autres morceaux tels que « You Still Feel the Need » de l’album, Harvest for the World, et leur tube de 1979, « It’s a Disco Night (Rock Don’t Stop) ». En 1986, le frère aîné de Rudy, Kelly, meurt subitement d’une crise cardiaque dans son sommeil. La mort de Kelly a dévasté Rudy alors que les frères étaient proches. Après l’enregistrement des albums Smooth Sailin’ et Spend the Night, Rudy Isley quitte définitivement le groupe et l’industrie de la musique en 1989 pour poursuivre un objectif de vie : être un ministre chrétien. Rudy a été intronisé membre des Isleys au Rock and Roll Hall of Fame en 1992.