Nato e cresciuto a Cincinnati, Ohio, Rudy ha iniziato a cantare in chiesa in giovane età. Con la sua adolescenza, stava cantando come membro dei fratelli Isley con Kelly, Ronnie e Vernon. Nel 1957, dopo la morte di Vernon, i restanti tre elder Isley si trasferirono a New York per cercare un contratto discografico, in seguito registrando per etichette più piccole fino ad ottenere un contratto con la RCA Records nel 1959 dove scrissero, registrarono e pubblicarono la loro prima registrazione significativa, “Shout”. Nell’estate di quell’anno, la famiglia Isley si era trasferita da Cincinnati in una casa a Englewood, nel New Jersey.

Dopo “Shout”, i fratelli registrarono per altre etichette con modesto successo con eccezioni tra cui la top 40 hit, “Twist & Shout” e la Motown hit, “This Old Heart of Mine (Is Weak for You)”. Nel 1960, Rudy ei suoi fratelli fondarono l’etichetta T-Neck Records per promuovere le loro registrazioni. Dopo la loro separazione con la Motown, hanno riattivato l’etichetta e ha segnato un successo Grammy-winning con “It’s Your Thing” nel 1969. Mentre Ron Isley era il cantante principale del gruppo, Rudy ha registrato alcune voci principali su alcune canzoni degli Isley Brothers, dopo la riattivazione di T-Neck. Dopo che il gruppo si riorganizzò in una band dopo l’inclusione dei fratelli minori Ernie e Marvin Isley e in-law Chris Jasper, Rudy era noto per indossare cappelli e abbigliamento in pelliccia ed era anche noto per il trasporto di un bastone. Rudy avrebbe condiviso voce solista con i suoi fratelli Ron e Kelly su successi come” Fight the Power “e”Livin’ in the Life”. Rudy ha anche cantato in altri brani come “You Still Feel the Need” dall’album, Harvest for the World, e il loro successo del 1979, ” It’s a Disco Night (Rock Don’t Stop)”. Nel 1986, il fratello maggiore di Rudy, Kelly, morì improvvisamente di infarto nel sonno. La morte di Kelly ha devastato Rudy come i fratelli erano stati vicini. Dopo aver registrato gli album Smooth Sailin’ e Spend the Night, Rudy Isley lasciò definitivamente il gruppo e l’industria musicale nel 1989 per perseguire l’obiettivo di diventare un ministro cristiano per tutta la vita. Rudy è stato inserito come membro degli Isleys nella Rock and Roll Hall of Fame nel 1992.