az Ohiói Cincinnatiben született és nőtt fel, Rudy fiatalon kezdett énekelni a templomban. Tizenéves korában az Isley Brothers tagjaként énekelt Kellyvel, Ronnie-val és Vernonnal. 1957-ben, Vernon halálát követően a fennmaradó három elder Isley New Yorkba költözött, hogy felvételi megállapodást keressen, később kisebb kiadók számára készített felvételeket, amíg 1959-ben megállapodást nem kötöttek az RCA Records-szal, ahol megírták, felvették és kiadták első jelentős felvételüket, a “Shout” – ot. Az év nyarára az Isley család cincinnatiból egy otthonba költözött Englewood, New Jersey.

a “Shout” – ot követően a testvérek más kiadókhoz is felvettek, szerény sikerrel, kivéve a top 40 slágert, a “Twist& Shout” – ot és a Motown slágert, a “This Old Heart of Mine (is Weak for You)” – t. Az 1960-as években Rudy és testvérei megalapították a T-Neck Records kiadót, hogy népszerűsítsék felvételeiket. A Motown-nal való szakításuk után újra aktiválták a kiadót, és 1969-ben Grammy-díjas smash-t szereztek az “It’ s Your Thing” – vel. Míg Ron Isley volt a csoport kiemelkedő énekese, Rudy néhány Isley Brothers dalon felvett néhány énekhangot, a T-Neck újraaktiválását követően. Miután a fiatalabb testvérek, Ernie és Marvin Isley, valamint a sógora, Chris Jasper felvétele után a csoport zenekarrá alakult, Rudy ismert volt a kalapok és a prémes ruhák viseléséről, valamint a bot hordozásáról is. Rudy testvéreivel, Ron-nal és Kellyvel közösen énekelt olyan slágereken, mint a “Fight the Power” és a “Livin’ in the Life”. Rudy teljes főszerepet énekelt más dalokon is, mint például a “You Still Feel the Need” az albumról, Harvest for the World, valamint 1979-es slágerük, az “It’ s a Disco Night (Rock Don ‘ t Stop)”. 1986-ban Rudy legidősebb testvére, Kelly hirtelen szívrohamban halt meg álmában. Kelly halála elpusztította Rudyt, mivel a testvérek közel álltak egymáshoz. A Smooth Sailin’ és a Spend the Night című albumok felvétele után Rudy Isley 1989-ben végleg elhagyta a zenekart és a zeneipart, hogy egy életen át tartó keresztény lelkész legyen. Rudyt 1992-ben beiktatták az Isleys tagjává a Rock and Roll Hírességek Csarnokába.