Geboren und aufgewachsen in Cincinnati, Ohio, begann Rudy in jungen Jahren in der Kirche zu singen. Als Teenager sang er als Mitglied der Isley Brothers mit Kelly, Ronnie und Vernon. 1957, nach Vernons Tod, zogen die verbleibenden drei älteren Isleys nach New York, um einen Plattenvertrag zu suchen, später Aufnahmen für kleinere Labels, bis sie 1959 einen Vertrag mit RCA Records abschlossen, wo sie ihre erste bedeutende Aufnahme „Shout“ schrieben, aufzeichneten und veröffentlichten. Bis zum Sommer dieses Jahres war die Familie Isley von Cincinnati in ein Haus in Englewood, New Jersey, gezogen.

Nach „Shout“ nahmen die Brüder für andere Labels mit bescheidenem Erfolg auf, mit Ausnahmen wie dem Top-40-Hit „Twist & Shout“ und dem Motown-Hit „This Old Heart of Mine (Is Weak for You)“. In den 1960er Jahren gründeten Rudy und seine Brüder das Label T-Neck Records, um ihre Aufnahmen zu promoten. Nach ihrer Trennung von Motown reaktivierten sie das Label und erzielten 1969 mit „It’s Your Thing“ einen Grammy-Gewinner. Während Ron Isley war der prominente Leadsänger der Gruppe, Rudy hat ein paar Lead-Vocals auf einigen Isley Brothers Songs aufnehmen, nach der Reaktivierung von T-Neck. Nachdem sich die Gruppe nach der Aufnahme der jüngeren Brüder Ernie und Marvin Isley und des Schwiegervaters Chris Jasper zu einer Band reorganisiert hatte, Rudy war bekannt dafür, Hüte und Pelzkleidung zu tragen, und war auch dafür bekannt, einen Stock zu tragen. Rudy würde Lead-Gesang mit seinen Brüdern Ron und Kelly auf Hits wie „Fight the Power“ und „Livin ‚in the Life“ teilen. Rudy sang auch die Hauptrolle bei anderen Stücken wie „You Still Feel the Need“ aus dem Album „Harvest for the World“ und ihrem 1979er Hit „It’s a Disco Night (Rock Don’t Stop)“. 1986 starb Rudys ältester Bruder Kelly plötzlich im Schlaf an einem Herzinfarkt. Kellys Tod verwüstete Rudy, da die Brüder nahe gewesen waren. Nach der Aufnahme der Alben Smooth Sailin ‚ und Spend the Night verließ Rudy Isley die Gruppe und die Musikindustrie 1989 endgültig, um dem lebenslangen Ziel zu folgen, christlicher Prediger zu sein. Rudy wurde 1992 als Mitglied der Isleys in die Rock and Roll Hall of Fame aufgenommen.