geboren en getogen in Cincinnati, Ohio, begon Rudy al op jonge leeftijd in de kerk te zingen. Door zijn tienerjaren, hij zong als lid van de Isley Brothers met Kelly, Ronnie en Vernon. In 1957, na de dood van Vernon, verhuisden de overige drie elder Isleys naar New York om een platencontract te zoeken, later opnamen voor kleinere labels tot ze in 1959 een deal sloten bij RCA Records, waar ze hun eerste belangrijke opname schreven, opnamen en uitbrachten, “Shout”. In de zomer van dat jaar verhuisde de familie Isley van Cincinnati naar een huis in Englewood, New Jersey.

na “Shout” namen de broers met bescheiden succes op voor andere labels, met uitzondering van de top 40-hit “Twist & Shout” en de Motown-hit “This Old Heart of Mine (Is Weak for You)”. In de jaren 60 richtten Rudy en zijn broers het label T-Neck Records op om hun opnames te promoten. Na hun split met Motown, reactiveerden ze het label en scoorden een Grammy-winnende smash met “It’ s Your Thing” in 1969. Terwijl Ron Isley de prominente leadzanger van de groep was, nam Rudy een aantal leadzang op op een aantal Isley Brothers songs, na de reactivering van T-Neck. Nadat de groep werd gereorganiseerd tot een band na de opname van de jongere broers Ernie en Marvin Isley en in-law Chris Jasper, Rudy was bekend voor het dragen van hoeden en bont-kleding en was ook bekend voor het dragen van een stok. Rudy zou lead vocals delen met zijn broers Ron en Kelly op hits als “Fight the Power” en “Livin’ In the Life”. Rudy zong ook volledige lead op andere nummers zoals ” You Still Feel the Need “van het album Harvest for the World, en hun 1979 hit”It’ s a Disco Night (Rock Don ‘ t Stop)”. In 1986 overleed Rudy ‘ s oudste broer Kelly plotseling aan een hartaanval in zijn slaap. Kelly ‘ s dood verwoestte Rudy omdat de broers hecht waren. Na het opnemen van de albums, Smooth Sailin’ en Spend the Night, Rudy Isley verliet de groep en de muziekindustrie voor goed in 1989 om een levenslange doel van een christelijk minister te volgen. Rudy werd opgenomen als lid van The Isleys in de Rock And Roll Hall of Fame in 1992.