Après quelques allées et venues de membres, la formation classique de James, Eddie Gray (guitare), Mike Vale (basse), Ron Rosman (claviers) et Pete Lucia (batterie) a été formée. Le groupe a enregistré une chanson de suivi de « Hanky Panky ». Lorsque la tentative de Bob Mack de trouver des Shondells a fonctionné par inadvertance, il a parlé à James d’un autre disque qu’il avait trouvé dans le même bac de disques utilisé « Hanky Panky »: « Say I Am » de Jimmy Gilmer and the Fireball. La seule chose dont James et ses nouveaux Shondells étaient conscients lorsqu’ils sont entrés dans le studio d’enregistrement pour la première fois est que tout ce qu’ils ont enregistré devrait ressembler à « Hanky Panky », bien que les deux chansons ne sonnent pas de la même manière. Mack a joué le disque Fireballs pour le groupe, et ils ont décidé d’enregistrer leur version de la chanson. Mack est crédité comme producteur du premier album du groupe, Hanky Panky.

L’auteur-compositeur Richie Cordell a écrit (ou coécrit) et produit de nombreux succès du groupe, parmi lesquels « I Think We’re Alone Now », « Mirage » et « Mony Mony ». La création de « Mony Mony » est un effort de groupe impliquant Cordell, James, le membre du groupe Shondells Peter Lucia, le producteur Bo Gentry et Bobby Bloom. James et Cordell ont entrepris de créer un single rock de fête, travaillant tout sauf le titre de la chanson, qui leur a échappé même après beaucoup d’efforts. Quand ils ont pris une pause de leurs efforts créatifs sur la terrasse de l’appartement de James, ils ont regardé la grande enseigne au néon de la Mutual of New York Insurance Company portant l’abréviation de la société: M-O-N-Y, qui a fourni le nom de la chanson.

Tommy James et les Shondells ont également produit une vidéo « Mony Mony » lorsque la chanson a été un succès. Même si un certain nombre de groupes musicaux avaient déjà produit des vidéos à cette époque, il n’y avait aucun marché pour ce film aux États-Unis. Les chaînes de télévision ne le diffuseraient pas, et il était à l’origine diffusé entre deux longs métrages dans des salles de cinéma en Europe. Le film n’a pas été vu aux États-Unis avant la création de MTV.

James a été contacté par le beatle George Harrison, qui travaillait avec un groupe appelé Grapefruit à l’époque. Harrison et le groupe avaient écrit quelques chansons qu’ils voulaient que James envisage d’enregistrer. Étant donné que le groupe a décidé de changer de style musical (et le ferait avec « Crimson and Clover »: voir ci-dessous) et que le matériel fourni par Harrison and Grapefruit était dans le style de « Mony Mony », James a refusé leur offre.

Le secteur de la musique a changé après le succès de « Mony Mony ». Le formatage des programmes Top 40, basé sur des enregistrements uniques de 45 tours, a conduit la musique populaire à la radio. Peu de stations jouaient des extraits d’albums de disques, de sorte que la radio « vendait » des disques uniques pour les maisons de disques. En août 1968, James et les Shondells sont partis en campagne pendant trois mois avec le candidat à la présidence, le vice-président Hubert Humphrey. Pendant ce temps, la musique populaire était devenue axée sur les albums, déplaçant de nombreux artistes dont les singles avaient été les plus vendus. James a réalisé que lui et les Shondells devaient devenir un groupe orienté vers l’album s’ils devaient survivre dans l’entreprise, nécessitant un changement de style.

Après avoir élaboré une stratégie marketing pour leur nouveau son, James a visité WLS lorsque le groupe était à Chicago pour jouer un concert, apportant une coupe approximative de « Crimson and Clover » à la station. WLS a secrètement enregistré la musique lorsque James a joué sa cassette pour eux. Au moment où James était sorti du bâtiment et dans la voiture, sa radio diffusait le dub de la station de la chanson pas encore terminée. « Crimson and Clover » a dû être pressé comme il a été entendu à la station de radio, et le plan de marketing était maintenant une perte de temps et d’efforts.

« Crimson and Clover » a été un énorme succès, et le groupe aura deux tubes de suivi qui ont également atteint le top 10 du Hot 100, « Sweet Cherry Wine » et « Crystal Blue Persuasion ». James, qui a coécrit ces trois chansons, et son groupe ont assez bien réussi la transition pour être invités à se produire à Woodstock. James décrit l’invitation d’Artie Kornfeld comme ceci: « Artie était debout et vous a demandé si vous pouviez jouer dans cette ferme porcine du nord de l’État de New York. » J’ai dit :  » Quoi ?!? » » Eh bien, ils disent qu’il y aura beaucoup de monde là-bas, et que ce sera un spectacle vraiment important. »À l’époque, James était à Hawaii et était incrédule d’être invité à parcourir 6 000 miles pour jouer un spectacle dans une ferme porcine du nord de l’État de New York, disant au secrétaire de Roulette Records: « Si je ne suis pas là, commencez sans nous, voulez-vous s’il vous plait? »

En mars 1970, après quatre autres succès, la drogue a failli tuer James quand, lors d’un concert, il s’est effondré et a été déclaré mort. Cependant, il a survécu, a décidé de faire une pause dans le studio d’enregistrement et a déménagé à la campagne pour récupérer. Les Shondells, sans James, ont enregistré deux albums sous le nouveau nom de groupe Hog Heaven (un « éponyme » sur Roulette Records en 1970 et le 2e (1971) inédit jusqu’en 2008), mais se sont dissous peu après.

Tommy James et Les Shondells ont été élus au Temple de la renommée en ligne des Légendes du Rock and Roll du Michigan en 2006. Quatre des plus grands succès du groupe ont été élus Chansons légendaires du Michigan: « Crimson&Clover » en 2010, et « Hanky Panky », « I Think We’re Alone Now » et « Mony Mony » en 2011.