„Sweet Baby James“ wurde seit seiner Veröffentlichung bei fast jedem Taylor-Konzert gespielt. Es wird oft für die Nähe oder am Ende von Shows gespeichert, wo es als emotionaler Höhepunkt dient, wenn Taylor es als letzte Zugabe ohne seine Band auf die Bühne zurückbringt, oder vielleicht nur mit einem Keyboarder, der seine Gitarre begleitet.

Die zweite Strophe erwähnt ausnahmslos den Massachusetts Turnpike, Stockbridge, die Berkshires und Boston bringen Jubel von Leuten im Publikum, die in Massachusetts gelebt hatten. Und wenn das Konzert in Tanglewood oder Great Woods stattfindet, reicht die Aufregung aus, um das Lied anzuhalten. Taylor wurde in Boston geboren, und obwohl er in jungen Jahren nach North Carolina zog, verbrachte er die Sommer in Massachusetts und ging dort ins Internat. Diese Vereinigung hat Taylor zu einem regionalen Favoriten in Neuengland gemacht, einschließlich ausverkauftem Haus in Tanglewood und einem rekordverdächtigen Konzertstand in Great Woods. Taylor, der in jungen Jahren im Austen Riggs Center in Stockbridge behandelt wurde und später in den Berkshires lebte, hat über die geografischen Bezugspunkte des Songs gesprochen: „Ich bin wirklich mit dem Turnpike von Stockbridge nach Boston gefahren. Ich habe eine echte Verbindung zu diesem Ort.“Er spielte das Lied als Teil seines Sets in der ersten Folge der zweiten Staffel von Saturday Night Live, die am 18.September 1976 ausgestrahlt wurde. 15 Jahre später spielte Taylor das Lied erneut in der Weihnachtsfolge von Saturday Night Lives am 14.Dezember 1991.In dem von Harry Chapin arrangierten Benefizkonzert „Four Together“ im Jahr 1977 sang John Denver den Harmonieteil des Refrains zu diesem Lied.

Eine Konzertperformance von 1992 war auf seinem 1993er Album Live enthalten.Jay Leno verlangte Taylors Live-Performance des Songs auf seiner letzten The Tonight Show (erster Stint) am 29.Mai 2009. Er sagte, er habe es im Autoradio gehört, als er Anfang der 1970er Jahre Boston nach Los Angeles verließ, und dass die Linie „zehn Meilen zurück, zehntausend mehr zu gehen“ tief bei ihm Anklang fand.Taylor spielte das Lied, als er sich für die Wiederwahl von Deval Patrick während der Gouverneurswahlen in Massachusetts 2010 einsetzte, und die Zeile „Stockbridge to Boston“ löste auch in diesem Zusammenhang eine große Reaktion aus.