joutsensaaret löysi Kristoffer Kolumbus vuonna 1502 ja nimesi Islas de las pozasin. 1700-luvulla ne nimettiin uudelleen Joutsensaariksi Cygnetin kapteenin Swanin mukaan, jonka merirosvot valtasivat ja pakottivat liittymään niihin.

yhdysvaltalaiset yrittäjät aloittivat guanon viennin lannoitteeksi 1840-luvulla. 1840-luvulla perustettiin Yhdysvaltalaisomisteinen, New Yorkissa päämajaansa pitävä ”Atlantic and Pacific Guano Company”, joka aloitti lannoitteiden viennin Joutsensaarilta kerätyn guanon pohjalta. Vuonna 1856 Yhdysvallat ilmeisesti valtasi saaret itselleen. Huhtikuussa 1857 John Valentine White lunasti saaret itselleen Guano Islands Act-lain nojalla; myöhemmin samana vuonna hän siirsi kaiken kiinnostuksen saaria kohtaan Charles Sternsille, Joseph W. Fabensille ja Duff Greenille. Messers Sterns, Fabens ja Green perustivat Atlantic and Pacific Guano Companyn, joka laski liikkeelle 50 000 osaketta 100 dollarin kappalehintaan 5 000 000 dollarin kokonaispääomituksella vuonna 1858. Yhtiö jopa laski liikkeelle William H. Whitfieldin allekirjoittaman valuutan 25 sentin, 50 sentin ja yhden dollarin nimellisarvoina 1.kesäkuuta 1867 helpottaakseen kaupankäyntiä saarilla.

myöhemmin kemianyhtiö osti saaret, mutta ajautui maksukyvyttömäksi. Kapteeni Alonzo Adams purjehti sinne vuonna 1893 ja otti saaret haltuunsa; vuonna 1904 hän antoi omistuksen Swan Island Commercial Companylle. Yhtiö vuokrasi osan Great Swan Islandista United Fruit Companylle, joka kasvatti kookospalmuja ja perusti langattoman radioreleaseman Karibian laivaston huoltoon, mutta luopui lopulta vuokrasopimuksesta. Swan Island Commercial Company toimitti hurrikaaniseurantatietoja vuosilta 1928-1932. Yhdysvaltain Säävirasto miehitti Hurrikaanisääasemaa Great Swanilla vuodesta 1938 lähtien, mutta käytti sitä vain hurrikaanikausien ajan.

toisen maailmansodan aikana sekä Yhdysvaltain laivasto että Yhdysvaltain Säävirasto sijoittivat saarelle henkilökuntaa. 1940-luvun lopulta vuoteen 1949 Swan Islandista tuli Yhdysvaltain maatalousministeriön eläinten karanteeniasema naudanlihan tuontia varten. Vuonna 1914 nykyinen National Weather Service (NWS) ja myöhemmin Federal Aviation Agency (FAA) perustivat Swanille sää-ja viestintävälineitä ilmailupalvelujen ja hurrikaanien ennustustoiminnan tukemiseksi. FAA poistui Joutsensaarelta 1960-luvulla jättäen NWS: lle kaikki voimavarat ja vastuut.

Honduras vaati näitä saaria itselleen vuodesta 1923 väittäen, että koska Kolumbus oli löytänyt saaret purjehtiessaan Espanjaan, ne tulisi omistaa lähimpään espanjankieliseen maahan. Sekä Yhdysvallat että Honduras vaativat Joutsensaaria, kunnes Yhdysvallat luopui vaatimuksestaan Guano Islands Actin nojalla. Sopimus allekirjoitettiin 22. marraskuuta 1971, ja Honduras otti sen käyttöön 1.syyskuuta 1972. Saaren omistuksesta oli kiistelty pitkään. Sumner Smith perhe on aina säilyttänyt omistuksensa ja, ilmeisesti, ei ollut joitakin asema U.S. courts. Tästä huolimatta Yhdysvaltain hallitus päätti luopua vaatimuksestaan tästä asemasta huolimatta (viite. D S Platt, et al., NOAA-NWS). Saaret saivat mainetta 1960-luvun alussa Radio Swanin toiminnasta, joka aloitti lähetyksensä toukokuussa 1960 valmistellessaan ja myöhemmin toteuttaessaan Sikojenlahden maihinnousua Kuubaan. Asema poistettiin saarilta 1960-luvun lopulla, jolloin sen päälähetin siirrettiin käytettäväksi Vietnamin sodassa.

vuonna 1965 Bellairessa Texasissa poliisi kuulusteli entistä Bellairen lukiolaista tämän roolista teini-ikäisessä ”armeijassa”, joka oli omistautunut ”sorrettujen Maiden” vapauttamiseen, Houston Chronicle-lehti kertoi. Ryhmä, jota kutsuttiin Kononiersiksi, oli ollut olemassa noin viisi vuotta, opiskelija kertoi lehdelle ja oli aseistautunut Deep Riverin asevarastoon tehdyn murtosarjan avulla. Aseet vietiin Addicksin Reservoir-alueelle, jossa ne harjoittelivat taisteluun. Nuoret harjoittelivat Hondurasin edustalla ”operaatio vapautuksen Joutsensaarta” varten.

vuonna 1987 Los Angeles Times kertoi, että CIA: lla ja muilla Yhdysvaltain valtion virastoilla oli joutsensaarella salainen koulutuslaitos Nicaraguan Contrille. Vuonna 1989 Hondurasin presidentti Rafael Leonardo Callejas julisti saaren luonnonsuojelualueeksi.

lokakuussa 1998 hurrikaani Mitch liikkui alueen läpi 290 km / h (180 mph) tuulilla.

vuonna 2001 Floridan Brooksvillessä toimiva Swan Island Development, LLC ilmoitti suunnitelmistaan kehittää Joutsensaaret vuoteen 2010 mennessä yhdessä Hondurasin hallituksen kanssa. Visioitiin viiden miljardin dollarin arvoisia luksuskiinteistöjä ja hotelleja, joiden pääkaupunki olisi Cygnet. Vuonna 2004 Swan Island Development ilmoitti myös suunnitelmista perustaa ihmisen kantasolututkimuskeskus. Vuonna 2021 kumpaakaan ei ole tapahtunut.