statisztikai meghatározások > látens szemantikai elemzés

mi a látens szemantikai elemzés?

a látens szemantikai elemzés (LSA) egy módja annak, hogy elemezzük, hogyan használják a szavakat és a szavak csoportjait a szövegekben. Olyan kérdések megválaszolására szolgál, mint:

• mi a szöveg mögöttes jelentése?
• milyen hatással vannak a szavak a részek jelentésére?
• hogyan viszonyul a szavak átlagos jelentése egy szakaszban egy szakasz általános jelentéséhez?

a nyelv (különösen az angol nyelv) összetett, részben azért, mert a szavaknak több jelentése van. Például, a ” forró “szó különféle dolgokat jelenthet, beleértve a” forrás közelében”,” szexi, “vagy” eladási ár.”Sok múlik azon a kontextuson, amelyben használja (azaz a környező folyosón). Az egyik szöveg” forró ” jelentése teljesen más lehet a másikban, így a kapcsolódó szavak, részek vagy teljes szövegek megtalálása nem könnyű feladat. Az LSA ezt úgy próbálja megtenni, hogy a szavakat olyan fogalmakhoz térképezi fel, mint a “hőmérséklet,” “szex,” vagy “üzleti.”A szavakat és az összekapcsolt fogalmakat ezután összehasonlítják, hogy elérjék a szöveg valódi jelentését.

a látens szemantikai elemzést látens szemantikai indexelésnek (LSI) is nevezik.

módszer

egy mátrix, ahol minden elem megmutatja, hogy a szavak milyen gyakran megjelenik egy szövegben.

az LSA fejlett mátrix algebrai módszert használ szinguláris Értékbomlás (SVD) a mátrixok faktorizálásához . Az SVD-t általában nem praktikus kézzel végrehajtani, csak egy kis szövegminta esetén. Valójában csak az 1980-as évek után vált népszerűvé, amikor a számítógépek megjelentek a komplex algoritmusok kezelésére.
az alapvető módszer:

• a szöveg mátrixokká alakul át, hogy részeket ábrázoljon. A mátrix minden cellája tartalmazza, hogy hányszor jelenik meg egy bizonyos szó egy bizonyos szakaszban.
• a mátrix úgy van faktorizálva, hogy minden szakasz vektorként legyen ábrázolva. Az egyes Vektorok értéke az alkotó szavakat képviselő Vektorok összege.
• a Ponttermékek, koszinuszok vagy hasonló mutatók a szavak és a részek közötti hasonlóságok ábrázolására szolgálnak.

az SVD-ben használt algoritmusok mögött meghúzódó elmélet túlmutat a cikk keretein, de erről többet olvashat A Victoria Egyetem cikkében.

Thomo, A. látens szemantikai elemzés (bemutató). Letöltve május 28, 2020 tól től: https://www.engr.uvic.ca/~seng474/svd.pdf

——————————————————————————

segítségre van szüksége egy házi feladathoz vagy tesztkérdéshez? A Chegg Study segítségével lépésről lépésre megoldásokat kaphat kérdéseire a terület szakértőjétől. Az első 30 perc egy Chegg oktatóval ingyenes!