Statistiky Definice > Latentní Sémantické Analýzy

Co je Latentní Sémantické Analýzy?

latentní sémantická analýza (LSA) je způsob, jak analyzovat, jak se slova a skupiny slov používají v textech. Používá se k zodpovězení otázek jako:

• jaký je základní význam textu?
• jaký vliv mají slova na význam pasáží?
• jak průměrný význam slov v pasáži souvisí s celkovým významem pasáže?

jazyk (zejména anglický jazyk) je složitý, částečně proto, že slova mají více významů. Například, slovo “ horké „může znamenat celou řadu věcí, včetně“ blízko varu, „“ sexy, „nebo“ cena za prodej.“Hodně záleží na kontextu, ve kterém jej používáte (tj. „Hot“ V jednom textu může mít v jiném úplně jiný význam, takže nalezení souvisejících slov, pasáží nebo celých textů není snadný úkol. LSA se o to pokouší mapováním slov na pojmy jako „teplota“, „“sex,“ nebo „podnikání“.“Slova a propojené pojmy jsou pak porovnány, aby dospěly ke skutečnému významu textu.

latentní sémantická analýza se také nazývá latentní sémantické indexování (LSI).

Metoda

matice, kde každý prvek ukazuje, jak často se slova objevují v textu.

LSA používá pokročilou metodu maticové algebry nazvanou Singular Value Decomposition (SVD) k faktorizaci matic . SVD je obvykle nepraktické provádět ručně pro něco víc než jen malý vzorek textu. Ve skutečnosti to opravdu jen stal se populární po roce 1980, kdy počítače přišel na scénu zvládnout složité algoritmy.
základní metoda je:

• text je převeden na matice reprezentující pasáže. Každá buňka v matici obsahuje, kolikrát se určité slovo objeví v určité pasáži.
• matice je faktorizována tak, že každá pasáž je reprezentována jako vektor. Hodnota pro každý vektor je součet vektorů představujících jeho komponentní slova.
• Dot produkty, kosiny nebo podobné metriky se používají k reprezentaci podobností mezi slovy a pasážemi.

teorie algoritmů používaných v SVD je nad rámec tohoto článku, ale můžete si o něm přečíst více v tomto článku University of Victoria.

Thomo, A. Latentní Sémantické Analýzy (Tutorial). Citováno May 28, 2020 z: https://www.engr.uvic.ca/~seng474/svd.pdf

——————————————————————————

Potřebujete pomoci s úkoly nebo zkoušky otázka? S Chegg Study, můžete získat krok za krokem řešení vašich otázek od odborníka v oboru. Váš první 30 minut s Chegg tutorem je zdarma!