definicje statystyczne> utajona Analiza semantyczna

co to jest utajona Analiza semantyczna?

utajona Analiza semantyczna (ang. Latent Semantic Analysis, LSA) – Metoda analizy wykorzystania słów i grup wyrazów w tekstach. Służy do odpowiadania na pytania typu:

• jakie jest podstawowe znaczenie tekstu?
• jaki wpływ mają słowa na znaczenie fragmentów?
• w jaki sposób średnie znaczenie słów w fragmencie ma związek z ogólnym znaczeniem fragmentu?

język (zwłaszcza język angielski) jest złożony, częściowo dlatego, że słowa mają wiele znaczeń. Na przykład słowo „gorący” może oznaczać różne rzeczy, w tym „Bliski wrzenia”, „seksowny” lub „wyceniony do sprzedaży.”Wiele zależy od kontekstu, w którym go używasz (tj. otaczającego przejścia). „Gorące” w jednym tekście może mieć zupełnie inne znaczenie w innym, więc znalezienie powiązanych słów, fragmentów lub całych tekstów nie jest łatwym zadaniem. LSA próbuje to zrobić, mapując słowa do pojęć takich jak” temperatura”,” Seks „lub” biznes.”Słowa i powiązane pojęcia są następnie porównywane, aby uzyskać prawdziwe znaczenie tekstu.

utajona analiza semantyczna jest również nazywana utajonym indeksowaniem semantycznym (LSI).

metoda

macierz, w której każdy element pokazuje jak często słowa pojawiają się w tekście.

LSA wykorzystuje zaawansowaną metodę algebry macierzy zwaną rozkładem wartości pojedynczej (SVD) do faktoryzacji macierzy . SVD jest zwykle niepraktyczne, aby wykonać ręcznie dla czegoś więcej niż małą próbkę tekstu. W rzeczywistości stało się to naprawdę popularne dopiero po 1980 roku, kiedy komputery pojawiły się na scenie do obsługi złożonych algorytmów.
podstawowa metoda to:

• tekst jest konwertowany na matryce do reprezentowania fragmentów. Każda komórka w macierzy zawiera liczbę pojawień się danego słowa w określonym fragmencie.
• macierz jest rozkładana tak, że każde przejście jest reprezentowane jako wektor. Wartość dla każdego wektora jest sumą wektorów reprezentujących jego składowe wyrazy.
• produkty kropkowe, cosines lub podobne metryki są używane do reprezentowania podobieństw między słowami i fragmentami.

teoria algorytmów używanych w SVD wykracza poza zakres tego artykułu, ale możesz przeczytać więcej na ten temat w tym artykule na University of Victoria.

Thomo, A. Analiza semantyczna (Tutorial). 28 maja 2020 z: https://www.engr.uvic.ca/~seng474/svd.pdf

——————————————————————————

potrzebujesz pomocy w zadaniu domowym lub pytaniu testowym? Dzięki Chegg Study możesz uzyskać krok po kroku rozwiązania swoich pytań od eksperta w tej dziedzinie. Twoje pierwsze 30 minut z korepetytorem Chegg jest bezpłatne!