statistik definitioner> Latent semantisk analyse

Hvad er Latent semantisk analyse?

Latent semantisk analyse (LSA) er en måde at analysere, hvordan ord og grupper af ord bruges i tekster. Det bruges til at besvare spørgsmål som:

• hvad er den underliggende betydning af teksten?
• hvilken effekt har ord på betydningen af passager?
• hvordan relaterer den gennemsnitlige Betydning af ord i en passage til den overordnede betydning af en passage?

sprog (især det engelske sprog) er komplekst, dels fordi ord har flere betydninger. For eksempel, ordet “hot” kan betyde en række ting, herunder “nær kogning,” “seksuel,” eller “prissat til at sælge.”Meget afhænger af den kontekst, du bruger den i (dvs.den omgivende passage). “Hot” i en tekst kan have en helt anden betydning i en anden, så det er ikke let at finde relaterede ord, passager eller hele tekster. LSA forsøger at gøre dette ved at kortlægge ord til begreber som “temperatur,” “køn,” eller “forretning.”Ordene og de sammenkædede begreber sammenlignes derefter for at nå frem til den virkelige betydning af tekst.Latent semantisk analyse kaldes også latent semantisk indeksering (LSI).

metode

en matrice, hvor hvert element viser, hvor ofte ord vises i en tekst.

LSA bruger en avanceret algebra-metode kaldet Singular Value Decomponation (SVD) til at faktorisere matricer . SVD er normalt upraktisk at udføre i hånden for noget mere end en lille prøve af tekst. Faktisk blev det virkelig først populært efter 1980 ‘ erne, da computere kom på scenen for at håndtere de komplekse algoritmer.
den grundlæggende metode er:

• teksten konverteres til matricer for at repræsentere passager. Hver celle i matricen indeholder antallet af gange et bestemt ord vises i en bestemt passage.
• matricen er faktoriseret, så at hver passage er repræsenteret som en vektor. Værdien for hver vektor er summen af vektorer, der repræsenterer dens komponentord.
• Dot-produkter, cosinus eller lignende målinger bruges til at repræsentere ligheder mellem ord og passager.

teorien bag algoritmerne, der anvendes i SVD, ligger uden for rammerne af denne artikel, men du kan læse mere om det i denne artikel fra University of Victoria.

Thomo, A. Latent semantisk analyse (Tutorial). Hentet 28. maj 2020 fra: https://www.engr.uvic.ca/~seng474/svd.pdf

——————————————————————————

brug for hjælp til et hjemmearbejde eller test spørgsmål? Med Chegg Study kan du få trinvise løsninger på dine spørgsmål fra en ekspert på området. Dine første 30 minutter med en Chegg tutor er gratis!