definiții statistice> analiză semantică latentă

ce este analiza semantică latentă?

analiza semantică latentă (lsa) este o modalitate de a analiza modul în care cuvintele și grupurile de cuvinte sunt utilizate în texte. Este folosit pentru a răspunde la întrebări precum:

• care este sensul de bază al textului?
• ce efect au cuvintele asupra sensului pasajelor?
• cum se referă sensul mediu al cuvintelor dintr-un pasaj la sensul general al unui pasaj?

limba (în special limba engleză) este complexă, în parte deoarece cuvintele au semnificații multiple. De exemplu, cuvântul „fierbinte” poate însemna o varietate de lucruri, inclusiv „aproape de fierbere”, „sexy” sau „preț de vânzare.”Multe depind de contextul în care îl folosiți (adică pasajul din jur). „Fierbinte” într-un text ar putea avea un sens complet diferit în altul, astfel încât găsirea de cuvinte înrudite, pasaje sau texte întregi nu este o sarcină ușoară. LSA încearcă să facă acest lucru prin maparea cuvintelor la concepte precum „temperatură”, „sex” sau „afaceri”.”Cuvintele și conceptele legate sunt apoi comparate pentru a ajunge la sensul real al textului.

analiza semantică latentă se mai numește indexare semantică latentă (LSI).

metoda

o matrice în care fiecare element arată cât de des apare într-un text.

LSA folosește o metodă avansată de algebră matricială numită descompunerea valorii singulare (SVD) pentru a factoriza matricile . SVD este de obicei imposibil de realizat manual pentru ceva mai mult decât un mic eșantion de text. De fapt, a devenit popular doar după anii 1980, când computerele au venit pe scenă pentru a gestiona algoritmii complexi.
metoda de bază Este:

• textul este convertit în matrice pentru a reprezenta pasaje. Fiecare celulă din matrice conține de câte ori apare un anumit cuvânt într-un anumit pasaj.
• matricea este factorizată astfel încât fiecare pasaj să fie reprezentat ca un vector. Valoarea pentru fiecare vector este suma vectorilor care reprezintă cuvintele sale componente.
• produsele Dot, cosinusurile sau metricile similare sunt folosite pentru a reprezenta asemănări între cuvinte și pasaje.

teoria din spatele algoritmilor utilizați în SVD este dincolo de domeniul de aplicare al acestui articol, dar puteți citi mai multe despre el în acest articol al Universității din Victoria.

Thomo, A. analiza semantică latentă (Tutorial). Accesat la 28 mai 2020 de la: https://www.engr.uvic.ca/~seng474/svd.pdf

——————————————————————————

aveți nevoie de ajutor cu o temă sau o întrebare de testare? Cu studiul Chegg, puteți obține soluții pas cu pas la întrebările dvs. de la un expert în domeniu. Primele 30 de minute cu un tutore Chegg sunt gratuite!