Articles

Meten: Wat Is een sterke correlatie?

roken veroorzaakt kanker.

waarschuwingen op sigarettenetiketten en van gezondheidsorganisaties maken duidelijk dat roken kanker veroorzaakt.

maar hoe weten we dat?

roken gaat vooraf aan kanker (meestal longkanker). Mensen die sigaretten roken hebben de neiging om long en andere kankers meer dan degenen die niet roken. We zeggen dat roken gecorreleerd is met kanker. Sluit andere oorzaken zorgvuldig uit en je hebt de ingrediënten om de zaak voor oorzakelijkheid te maken.

correlatie is een noodzakelijk, maar niet voldoende ingrediënt voor oorzakelijk verband. Of zoals je ongetwijfeld hebt gehoord: correlatie staat niet gelijk aan causaliteit. Een correlatie kwantificeert de associatie tussen twee dingen. Maar correlatie hoeft niet te bewijzen dat oorzakelijk verband nuttig is. Vaak is het heel nuttig om één ding te weten dat voorafgaat of voorspelt aan iets anders. Bijvoorbeeld, wetende dat de prestaties van kandidaten op het werk monsters voorspelt hun toekomstige prestaties van de baan helpt managers huren van de juiste kandidaten. We zouden zeggen dat de prestaties van werkvoorbeelden correleren met (voorspelt) werkprestaties, hoewel werkvoorbeelden geen betere werkprestaties veroorzaken.

een veel voorkomende (maar niet de enige) manier om een correlatie te berekenen is de Pearson correlatie (aangeduid met een r), beroemd gemaakt (maar niet afgeleid) door Karl Pearson in de late jaren 1880. het varieert van een perfecte positieve correlatie (+1) tot een perfecte negatieve correlatie (-1) of geen correlatie (r = 0). In de praktijk is een perfecte correlatie van 1 volledig overbodige informatie, dus het is onwaarschijnlijk dat je die tegenkomt.

de correlatiecoëfficiënt heeft zijn tekortkomingen en wordt niet als “robuust” beschouwd tegen zaken als niet-normaliteit, niet-lineariteit, verschillende varianties, invloed van uitschieters en een beperkt bereik van waarden. Tekortkomingen maken het echter niet nutteloos of dodelijk gebrekkig. Bijgevolg wordt het op grote schaal gebruikt in vele wetenschappelijke disciplines om de kracht van relaties te beschrijven omdat het nog steeds vaak zinvol is. Het is een soort van de gemeenschappelijke taal van de vereniging als correlaties kunnen worden berekend op vele maten (bijvoorbeeld, tussen twee binaire maten of rangen).

terugkomend op het verband tussen roken en kanker, is een schatting van een 25-jarige studie naar de correlatie tussen roken en longkanker in de VS r = .08-een correlatie net boven 0. Je hebt misschien een levenslange roker gekend die geen kanker kreeg-wat het punt illustreert (en de lage omvang van de correlatie) dat niet iedereen die rookt (zelfs veel) kanker krijgt.volgens sommige schattingen krijgt 75% -85% van de levenslange zware rokers geen kanker. In feite, 80% -90% van de mensen die longkanker krijgen zijn niet rokers of nooit gerookt!

maar één studie is zelden het laatste woord over een bevinding en zeker geen correlatie. Er zijn vele manieren om het verband van het roken van kanker te meten en de correlatie varieert sommige afhankelijk van wie wordt gemeten en hoe.

bijvoorbeeld, in een andere studie van ontwikkelingslanden, is de correlatie tussen het percentage van de volwassen bevolking dat rookt en de levensverwachting r=.40, die zeker groter is dan de .08 van de Amerikaanse studie, maar het is verre van de bijna perfecte correlatie conventionele wijsheid en waarschuwing labels zou impliceren.

hoewel correlaties niet noodzakelijk de beste manier zijn om het risico van activiteiten te beschrijven, is het nog steeds nuttig om de relatie te begrijpen. Maar belangrijk, het begrijpen van de details waarop de correlatie werd gevormd en het begrijpen van de gevolgen ervan zijn de kritische stappen in het zetten van correlaties in perspectief.

geldigheid vs. Betrouwbaarheidscorrelaties

terwijl u waarschijnlijk geen volksgezondheid studeert, zijn uw professionele en persoonlijke leven gevuld met correlaties die twee dingen met elkaar verbinden (bijvoorbeeld roken en kanker, testscores en schoolprestaties, of koffie drinken en een betere gezondheid). Deze correlaties worden validiteitscorrelatie genoemd. Geldigheid heeft betrekking op de vraag of iets meet wat het van plan is te meten. We zouden zeggen dat een set van interview Vragen die de prestaties van de baan voorspelt geldig is. Of een usability questionnaire is geldig als het correleert met de voltooiing van de taak op een product. De sterkte van de correlatie spreekt tot de sterkte van de validiteitsclaim.

bij MeasuringU schrijven we uitgebreid over ons eigen en het onderzoek van anderen en citeren we vaak correlatiecoëfficiënten. Echter, niet alle correlaties zijn gelijk en niet alle correlaties zijn validiteit. Een andere veel voorkomende correlatie is de betrouwbaarheid correlatie (de consistentie van reacties) en correlaties die afkomstig zijn van dezelfde steekproef van deelnemers (genaamd monomethod correlaties). Monomethod correlaties zijn gemakkelijker te verzamelen (je hebt slechts één voorbeeld van gegevens nodig) maar omdat de gegevens afkomstig zijn van dezelfde deelnemers zijn de correlaties vaak opgeblazen. Betrouwbaarheidscorrelaties worden ook vaak gerapporteerd in peer reviewed papers en zijn meestal ook veel hoger, vaak r > .7. De beschikbaarheid van deze hogere correlaties kan bijdragen aan het idee dat correlaties zoals r =.3 of zelfs r = .1 zijn zinloos.

we vonden bijvoorbeeld dat de betrouwbaarheid van de test-retest van de Net Promoter Score r = is .7. Voorbeelden van een monomethod correlatie zijn de correlatie tussen de SUS en NPS (r = .62), tussen individuele sus-items en de totale sus-score (r = .9), en tussen de Sus en de UMUX-Lite (r = .83), allemaal verzameld uit dezelfde steekproef en deelnemers. Dit zijn ook legitieme validiteit correlaties (zogenaamde gelijktijdige validiteit), maar hebben de neiging om hoger omdat het criterium en de voorspelling waarden zijn afgeleid van dezelfde bron.

interpretatie van Validiteitscorrelatiecoëfficiënten

veel velden hebben hun eigen Conventie over wat een sterke of zwakke correlatie is. In de gedragswetenschappen de conventie (grotendeels vastgesteld door Cohen) is dat correlaties (als een maat van effectgrootte, die validiteit correlaties omvat) hierboven .5 zijn “groot,” rond .3 zijn “medium,” en .10 en hieronder zijn ” klein.”

gebruik makend van de conventie van Cohen is het verband tussen roken en longkanker echter zwak in de ene studie en misschien medium in de andere. Maar zelfs binnen de gedragswetenschappen is context belangrijk. Zelfs een kleine correlatie met een consequente uitkomst (effectiviteit van psychotherapie) kan nog steeds gevolgen hebben voor leven en dood.

Squaring de correlatie (de determinatiecoëfficiënt genoemd) is een andere gangbare praktijk om de correlatie (en effectgrootte) te interpreteren, maar kan ook de sterkte van een relatie tussen variabelen onderschatten, en het gebruik van de standaard r heeft vaak de voorkeur. In een toekomstig artikel zullen we meer manieren onderzoeken om correlaties te interpreteren.

Ik heb validiteitscorrelaties over meerdere disciplines verzameld uit verschillende gepubliceerde papers (veel meta-analyses), waaronder studies over medische en psychologische effecten, werkprestaties, college-prestaties en ons eigen onderzoek naar klant-en gebruikersgedrag om context te bieden voor validiteitscorrelaties. Veel van de studies in de tabel komen uit de invloedrijke paper van Meyer et al. (2001).

Description Correlation
Aspirin and reduced risk of heart attack 0.02
Ever Smoking and Lung Cancer after 25 years 0.08
College Grades and Job Performance 0.16
Years of Experience & Job Performance 0.18
SAT Scores en Cumulatieve GPA aan de Universiteit van Pennsylvania voor (Wit & Aziatische Leerlingen) 0.20
HS-Klasse Rang en Cumulatieve GPA aan de Universiteit van Pennsylvania voor (Wit & Aziatische Studenten) 0.26
Psychotherapie en de Daaropvolgende Welzijn 0.32
Raw Net Promoter Scores en in de Toekomst een Stevige Groei van de Omzet in 14 Industrieën 0.35
GRE Kwantitatieve Redeneringen en MBA GPA 0.37
Ongestructureerde Sollicitatiegesprekken en Prestaties op het Werk 0.38
Viagra en verbeterd seksueel functioneren 0.38
lengte en Gewicht van 639 Bangladesh Studenten (Gemiddelde van Mannen en Vrouwen) 0.38
Verleden Gedrag als Voorspeller van Toekomstig Gedrag 0.39
% van de Volwassen Bevolking dat Rookt en de Levensverwachting in de Ontwikkelingslanden 0.40
College toelatingsexamen en College inzake overheidsopdrachten (GPA) in Jemen 0.41
SAT Scores en Cumulatieve GPA van Dartmouth Studenten 0.43
Hoogte en Gewicht in de VS van 16,948 deelnemers 0.44
NPS-score en de Toekomst een Stevige Groei van de Omzet in 14 Industrieën 0.44
Rorschach PRS-scores en de daaropvolgende psychotherapie uitkomst 0.44
de Intentie om de technologie te gebruiken en het werkelijke gebruik 0.50
Algemene Mentale Vermogen en Prestaties op het Werk 0.51
Koop Intentie en de Aankoop van Meta-Analyse (60 Studies) 0.53
Werk Monster en Prestaties op het Werk 0.54
PURE Scores Van deskundigen en SUPR-Q Scores van Gebruikers 0.55
PURE Scores Van deskundigen en SEQ Scores van Gebruikers 0.67
de Waarschijnlijkheid om te Adviseren en aanbevolen hoeveelheid (Recente Aanbeveling) 0.69
SUS Scores en Toekomstige Software-Omzet (Geselecteerde Producten) 0.74
koopintentie en de Aankoop van het Tarief voor Nieuwe Producten (n=18) 0.75
SUPR-Q quintiles en 90 Dagen te koop wisselkoersen 0.78
de Waarschijnlijkheid om te Adviseren en aanbevolen hoeveelheid (Recente Aankoop) 0.79
PURE Scores Van deskundigen en Taak Time Scores van Gebruikers 0.88
Nauwkeurigheid van de Pulse-Oxymeter en de zuurstofsaturatie 0.89
de Waarschijnlijkheid om te Adviseren en Gerapporteerd Raden Tarief (Merken) 0.90

medische resultaten

uit Tabel 1 blijkt bijvoorbeeld dat de correlatie tussen het innemen van aspirine en het verminderen van het risico op een hartaanval r = is .02. Dit is de kleinste correlatie in de tabel en nauwelijks boven 0. Toch is aspirine al tientallen jaren een hoofdbestanddeel van aanbevelingen voor de gezondheid van het hart, hoewel het nu in twijfel wordt getrokken.

de blockbuster drug (en tv commercial regular) Viagra heeft een correlatie van r = .38 met ” verbeterde prestaties.”Psychotherapie heeft een correlatie van” alleen ” r = .32 over toekomstig welzijn. Lengte en gewicht die traditioneel als sterk gecorreleerd worden beschouwd, hebben een correlatie van r = .44 wanneer objectief gemeten in de VS of r = .38 Uit een Bengaalse steekproef. Dat is niet zo anders dan de geldigheid van inktvlekken in één studie. De verbinding tussen de” pulse-ox ” sensoren die u aan uw vinger bij de arts legt en de werkelijke zuurstof in uw bloed is r = .89. Dit alles kan worden gezien in samenhang met de twee eerder besproken rookcorrelaties, r = .08 en r=.40.

Job Performance

Tabel 1 toont correlaties voor verschillende indicatoren van job performance, inclusief college grades (r = .16), jaren ervaring (r = .18), ongestructureerde interviews (r=.38), algemene geestelijke vermogens (r = .51); de beste voorspeller van job performance is werk samples, r=.54. Zie hoe Google werkt voor een discussie over hoe Google zijn aanwervingspraktijken op basis van deze gegevens heeft aangepast.

schoolprestaties

net als roken is het verband tussen bekwaamheidstests en prestatie uitgebreid bestudeerd. Tabel 1 bevat ook een aantal voorbeelden van correlaties tussen gestandaardiseerde testen en werkelijke college prestaties: voor blanken en Aziatische studenten aan de Ivy League University Of Pennsylvania (r = .20), College GPA voor studenten in Jemen (r = .41), GRE quantitative reasoning En MBA GPAs (r = .37) van 10 staatsuniversiteiten in Florida, en SAT scores en cumulatieve GPA van de Ivy League Dartmouth College voor alle studenten (r=.43).

Klant-en gebruikersgedrag

Ik heb verschillende validiteitscorrelaties opgenomen van het werk dat we hebben gedaan bij MeasuringU, waaronder de correlatie tussen intent to recommend en 90 day recommend rates voor de meest recente aankoop (r=.79), sus scores en software-industrie groei (r = .74), De Net Promoter Score en groei metrics in 14 industrieën (r = .35), evaluators ‘PURE scores en gebruikers’ taak-gemak scores (r = .67). Vergelijkbare correlaties zijn ook te zien tussen gepubliceerde studies over de intentie van mensen om te kopen en aankoopprijzen (r=.53) en intentie tot gebruik en feitelijk gebruik (r = .50) Zoals we zagen met de TAM.

de les hier is dat hoewel de waarde van sommige correlaties klein is, de gevolgen niet genegeerd kunnen worden. En dat maakt algemene regels van correlaties zo moeilijk toe te passen. Mijn hoop is de tabel van validiteit correlaties hier uit verschillende velden zal helpen anderen kritisch na te denken over de inspanning om te verzamelen en de impact van elke vereniging.

samenvatting en afhaalpunten

deze discussie over de correlatie als maat voor associatie en een analyse van validiteitscorrelatiecoëfficiënten bleek:

correlaties kwantificeren relaties. De Pearson correlatie r is de meest voorkomende (maar niet alleen) manier om een relatie tussen variabelen te beschrijven en is een gemeenschappelijke taal om de grootte van effecten over disciplines te beschrijven.

Validiteits – en betrouwbaarheidscoëfficiënten verschillen. Niet alle correlaties zijn gelijk. Correlaties verkregen uit hetzelfde monster (monomethod) of betrouwbaarheidscorrelaties (met dezelfde maat) zijn vaak hoger r (r > .7) en kan leiden tot een onrealistisch hoge correlatiebalk.

correlaties kunnen zwak maar impactvol zijn. Zelfs numeriek” kleine ” correlaties zijn zowel geldig als zinvol wanneer de context van impact (bijvoorbeeld gevolgen voor de gezondheid) en inspanning en kosten van het meten worden meegerekend. De correlaties tussen roken, aspirine en zelfs psychotherapie zijn goede voorbeelden van wat grof kan worden geïnterpreteerd als zwakke tot bescheiden correlaties, maar waar de uitkomst nogal consequenties heeft.

stel geen onrealistisch hoge maten in voor validiteit. Het begrijpen van de context van een correlatie helpt betekenis te geven. Als iets gemakkelijk kan worden gemeten en voor lage kosten, maar hebben zelfs een bescheiden vermogen om een impact te voorspellen resultaat (zoals bedrijfsprestaties, college prestaties, levensverwachting, of werkprestaties), kan het waardevol zijn. De” lage ” correlatie tussen roken en kanker (r = .08) is een goede herinnering aan dit.