Statistika – ne burtai, bet ir ne tiesa visada
Prisipažinsiu atvirai – dar prieš keletą metų, kai matydavau antraštę tipo „Tyrimas įrodo, kad X padidina riziką 200%”, tiesiog tikėdavau. Skamba įtikinamai, skaičiai dideli, šaltinis – koks nors universitetas. Kas čia gali būti ne taip?
Daug kas. Labai daug kas.
Statistiniai pranešimai – tiek žiniasklaidoje, tiek valdžios ataskaitose – dažnai pateikiami taip, kad skaitytojui sunku suprasti, ką jie iš tikrųjų reiškia. Ne visada dėl piktavališkumo. Kartais tiesiog dėl tingėjimo, kartais dėl to, kad patys žurnalistai nesupranta, ką rašo. Bet rezultatas tas pats – mes darome klaidingas išvadas ir formuojame nuomones ant kreivų pamatų.
Pirmas dalykas: klausk „lyginant su kuo?”
Grįžkime prie to „200% padidėjimo”. Skamba baisiai, tiesa? Bet jei bazinė rizika buvo 0,1%, tai dabar ji tapo 0,3%. Tai vis dar labai maža rizika. Šis triukas vadinamas santykinio ir absoliutaus pokyčio painiojimas, ir jis naudojamas nuolat.
Kai matai procentinį pokytį, visada klausk: o koks buvo pradinis skaičius? Jei pranešime to nėra – tai jau pirmas signalas, kad kažkas ne taip.
Imties dydis ir reprezentatyvumas – nuobodu, bet svarbu
„Tyrimas su 47 dalyviais įrodo…” – čia galima sustoti ir užsimerkti. 47 žmonės negali reprezentuoti visos populiacijos, ypač jei tai buvo studentai iš vieno universiteto (o taip nutinka labai dažnai).
Kitas klausimas – kaip žmonės buvo atrinkti? Jei tyrimas apie miego įpročius buvo atliekamas internetu 2 val. nakties, tai jau pats atrankos metodas viską iškreipia. Tokie niuansai retai minimi antraštėse, bet jie keičia viską.
Koreliacija – mano mėgstamiausias spąstas
Šalys, kuriose vartojama daugiau šokolado, turi daugiau Nobelio premijų laureatų. Tai faktas. Ar šokoladas padeda laimėti Nobelį? Žinoma, ne – abu dalykai tiesiog koreliuoja su bendru gyvenimo lygiu.
Žiniasklaidoje nuolat matome antraštes „X susijęs su Y rizika”. Žodis „susijęs” reiškia koreliaciją, ne priežastingumą. Bet mūsų smegenys automatiškai skaito tai kaip „X sukelia Y”. Tai natūralu, bet klaidinga. Kai matai tokią antraštę, sustok ir pagalvok – ar čia gali būti koks nors trečias veiksnys, kuris paaiškina abu dalykus?
P reikšmė ir statistinis reikšmingumas – žodžiai, kurių bijoma aiškinti
Jei pranešime rašoma, kad rezultatai „statistiškai reikšmingi” (p < 0,05), tai nereiškia, kad jie praktiškai reikšmingi. Statistinis reikšmingumas tiesiog sako: „tikėtina, kad tai ne atsitiktinumas.” Bet efektas gali būti toks mažas, kad gyvenime tai nieko nekeičia.
Be to, p < 0,05 reiškia, kad 1 iš 20 tyrimų gaus „reikšmingą" rezultatą net jei jokio realaus efekto nėra – tiesiog dėl atsitiktinumo. O atspėk, kurie tyrimai dažniau publikuojami? Tie, kurie randa kažką „įdomaus".
Kai skaičiai tampa ginklu – kelios mintys pabaigai
Nenoriu, kad po šio straipsnio pradėtum nepasitikėti visais tyrimais ir statistika. Tai būtų kita kraštutinybė. Statistika – puikus įrankis, kai naudojamas sąžiningai ir interpretuojamas atsargiai.
Tiesiog išmok kelių paprastų klausimų: lyginant su kuo? Kiek žmonių dalyvavo ir kas jie buvo? Ar čia koreliacija, ar priežastingumas? Ar efektas didelis praktiškai, o ne tik statistiškai?
Šie klausimai nepavers tavęs statistiku. Bet padės nesusigundyti gražiai supakuotomis nesąmonėmis – o jų tikrai netrūksta. Ir tai, mano galva, jau yra labai daug.
