Kai skaičiai tampa pasakomis
Kiekvieną dieną mūsų naršyklėse, socialiniuose tinkluose ir naujienų portaluose pasirodo dešimtys antraščių, skelbiančių apie naujausius mokslinius atradimus. „Mokslininkų tyrimas parodė…”, „Naujas tyrimas įrodė…”, „Specialistai nustatė…” – šie frazių fragmentai tapo mūsų kasdienybės dalimi. Tačiau už šių įspūdingų antraščių dažnai slypi sudėtinga statistinių duomenų interpretacija, kurią lengva suprasti klaidingai.
Problema ta, kad daugelis žmonių – net ir išsilavinusių, kritiškai mąstančių – niekada nesimokė skaityti mokslinių tyrimų. Mes mokėmės matematikos, galbūt net statistikos pagrindų, bet niekas nepaaiškino, kaip iš tiesų reikia interpretuoti tyrimo rezultatus, kokios spąstai tyko tarp eilučių, kur ieškoti silpnųjų vietų. Todėl dažnai priimame tyrimo išvadas kaip absoliučią tiesą arba, priešingai, atmesdami viską kaip „melagingą statistiką”.
Realybė yra daug įdomesnė ir sudėtingesnė. Statistiniai tyrimai – tai ne tiesos orakulai, o įrankiai, kurie, tinkamai naudojami, padeda mums geriau suprasti pasaulį. Tačiau šie įrankiai turi savo apribojimus, ir būtent jų nesupratimas veda prie daugelio klaidų.
Koreliacija nėra priežastis: seniausias ir patvariausias mitas
Tai klasika, apie kurią visi girdėjo, bet kurią vis tiek nuolat pamiršta. Kai du dalykai vyksta kartu arba vienas didėja, kai kitas mažėja, mūsų smegenys automatiškai nori sukurti priežastinį ryšį. Tai evoliucinis mechanizmas – mūsų protėviai, pastebėję, kad po tam tikrų debesų atsirado lietus, turėjo pranašumą prieš tuos, kurie tokių ryšių nepastebėjo.
Tačiau šiuolaikiniame pasaulyje šis mechanizmas mus nuolat klaidina. Pavyzdžiui, tyrimas gali parodyti, kad žmonės, kurie geria daugiau kavos, dažniau serga širdies ligomis. Ar tai reiškia, kad kava sukelia širdies ligas? Ne būtinai. Galbūt žmonės, kurie geria daug kavos, dirba stresines darbus, o būtent stresas yra tikroji problema. Arba galbūt jie mažiau miega, daugiau rūko, mažiau sportuoja. Kava gali būti tik rodiklis tam tikro gyvenimo būdo, o ne priežastis.
Yra net žinomas pavyzdys, kaip ledo gaminių pardavimas koreliuoja su nusikaltimų skaičiumi. Ar tai reiškia, kad ledai skatina nusikalstamumą? Žinoma, ne – tiesiog abu šie dalykai didėja vasarą, kai yra šilta. Tai vadinama trečiuoju kintamuoju arba paslėpta kintamojo problema.
Kaip to išvengti? Ieškokite tyrimuose žodžių „atsitiktinė kontroliuojama imtis” arba „randomizuotas kontroliuojamas tyrimas”. Tokie tyrimai specialiai sukuriami taip, kad būtų galima daryti priežastinius teiginius. Taip pat būkite atsargūs su stebėjimo tyrimais – jie gali parodyti įdomius ryšius, bet retai gali įrodyti priežastį.
Statistinis reikšmingumas nėra praktinis reikšmingumas
Štai kur slypi viena subtiliausių klaidų. Kai tyrimas skelbia, kad rezultatas yra „statistiškai reikšmingas”, daugelis žmonių mano, kad tai reiškia „svarbų” arba „didelį” efektą. Tačiau statistinis reikšmingumas iš tiesų reiškia tik tai, kad rezultatas greičiausiai nėra atsitiktinumas.
Įsivaizduokite tyrimą su 100 000 dalyvių, kuris rodo, kad naujas vaistas sumažina cholesterolio lygį vidutiniškai 0,5 procento. Su tokia didele imtimi šis rezultatas gali būti statistiškai reikšmingas – tai yra, mes galime būti tikri, kad tai ne atsitiktinumas. Bet ar 0,5 procento sumažėjimas iš tiesų ką nors reiškia jūsų sveikatai? Greičiausiai ne. Tai statistiškai reikšminga, bet praktiškai beveik nereikšminga.
Priešinga situacija taip pat gali būti klaidinanti. Mažas tyrimas gali nerasti statistiškai reikšmingo efekto, nors realus efektas egzistuoja – tiesiog tyrimas buvo per mažas jam aptikti. Tai vadinama statistine galia, ir tai dar vienas aspektas, į kurį dažnai nekreipiama dėmesio.
Skaitydami tyrimus, ieškokite ne tik p-reikšmės (paprastai p<0,05), bet ir efekto dydžio. Kiek iš tiesų pasikeitė? Kokia praktinė šio pokyčio reikšmė? Gydytojai čia naudoja naudingą sąvoką – „number needed to treat" (NNT), kuri parodo, kiek žmonių reikia gydyti, kad vienas pajustų naudą. Jei NNT yra 100, tai reiškia, kad 99 žmonės vartoja vaistą be jokios naudos, kad vienas pajustų pagerėjimą.
Imties problema: kada 1000 yra per mažai, o 30 – pakankamai
Daugelis žmonių mano, kad kuo didesnė tyrimo imtis, tuo geriau, ir paprastai tai tiesa. Tačiau ne visada. Svarbiau nei imties dydis yra tai, ar imtis reprezentatyvi – ar ji tikrai atspindi populiaciją, apie kurią norime daryti išvadas.
Galite apklausti 10 000 žmonių apie jų politines pažiūras, bet jei visi jie yra iš vieno miesto, vienos socialinės klasės, vienos amžiaus grupės – jūsų rezultatai bus iškraipyti, nepaisant įspūdingo dalyvių skaičiaus. Kita vertus, gerai sudaryta 500 žmonių imtis, kuri proporcingai atstovauja įvairioms demografinėms grupėms, gali duoti daug tikslesnį vaizdą.
Yra ir kitas aspektas – kai kuriems tyrimams iš tiesų nereikia didelių imčių. Jei tiriamas efektas yra labai stiprus ir aiškus, jo galima aptikti ir su nedidele imtimi. Pavyzdžiui, kai buvo atrastas penicilinas, nereikėjo tūkstančių pacientų, kad pamatytum dramatišką skirtumą tarp gydytų ir negydytų žmonių.
Bet štai kas svarbu: mažos imtys yra labai jautrios atsitiktinumams. Jei tyrime dalyvavo tik 20 žmonių ir rezultatas yra statistiškai reikšmingas, būkite atsargūs – toks tyrimas turėtų būti pakartojamas su didesne grupe. Idealiu atveju ieškokite meta-analizių, kurios sujungia kelių panašių tyrimų rezultatus ir taip padidina bendrą imtį.
Publikavimo šališkumas: kodėl matome tik ledkalnio viršūnę
Štai nemaloni tiesa: didžioji dalis atliktų tyrimų niekada nepasiekia publikacijos. Ir dar nemalonesnė tiesa – nepublikuojami dažniausiai tie tyrimai, kurie nerado jokio efekto, kurie parodė, kad „niekas neįvyko”.
Įsivaizduokite, kad 20 skirtingų mokslininkų grupių tiria, ar tam tikras maisto papildas padeda numesti svorį. 19 iš jų neranda jokio efekto, bet viena grupė (galbūt tiesiog dėl atsitiktinumo) randa nedidelį teigiamą efektą. Kuri grupė greičiausiai publikuos savo rezultatus? Kuri grupė sulauks dėmesio? Kuri grupė bus cituojama žiniasklaidoje?
Taip susidaro iškraipytas vaizdas. Mes matome tik tuos tyrimus, kurie „kažką rado”, o visa kita informacija lieka stalčiuose. Tai vadinama publikavimo šališkumu, ir tai yra viena didžiausių problemų šiuolaikinėje mokslinėje literatūroje.
Kai kurios mokslo sritys bando su tuo kovoti reikalaudamos, kad tyrimai būtų registruojami prieš prasidedant – taip vėliau galima pamatyti, ar visi pradėti tyrimai buvo užbaigti ir publikuoti. Farmacijos srityje tai jau yra standartas, bet daugelyje kitų sričių – dar ne.
Kaip skaitytojas galite būti atsargesni ieškodami sisteminių apžvalgų ir meta-analizių, kurios bando surasti ir įtraukti nepublikuotus duomenis. Taip pat būkite skeptiški, kai matote vienintelį tyrimą, skelbiančią revoliucinį atradimą – jei tai būtų tiesa, greičiausiai būtų daugiau patvirtinančių tyrimų.
Klausimų formulavimas ir matavimo problemos
Kaip užduodate klausimą, lemia, kokį atsakymą gausite. Tai atrodo akivaizdu, bet šis principas nuolat ignoruojamas interpretuojant tyrimus. Apklausos, klausimynai, testai – visi jie yra subjektyvūs instrumentai, kurių kokybė labai skiriasi.
Pavyzdžiui, tyrimas apie laimę. Kaip išmatuojate laimę? Galite paklausti žmonių skalėje nuo 1 iki 10, kaip jie jaučiasi. Bet ar mano „7″ yra tas pats kaip jūsų „7″? Ar žmogus iš kultūros, kur priimta būti santūriam, naudos skalę taip pat kaip žmogus iš kultūros, kur priimta emocijas reikšti atvirai?
Arba paimkime medicininius tyrimus. Jei klausiate žmonių, ar jie reguliariai sportuoja, daugelis pervertins savo aktyvumą. Jei prašote jų atsiminti, ką valgė praėjusią savaitę, jų atminimas bus netikslus. Tai vadinama atsiminimo šališkumu ir socialinio pageidautinumo šališkumu.
Kai kurie tyrimai bando tai apeiti naudodami objektyvius matavimus – akselerometrus judėjimui matuoti, kraujo tyrimus mitybai įvertinti. Bet net ir tada kyla klausimų. Ar viena kraujo tyrimų diena atspindi jūsų įprastą būseną? Ar žmonės keičia savo elgesį, kai žino, kad yra stebimi?
Skaitydami tyrimus, atkreipkite dėmesį, kaip buvo matuojami pagrindiniai kintamieji. Ar tai buvo savivertinimas? Ar objektyvūs matavimai? Ar validuoti instrumentai? Geroje publikacijoje turėtų būti aiškiai aprašyta metodologija, ir jei jos nėra arba ji atrodo miglota – tai raudonas signalas.
Konteksto praradimas: kai medis užstoja mišką
Vienas tyrimas yra tik vienas duomenų taškas didžiuliame mokslo žinių tinkle. Tačiau kai skaitome apie jį žiniasklaidoje ar net mokslinėje publikacijoje, dažnai prarandame platesnį kontekstą. Mes nematome, kaip šis tyrimas dera su visa kita, kas žinoma apie temą.
Pavyzdžiui, pasirodo tyrimas, kuris rodo, kad tam tikras maisto produktas gali būti susijęs su vėžiu. Antraštės šaukia apie pavojų. Bet jei pažvelgtumėte į visą mokslinę literatūrą, pamatytumėte, kad yra 50 kitų tyrimų, kurie tokio ryšio nerado, ir tik šis vienas rado. Ar tai keičia jūsų požiūrį?
Arba atvirkščiai – vienas tyrimas neranda efekto, ir žmonės skelbia, kad „mitas paneigtas”. Bet galbūt yra dešimtys kitų tyrimų, kurie efektą rado, ir šis vienas yra išimtis. Vienas tyrimas, net labai gerai atliktas, retai kada yra paskutinis žodis.
Čia ypač vertingos yra sisteminės apžvalgos ir meta-analizės – jos bando apžvelgti visą esamą literatūrą ir padaryti bendrą išvadą. Cochrane apžvalgos medicinos srityje yra aukso standartas. Bet net ir jos turi apribojimų – jos gali būti tik tokios geros, kokie geri yra tyrimai, kuriuos jos analizuoja.
Praktiškai tai reiškia, kad vietoj to, kad reaguotumėte į kiekvieną naują tyrimą kaip į revoliuciją, geriau ieškokite konsensuso. Ką sako didžioji dauguma tyrimų? Ką sako ekspertų organizacijos, kurios peržiūrėjo visą literatūrą? Vienas prieštaraujantis tyrimas gali būti įdomus, bet jis turėtų būti pradžia diskusijos, o ne jos pabaiga.
Kai skaičiai susitinka su gyvenimu
Galiausiai turime pripažinti, kad statistiniai tyrimai, kad ir kokie gerai atlikti, visada kalba apie vidurkius, tendencijas, tikimybes. Jie negali pasakyti, kas nutiks būtent jums. Jei tyrimas rodo, kad tam tikras gydymas veikia 70 procentų žmonių, tai vis tiek reiškia, kad 30 procentų jis neveikia. Į kurią grupę pateksite jūs?
Tai nereiškia, kad tyrimai nenaudingi – priešingai, jie yra geriausias įrankis, kurį turime priimant sprendimus. Bet jie turėtų būti derinami su individualia situacija, asmenine istorija, vertybėmis ir aplinkybėmis. Gydytojas, kuris mato tik statistiką ir nemato žmogaus priešais save, yra toks pat problematiškas kaip ir tas, kuris ignoruoja įrodymus ir remiasi tik intuicija.
Mokydamiesi skaityti tyrimus kritiškai, mes ne atmetame mokslą – mes jį gerbiame. Mes suprantame jo galimybes ir apribojimus. Mes žinome, kada pasitikėti rezultatais, o kada būti atsargiems. Tai ne cinizmas, o subrendęs, niuansuotas požiūris į žinias.
Galbūt svarbiausia pamoka yra ši: būkite smalsūs, bet atsargūs. Užduokite klausimus. Ieškokite konteksto. Nepasitikėkite vien antraštėmis. Ir prisiminkite, kad mokslas yra procesas, o ne produktas – jis nuolat tobulėja, klausia, tikrina, persvarsto. Geriausi tyrimai kelia daugiau klausimų, nei atsako, ir tai yra jų stiprybė, o ne silpnybė. Skaitydami mokslines publikacijas su šiuo supratimu, tampate ne tik informuotesni, bet ir protingesni sprendimų priėmėjai – o šiuolaikiniame pasaulyje, perpildytame informacijos, tai yra neįkainojama savybė.
