Lyhyesti
- Jokainen tutkimus ja mittaus on jonkun rahoittama, ja jokaisessa on tehty valintoja: mitä kysytään, keneltä ja miten.
- Rahoittajan vaikutus tuloksiin on tieteessä laajasti dokumentoitu ilmiö – tupakka-, sokeri- ja lääketeollisuus ovat tunnetuimmat esimerkit.
- Julkaisuharha vääristää kokonaiskuvaa: myönteiset tulokset julkaistaan, kielteiset jäävät pöytälaatikkoon.
- Kannatusmittauksen tulosta ohjaavat otanta, kysymysten muotoilu ja vastausprosentti.
- Neljä kysymystä auttaa erottamaan luotettavan tiedon ohjatusta: kuka maksoi, onko tulos toistettu, miten kysyttiin ja mitä jäi julkaisematta.
Joka viikko lehdissä on uutinen, joka alkaa sanoilla "tutkimuksen mukaan". Luvut otetaan vastaan kuin ne olisivat objektiivisia mittauksia todellisuudesta, kuten lämpötila tai sateen todennäköisyys.
Jokainen tutkimus on kuitenkin jonkun rahoittama. Joku on valinnut kysymykset. Joku päättää, julkaistaanko tulokset vai ei. Kannatusmittauksessa joku on aina valinnut, keneltä kysytään, miten kysytään ja mitä kysytään.
Nämä valinnat eivät synny tyhjiössä. Niiden taustalla ovat intressit, resurssit ja tavoitteet, ja se, kenen intresseistä on kyse, vaikuttaa suoraan tulokseen. Kaikki tutkimukset eivät silti ole valetta, eivätkä kaikki mittaukset ole manipuloituja. Mutta ennen kuin uskot mihinkään tutkimukseen tai mittaukseen, ensimmäinen kysymys on aina sama: kuka tämän tilasi ja kuka maksoi?
Miten kannatusmittaukset toimivat ja miten niiden tulosta voi ohjata
Kannatusmittauksen perusidea on yksinkertainen. Valitaan pieni joukko ihmisiä, joka edustaa suurempaa väestöä, ja heidän vastaustensa perusteella yleistetään koko väestöön. Oikein tehtynä menetelmä toimii, ja siksi gallupit ovat pysyneet vakavasti otettavana tiedonhankintakeinona vuosikymmeniä. Jokaisessa vaiheessa on kuitenkin valintoja, joissa rehellisyys ja puolueellisuus erkanevat toisistaan.
Otanta: keneltä kysytään
Jos mittaus tehdään puhelimitse arkipäivän iltapäivänä, vastaajissa korostuvat eläkeläiset ja etätyöläiset. Jos mittaus tehdään verkkopaneelissa, vastaajat ovat tyypillisesti koulutetumpia ja kaupunkilaisempia kuin väestö keskimäärin. Vinoumia voi korjata painottamalla tuloksia, mutta painotusvalinnat ovat itsessään valintoja, jotka vaikuttavat lopputulokseen.
Kysymyksen muotoilu: miten kysytään
Muotoilu on yksi tehokkaimmista tavoista ohjata tulosta. Saman asian voi kysyä monella tavalla ja saada täysin eri vastauksen. "Kannatatko maahanmuuttajien vastaanottamista?" on myönteinen muotoilu. "Kannatatko maahanmuuton rajoittamista?" on rajoittava. Ne tuottavat eri vastausjakauman, vaikka mitataan samaa asiaa.
Myös kysymysten järjestys vaikuttaa, koska edellinen kysymys luo kehyksen seuraavalle. Jos ensin kysytään rikollisuuden kehityksestä ja sitten maahanmuuttoasenteista, vastaukset ovat erilaiset kuin päinvastaisessa järjestyksessä.
Push pollit: mittauksia, jotka eivät mittaa
Niin sanotut push pollit eli vaikuttamiskyselyt ovat oma lajinsa. Niiden todellinen tarkoitus on muuttaa vastaajan mielipidettä, ei mitata sitä. Vastaajalle syötetään kysymyksen yhteydessä tietoa, joka ohjaa vastausta haluttuun suuntaan, ja vasta sitten kysytään varsinainen mielipide. Muoto näyttää mittaukselta, mutta toimii mainoksena. Vastaajat eivät yleensä huomaa eroa, ja tuloksia siteerataan mediassa kuin tavallisia kannatusmittauksia.
Vastausprosentti: ketkä jättävät vastaamatta
Kyselyjen vastausprosentit ovat laskeneet vuosikymmenten ajan, ja puhelinhaastatteluissa enemmistö tavoitelluista jättää nykyään vastaamatta. Vastaajat eivät ole satunnainen joukko. Vahvan mielipiteen omaavat vastaavat todennäköisemmin kuin ne, joilla mielipidettä ei ole, ja politiikkaa seuraavat todennäköisemmin kuin ne, jotka eivät seuraa. Tämä ei välttämättä kumoa tulosta. Se kuitenkin tarkoittaa, että mittaus kuvaa usein aktiivisten ja vahvan mielipiteen omaavien kansalaisten näkemystä eikä tasaisesti koko väestöä.
Rahoituksen vaikutus tuloksiin on dokumentoitu, ei teoriaa
Rahoittajan vaikutus tutkimustuloksiin ei ole salaliittoteoria. Se on tieteessä laajasti tutkittu ilmiö, josta on tehty lukuisia järjestelmällisiä katsauksia. Pelkistettynä: tutkimukset, jotka rahoittaa tiettyyn tulokseen intressissä oleva taho, päätyvät tähän tulokseen useammin kuin riippumattomasti rahoitetut tutkimukset.
Tupakkateollisuus
Tupakkateollisuus on ilmiön parhaiten dokumentoitu esimerkki. Oikeudenkäynneissä 1990-luvulla julkisiksi tulleet sisäiset asiakirjat osoittivat, että alan suuryhtiöt tiesivät tupakoinnin syöpävaaroista jo 1950-luvulla. Ne rahoittivat tutkimusta, jonka tarkoitus ei ollut selvittää totuutta vaan tuottaa riittävästi epävarmuutta, jotta päättäjät eivät ryhtyisi toimiin.
Strategia ei ollut kiistää kaikkea. Se oli väittää, että tarvitaan lisää tutkimusta. Niin kauan kuin löydökset näyttävät kiistanalaisilta, mitään ei tehdä. Sama strategia on myöhemmin toistunut muillakin aloilla.
Sokeriteollisuus
JAMA Internal Medicine -lehdessä vuonna 2016 julkaistu tutkimus kävi läpi sokeriteollisuuden sisäisiä asiakirjoja. Niistä selvisi, että sokeriteollisuuden etujärjestö rahoitti 1960-luvulla Harvardin tutkijoiden katsausta, joka vähätteli sokerin yhteyttä sydäntauteihin ja korosti rasvan roolia. Palkkio oli nykyrahassa noin 50 000 dollaria. Katsauksella oli vuosikymmenten vaikutus ravitsemussuosituksiin – ja siihen, mitä ihmiset söivät.
Lääketeollisuus
Lääkkeissä ilmiötä on tutkittu erityisen paljon. BMJ julkaisi vuonna 2003 järjestelmällisen katsauksen, joka kokosi yhteen 30 tutkimusta rahoituksen vaikutuksesta lääketutkimuksiin. Johtopäätös oli selvä: lääkeyritysten rahoittamat tutkimukset päätyivät rahoittajan tuotteelle suotuisaan tulokseen selvästi useammin kuin muulla tavoin rahoitetut tutkimukset. Samansuuntaisia havaintoja on tehty muun muassa syöpä-, psykiatrian, sydän- ja ravitsemustutkimuksessa.
Kun rahoittajalla on oma tuote pelissä
Asetelma on erityisen selvä, kun tuotteen valmistaja rahoittaa tutkimuksen oman tuotteensa tehosta – esimerkiksi nikotiinikorvaustuotteen valmistaja nikotiinikorvaushoidon tehosta. Eturistiriita on ilmeinen: valmistaja rahoittaa tutkimuksen, koska odottaa suotuisaa tulosta – ja jos tulos ei olisi suotuisa, sitä tuskin koskaan julkaistaisi. Sama pätisi, jos tupakkayhtiö rahoittaisi sähkösavukkeiden turvallisuustutkimuksen tai lihateollisuus tutkimuksen punaisen lihan ja syövän yhteydestä.
Rahoittaja ei välttämättä sanele tuloksia suoraan. Sen ei tarvitse. Riittää, että se valitsee, kenet palkataan, mitä kysytään, miten aineisto analysoidaan ja ennen kaikkea sen, julkaistaanko tulos lainkaan.
Julkaisemattomat tutkimukset – ne, joita et koskaan pääse lukemaan
Tieteellinen julkaiseminen on portinvartijaprosessi. Arvioijat ja toimittajat päättävät, onko tutkimus riittävän merkittävä, kiinnostava ja uutta tietoa tuottava julkaistavaksi. Se kuulostaa laadunvarmistukselta, mutta siihen sisältyy rakenteellinen vinouma: julkaisuharha, jota kutsutaan myös pöytälaatikko-ongelmaksi.
Tutkimukset, jotka löytävät tilastollisesti merkitsevän vaikutuksen, julkaistaan paljon todennäköisemmin kuin tutkimukset, jotka eivät löydä mitään – vaikka "ei mitään" olisi tieteellisesti yhtä tärkeä tulos. Siksi julkaistusta kirjallisuudesta syntyvä kokonaiskuva on järjestelmällisesti vinoutunut myönteisiin löydöksiin. Kielteiset tulokset eivät katoa. Ne vain jäävät pöytälaatikkoon, näkymättömiin.
Vuonna 2008 New England Journal of Medicine julkaisi tutkimuksen, joka oli räjähdysmäinen. Tutkijat kävivät läpi kaikki Yhdysvaltain lääkeviranomaisen FDA:n rekisterissä olleet masennuslääketutkimukset, sekä julkaistut että julkaisemattomat. Julkaistussa kirjallisuudessa lääkkeet näyttivät toimivan selvästi paremmin kuin kaikkien tutkimusten kokonaisuudessa. Lähes kaikki myönteiset tulokset oli julkaistu. Valtaosa kielteisistä oli jätetty julkaisematta tai esitetty tavalla, joka sai ne näyttämään myönteisiltä.
Tutkimus ei osoittanut, että masennuslääkkeet eivät toimi. Se osoitti, että julkaistu kirjallisuus yliarvioi niiden tehon merkittävästi. Tämä liittyy suoraan siihen, miksi liikuntaa käsittelevässä artikkelissamme nostetaan esiin tutkimuksia, joissa säännöllinen liikunta, kuten kävely, on lievässä ja keskivaikeassa masennuksessa ollut tehoon nähden lääkkeiden veroinen. Kun lääkkeiden tehoarviot korjataan julkaisuharhan osalta, vertailuasetelma muuttuu.
Sama rakenne toistuu lähes kaikilla lääketieteen aloilla ja monilla muillakin tieteenaloilla. Tutkimusuutisia lukiessasi luet yleensä tutkimuksia, jotka löysivät jotain, et niitä, jotka eivät löytäneet mitään. Tämä painotus vääristää käsitystäsi siitä, missä tieteellinen konsensus todellisuudessa on.
Some-manipulaatio – kun mielipideilmastoon vaikutetaan digitaalisesti
Perinteinen kannatusmittaus tavoittaa ihmiset puhelimella tai verkkopaneelin kautta. Digitaalinen vaikuttaminen on kuitenkin tuonut peliin uuden ulottuvuuden. Se, miltä mielipideilmasto näyttää somessa, vaikuttaa suoraan siihen, millaiseksi ihmiset arvioivat poliittisen tilanteen – ja missä he kokevat oman kantansa olevan suhteessa enemmistöön.
Kirjoitimme internetin botteja ja puhelinfarmeja käsittelevässä artikkelissa siitä, miten koordinoitu bottijoukko voi luoda keinotekoisen vaikutelman laajasta yhteiskunnallisesta yksimielisyydestä. Tällä on suora yhteys siihen, miten ihmiset vastaavat kyselyihin.
Niin sanottu hiljaisuuden spiraali kuvaa ilmiötä, jossa ihmiset ilmaisevat harvemmin kantoja, joiden he kokevat olevan vähemmistössä, koska sosiaalinen paine vetää kohti enemmistöä. Jos botit luovat vaikutelman, että jokin kanta on vallitseva, osa vastaajista mukautuu siihen myös kyselyissä.
Verkkopohjaiset mittaukset ovat erityisen alttiita manipuloinnille. Jos osallistumista ei ole tiukasti rajattu, koordinoitu joukko ihmisiä tai botteja voi vaikuttaa tulokseen. Muista myös, että uutissivustojen ja somealustojen nettiäänestykset eivät ole tieteellisiä otantatutkimuksia. Ne ovat äänestyksiä, joihin kuka tahansa riittävän motivoitunut taho pääsee vaikuttamaan.
Miten suhtautua tutkimuksiin ja mittauksiin – neljä kysymystä
Tarkoitus ei ole sanoa, että kaikkiin tutkimuksiin ja mittauksiin pitäisi suhtautua epäluuloisesti tai ettei niihin voisi luottaa. Tarkoitus on antaa sinulle kysymykset, joilla erotat vakavasti otettavan tiedon valikoidusta tai ohjatusta tiedontuotannosta.
1. Kuka rahoitti tämän?
Tämä on ensimmäinen ja tärkein kysymys. Rahoittajan intressin mukainen tulos ei automaattisesti ole väärä, mutta se on luettava tilanteessa, jossa rahoittajan taloudellinen intressi on tiedossa. Lääkeyhtiön rahoittama lääketutkimus ei automaattisesti valehtele. Se on silti luettava eri silmin kuin riippumattomasti rahoitettu tutkimus, koska suotuisan tuloksen todennäköisyys on erilainen.
2. Onko tulos toistettu?
Tieteessä yksi tutkimus on yksi tutkimus. 2010-luvun replikaatiokriisi paljasti, että suuri osa psykologian tunnetuista tuloksista ei toistunut, kun niitä yritettiin toistaa riippumattomasti. Yksittäinen tutkimus on siis vasta vihje, ei vakiintunut tosiasia. Kun eri tutkijat ovat löytäneet saman tuloksen useissa riippumattomissa tutkimuksissa eri maissa, se alkaa olla tietoa.
3. Miten ja keneltä kysyttiin?
Satunnaisotantaan perustuva puhelinhaastattelu on eri asia kuin verkkopaneeli, ja verkkopaneeli on eri asia kuin avoin nettikysely. Selvitä kysymyksen tarkka sanamuoto – sen pitää olla neutraali. Ja jos vastausprosentti on matala, ota se huomioon ennen kuin hyväksyt luvun koko kansan mielipiteeksi.
4. Mitä jäi julkaisematta?
Tähän on vaikein päästä käsiksi. Kliiniset lääketutkimukset on kuitenkin nykyään rekisteröitävä julkiseen rekisteriin ennen tutkimuksen alkua. Se vaikeuttaa tulosten valikointia jälkikäteen ja tutkimuskysymyksen vaihtamista sen jälkeen, kun tulos on nähty. Ennakkorekisteröinti on yksi tehokkaimmista rakenteellisista keinoista vähentää julkaisuharhaa. Sen puuttuminen vanhemmista tutkimuksista selittää osaltaan, miksi vanhat löydökset eivät aina toistu.
Johtopäätös: valikoiva luottamus
Johtopäätös ei ole epäluulo kaikkea kohtaan. Johtopäätös on valikoiva luottamus. Se, joka osaa kysyä oikeat kysymykset, arvioi paljon paremmin, mitä tietoa kannattaa painottaa, kuin se, joka ottaa jokaisen "tutkimuksen mukaan" -otsikon annettuna.
Tiede on paras työkalu, joka ihmisellä on todellisuuden ymmärtämiseen. Se on kuitenkin prosessi, jonka yksittäisiä tuloksia voidaan ohjata rahoituksella, julkaisupäätöksillä ja menetelmävalinnoilla. Kyky erottaa nämä toisistaan on taito, jota ei opeteta missään – mutta joka on nykyisessä mediaympäristössä välttämätön.
Kun seuraavan kerran luet otsikon "tutkimuksen mukaan", kysy ennen kuin uskot: kuka maksoi?

