Nettikyselyjen sudenkuopat

Luin suurella mielenkiinnolla Vapa Median juttua ”joukkohaastatteluista”. Jutussa käsiteltiin Yle Hämeen juttua siitä, saako aikuinen ärsyyntyä lasten käyttäytymisestä. Mutta oikeastaan kyseessä ei ollut juttu, vaan nettikysely. Juttu julkaistaan, kun vastaukset on koottu. Aihe – lasten häiritsevä käyttäytyminen ja se, pitäisikö vieraiden ihmisten siihen  puuttua – on toki mitä kutkuttavin, ja Vapa Median mukaan jo pelkkä kutsu kyselyyn keräsi Facebookissa paljon huomiota. Samaa journalistista linjaa  edustaa HS:n Mielipideilmasto-niminen sivusto, josta löytyy kyselyitä joka lähtöön.

Vapa Median haastattelema Ylen uutis- ja ajankohtaistoimituksen sosiaalisen median tuottaja Antti Hirvonen selittää, että kyseessä ei ole mielipiteitä esittelevä ”katugallup”, vaan tapa ottaa yleisö mukaan jutun tekoon alusta asti. Siitä hassu nimi: joukkohaastattelu. Hirvosen mukaan kysely auttaa toimittajaa saamaan ”syvällisempää” tietoa jutun aiheesta: ”Tässä ei mennä Pasilan asemalle randomisti kyselemään, mitä mieltä ihmiset ovat. Verkossa kommentit on todennäköisesti oikeampia, sillä ihminen voi tehdä itse päätöksen olla asiasta jotain mieltä ja kertoa sen sitten toimittajalle”. Hirvosen mukaan kyselyn tuloksista voi löytyä yksittäinen kiinnostava tieto tai sitten niitä voidaan analysoida tilastollisesti.

Ja vastaajiahan riittää. Ylen juttu keräsi Vapa Median mukaan 1200 vastaajaa viikossa. Tällaisista lukemista moni kyselytutkimuksen tekijä vain haaveilee, ja gallupyrityksetkin saavat tehdä tosissaan töitä tuhannen suomalaisen edustavan otoksen keräämiseksi. Millä tavalla tällainen nettikysely sitten eroaa perinteisestä mielipidetiedustelusta tai katugallupista? On hyvä huomata, että nettikysely ei tarkoita samaa asiaa kuin mielipidetiedustelu. Niin ikään sitä ei voi verrata myöskään katugalluppiin. Yritän selittää seuraavaksi, miksi näin ei ole ja mitä siitä seuraa.

Mielipidetiedustelu perustuu edustavaan otokseen suomalaisia. Tämä tarkoittaa sitä, että otos – olkoot 1000 vastaajaa – on muodoltaan Suomi pienoiskoossa. Otoksessa on suhteellisesti yhtä monta työtöntä, opiskelijaa, eläkeläistä, naista, miestä, matala-palkkaista, optiomiljonääriä, jne. kuin koko Suomessa. Jos otos on edustava, voimme luottaa gallupin tuloksiin tietyn virhemarginaalin (oikeastaan luottamusraja) sisällä. Voimme esimerkiksi sanoa, että 95% todennäköisyydellä Ihmisten Puolueen kannatus on 20,5 % ± 3 prosenttiyksikköä äänestämään oikeutettujen joukossa. Siten oikea kannatusprosentti on viiden prosentin riskillä olla väärässä välillä 17,5–23,5 %. Teoriassa otos on edustava, jos kaikilla perusjoukon jäsenillä on sama (tai jokin tiedossa oleva) todennäköisyys tulla valituksi otokseen. Valikoituminen on satunnaista. Käytännössä edustavuutta voidaan parantaa osittamalla otos esimerkiksi maantieteellisten rajojen mukaan ja täydentämällä ja korjaamalla sitä aiempien perusjoukkoa koskevien tietojen perusteella. Kunnollisen mielipidetiedustelun toteuttaminen on kallista ja vaivalloista, mutta tulokset ovat myös sen mukaisia eli luotettavia.

Entäpä sitten katugallupit? Katugallupissa toimittaja seisoo esimerkiksi Helsingin rautatieaseman edessä klo 8.00 aamulla ja esittää töihin kiiruhtaville ihmisille pari kiperää kysymystä. Toimittaja kerää esimerkiksi 30-50 vastausta, tuntee suurta tyytyväisyyttä, kun urakka on ohi, ja siirtyy kahville. Onko gallup kyselynä luotettava? Kyllä ja ei. Jos otamme sen rajoitteet huomioon ja jos tiedämme tarkalleen, miten se on toteutettu, kenelläkään ei ole syytä moittia toimittajan aherrusta. Gallup ei yleisesti ottaen edusta ketään muita kuin niitä, keiltä on harkinnanvaraisesti kysytty (tai ketkä ovat  vastanneet), eli se on näyte. Pienellä ajatusleikillä katugalluppiin voisi  kuvitella tietyn satunnaisuuden elementin: toimittaja voi yrittää pysäyttää esimerkiksi joka 10. ohikulkijan jollakin yleisellä paikalla. Toki kaikki eivät pysähdy toimittajan huuteluista huolimatta ja pahimman näköisiltä yrmyiltä ei viitsitä edes kysyä. Mutta tästä huolimatta meillä (tai ainakin toimittajalla) on melko tarkka kuva siitä, kuinka kysely tehtiin, keitä mahdolliseen perusjoukkoon voisi kuulua (klo 8.00-9.15 töihin Rautatieaseman aseman kautta kulkevat keski-ikäiset naiset, jotka käyttävät K-junaa) ja missä määrin otos voisi tätä perusjoukkoa edustaa. Näinhän tehdään usein myös markkinointitutkimusta. Mutta yleisesti ottaen gallup ei ole edustava (mikä olisi todellinen perusjoukko?), vastaajat ovat jossain määrin valikoituneet ei-satunnaisesti ja otoskoot ovat usein pieniä.

Mutta miksi vaivautua kadulle seisomaan klo 8.00, kun kyselyn voi laitta julki nettiin aamupäiväksi, antaa ihmisten saapua töihin, avata tietokone, löytää kysely ja vastata siihen? Tulokset voi laittaa julki iltapäivällä. Nettikyselyn ongelma on, että meillä ei ole mitään tietoa vastaajien valikoitumisesta tai mahdollisesta perusjoukosta ja sen koosta. Keitä vastaajat ovat ja kuinka isoa joukkoa suomalaisista he edustavat? Lisäksi sama henkilö voi usein vastata kyselyyn useamman kuin yhden kerran. Mutta mikä pahinta, uhkana on, että kyselyyn vastaavat vain ne, joilla on vahva mielipide asiasta (puolesta tai vastaan) tai jokin muu syy vastailla internetkyselyihin keskimäärin useammin kuin muilla. Emme yksinkertaisesti voi tietää, millä tavalla vastaajat ovat valikoituneet ja onko otos joiltain (ratkaisevilta osin) harhainen.

Esimerkiksi Ylen lasten nuhtelu -kyselyyn vastaajat ovat ehkä sellaisia, joilla on asiasta jokin mielipide tai omakohtaista kokemusta. Tässä ei sinänsä ole mitään pahaa, mutta se ei vielä oikeuta tilastollisiin yleistyksiin. Vastausten määrän kasvattaminen 10:stä 10 000:eenkaan ei poista mahdollista mielipideharhaa. Tässä mielessä Hirvosen ”randomisti Pasilan asemalla” pyörivä katugallupin tekijä on vahvemmilla kuin toimituksessa nettikyselyä väkertävä kollega: hän tietää, keitä on haastatellut, hän on voinut vaikuttaa ainakin teoriassa otoksen valikoitavuuteen ja määritellä perusjoukkonsa reunaehtoja. Ainoa asia, jolla voimme hieman kontrolloida vastaajajoukkoamme on rajoittaa kyselyä siten, että siihen voi vastata vain kerran, ja kysymällä mahdollisimman yksityiskohtaisia taustatietoja. Tämäkään ei tosin poista harhaisuutta, sillä systemaattista harhaa mielipiteissä ei saada iän, sukupuolen, tulotason tms. taustatekijöiden avulla kontrolloitua; ajattele esimerkiksi sukupuolineutraalin avioliiton kannattajia, heidän joukossaan lienee kaikenlaisia suomalaisia, mutta kaikkia yhdistää vahva mielipide yhteen asiaan. Taustatiedot voivat kuitenkin antaa jotakin osviittaa näytteen koostumuksesta. Lopulta emme voi kuitenkaan juuri muuta kuin todeta, että näytteeseen on valikoitunut niin ja niin monta vastaajaa ja tässä ovat heidän mielipiteensä. Vahvempia nettikyselyt ovat avointen vastausten kanssa. Näin voidaan löytää kiinnostavia yksittäistapauksia. Jos suhteellisia osuuksia kuitenkin esitetään, pitäisi aina muistaa tehdä selväksi se, että kysely ei edusta ”yleistä mielipidettä” tai ”lukijoiden mielipidettä”, vaan perustuu vapaaehtoiseen internetkyselyyn, ja edustaa siten valikoitumismielessä tuntematonta vastaajajoukkoa.

Vaalien alla kyselyjä tehdään usein niin tiuhaan, että paitsi niihin vastaaminen, myös lukeminen alkaa turruttaa. Ainakin viime presidentin vaalien alla käytiin jo keskustelua siitä, vaikuttavatko mielipidetiedustelut jotenkin häiritsevästi vaalitulokseen. Tästäkin tehtiin nettikysely. Jos tätä tulosta on uskominen, niin kyselyt vaalien alla pitäisi varmaan kieltää demokratian nimissä? Mutta pitäisikö tähän uskoa?

Advertisements

Yksi kommentti artikkeliin ”Nettikyselyjen sudenkuopat

  1. Verkkokyselyjen problematiikasta kiinnostuneiden kannattaa tutustua Jani Miettisen pro gradu -tutkielmaan tai Miettisen ja Kimmo Vehkalahden artikkeliin uunituoreessa Otteita verkosta -kirjassa. Gradussa tutkitaan ”itsevalikoituneen näytteen” (verkossa vapaasti leviävä kyselytutkimus) metodiikkaa ja harhaisuuden tilastollisia korjausmenetelmiä (painotusmenetelmät). Pääpointti on, että jos tunnetaan tarkalleen, millä tavalla (satunnaisesti tai ei-satunnaisesti) vastaajat ovat valikoituneet ja jos aineiston koko on riittävä, harhaisuutta voidaan korjata. Mistä harhaa sitten syntyy? Gradussa mainitaan kolme keskeistä internet-kyselyn harhan lähdettä:

    1) Alipeitto eli se että internet-populaatio ei kata koko Suomen väestöä tasavertaisesti. Tästä ei välttämättä ole haittaa, jos kyselyn aihepiiri on sellainen, että tavoiteltava vastaajajoukko käyttää internetiä (esim. jokin työpaikka)
    2) Rekrytointi eli keitä kyselyyn tavoitellaan. Onko esimerkiksi käytössä kaikkien Ylen nettisivuilla säännöllisesti vierailevien kattava rekisteri, jonne kysely voidaan lähettää, vai turvaudutaanko vapaasti verkossa leviävään mainontaan? Jos turvaudutaan jälkimmäiseen strategiaan, voi kyselyn mainontaa yrittää suunnitella mahdollisimman puolueettomasti.
    3) Valikoituminen eli mitkä tekijät vaikuttavat kyselyyn vastaamiseen, esim. tiedon saaminen kyselystä, internetin käyttömahdollisuus, kyselyn aihe, kiinnostus ja muut psykologiset tekijät.

    Gradun mukaan pelkkä vastaajien sosiodemografisten tekijöiden (ikä, sukupuoli, ammatti…) tunteminen ei vielä auta korjaamaan harhaa, vaan pitäisi myös pystyä korjaamaan asenteista syntyvää harhaa, mikä edellyttää asennetta kuvaavien kysymysten sisällyttämistä mukaan tutkimukseen. Jos näitä tekijöitä ei kyetä hallitsemaan, ei pystytä tuottamaan luotettavia tuloksia. Lisäksi tarvitaan niin kutsuttu ”viiteaineisto” eli sellainen vastaava kysely, joka on toteutettu jollakin satunnaistetulla tai muulla luotettavia tuloksia tuottavalla menetelmällä. Tällaista aineistoa ei tarvitse kerätä kuin kerran otosperusteisesti (ja kalliisti), ja samoja tuloksia saatetaan voida käyttää useiden (huomattavasti halvempien) verkkokyselyjen painottamiseen.

Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out / Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out / Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out / Muuta )

Google+ photo

Olet kommentoimassa Google+ -tilin nimissä. Log Out / Muuta )

Muodostetaan yhteyttä palveluun %s