RP kirjoitti:Ei aukea mulla, mitä tuossa on. Kertokaa!
Tilastototieteen kurssista on jo 20 vuotta aikaa ja kaikki ei aukea, mutta huomioita:
Bem ei etukäteen päättänyt mitä tutkii, vaan teki erilaisia testejä ja testaili, saiko jostain niistä merkittäviä tuloksia. Eli näytettiin mm. positiivisia kuvia, negatiivisia kuvia, pornokuvia, neutraaleja kuvia ja romanttisia kuvia. Sitten katsottiin, tulisiko jollain näistä tilastollisesti merkitseviä tuloksia. Pornokuville saatiin tilastollisesti merkittävä tulos. Artikkeli kritisoi sitä, että pitäisi etukäteen päättää, mitä tutkitaan, eikä tehdä lukuisia eri testejä ja sitten katsoa, josko jostain tulisi merkitsevä tulos.
Kun asiaa tutkitaan p-arvoilla, jotka ainoastaan kertovat, kuinka suuri on todennäköisyys, että tulos saadaan sattumalta, tämä on huono tutkimusasetelma. Jos tehdään monia toisistaan riippumattomia testejä, niin on täysin selvä, että jossain niissä saadaan sattumalta merkitsevä tulos, jos asiaa testataan riittävän monta kertaa. Bem ei myöskään kerro, mitä kaikkia asioita hän on testannut hakiessaan tilastollisesti merkitseviä tuloksia.
Itse muistan hyvin tilastotieteen kurssilta sen opetuksen, että kun random-dataa pyörittää riittävästi ja testaa eri muuttujia keskenään, niin aina sattumalta saa jonkun tilastollisesti merkitsevän tuloksen.
Lisäksi kritisoidaan sitä, että että täytyy ottaa huomioon myös todennäköisyys ennen testiä, ei pelkästään se, tukeeko havainto hypoteesia.
Jos esim. asetamme hypoteesin, että kotitontut keilaavat Pupun kodin ullakolla ja sitten päätämme tutkia, kuuluuko ullakolta kolinaa ja toteamme ullakolta tosiaan kuuluvan kolinaa, voimme sanoa, että kolina sopii hyvin yhteen em. hypoteesin kanssa ja puhuu sitä vastaan, että kotitontut eivät keilaisi ullakolla. Tämä ei kuitenkaan muuta sitä tosiasaa, että on hyvin epätodennäköistä, että tontut keilaisivat Pupun kodin ullakolla, koska em. hypoteesin todennäköisyys on niin alhainen
ennen testausta. Eli jos väitteen etukäteistodennäköisyys on hyvin alhainen, täytyy todisteiden olla hyvin vahvoja, jotta testin jälkeenkin todennäköisyys ei olisi edelleen hyvin alhainen.
Eli jälleen "extraordinary claims require extraordinary evidence".
Kirjoittaja myös laskee, että jos rulettia pelatessa pystyisi ennalta 53.1%:n todennäköisyydellä (pornokuvien oikein osunut veikkausprosentti) tietämään, pysähtyykö kuula mustalle vai punaisella ja aloittaisi sadalla eurolla ja lopettaisi aina rahojen loppumiseen, tai kun miljoona euroa on tullut täyteen, niin keskivertoillan tulos olisi 485900 euroa. Jostain syystä maailman kasinot kuitenkin edelleen tuottavat voittoa.
Viimeisen kritiikin yksityiskohdat menevät yli hilseeni, mutta siinä kritisoidaan valittua tilastollista analyysia ja todetaan, että kirjoittajan mielestä paremmin tutkimusasetelmaan soveltuva The Bayesian t-Test antaa tulokset, joiden mukaan tulokset eivät tue hypoteesia Psi-kyvyistä.