Nemrég statisztikai számításokkal kellett kisegítenem egy projektet. A probléma az volt, hogy aki eredetileg végezte a számításokat egy warez SPSS-el, elment babázni, a cikk bírálói viszont további összehasonlításokat szerettek volna látni. Így kerültem én a képbe.
SPSS-el nem tudtam szolgálni, de teljesen legális R-el igen. Össze is gyűjtötték nekem az áhított összehasonlításokat én meg írtam egy szkriptet, ami elvégezte a nem kevesebb, mint 150 ezer t-próbát és a hozzá tartozó többszörös teszt-korrekciót. Nagy boldogan átnyújtottam az eredményeket, de nem volt váll veregetés.
A probléma az volt, hogy a kísérlet vezetője már "látta" az eredményt és ezt a statisztika nem támasztotta alá. Először csak arra kértek, hogy hagyjam el a Benjamini-Hochberg korrekciót, hogy több szignifikáns eredmény legyen (hahaha), majd miután így sem lehetett igazolni az elvárásokat, másik tesztet kértek. Sajnos én nem ismerem "Látszik" tesztet, ami pont ugyan azokat az eredményeket hozza ki, amiket elvárnak emberek.
A probléma ugyanis a szórás volt. A kísérletet 3 évben végezték el, három ismétléssel, és az évek között akkora szórás volt, hogy a kontroll és a kezelés átfedett. Ezt mindenki értette és senki sem vitatta. Cikkek alapján viszont elvártak bizonyos trendeket, amik elő is jöttek, ha hunyorítva néztek a grafikonokra. De csak nekik. Nekem valahogy nem megy a hunyorítás. Szerettek volna egy olyan tesztet, ami "nem érzékeny a szórásra". Valószínűleg az én műveletlenségem, hogy nem ismerek ilyet.
Miután itt holtpontra jutottunk, arra kértek, hogy legalább ismételjem meg R-el az SPSS-s manova analízist. Ez egyszerűnek tűnt, de kiderült, hogy sokkal nehezebb, mint gondoltam. Kaptam két Excel táblázatot, egy PowerPoint diát, ahol lépésről lépésre leírták, mit csinált az előző kutató. A menüpontokat R parancsokká változtattam, majd összehasonlítottam az eredményt. Egyes eredmények megegyeztek, de néhány változónál olyan mértékű eltérés volt, hogy még a szórás négyzetek nagyságrendje is különbözött.
Első gondolatom az volt, hogy az SPSS-el rosszul klikkeltek. A második, hogy valami paramétert rosszul állítok be R-ben. Mindkét feltevés hibásnak bizonyult. Pontosabban részben hibásnak.
Az internetet bújva először az vált világossá számomra, hogy a különbség igenis létezik. A szórás négyzetet ugyanis többféle módon is ki lehet számolni, ami kiegyenlítetlen adatoknál egészen más eredményt adhat. Természetesen nekünk egyes esetekben ez volt a helyzet. Ezek alapján nem csoda, hogy a statisztikában kevésbé jártas emberek bűvészkedésnek fogják fel a módszert, hiszen látszólag ugyan azzal a teszttel eltérő eredményeket kaphatunk.
De a statisztika nem bűvészkedés. Ez is ugyan olyan eszköz, mint a labor centrifuga. Ha nem centrifugálsz elég ideig, a felül úszóban lesz a mintád és kiöntöd. Ugyan így, ha rossz statisztikát használsz, nem lesz eredmény. A másik dolog, amit nem szabad elfelejteni, hogy ha rossz bemeneti adatokat használunk, akkor az eredmény is rossz lesz. Egy befertőzött táptalajról senki nem akar baktériumot tisztítani, de két ismétlés alapján már ki merik jelenteni, hogy a különbség szignifikáns.
Talán egy hasonlattal rá tudok világítani a lényegre. Gondoljunk úgy a statisztikára, mint az étkezésre. Mást eszünk vasárnap egy családi ebédnél és mást a moziban. Nyilván lehet pattogatott kukoricát is felszolgálni a rántott hús helyett, de a végeredmény nem lesz ugyan az. Pontosan így van a statisztikában is. Többféle teszt van gyakran ugyan arra a feladatkörre is, de azért, mert mindegyiket csak bizonyos körülmények között érdemes használni.
Ahogy pörköltet sem szokás magában enni, hanem valami körettel, úgy bizonyos statisztikai teszteket is együtt használunk.
Most játszunk egy kicsit. Én leszek a kibic, aki nem érti a táplálkozás lényegét: Minek kell három fogás? Csak tele lesz a gyomrunk tőle. Inkább együnk csak dobos tortát, amikor éhesek leszünk. Mi? Attól nem lehet jóllakni? Biztosan rosszul készítették el. Nem kell villa sem hozzá, mert olvastam, hogy valaki a szájpadlásába szúrt egyet. Inkább kézzel kanyarítok a közös tálról, ha kell. Egyéb tápanyagok bevitele csak bűvészkedés, a szervezet mindent elő tud állítani szénhidrátból.
Ugye milyen fájdalmas hallgatni?
