Stapel en statistische incompetentie

Morris

Hieronder een verontrustende paragraaf uit het definitieve rapport over de onderzoeksfraude van oud-hoogleraar Diederik Stapel.

Met name de laatste zin verontrust mij.

Dat niet alle (sociaal-) psychologen even veel van statistiek houden, valt hun niet kwalijk te nemen. Dat velen ook niet erg competent blijken te zijn op dit terrein is al bedenkelijker, maar hiervoor vallen hulptroepen in te schakelen.

Onkunde: geen probleem

Maar de eigen onkunde wordt niet eens als een probleem gezien! Let wel: de passage hieronder heeft geen betrekking op promovendi, die nog moeten leren wat wetenschappelijk onderzoek inhoudt, maar op medewetenschappers.

5.5 Statistische onvolkomenheden
Door de statistici werden tal van onvolkomenheden aangetroffen bij de bestudering en heranalyse van al het onderzoeksmateriaal. Dat is onvermijdelijk; men mag niet verwachten dat sociaal-psychologische onderzoekers op de hoogte zijn van de laatste, specialistische technieken op statistisch gebied. Maar verontrustend is wel dat het hier toch vaak ging om onbekendheid met elementaire onderdelen van de statistiek. Zo werd in een artikel een hele serie uitkomsten aangetroffen van t-toetsen op het verschil tussen twee gemiddelden, die van het soort waren: t = 0,90, p< 0.05 en dus ‘significant’. De coauteur was oprecht verbaasd toen de Commissie Levelt opmerkte dat een coauteur dit als onzinnig had moeten opmerken. Een andere coauteur bleek geen notie te hebben van wat men nu eigenlijk ‘deed’ in een factoranalyse of wat de betrouwbaarheidscoëfficiënt alfa voorstelt, laat staan wat de berekende onbetrouwbaarheid van bijvoorbeeld de covariaten voor consequenties kan hebben voor de schatting van het experimentele effect.
Ook werden in een bepaald geval de ruwe data vervangen door ‘geschatte data’, verkregen uit een of andere vorm van ‘smoothing’ of ‘curve fitting’. Deze werden voorgesteld als de echte ruwe data. De coauteur zag hier niet echt een probleem in en had overigens ook geen idee hoe dit gebeurd was: ‘via een optie in Excel’ (de statistici konden de geschatte data op geen enkele manier reproduceren of koppelen aan de oorspronkelijke data).

Het zijn slechts enkele voorbeelden van statistische incompetentie en desinteresse. Door coauteurs werd dit in de gesprekken veelal niet als een gemis of probleem ervaren.

Uw reactie