‘Psychologisch onderzoek deugt niet’


Wanneer psychologen proberen om experimenten van hun collega’s opnieuw te doen, krijgen ze zes keer op de tien een ander resultaat. Soms zelfs een tegengesteld.


In Science, een van de meest gereputeerde vakbladen uit de wetenschap, melden 270 psychologen dat ze de jongste drie jaar honderd onderzoeken, allemaal gepubliceerd in drie van de hoogst aangeschreven bladen uit hun vakgebied, hebben overgedaan. Vaak in samenwerking met de originele auteurs. De resultaten waren nogal ontluisterend: slechts 39 procent gaf onweerlegbaar hetzelfde resultaat. Alle originele onderzoeken (op 3 na) hadden een ‘beduidend’ resultaat: met een klassieke statistische berekening (de ‘P-waarde’) konden ze aantonen dat er minder dan vijf procent kans was dat hun metingen aan toeval waren te wijten. Toen ze herdaan werden, bleken er slechts 36 van de 100 nog beduidend. Een dozijn sprak de originele resultaten zelfs tegen.

De speurders zien drie mogelijke oorzaken. Ofwel speelden er meer factoren mee dan de onderzoekers beseften, en is de verklaring voor wat ze zagen ingewikkelder dan degene die ze gaven. Ofwel hadden ze gewoon pech – de spreekwoordelijke ‘vlieg op de lens’. Ofwel waren hun resultaten slechts bij toeval beduidend, en zou dat gebleken zijn als ze langer en grondiger hadden gemeten. Iets wat de auteurs van het Science-artikel trouwens zelf ook overkwam. In november 2013 vertelden ze aan de redactie van het blad Nature dat het wel mee leek te vallen met het psychologisch onderzoek: van de eerste dertien onderzoeken die ze overgedaan hadden, zaten er tien goed.

Helemaal onverwacht kwamen de resultaten niet: onderzoekers in de psychologie maken zich al langer zorgen over de degelijkheid van hun resultaten. In 2012 waarschuwde psycholoog Daniel Kahneman, Nobelprijswinnaar economie, zijn collega’s al ‘dat ze hun straatje moesten schoonvegen’.

Dat psychologisch onderzoek zo slecht te reproduceren is, komt deels doordat onderzoek bij mensen heel wat lastiger is dan in de ‘harde’ wetenschappen. Daar kun je redelijk gemakkelijk één factor van je experiment wijzigen, alle andere constant houden en kijken wat het effect is. Op het menselijk gedrag zijn veel meer factoren van invloed, en je kunt niet zomaar eventjes iemand perfect hetzelfde leven laten leiden als de rest van het gezin, behalve dat hij nooit aan geweldscènes op tv wordt blootgesteld.

‘Precies wegens die menselijke factor is medisch onderzoek vaak even onherhaalbaar als psychologisch’, zei psycholoog Charles Carver, redacteur van een van de tijdschriften waaruit onderzoek herdaan werd.

‘Dat klopt’, zegt Wouter Duyck, experimenteel psycholoog aan de UGent, die ‘niet echt verrast’ is door het onderzoek. ‘Ik herinner me onderzoekers die 53 studies uit de kankergeneeskunde opnieuw deden, wat 7 keer dezelfde resultaten gaf, en een ander onderzoek dat een kwart van de geteste medische onderzoeken kon reproduceren.’


Publicatiedruk

Behalve dat onderzoek in de menswetenschappen inherent minder precies en reproduceerbaar is doordat er zoveel factoren van invloed zijn op het resultaat, is het grootste probleem volgens Duyck de waanzinnige publicatiedruk. ‘Wij moeten vijf tot tien keer meer publiceren dan onze leermeesters. Je hebt gewoon de tijd niet meer om een delicaat experiment twee, laat staan drie keer te doen.’

‘Bovendien word je niet beloond voor het herhalen van wat ‘‘men al weet’’’, zegt Brian Nosek, die de honderd herhalingen coördineerde. ‘Vakbladen willen nieuwe, liefst verrassende resultaten.’ Waarom zou je dan een leuke ontdekking kapotchecken? Je hebt die publicatie trouwens nodig, of je krijgt geen geld meer voor de volgende.

De 270 onderzoekers deden hun herhalingsonderzoek op eigen kosten.

‘Voor een deel is dat ook de schuld van jullie bij De Standaard’, zucht Duyck. ‘Jullie schrijven ook liever over sappige onderwerpen, en zowel universiteiten als vakbladen letten op hun imago, omdat het onherroepelijk meespeelt in hun inkomen. Laat de anderen het herhalingsonderzoek maar doen. Het FWO (Fonds voor Wetenschappelijk Onderzoek), de belangrijkste Belgische geldschieter, keurt slechts vijftien procent van de aanvragen goed. Hun eerste criterium om een aanvraag te beoordelen: Is het nieuw? Wat doe je dan?’

‘Het gevolg is dat naar schatting 0,15 procent van de onderzoeken in de psychologie ooit overgedaan wordt. Het zou al leuk zijn als het FWO, waar je zelfs met vernieuwend onderzoek een pijnlijk lage kans op subsidie maakt, een vast bedrag opzijzette voor het herhalen van interessante uitkomsten.’

Nosek heeft nog een andere suggestie: stuur eerst het opzet van je onderzoek in naar een tijdschrift, dat het dan door zijn referenten laat beoordelen en je, als het degelijk is, garandeert dat het ook gepubliceerd zal worden, ongeacht hoe ‘sexy’ de resultaten zijn. Dat neemt al de druk weg om ‘positieve’ resultaten te boeken. Duyck: ‘Sommige tijdschriften doen dat al, maar het zijn jammer genoeg de kleintjes, die met de minste impact. En het zijn niet die waarin iedereen wil publiceren.’


DS, 28-08-2015 (Pieter Van Dooren)

__________________
"Never argue with an idiot, they'll just bring you
down to their level and beat you with experience." (c)TB