bijlinda
8th November 2020, 03:59
Waarom hadden de peilingen het opnieuw zo mis?
De problemen van peilingen mogen ons niet doen vergeten dat ze nog altijd de beste manier zijn om te weten te komen hoe de bevolking over iets denkt, schrijft Kathleen Beckers.
Opiniepeilingen hebben altijd al een gecontesteerde reputatie gehad, maar lagen vooral onder vuur sinds de vorige Amerikaanse presidentsverkiezingen in 2016 en het Brexitreferendum. Peilingorganisaties keken in eigen boezem en beloofden om het deze verkiezingen beter te doen. Verschillende artikels verschenen over wat de pollsters anders zouden doen om het vertrouwen van de bevolking opnieuw te winnen.
Alle peilingen met enige geloofwaardigheid voorspelden een Democratische ‘blauwe golf’, waarbij Joe Biden overtuigend zou winnen en mogelijk zelfs een aantal traditionele Republikeinse ‘rode’ staten zou doen keren. Maar ondanks beloofde aangepaste methodes en manieren van rapporteren, bleek op verkiezingsdag dat de peilingen er opnieuw naast zaten. En zelfs nu blijkt dat Biden alsnog gaat winnen, kun je moeilijk beweren dat Donald Trump is weggevaagd door een blauwe golf. Hoe is dat mogelijk?
Verlegen en wantrouwend
Er zijn een aantal mogelijke verklaringen. Bij het afnemen van een peiling stellen zich al enkele uitdagingen. Allereerst worden de meeste peilingen telefonisch afgenomen, aangezien dat volgens onderzoek nog altijd de beste methode is om een brede groep van de bevolking te bereiken. Zeker in Amerika zijn het vooral conservatieve, rurale stemmers die niet altijd toegang tot het internet hebben, sommigen hebben niet eens een officieel postadres.
Als je de persoon dan al hebt kunnen bereiken, moet de peiler kunnen inschatten hoe zeker de persoon is dat hij effectief gaat stemmen. In tegenstelling tot bij ons in België is er in Amerika geen opkomstplicht. Ten derde moet de persoon daarbovenop correct meedelen voor wie hij uiteindelijk zal stemmen.
De vorige keer werd als verklaring voor de incorrecte peilingen al verwezen naar de zogenaamde ‘verlegen’ Trump-stemmers, die niet zouden hebben durven toegeven dat ze voor Trump wilden stemmen. Deze keer stelde zich mogelijk een nieuw probleem – mede door de herhaalde aanvallen van Trump gericht naar de media: mensen die liegen in de peilingen. Het vertrouwen in instituties zoals de overheid en de nieuwsmedia is vooral bij mensen die zichzelf identificeren als Republikein historisch laag. Net zoals de media worden de peilingbureaus vaak gezien als deel van het establishment. Als deze wantrouwende mensen de telefoon al opnemen, wordt verwacht dat ze niet altijd eerlijk vertellen voor wie ze zullen stemmen.
Verder zijn er nog enkele verklaringen op het niveau van de organisaties die de peilingen afnemen. Sommige organisaties doen aan herding, waarbij ze naar de resultaten van andere peilingen kijken om hun resultaten te wegen en dichter bij die uitkomsten te komen. Als die andere peilingen er ook naast zitten, wordt de vertekening natuurlijk alleen maar groter. Daarnaast zijn er de zogenaamde house effects, systematische tendensen bij peilingorganisaties waarbij ofwel de Democratische ofwel de Republikeinse kandidaat wordt bevoordeeld. Dat komt doordat elk peilingbureau (‘house’) zijn eigen methode gebruikt met bijvoorbeeld verschillen in het formuleren van vragen, of door toch door te vragen bij mensen die nog twijfelen, waar andere bureaus dat niet doen.
Niet het einde
Tot slot mag de rol van de media niet onderschat worden. Er is altijd een foutenmarge bij peilingen. Die wordt bijna altijd vermeld, maar vaak ergens onderaan in beeld of in de marge van een artikel. Bij het rapporteren van het resultaat zelf wordt echter maar één cijfer gegeven, alsof het een vaststaand feit zou zijn.
In mijn eigen onderzoek naar peilingen in het avondnieuws van de drie grote zenders (ABC, CBS en NBC) was er geen enkele die een winst voor Trump voorspelde in een van de strijdstaten die zoveel aandacht kregen de afgelopen dagen. Maar als je rekening hield met de foutenmarge, betekende dit soms toch een mogelijke winst voor Trump. Een oplossing zou kunnen zijn om peilingen te rapporteren in de vorm van een bereik, waarbij de foutenmarge onmiddellijk in rekening wordt gebracht. Dat is minder aantrekkelijk, maar misschien noodzakelijk om het vertrouwen van het publiek te herwinnen.
Betekent dit het einde van de opiniepeiling? Hopelijk niet, maar het is wel hoog tijd om onze fascinatie voor zogenaamde verkiezingspeilingen sterk terug te schroeven, en meer te gaan focussen op andere soorten peilingen. Peilingen spelen niet alleen een belangrijke rol in verkiezingen, maar ook in beleidsvoering. Ze zijn nog altijd de beste manier om te weten te komen hoe de bevolking over iets denkt of wat ze belangrijk vindt. Het is onmogelijk voor politici om elke individuele kiezer te benaderen. We gebruiken peilingen te veel om kiesgedrag te voorspellen, in plaats van als een ruw, maar waardevol meetinstrument om te weten wat er leeft bij de bevolking over belangrijke maatschappelijke thema’s.
Kathleen Beckers, FWO-onderzoeker (UAntwerpen), gastdocent (VUB), visiting scholar (University of Washington, Seattle)
DS, 07-11-2020
De problemen van peilingen mogen ons niet doen vergeten dat ze nog altijd de beste manier zijn om te weten te komen hoe de bevolking over iets denkt, schrijft Kathleen Beckers.
Opiniepeilingen hebben altijd al een gecontesteerde reputatie gehad, maar lagen vooral onder vuur sinds de vorige Amerikaanse presidentsverkiezingen in 2016 en het Brexitreferendum. Peilingorganisaties keken in eigen boezem en beloofden om het deze verkiezingen beter te doen. Verschillende artikels verschenen over wat de pollsters anders zouden doen om het vertrouwen van de bevolking opnieuw te winnen.
Alle peilingen met enige geloofwaardigheid voorspelden een Democratische ‘blauwe golf’, waarbij Joe Biden overtuigend zou winnen en mogelijk zelfs een aantal traditionele Republikeinse ‘rode’ staten zou doen keren. Maar ondanks beloofde aangepaste methodes en manieren van rapporteren, bleek op verkiezingsdag dat de peilingen er opnieuw naast zaten. En zelfs nu blijkt dat Biden alsnog gaat winnen, kun je moeilijk beweren dat Donald Trump is weggevaagd door een blauwe golf. Hoe is dat mogelijk?
Verlegen en wantrouwend
Er zijn een aantal mogelijke verklaringen. Bij het afnemen van een peiling stellen zich al enkele uitdagingen. Allereerst worden de meeste peilingen telefonisch afgenomen, aangezien dat volgens onderzoek nog altijd de beste methode is om een brede groep van de bevolking te bereiken. Zeker in Amerika zijn het vooral conservatieve, rurale stemmers die niet altijd toegang tot het internet hebben, sommigen hebben niet eens een officieel postadres.
Als je de persoon dan al hebt kunnen bereiken, moet de peiler kunnen inschatten hoe zeker de persoon is dat hij effectief gaat stemmen. In tegenstelling tot bij ons in België is er in Amerika geen opkomstplicht. Ten derde moet de persoon daarbovenop correct meedelen voor wie hij uiteindelijk zal stemmen.
De vorige keer werd als verklaring voor de incorrecte peilingen al verwezen naar de zogenaamde ‘verlegen’ Trump-stemmers, die niet zouden hebben durven toegeven dat ze voor Trump wilden stemmen. Deze keer stelde zich mogelijk een nieuw probleem – mede door de herhaalde aanvallen van Trump gericht naar de media: mensen die liegen in de peilingen. Het vertrouwen in instituties zoals de overheid en de nieuwsmedia is vooral bij mensen die zichzelf identificeren als Republikein historisch laag. Net zoals de media worden de peilingbureaus vaak gezien als deel van het establishment. Als deze wantrouwende mensen de telefoon al opnemen, wordt verwacht dat ze niet altijd eerlijk vertellen voor wie ze zullen stemmen.
Verder zijn er nog enkele verklaringen op het niveau van de organisaties die de peilingen afnemen. Sommige organisaties doen aan herding, waarbij ze naar de resultaten van andere peilingen kijken om hun resultaten te wegen en dichter bij die uitkomsten te komen. Als die andere peilingen er ook naast zitten, wordt de vertekening natuurlijk alleen maar groter. Daarnaast zijn er de zogenaamde house effects, systematische tendensen bij peilingorganisaties waarbij ofwel de Democratische ofwel de Republikeinse kandidaat wordt bevoordeeld. Dat komt doordat elk peilingbureau (‘house’) zijn eigen methode gebruikt met bijvoorbeeld verschillen in het formuleren van vragen, of door toch door te vragen bij mensen die nog twijfelen, waar andere bureaus dat niet doen.
Niet het einde
Tot slot mag de rol van de media niet onderschat worden. Er is altijd een foutenmarge bij peilingen. Die wordt bijna altijd vermeld, maar vaak ergens onderaan in beeld of in de marge van een artikel. Bij het rapporteren van het resultaat zelf wordt echter maar één cijfer gegeven, alsof het een vaststaand feit zou zijn.
In mijn eigen onderzoek naar peilingen in het avondnieuws van de drie grote zenders (ABC, CBS en NBC) was er geen enkele die een winst voor Trump voorspelde in een van de strijdstaten die zoveel aandacht kregen de afgelopen dagen. Maar als je rekening hield met de foutenmarge, betekende dit soms toch een mogelijke winst voor Trump. Een oplossing zou kunnen zijn om peilingen te rapporteren in de vorm van een bereik, waarbij de foutenmarge onmiddellijk in rekening wordt gebracht. Dat is minder aantrekkelijk, maar misschien noodzakelijk om het vertrouwen van het publiek te herwinnen.
Betekent dit het einde van de opiniepeiling? Hopelijk niet, maar het is wel hoog tijd om onze fascinatie voor zogenaamde verkiezingspeilingen sterk terug te schroeven, en meer te gaan focussen op andere soorten peilingen. Peilingen spelen niet alleen een belangrijke rol in verkiezingen, maar ook in beleidsvoering. Ze zijn nog altijd de beste manier om te weten te komen hoe de bevolking over iets denkt of wat ze belangrijk vindt. Het is onmogelijk voor politici om elke individuele kiezer te benaderen. We gebruiken peilingen te veel om kiesgedrag te voorspellen, in plaats van als een ruw, maar waardevol meetinstrument om te weten wat er leeft bij de bevolking over belangrijke maatschappelijke thema’s.
Kathleen Beckers, FWO-onderzoeker (UAntwerpen), gastdocent (VUB), visiting scholar (University of Washington, Seattle)
DS, 07-11-2020