Fact-checking werkt niet averechts, suggereert nieuwe studie

wwwupertal op Flickr

In iets meer dan vier maanden minstens 50 verschillende journalisten of politici hebben dit een “post-truth”-tijdperk verklaard .

De centrale premisse van dit argument: kiezers zijn zo verblind door partijdigheid dat ze feiten verwerpen die in tegenspraak zijn met hun eigen overtuigingen. Om dit te bewijzen, hebben de meeste analisten gewezen op: peiling of onderzoek dat legitieme vragen oproept over de impact van fact-checking (de meeste, maar niet alle: men vertrouwde op anekdotes van zijn oom Lenny ).

Een van de belangrijkste onderzoeken naar de relatie tussen feiten en partijdige overtuigingen werd gepubliceerd in 2010 door Brendan Nyhan, nu aan het Dartmouth College, en Jason Reifler, nu aan de Universiteit van Exeter.

Nyhan en Reifler ontdekten onder meer dat “conservatieven die een correctie ontvingen die hen vertelde dat Irak geen [massavernietigingswapens] had, werden meer waarschijnlijk geloven dat Irak massavernietigingswapens had.” In plaats van het begrip te verbeteren, versterkte feitencontrole het verkeerde geloof. Nyhan en Reifler noemden dit het 'backfire-effect'.

NAAR nieuw papier, suggereert echter dat het 'backfire-effect' een zeer zeldzaam fenomeen kan zijn. Het onderzoek, gepresenteerd op de jaarlijkse bijeenkomst van de American Political Science Association deze zomer, werd uitgevoerd door: Ethan Porter aan de George Washington University en Thomas Wood aan de Ohio State University.

Porter en Wood lieten 8.100 proefpersonen correcties zien op beweringen van politieke figuren over 36 verschillende onderwerpen. Slechts bij één van de 36 problemen (de misvatting dat massavernietigingswapens werden gevonden in Irak) werd een averechts effect geconstateerd. Zelfs toen leidde een eenvoudiger formulering van dezelfde correctie niet tot een averechts effect. Ze concluderen dat 'burgers over het algemeen acht slaan op feitelijke informatie, zelfs wanneer dergelijke informatie hun partijdige en ideologische verplichtingen in twijfel trekt.' (Nyhan en Reifler hebben deze nieuwe bevindingen besproken in een literatuuroverzicht .)

Google Scholar merkt op dat de Nyhan/Reifler-studie uit 2010 is geciteerd een gezonde 462 keer ; het averechtse effect heeft geïnformeerde analyse hoe journalisten misvattingen moeten corrigeren, ook op deze pagina's.

Het bestaan ​​van het 'backfire-effect' is niet alleen een onderzoekskans voor politicologen. Het is een vraag die de kern raakt van hoe het publieke debat wordt gevoerd. Hieronder vindt u een transcriptie - voor de duidelijkheid bewerkt - van een Q-and-A uitgevoerd met Porter en Wood over de bevindingen van hun onderzoek.

Frits Ahlefeldt-Laurvig op Flickr

Wat bracht je ertoe om het 'backfire-effect' te bestuderen?

Dragen : Er is een algemene perceptie dat we ons in een politiek 'post-truth'-tijdperk bevinden; dat het Amerikaanse publiek immuun is voor feitelijke informatie over politiek gezien de intensiteit van hun partijdige verplichtingen. De originele averechtse studie is ons altijd opgevallen als het verste einde van dit specifieke gezichtspunt.

Toen Tom en ik deze studie ontwierpen, verwachtten we oorspronkelijk averechtse effecten te identificeren in het politieke en ideologische spectrum. We dachten dat we zouden zien welke problemen liberalen ertoe zouden aanzetten averechts te werken en welke problemen conservatieven ertoe zouden aanzetten averechts te werken. Maar naarmate de tijd verstreek en we studie na studie uitvoerden, ontdekten we dat niemand een averechts effect vertoonde bij welk probleem dan ook.

Hout : Ethan en ik zaten op de middelbare school toen de Nyhan/Reifler-krant uitkwam, en voor het eerst lazen we deze enorm provocerende bewering dat feitelijke interventies feitelijke onwetendheid kunnen verergeren, wat allerlei implicaties heeft voor de democratie en de markt van ideeën . Het was zo'n belangrijke claim dat we allebei werden aangetrokken om op dit gebied te werken.

Bieden uw bevindingen enig bewijs dat we in een 'post-truth'-wereld leven?

Hout : Decennia en decennia lang - sinds tenminste 'De Amerikaanse kiezer' - we zijn bekend met het idee dat we verschillend reageren op feiten. Dat wil zeggen, Amerikaanse kiezers weten welke groep feiten de neiging heeft om in overeenstemming te zijn met de politieke belangen van hun kant en welke de neiging heeft om samen te hangen met de belangen van hun tegenstanders.

We zien dit zeker terug in de reacties van onze steekproef. Mensen zijn extra blij met een feitelijke correctie als ze de kans krijgen om het andere team tegen te spreken. En dat is een zeer betrouwbare bevinding. We suggereren niet dat we tientallen jaren van onderzoek naar gemotiveerde redeneringen en mensen die op zoek zijn naar feiten die in overeenstemming zijn met hun ideologische verplichtingen terzijde schuiven.

Maar we hebben absoluut geen consistent bewijs gevonden van feitelijke averechts werken, ondanks maandenlang werk aan duizenden onderwerpen. Over het algemeen waren mensen over het hele politieke spectrum blij om, althans gedeeltelijk, consequent met een feitelijke interventie in beweging te komen.

Van 'The Elusive Backfire Effect' (Wood, Porter - 5 augustus 2016)

Dragen : Ik denk dat een manier om de huidige consensus te karikaturiseren is dat mensen resistent zijn tegen feitelijke informatie en dat we in een 'post-truth-wereld' leven waar empirische beweringen geen geldigheid hebben. Maar Tom en ik zouden even sceptisch zijn over de karikatuur die zou kunnen voortvloeien uit ons artikel, waarin Amerikanen zouden worden beschouwd als onberispelijke, rationele machines die op magische wijze nieuwe feiten incorporeren.

Dat is niet het geval. Er is nog steeds een differentiële responsiviteit, mensen hebben nog steeds hun politieke overtuigingen. Het is alleen dat het beeld misschien niet zo afschuwelijk is als gewoonlijk wordt geschilderd.

U heeft ervoor gekozen om u te concentreren op het corrigeren van impliciete informatie in politieke beweringen in plaats van expliciete. Het verschil tussen wat een politicus letterlijk zegt en de context waar hij/zij op zinspeelt, maakt het controleren van feiten soms controversieel. Waarom heb je deze keuze gemaakt?

Hout : We moesten zo uitgebreid zijn en implicaties corrigeren omdat we zoveel verschillende problemen wilden testen. We hebben gevallen gevonden waarin de voor de hand liggende duidelijke logische implicatie van een verklaring was om een ​​verkeerd begrip van een feitelijke omstandigheid te geven, zelfs als er letterlijk geen verkeerde bewering werd gedaan.

Critici van de krant brachten vaak de verklaring onder onze aandacht die we voor Hillary Clinton gebruikten op het gebied van wapengeweld. Ze heeft het over een 'epidemie van wapengeweld' die 'geen grenzen kent'. Dit is duidelijk een vreemde manier om te praten over een tijdreeks die de afgelopen 20 jaar met de helft is afgenomen.

Screenshot, Porter en Wood, ibid.

Dat gezegd hebbende, we hebben afzonderlijk letterlijke correcties getest en er is geen verschil in feitelijke responsiviteit.

Dragen : Om terug te komen op het ontstaan ​​van het artikel: toen we problemen identificeerden waaromheen we correcties konden ontwerpen, deden we dat in de veronderstelling dat we averechts zouden werken. Dit verbazingwekkende gebeurde waar we het helemaal niet vonden.

Hout : En we gingen tot het uiterste om averechts effect te vinden. We deden deze experimenten op het hoogtepunt van de presidentiële voorverkiezingen en midden in de debatten. We namen de meest controversiële mensen en de meest controversiële uitspraken.

We hebben zinspelende uitspraken getest, in de veronderstelling dat de gemakkelijkste manier om averechts werken uit te lokken, was om een ​​mede-ideoloog te corrigeren voor een toespeling in plaats van een letterlijke uitspraak. Het feit dat hun patroon hetzelfde blijft, spreekt tot de ongrijpbaarheid van het averechts effect.

Hoe zit het dan met massavernietigingswapens in Irak die in 2010 het averechts effect hebben veroorzaakt?

Dragen : De oorlog in Irak was misschien een unieke gebeurtenis in het Amerikaanse politieke leven: een kwestie die intense gevoelens opriep, die jarenlang voortduurde, werd gedreven door een intens partijdige presidentiële regering te midden van toenemende politieke polarisatie.

Misschien was dat probleem gewoon ongewoon of zelfs uniek in staat om averechts werken te genereren. Als dat waar is, laat het alleen maar zien dat averechts werken geen generaliseerbaar gedrags- of houdingsfenomeen is.

Hout : Het eerste dat ik zou willen zeggen is dat op dezelfde manier waarop Ethan en ik scepsis over ons werk aanmoedigen, we ook een beetje scepsis zouden moeten hebben over het oorspronkelijke averechts effect.

We waren in staat om averechts effect te repliceren met een ingewikkeld onderzoeksitem; we waren niet in staat om een ​​averechts effect op dit massavernietigingswapenprobleem na te bootsen met een eenvoudiger enquête-item. Misschien zou een eenvoudigere vraag en een minder eigenaardige steekproef dan niet-gegradueerde studenten zelfs in 2004 niet hebben geleid tot een averechts effect op de kwestie van massavernietigingswapens.

Welke lessen zouden factcheckers uit uw werk moeten trekken, indien van toepassing?

Hout : Ik zou alleen zeggen: plaats de feiten niet op een te hoog voetstuk. Dit is slechts één onderdeel van de manier waarop gemiddelde mensen politieke voorkeuren gaan koesteren. We zagen bijvoorbeeld geen verschillen in beleidsvoorkeuren tussen gecorrigeerde en ongecorrigeerde groepen.

Er zullen dus nog steeds kiezers zijn met rare beleidsvoorkeuren die in strijd zijn met feitelijke omstandigheden. We kunnen feitelijk ingrijpen en ze zullen in overeenstemming zijn met de feiten, maar ze kunnen nog steeds de voorkeuren hebben die ze vooraf hadden. Er is dus nog veel werk aan de winkel voor factcheckers om het feitelijke bewustzijn te verbeteren. Maar ze moeten weten dat dit niet het einde van het debat is.

Dragen : Dat vind ik een heel belangrijk punt. Wat ons werk laat zien, is dat mensen nieuwe informatie wel accepteren, maar we hebben geen bewijs dat dit hun downstream-beleidsattitudes beïnvloedt.

De auteurs van de originele studie je bevindingen gedeeld zelfs als ze niet overeenkwamen met die van hen. In hoeverre waren zij betrokken bij de opzet van het onderzoek en hoe reageerden zij?

Dragen : Nyhan en Reifler waren geweldig. We lezen nachtmerrieverhalen van senior wetenschappers die kritiek of uitdagingen van junior wetenschappers verwerpen. Ze zijn niets anders geweest dan modellen van wat je zou willen dat een senior geleerde doet wanneer hun eerdere werk wordt uitgedaagd. Ze zijn geweldig geweest. Ze waren echter helemaal niet betrokken bij het ontwerp van het papier - we stuurden het naar hen nadat we het onderzoek hadden voltooid.

Hout : De kop is: Ze waren geweldig. Zodra het artikel was ingediend bij (de American Political Science Association), bij het panel waarvan Nyhan voorzitter was, werd het geaccepteerd. Hij gaf ons fantastische aantekeningen, hij heeft het werk ongelooflijk gesteund. Zoals je al zei, hebben zijn 19.000 Twitter-volgers deze krant te zien gekregen. Hij is een voorbeeld geweest van academische openheid over deze kwestie.

Is het juist om uw bevindingen samen te vatten in de kop 'Kiezers zijn resistent, maar niet immuun, voor feitelijke correctie?'

Hout : Ik denk dat dat de helft van de bevinding is. De andere helft is... ik aarzel om het woord 'eenhoorn' te gebruiken, maar er is iets met averechts werken... ik heb zoveel video's gezien van mensen die een soufflé maken en ik heb het jarenlang geprobeerd, maar ik krijg een soufflé niet rijzen.

Backfire is niet helemaal zo, maar het voelt wel als iets dat je aan je vrienden moet schrijven en enthousiast over moet zijn als je het observeert. Backfire is heel ongebruikelijk en ik denk niet dat het iets zou moeten zijn dat van invloed is op de manier waarop factcheckers werken.