Hoe het Duke Reporters' Lab de politieke conventies gebruikte om zijn geautomatiseerde fact-checking-programma te perfectioneren

Met dank aan het Duke Reporters' Lab

De politieke conventies van de afgelopen twee weken boden de perfecte omstandigheden voor de Tech & Check Coöperatie bij de Duke Reporters' Lab om zijn geautomatiseerde fact-checking-programma, Squash, en zijn menselijke component, Gardener, te perfectioneren.

Squash is een artificial intelligence-programma dat realtime matches maakt tussen bestaande factchecks in ClaimReview , het factcheck-taggingsysteem van Reporters' Lab en de verklaringen van een live spreker. Het maakt gebruik van een combinatie van Google's Spraak-naar-tekst ; ClaimBuster , die werd ontwikkeld aan de Universiteit van Texas in Arlington; en Duke's eigen codering om woorden te matchen met woorden die in een factcheck zijn geschreven. Deze feitencontroles verschijnen op het scherm om kijkers meer context te geven over de onderwerpen die worden besproken.

Echter, zoals de mededirecteuren van Reporting Lab, Bill Adair en Mark Stencel, schreven voor: Nieman Lab in juli , dit systeem is niet zonder nadelen.

'Soms kan spraak-naar-tekst heel goed zijn als de microfoon goed is en de persoon duidelijk spreekt, maar we hebben een paar komisch slechte gehad', zei Adair. Tijdens de hoofdelijke stemming op de Democratische Nationale Conventie kwam Squash overeen met een feitencontrole over: oksel zweet naar de stemmen van Kansas.

Christopher Guess, de hoofdtechnoloog van het Reporters' Lab, zei dat de huidige technologie het niet mogelijk maakt dat een computer de nuance en context begrijpt van de manier waarop politici vaak praten.

'Een menselijke fact-checker maakt vaak grapjes en bespreekt met collega's vanuit welke hoek je dit gaat benaderen', zei Guess. 'Dat is iets wat een computer letterlijk niet kan doen.'

Gardener is een nieuwe interface die het Tech & Check-team bovenop Squash heeft gebouwd om deze tekortkoming aan te pakken. Squash biedt de menselijke assistent (de 'tuinman') drie mogelijke matchende feitencontroles, die deze persoon vervolgens uitkiest om aan de kijkers te laten zien.

'Dus in feite verwijderen we de slechte en laten we de goede zien', zei Adair. Het programma staat nog in de kinderschoenen en naast het perfectioneren en overwinnen van obstakels in spraak-naar-teksttechnologie, zeggen zowel Adair als Guess dat ze nog veel meer feitencontroles nodig hebben om de technologie te kunnen perfectioneren.

'Het is gebaseerd op een groot aantal eerder gecontroleerde claims', zei Guess. Op dit moment heeft ClaimReview een database van ongeveer 60.000 claims, maar Guess zei dat slechts ongeveer een derde daarvan relevant is voor de Amerikaanse politiek. 'De wereld van machine learning werkt meestal in miljoenen en miljarden, niet in tienduizenden', zei Guess.

In afwachting van aanvullende claims experimenteert het team met andere manieren om factcheck-matches te verbeteren. Een daarvan is een programma met de naam Caucus, dat fact-checks groepeert in categorieën die vervolgens kunnen worden gekoppeld aan claims die door spraak-naar-tekst worden opgepikt.

'Dus stel dat deze zin over gezondheidszorg gaat, dit gaat over politiek, dit gaat over Idaho,' zei Guess. 'Ik heb een theorie dat claims die in dezelfde categorieën vallen, eerder gerelateerd zijn dan claims die dat niet zijn.'

Adair zou geen tijdlijn geven wanneer deze technologie beschikbaar zou zijn voor het publiek. 'Ons doel is om het steeds beter te maken totdat het klaar is', zei hij. 'We hebben in drie jaar veel vooruitgang geboekt en je kunt veel doen met alle slimme mensen die je hier ziet.'

Harrison Mantas is een verslaggever voor het International Fact-Checking Network over feitencontrole en verkeerde informatie. Bereik hem op e-mail of op Twitter op @HarrisonMantas