Compensatie Voor Het Sterrenbeeld
Substability C Beroemdheden

Ontdek De Compatibiliteit Door Zodiac Sign

Vier serieuze vragen over de dwaze geloofwaardigheidsscore van Elon Musk

Feiten Controleren

Media Twitter beleefde woensdagmiddag een beetje een meltdown toen ruimte-en-straatondernemer Elon Musk mijmerde over het opzetten van een crowdsourced-service die de geloofwaardigheid van journalisten beoordeelt.

Laten we de motieven van Musk opzij zetten - mogelijk geïnformeerd door de slechte pers Tesla heeft onlangs ontvangen, wat hij toeschrijft aan mediabias - en concentreert zich op het idee zelf.

Het lijkt misschien onbelangrijk, blootgesteld als het was in een paar tweets en met de primaire bedoeling om zijn critici te trollen. Maar Musks suggestie van een 'geloofwaardigheidsscore' is de moeite waard om te bespreken, omdat het bouwen van een score eigenlijk een behoorlijk populair idee is, vooral onder Silicon Valley-types.

Sommige, zoals de geloofwaardigheidscoalitie , proberen het probleem bedachtzaam te formuleren, maar de meeste zijn doordrenkt met hetzelfde techno-utopisme dat Musks publieke persoonlijkheid heeft bepaald. Alleen al in de afgelopen maanden heb ik minstens vier verschillende pitches ontvangen voor een systeem dat (natuurlijk) kunstmatige intelligentie gebruikt om de geloofwaardigheid van het hele internet te beoordelen.

De visie dat één eenvoudige hack mediavooroordelen en massale online desinformatie kan oplossen, is alomtegenwoordig in bepaalde kringen. Maar het is dodelijk gebrekkig.

Andere welgestelde journalistieke projecten hebben beloofd de fact-checking op zijn kop te zetten door ofwel de menigte erin te injecteren (WikiTribune) of een universele geloofwaardigheidsscore te ontwikkelen (NewsGuard). In het geval van WikiTribune is de jury er nog niet, maar de... feitencontrole tot nu toe lijkt nauwelijks paradigmaverschuivend. NewsGuard heeft $ 6 miljoen opgehaald, maar moet nog worden gelanceerd.

Toch is het duidelijk dat de status-quo moet worden hervormd. Fact-checking moet misschien worden opgeblazen en opnieuw worden uitgevonden. Dus in plaats van Musk te onderdompelen, moeten we debatteren over de onderliggende uitdagingen van een echte geloofwaardigheidsscore voor internet.

1. Kunnen we voorkomen dat crowdsourcing een populariteitswedstrijd wordt?

Musk leek maar al te graag de indruk te vermijden dat kwaadwillende acteurs zijn geloofwaardigheidsscore zouden kunnen spelen bij het stellen van zijn (zeer scheve) poll.

Deze indruk werd snel verdreven toen hij zijn 21,8 miljoen sterke Twitter-account gebruikte om 'media' aan te sporen tegen zijn voorgestelde oplossing te stemmen.

Dit is een fundamentele uitdaging van elke crowdsourced-inspanning. De grootste megafoons en meest toegewijde groepen zouden journalisten kunnen mobiliseren en aanvallen wier bevindingen niet onnauwkeurig maar ongemakkelijk waren - bijvoorbeeld over het feit dat Tesla's werknemers gewond zouden raken.

Niet alleen kan de menigte een menigte worden, zijn cumulatieve wijsheid is niet noodzakelijk de som der delen. Als 100 goedbedoelende mensen een bewering over Joviaanse manen controleren en een van hen is een NASA-astronoom, moeten alle beoordelingen dan hetzelfde tellen?

En natuurlijk kunt u de beoordelingen van gebruikers anders wegen. Maar als je gebruikers elkaar laat beoordelen, lopen we hetzelfde 'directed mob'-risico. Als we gebruikers zelf hun vakgebieden laten kiezen, krijgen we een hoop opgeblazen cv's. Zelfs echte referenties garanderen geen echte expertise (denk maar aan: Andrew Wakefield ). En als je het algoritme expertise laat uitzoeken, krijg je, nou ja, Klout .

Hoe meer beveiligingen u instelt, hoe meer gebruikers u verliest. Ik weet dat van het runnen van de inmiddels ter ziele gegane crowdsourced fact-checking website FactCheckEU . Gebruikers waren enthousiast om te beginnen, maar lui bij de follow-up. Eenmaal gevraagd om meer dan een paar links te geven, verflauwde de interesse.

De realiteit is dat je gebruikersfrictie tot een minimum moet beperken om schaal te bereiken bij het crowdsourcen van fact-checking. En het minimaliseren van gebruikersfrictie zal leiden tot slordige fouten. Een tegenvoorbeeld is Wikipedia - maar zelfs dat heeft een uitgewerkte redactionele infrastructuur als je je erin verdiept.

Dit alles wil niet zeggen dat we het zoeken naar oplossingen moeten opgeven. De huidige online infrastructuur crowdsourcet effectief wat internetgebruikers zouden moeten lezen, met populaire inhoud die naar de top van Facebook-nieuwsfeeds en Google-zoekopdrachten schiet. We zouden massale acties moeten bedenken die er anders uitzien dan het emotionele 'like' of 'haha' en een beter systeem bereiken. Maar het is niet zo eenvoudig als Musk het stelt.

2. Moeten we alleen journalisten beoordelen?

De voorgestelde site van Musk, zoals die nu is, zou zich alleen op journalisten concentreren. Zou het? Hoe zit het met populaire tech-ondernemers met 21,8 miljoen volgers op Twitter? Hoe zit het met gebruikers die valse foto's plaatsen die viraal gaan? Iedereen een geloofwaardigheidsscore geven lijkt Orwelliaans; Als u dit niet doet, lijkt het systeem nog vatbaarder te worden voor virale fakery.

3. Hoe zou u de geloofwaardigheidsscore van een complex artikel opbouwen?

Stel dat we een oplossing hebben gevonden om de menigte te benutten op een manier die pesterijen vermijdt en prioriteit geeft aan expertise.

Wat zou het publiek precies beoordelen? Gewetensvolle factcheckers besteden uren aan het debatteren of een claim echt fact-checkable is. De meeste artikelen zijn samengesteld uit tientallen feitelijke beweringen en zelfs meer oncontroleerbare. De geloofwaardigheidsscore van Paul Horner was misschien gemakkelijk te verkrijgen, maar in tegenstelling tot het werk van Horner zijn de meeste online verhalen niet alleen een valse kop en niets anders.

De Credibility Coalition zoekt naar manieren om definieert deze score, maar het is nog steeds erg vaag.

Ik erken dat het misschien een beetje rijk lijkt dat een fact-checker – de mede-oprichter van een site die geaggregeerde beoordelingen van de politici die het op feiten heeft gecontroleerd , niet minder - waarschuwt tegen geloofwaardigheidsscores. We hebben de lezers expliciet gewaarschuwd dat 'de verzameling beoordelingen van elke politicus geen statistisch relevante indicator is van hun geloofwaardigheid, maar een semi-serieuze gids voor de waarheidsgetrouwheid van de kleine steekproef van geverifieerde beweringen'. En in tegenstelling tot een crowdsourced-oplossing, zijn de beoordelingen van de factcheckers op zijn minst gebaseerd op grondige factchecks met een hoop onderzoek en een goed begrip van wat daadwerkelijk controleerbaar is.

Maar het is misschien tijd om deze visualisaties buiten gebruik te stellen om te voorkomen dat het illusoire gevoel ontstaat dat een persoon een geloofwaardigheidsscore kan hebben zoals hij een kredietwaardigheid kan hebben. Dat brengt me bij vraag 4.

Vier. Moeten we inhoud of bronnen beoordelen?

Online consumeren doelgroepen informatie vaker per onderwerp dan per bron. Als je iets Google of iets deelt, zie je eerst waar het over gaat en van wie het is.

En het zou zo moeten zijn: ik ben een uiterst betrouwbare bron over de stand van zaken op het gebied van feitencontrole over de hele wereld, maar ik ben een uiterst een betrouwbare bron over American football. Geloofwaardigheid varieert in de tijd en het onderwerp. Hoe zou een statische score dat inkapselen?

Voor alle duidelijkheid: het mislukken van crowdsourced fact-checking-projecten tot nu toe (inclusief de mijne) gaat niet uit van het mislukken van toekomstige inspanningen. Maar we zouden deze moeilijke vragen meer moeten stellen voordat iemand met veel geld het daadwerkelijk gebruikt om een ​​verschrikkelijk product te lanceren.

Correctie: in een eerdere versie van dit artikel werd 'astroloog' gebruikt in plaats van 'astronoom'. Mijn geloofwaardigheidsbeoordeling als half-Griek kreeg een serieuze deuk.