Pagsusuri: Nagpapakita ng mga problema ang crowdsourced fact-checking experiment ng Twitter

Nalaman ng pagsusuri sa Poynter na wala pang kalahati ng mga gumagamit ng Birdwatch ang may kasamang mga mapagkukunan at maraming tala sa pagsuri ng katotohanan ay naglalaman ng partisan na retorika.

Isang Pebrero 14 na bersyon ng Birdwatch algorithm ng Twitter ang nagpalaki ng ilang tala na may mapanlinlang na impormasyon.

Noong Peb. 5, na-flag ang Twitter isang post mula sa kontrobersyal na YouTuber na si Tim Pool na nagsabing nilinlang ang 2020 na halalan sa pagkapangulo ng U.S. Nabanggit ng platform na ang claim ay pinagtatalunan at pinatay ang pakikipag-ugnayan 'dahil sa isang panganib ng karahasan.'

Ngunit, sa relo ng ibon , ang platform ng social media eksperimento sa crowdsourced fact-checking , labis na sinabi ng mga user na hindi nakakapanlinlang ang tweet, ayon sa pagsusuri ng data ng Twitter noong Pebrero 14. At karamihan sa mga user ng Birdwatch ay nagpahiwatig sa tool na nakita nila ang mga talang ito na sumusuporta sa mga na-debunk na claim na kapaki-pakinabang at nagbibigay-kaalaman.

'Ayon sa officiating (sic) source ng TIME mayroong isang mahusay na organisadong grupo ng mga lihim na kalahok sa isang anino na organisasyon na parang isang cabal na nagtutulungan upang maimpluwensyahan ang halalan pabor kay Joe Biden,' sabi ng isang tala. Habang ang user ay may kasamang link sa isang artikulo sa Time Magazine na talagang gumagamit ng mga salita tulad ng 'cabal' at 'conspiracy,' ang konteksto ng piraso - na ang makapangyarihang mga grupo ay nagtatrabaho sa likod ng mga eksena upang protektahan ang integridad ng halalan - ay nawala.

Ang Algoritmo ng birdwatch , na naglalayong ipakita ang mga kapaki-pakinabang na tala, na nagtalaga sa 'fact-check' na iyon ng isang helpfulness score na 0.68 — ang pinakamataas sa mga tala sa tweet, sa labas lamang ng nangungunang 10% ng mga tala na isinasaalang-alang ng algorithm na 'na-rate bilang kapaki-pakinabang' noong Peb. 14. Ang mga tala na may rating na kapaki-pakinabang ay binubuo ng humigit-kumulang 7% ng 2,695 sa pagsusuring ito at wala pang dalawang-katlo sa mga iyon ang naglalaman ng source link na hindi ibang tweet.

Noong Pebrero 17, Twitter binago ang algorithm nito at ang mga tala sa Pool tweet ay hindi na na-rate bilang kapaki-pakinabang, bagama't sila nakalista pa rin sa ibaba ng post . Bago ang pagbabagong ito, nagkaroon ng mas mababang threshold na maituturing na kapaki-pakinabang — 0.5 lang kumpara sa bagong 0.84 na cutoff — at kailangan lang ng mga tala ng tatlong rating upang maituring na kapaki-pakinabang, inuna sa pagkakasunud-sunod at minarkahan ng asul na tala.

Ngayon ang isang tala ay dapat maglagay ng limang rating upang itulak ang tweet na iyon sa bagong tab na 'na-rate na kapaki-pakinabang' sa Birdwatch . At sa halos 2,700 na tala na iyon sa database ng platform, 126 ang nakamit ang bagong threshold — mas mababa iyon sa 5%. Ang tatlong-kapat ng mga bagong tala na 'na-rate na kapaki-pakinabang' ay naglalaman ng isang mapagkukunan sa labas ng Twitter.

Ito ay isang napapanahong paglalarawan ng isa sa mga problemang kinakaharap ng modelo ng Birdwatch: Maaari bang tumpak na 'i-rate' ng isang algorithm na pinapakain ng isang tila random na grupo ng mga tao ang katotohanan?

Ang Birdwatch, sa pilot phase nito na may mahigit 1,000 user, ay nagbibigay-daan sa mga kalahok na i-flag ang mga tweet bilang mapanlinlang at magdagdag ng tala na nagbabanggit ng pinagmulan at/o nagpapaliwanag ng konteksto kung bakit ito maaaring nakakapanlinlang. Pagkatapos, maaaring i-rank ng mga user ng Birdwatch ang mga talang ito batay sa pagiging matulungin (pagkatapos noon, ang algorithm ang papalit).

Sa kalaunan, lahat ng mga gumagamit ng Twitter ay tila makikita ang mga talang ito sa ibaba mismo ng mga tweet, ngunit sa ngayon, ang mga ito ay nakakulong sa isang partikular na seksyon ng site . Ang mga user ng Birdwatch ay bubuo din sa kalaunan ng marka ng reputasyon na magpapakain sa algorithm ng pagiging matulungin.

'Ang aming layunin sa pilot ng Birdwatch ay bumuo ng isang sistema kung saan maaaring mag-ambag ang sinuman, at natural na pinapataas nito ang impormasyon na nakakatulong sa mga tao,' sabi ng Twitter vice president ng produkto na si Keith Coleman sa isang email. 'Naniniwala kami na ang pagiging bukas sa kung sino ang maaaring mag-ambag ay mahalaga, at na sa pamamagitan ng input mula sa magkakaibang grupo, ang pinakakapaki-pakinabang na mga tala ay maaaring mapataas.'

Ngunit, ang isang pagtingin sa system kung paano ito ngayon ay nagpapakita ng mga hamon na ibinangon ng mga fact-checker tungkol sa Birdwatch: isang kakulangan ng kadalubhasaan sa pagsusuri ng katotohanan sa mga user, ang kahirapan sa paggawa ng isang algorithm na kahit papaano ay magpapakita ng mga kapaki-pakinabang na tala ng pinakakagalang-galang na mga user at mga tanong tungkol sa partisan motivations ng mga user.

'Hindi ako nagulat sa mga natuklasang iyon dahil sa polarized na katangian ng mga platform ng social media at pag-aatubili ng mga pangunahing gumagamit na magbigay ng feedback sa mga naturang katanungan na inaalok ng mga platform, samantalang ang mga motivated na gumagamit mula sa magkabilang panig ng pasilyo ay nakikita ang mga platform bilang mga larangan ng digmaan upang isulong ang kanilang mga salaysay. iba pa,” sabi ni Baybars Örsek, direktor ng International Fact-Checking Network.

Ang karamihan sa mga tala ng user ng pinakamaraming Birdwatch ay minarkahan ang mga tweet na kritikal sa kanan bilang 'nakapanlinlang' at ang mga kritikal sa kaliwa bilang 'hindi nanliligaw.' (Halimbawa, minarkahan ng user ang isang tweet na nagsasabing ' Malambot ang Team Biden sa China ” mula kay Sen. Ted Cruz and the Pool tweet bilang “hindi nanliligaw”; habang isang artikulo sa Newsweek tungkol sa malayong kanang mga ekstremista at sa GameStop saga at isang tweet ang pagtatali kay Pangulong Donald Trump sa kaguluhan sa Kapitolyo ay minarkahan bilang 'nakapanlinlang' at 'nakakapinsala.') At wala pang isang-lima ng 82 na tala ng user ang may kasamang pinagmulan, na ang ilan ay iba pang mga tweet. (Ang user na ito ng Birdwatch ay hindi tumugon sa isang kahilingan para sa isang pakikipanayam.)

Sinabi ni Coleman na maaaring mahikayat ang Birdwatch na isaalang-alang ang mga tala na nagmumula sa isang 'diverse set of contributor.' Dagdag pa, ang sistema ng rating ang pangunahing driver sa likod ng platform

'Naniniwala kami na ang mga ito ay gagantimpalaan at magbibigay-insentibo sa mga kontribusyon na nakikita ng maraming tao na mahalaga, at tugunan ang panganib ng isang partikular na grupo o ideolohiya na pumalit sa Birdwatch,' sabi ni Coleman. 'Ito ay isang bagay na aktibong gagawin namin sa buong piloto.'

At sa katunayan, ang mga tala na ang algorithm ay niraranggo bilang ang pinaka-kapaki-pakinabang kasunod ng mga pagbabago noong Peb. 17 ay nagpapakita ng mas solidong sourcing at mas kaunting partisan na retorika kaysa sa pag-ulit mula sa isang araw lang mas maaga. Ngunit, ang pagpapalit ng algorithm para sa isang pilot program na may 1,000 user at mas kaunti sa 2,700 na tala ay isang bagay, ang pagpapalit ng algorithm kapag available na ang Birdwatch para sa lahat ng user ay isa pa — at sino ang nakakaalam kung ang bisa ng algorithm ay magtatagal habang ang mga user ay nagsimulang bumuhos. sa platform, marahil ay ginagaya ang pag-uugali ng ilan sa mga pinaka-prolific na kalahok ng piloto.

'Kasalukuyan kaming walang tiyak na timeline para sa pag-scale, dahil nagsusumikap kaming matuto hangga't maaari at umulit habang maliit ang piloto,' sabi ni Coleman. 'Plano naming palakihin dahil magagawa namin ito nang ligtas, at kung kailan ito makakatulong sa pagpapabuti ng pag-aaral.'

Gayunpaman, tulad ng mga tala sa ilalim ng tweet ng Pool, mayroon mga halimbawa ng partisan o mapanlinlang na impormasyon nakikita pa rin bilang mga regular na tala.

Apat sa limang pinakaaktibong user, na nagkakaloob ng higit sa 10% ng kabuuang mga tala, ay may katulad na aktibidad bilang ang pinaka-prolific na user. Sinasabi ng isa sa kanila na ang pagkamatay ni Jeffrey Epstein ay hindi kailanman pinasiyahan ng pagpapakamatay. Gayunpaman, binanggit ng pangalawa sa pinakamaraming Birdwatcher ang isang pinagmulan sa bawat tala, kabilang ang mga link mula sa World Health Organization at FactCheck.org .

Wala sa nangungunang 10 user, ayon sa kanilang Twitter bios, ang mga propesyonal na fact-checker o mamamahayag.

'Ang pagsuri ng katotohanan ay talagang mahirap na trabaho dahil ito ay hinihingi sa isip,' sabi ng editor-in-chief ng PolitiFact na si Angie Holan sa isang email. 'Kailangan mo talagang mag-concentrate at itulak ang mental inertia upang matukoy ang mga pag-aangkin at pagkatapos ay mag-brainstorm ng mga paraan ng pag-debunking o pag-verify sa kanila. Pagkatapos ay kailangan mong sundin ang paghahanap at pagkatapos ay isulat ang mga natuklasan. Ito ay hindi isang araw sa beach, upang ilagay ito nang tahasan. At kung ang isang fact-checker ay may partisan motivation, iyon ay nagpapahirap sa isang masinsinan at pantay na pagsisikap.'

Sa kabila ng mga isyu nito, ipina-flag ng Birdwatch ang maling impormasyon na maaaring makaligtaan o piliin ng mga tradisyunal na fact-checker na huwag suriin dahil sa potensyal para sa pinsala — na maaaring makatulong na punan ang ilang mga puwang sa digital na maling impormasyon. Sa panahon ng laro stop saga , ang maling impormasyon tungkol sa stock ng kumpanyang iyon ay mabilis na kumalat sa mga platform.

Snopes at PolitiFact hindi nag-rate ng mga claim tungkol sa GameStop, habang Na-rate ang Lead Stories isang post sa Reddit. Ngunit sa Birdwatch, ang pinakamataas na na-rate na tala — na nakakuha ng matulunging marka na 1.00 — ay nag-flag ng mapanlinlang na tweet tungkol sa Reddit, kung saan nagaganap ang pag-uusap tungkol sa stock. Mayroong humigit-kumulang 50 tala tungkol sa Reddit, GameStop at ang Robinhood investment app, kung saan nagkaroon ng mataas na dami ng kalakalan noong unang bahagi ng buwang ito.

At wastong na-flag ng mga user ng Birdwatch ang isang account na nagsasabing pag-aari ni Virginia Sen. Amanda Chase bilang peke, pagkatapos nito nagtweet , “… Mayroon kaming problema sa droga sa Virginia, at ang pag-legalize ng marijuana ay hahantong lamang sa mas maraming labis na dosis at pagkamatay ng marijuana …”

Maaaring gawing mas madali ng Crowdsourcing ang buhay ng mga propesyonal na fact-checker sa pamamagitan ng pagtuklas ng maling impormasyon, sabi ni Örsek.

Sinabi ni Coleman na ang Twitter ay nakatuon sa pagpapanatili ng transparency - na naging posible sa pagsusuri na ito - at pagsasama ng input mula sa mga eksperto sa hinaharap ng platform.

'Mula sa pakikipagtulungan sa isang naka-embed na miyembro ng koponan mula sa University of Chicago Center para sa RISC , sa pagho-host ng mga feedback session kasama ng mga reporter at researcher, nagsusumikap kaming gamitin ang napakaraming kadalubhasaan at kaalaman na umiiral sa kabila ng Twitter,' aniya.

Inirerekomenda nina Holan at Örsek ang mga insentibo at pagsasanay para sa mga gumagamit ng Birdwatch, pati na rin ang paggamit ng mga propesyonal na fact-checker upang suriin ang mataas na ranggo na mga tala.

'Ngunit medyo nagdududa ako sa mga tech na kumpanya na naniniwala na ang kanilang mga gumagamit ay magmo-moderate ng nilalaman nang libre para sa kanila,' sabi ni Holan. 'Hindi nakikita ng karamihan sa mga user na trabaho nila ang tulungan ang mga platform na magpatakbo ng sarili nilang mga negosyo.'