Analýza: Crowdsource overovací experiment Twitteru odhaľuje problémy

Analýza Poynter zistila, že menej ako polovica používateľov Birdwatch zahŕňa zdroje a mnohé poznámky na overenie faktov obsahujú stranícku rétoriku.

Verzia algoritmu Birdwatch zo 14. februára zosilnila niektoré poznámky zavádzajúcimi informáciami.

5. februára Twitter označil príspevok od kontroverzného YouTubera Tima Poola že prezidentské voľby v USA v roku 2020 boli zmanipulované. Platforma poznamenala, že tento nárok bol spochybnený a zakázala zapojenie „kvôli riziku násilia“.

Ale no tak Birdwatch , platforme sociálnych médií experimentovať v crowdsourcingovom overovaní faktov Podľa analýzy údajov Twitteru zo 14. februára používatelia prevažne uviedli, že tweet nebol zavádzajúci. A väčšina používateľov Birdwatch v nástroji uviedla, že tieto poznámky, ktoré podporujú odhalené tvrdenia, považujú za užitočné a informatívne.

„Podľa úradujúceho (sic) zdroja TIME existovala dobre organizovaná skupina tajných účastníkov v tieňovej organizácii, ktorá znie ako kabala, ktorá spolupracovala, aby ovplyvnila voľby v prospech Joea Bidena,“ píše sa v jednej poznámke. Zatiaľ čo používateľ obsahuje odkaz na článok v časopise Time ktorý skutočne používa slová ako „kabala“ a „sprisahanie“, kontext diela – že mocné skupiny v zákulisí pracovali na ochrane integrity volieb – sa stratil.

The Algoritmus Birdwatch , ktorej cieľom je zobraziť užitočné poznámky, priradila tejto „kontrole faktov“ skóre užitočnosti 0,68 – najvyššie z poznámok v tweete, tesne mimo prvých 10 % poznámok, ktoré algoritmus považuje za „hodnotené ako užitočné“ k dátumu 14. februára. Užitočné poznámky tvoria asi 7 % z 2 695 v tejto analýze a menej ako dve tretiny z nich obsahujú odkaz na zdroj, ktorý nie je ďalším tweetom.

17. februára Twitter zmenil svoj algoritmus a poznámky k tweetu Pool už nie sú hodnotené ako užitočné, hoci áno sú stále uvedené pod príspevkom . Pred touto zmenou existovala nižšia hranica, ktorá sa mala považovať za užitočnú – iba 0,5 v porovnaní s novou hranicou 0,84 – a poznámky potrebovali na to, aby boli v prevádzke iba tri hodnotenia, aby boli považované za užitočné, zoradené podľa priorít a označené modrou poznámkou.

Teraz musí poznámka nazbierať päť hodnotení, aby sa tento tweet vložil do nová karta „hodnotené ako užitočné“ v aplikácii Birdwatch . A z týchto takmer 2 700 poznámok v databáze platformy 126 splnilo novú hranicu – to je menej ako 5 %. Tri štvrtiny nových „hodnotených užitočných“ poznámok obsahovali zdroj mimo Twitteru.

Je to aktuálna ilustrácia jedného z problémov, ktorým čelí model Birdwatch: Dokáže algoritmus napájaný zdanlivo náhodnou skupinou ľudí niekedy presne „ohodnotiť“ pravdu?

Birdwatch vo svojej pilotnej fáze s o niečo viac ako 1 000 používateľmi umožňuje účastníkom označiť tweety ako zavádzajúce a pridať poznámku, ktorá cituje zdroj a/alebo vysvetľuje kontext, prečo môžu byť zavádzajúce. Potom môžu používatelia Birdwatch tieto poznámky zoradiť na základe užitočnosti (potom prevezme algoritmus).

Nakoniec všetci používatelia Twitteru budú zdanlivo môcť vidieť tieto poznámky priamo pod tweetmi, ale zatiaľ sú obmedzené na konkrétnu časť stránky . Používatelia Birdwatch si tiež nakoniec vytvoria skóre reputácie, ktoré sa začlení do algoritmu užitočnosti.

„Naším cieľom v rámci pilotného projektu Birdwatch je vybudovať systém, do ktorého môže prispievať ktokoľvek, a ktorý prirodzene zvyšuje informácie, ktoré ľudia považujú za užitočné,“ uviedol v e-maile viceprezident pre produkt na Twitteri Keith Coleman. 'Sme presvedčení, že otvorenosť v tom, kto môže prispieť, je dôležitá a že prostredníctvom vstupu od rôznorodej skupiny možno zvýšiť tie najužitočnejšie poznámky.'

Ale pohľad na systém, aký je teraz, odhaľuje výzvy, na ktoré sa v súvislosti s Birdwatch postavili overovatelia faktov: nedostatok odborných znalostí používateľov v oblasti overovania faktov, ťažkosti s vytvorením algoritmu, ktorý nejakým spôsobom odhalí užitočné poznámky najuznávanejších používateľov a otázky o straníckej motivácii užívateľov.

„Nie som prekvapený týmito zisteniami vzhľadom na polarizovanú povahu platforiem sociálnych médií a váhavosť bežných používateľov poskytnúť spätnú väzbu na takéto otázky ponúkané platformami, zatiaľ čo motivovaní používatelia z oboch strán uličky vidia platformy ako bojiská na propagáciu svojich príbehov. iné,“ povedal Baybars Örsek, riaditeľ International Fact-Checking Network.

Väčšina poznámok najplodnejších používateľov Birdwatch označuje tweety kritické voči pravici ako „zavádzajúce“ a tie kritické voči ľavici ako „nezavádzajúce“. (Používateľ napríklad označil tweet, ktorý hovorí „ Tím Biden je voči Číne mäkký “ od senátora Teda Cruza a The Pool tweetujú ako „nezavádzajúce“; zatiaľ čo článok v Newsweeku o krajne pravicových extrémistoch a ságe GameStop a tweet spájania prezidenta Donalda Trumpa s nepokojmi v Kapitole boli označené ako „zavádzajúce“ a „škodlivé“.) A menej ako jedna pätina z 82 poznámok používateľa obsahuje zdroj, pričom viaceré z nich sú iné tweety. (Tento používateľ Birdwatch neodpovedal na žiadosť o rozhovor.)

Coleman povedal, že Birdwatch môže byť motivovaný, aby zvážil poznámky, ktoré pochádzajú od „rôznorodého súboru prispievateľov“. Okrem toho je systém hodnotenia hlavným hnacím motorom platformy

„Veríme, že to odmeňuje a stimuluje príspevky, ktoré mnohí ľudia považujú za hodnotné, a riešia riziko, že nad Birdwatch prevezme jedna špecifická skupina alebo ideológia,“ povedal Coleman. 'Toto je niečo, na čom budeme aktívne pracovať počas pilotného projektu.'

A skutočne, poznámky, ktoré algoritmus označil za najužitočnejšie po zmenách zo 17. februára, ukazujú solídnejšie zdroje a menej stranícku rétoriku ako iterácia spred dňa. Ale zmeniť algoritmus pre pilotný program s 1 000 používateľmi a menej ako 2 700 poznámkami je jedna vec, zmeniť algoritmus, keď bude Birdwatch dostupný pre všetkých používateľov, je vec druhá – a ktovie, či sa účinnosť algoritmu udrží, keď používatelia začnú sypať. do platformy, čo možno replikuje správanie niektorých z najplodnejších účastníkov pilotného projektu.

'Momentálne nemáme konkrétnu časovú os pre škálovanie, pretože pracujeme na tom, aby sme sa naučili čo najviac a opakovali, kým je pilot malý,' povedal Coleman. 'Plánujeme rozšíriť sa, keď to budeme môcť urobiť bezpečne a keď to pomôže zlepšiť učenie.'

Napriek tomu, ako v prípade poznámok pod tweetom Pool, existujú príklady partizánov alebo zavádzajúce informácie stále viditeľné ako bežné poznámky.

Štyria z piatich najaktívnejších používateľov, ktorí tvoria viac ako 10 % celkových poznámok, majú podobnú aktivitu ako najproduktívnejší používateľ. Jeden z nich tvrdí, že smrť Jeffreyho Epsteina nebola nikdy považovaná za samovraždu. Avšak druhý najplodnejší Birdwatcher uvádza zdroj v každej poznámke, vrátane odkazov zo Svetovej zdravotníckej organizácie a FactCheck.org .

Žiadny z 10 najlepších používateľov podľa ich životopisov na Twitteri nie je profesionálnym overovateľom faktov alebo novinárom.

„Overovanie faktov je v skutočnosti tvrdá práca v tom, že je psychicky náročná,“ uviedla šéfredaktorka PolitiFact Angie Holanová v e-maile. „Naozaj sa musíte sústrediť a presadiť mentálnu zotrvačnosť, aby ste identifikovali tvrdenia a potom vymysleli spôsoby, ako ich odhaliť alebo overiť. Potom musíte pokračovať v hľadaní a následne zapisovaní zistení. Nie je to deň na pláži, otvorene povedané. A ak má kontrolór faktov stranícku motiváciu, potom je dôkladné a nestranné úsilie ešte ťažšie.“

Napriek problémom Birdwatch hlási dezinformácie, ktoré môžu tradiční kontrolóri faktov prehliadnuť alebo sa rozhodnúť ich nekontrolovať z dôvodu možného poškodenia – čo by mohlo pomôcť vyplniť niektoré medzery v digitálnych dezinformáciách. Počas sága o zastavení hry , dezinformácie o akciách tejto spoločnosti sa rýchlo rozšírili naprieč platformami.

Snopes a PolitiFact zatiaľ nehodnotil nároky týkajúce sa GameStop Príbehy vedúcich hodnotené jeden príspevok na Reddit. Ale na Birdwatch, najvyššie hodnotená poznámka – so skóre užitočnosti 1,00 – označila zavádzajúci tweet o Reddite, kde prebiehala konverzácia o akciách. Bolo tam asi 50 poznámok o Reddite, GameStop a investičnej aplikácii Robinhood, s ktorými sa začiatkom tohto mesiaca obchodovalo vo veľkom objeme.

A používatelia Birdwatch správne označili účet, ktorý tvrdil, že patrí senátorke z Virginie Amande Chase, ako falošný. tweetoval „...Vo Virgínii máme problém s drogami a legalizácia marihuany povedie len k ďalšiemu predávkovaniu marihuanou a úmrtiam...“

Crowdsourcing môže uľahčiť život profesionálnym overovateľom faktov tým, že odhalí dezinformácie, povedal Örsek.

Coleman povedal, že Twitter sa zaviazal zachovať transparentnosť – čo umožnilo túto analýzu – a začleniť vstupy od odborníkov o budúcnosti platformy.

„Zo spolupráce s vloženým členom tímu zo spoločnosti Centrum pre RISC University of Chicago , aby sme organizovali stretnutia so spätnou väzbou s reportérmi a výskumníkmi, pracujeme na tom, aby sme využili obrovské množstvo odborných znalostí a znalostí, ktoré existujú mimo Twitteru,“ povedal.

Holan a Örsek odporúčajú stimuly a školenia pre používateľov Birdwatch, ako aj zamestnávanie profesionálnych overovateľov faktov na preverenie poznámok s vysokým postavením.

„Ale dosť pochybujem o technologických spoločnostiach, ktoré veria, že ich používatelia budú pre nich moderovať obsah zadarmo,“ povedal Holan. „Väčšina používateľov nepovažuje za svoju prácu pomáhať platformám pri riadení vlastného podnikania.“