Ako laboratórium Duke Reporters’ Lab využilo politické konvencie na zdokonalenie svojho automatického programu na kontrolu faktov

S láskavým dovolením Duke Reporters' Lab

Politické zjazdy za posledné dva týždne poskytli perfektné podmienky Tech & Check Cooperative na Duke Reporters’ Lab zdokonaliť svoj automatizovaný program na kontrolu faktov Squash a jeho ľudskú zložku Gardener.

Squash je program umelej inteligencie, ktorý vytvára zhody medzi existujúcimi overeniami faktov v reálnom čase ClaimReview , systém označovania faktov Reporters' Lab a vyjadrenia živého rečníka. Používa kombináciu Google Prevod reči na text ; ClaimBuster , ktorý bol vyvinutý na Texaskej univerzite v Arlingtone; a Dukeovo vlastné kódovanie, ktoré zodpovedá slovám vysloveným tým, ktoré sú napísané v overení faktov. Tieto overenia faktov sa objavia na obrazovke, aby poskytli divákom viac kontextu o akýchkoľvek problémoch, o ktorých sa diskutuje.

Ako však napísali spoluriaditelia Reporting Lab Bill Adair a Mark Stencel Nieman Lab v júli , tento systém nie je bez svojich nedostatkov.

'Niekedy môže byť prevod hlasu na text naozaj dobrý, ak je mikrofón dobrý a osoba hovorí jasne, ale mali sme aj niekoľko komicky zlých,' povedal Adair. Počas hlasovania podľa mien na Demokratickom národnom zhromaždení sa Squash zhodoval s overením faktov pot v podpazuší na hlasy Kansasu.

Christopher Guess, vedúci technológ pre Reporters' Lab, povedal, že súčasná technológia neumožňuje počítaču pochopiť nuansy a kontext toho, ako politici často hovoria.

'Človek, ktorý kontroluje fakty, často lemuje a hádže a diskutuje s kolegami, z akého uhla k tomu pristúpite,' povedal Guess. 'To je niečo, čo počítač doslova nedokáže.'

Gardener je nové rozhranie, ktoré tím Tech & Check postavil na squash, aby vyriešil tento nedostatok. Squash poskytuje ľudskému asistentovi („Záhradníkovi“) tri potenciálne zodpovedajúce overenia faktov, ktoré si potom táto osoba vyberie, aby sa zobrazili divákom.

'Takže v skutočnosti odstraňujeme tie zlé a zobrazujeme tie dobré,' povedala Adair. Program je stále v plienkach a okrem zdokonaľovania a prekonávania prekážok v technológii prenosu hlasu do textu, Adair aj Guess tvrdia, že potrebujú oveľa viac overení faktov, aby mohli túto technológiu zdokonaliť.

'Opiera sa o veľký súbor predtým skontrolovaných tvrdení,' povedal Guess. V súčasnosti má ClaimReview databázu približne 60 000 tvrdení, no podľa Guessa len asi tretina z nich je relevantná pre americkú politiku. „Svet strojového učenia zvyčajne funguje v miliónoch a miliardách, nie v desiatkach tisíc,“ povedal Guess.

Počas čakania na ďalšie tvrdenia tím experimentuje s inými spôsobmi, ako zlepšiť zhody overovania faktov. Jedným z nich je program s názvom Caucus, ktorý zoskupuje overenia faktov do kategórií, ktoré sa potom dajú priradiť k tvrdeniam zaznamenaným hlasom na text.

'Tak povedzte, že táto veta je o zdravotnej starostlivosti, toto je o politike, toto je o Idahu,' povedal Guess. 'Mám teóriu, že tvrdenia, ktoré spadajú do rovnakých kategórií, sú s väčšou pravdepodobnosťou súvisiace ako tvrdenia, ktoré nesúvisia.'

Adair by neuviedol časovú os, kedy bude táto technológia dostupná pre verejnosť. „Naším cieľom je len to zlepšovať, kým to nebude pripravené,“ povedal. 'Za tri roky sme urobili veľký pokrok a so všetkými šikovnými ľuďmi, ktorých tu vidíte, môžete urobiť veľa.'

Harrison Mantas je reportér pre International Fact-Checking Network, ktorý sa zaoberá overovaním faktov a dezinformáciami. Oslovte ho na email alebo na Twitteri na @HarrisonMantas