Algoritmide veenmine AI-nihutusega

Faktide kontroll võib vähendada ebausaldusväärsete uudiste levikut. See võib teha ka vastandit.

(see postitus ilmus algselt saidil civilservant.io)

Redditi r / worldnews lugejad teatavad vabatahtlikele moderaatoritele sageli tabloidiuudiseid, paludes neil keelata sensatsiooniliste artiklite jaoks tabloidid. Need kaunistatud lood tõmbavad inimeste tähelepanu, tekitavad vaidlusi ja saavad redditi järjekoha algoritmi abil neid veelgi laiali levitada.

Leheväljaannete keelustamine võiks selle tagasiside lüli lõpetada, kuid kogukonna moderaatorid on üldiste keeldude vastu. Selle mõistatuse lahendamiseks pidid moderaatorid vastama niinimetatud võltsuudiste üle peetava arutelu keskmes olevale küsimusele: kuidas saaksime säilitada kaastöötajate vabaduse, mõjutades samal ajal ka inimeste vastastikust käitumist ja algoritme kogukonna heaks?

Sel talvel töötasid moderaatorid CivilServantiga idee testimiseks: kuidas mõjutab faktide kontrollimise julgustamine reageerimisele ebausaldusväärsetele uudistele? Tahtsime näha, kuidas r / worldnews kogukond reageerib. Samuti täheldasime mõju redditi paremusjärjestusele. Kui redditi algoritmid tõlgendasid faktide kontrollimist populaarsusena, võivad ebausaldusväärsed artiklid levida veelgi.

Tabloidseid uudiseid on umbes 2,3% kõigist selle 15 miljoni abonentide kogukonna, kes arutavad uudiseid väljaspool USA-d, kõigist esildistest. R / worldnewsis vaatab 70 moderaatorit läbi umbes 450 artiklit päevas ja lubab 68% -l neist artiklitest jääda. Kuna see on vaikimisi alamrediit, saavad enamik redditi lugejaid selle kogukonna kaudu maailmauudiseid. Kuigi kogukond on Facebookist hämar, võib r / worldnews olla suurim üksik grupp, kus arutada maailmauudiseid kõikjal ingliskeelses Internetis. Isegi väikesed efektid selles kogukonnas võivad oluliselt muuta seda, kuidas miljonid inimesed mõistavad maailma potentsiaalselt ebausaldusväärset teavet.

27. novembrist kuni 20. jaanuarini läbi viidud uuringus testisime A / B sõnumeid, mis julgustasid kogukonda faktilisi andmeid kontrollima ja tabloidiuudiste üle hääletama. Leidsime järgmist:

Faktikontrolli ergutamise mõju kogukonna käitumisele

Arutelude käigus r / worldnews puudutavate lehetaotluste esitamisel suurendab faktide kontrollimise julgustamine linkidega kommentaaride sagedust keskmiselt 2x ja faktide kontrollimise + hääletamise julgustamine on sarnase efektiga.

Faktikontrolli ergutamise mõju Redditi algoritmidele

Vaadates üle 24 tunni, leidsime ka, et keskmiselt põhjustasid faktide kontrollimist julgustavad kleepuvad kommentaarid tabloidide esitamiste reddit-skoori kahanemise 2x, mis oli statistiliselt oluline mõju ja mis tõenäoliselt mõjutas alamreitingu paremusjärjestust. Kui õhutasime ka lugejaid hääletama, kadus see efekt.

AI nohikud: Algoritmide veenmine vabaduse säilitamise ajal

Meie küsimused tabloidiuudiste kohta lisasid klassikalisele valitsemisküsimusele algoritmilise mõõtme: kuidas saavad võimul olevad inimesed tegutseda ühise hüvangu nimel, minimeerides samal ajal individuaalse vabaduse piiranguid?

võime veenda algoritme erinevalt käituma, veendes inimesi käituma erinevalt.

Internetis õpivad inimesed elama AI-süsteemidega, mida nad ei saa kontrollida. Näiteks näpistavad Uberi juhid sissetuleku optimeerimiseks oma sõitu. Meie kollektiivne käitumine mõjutab juba praegu AI süsteeme, kuid siiani puudub üldsusel teave selle kohta, milline see mõju tegelikult on. Need läbipaistmatud tulemused võivad osutuda probleemiks, kui algoritmid täidavad ühiskonnas võtmerolli, näiteks tervis, ohutus ja õiglus. Selle probleemi lahendamiseks kavandavad mõned teadlased nn silmusühiskonna süsteeme [4]. Teised töötavad välja algoritmide auditeerimise meetodeid [5] [6]. Kuid kumbki lähenemisviis ei paku viisi süsteemide igapäevase käitumise juhtimiseks, mille koodi me ei saa kontrollida. Meie uuring r / worldnews pakub kolmandat suunda; võime veenda algoritme erinevalt käituma, veendes inimesi käituma erinevalt.

Mõni inimene võib küsida, kas see eksperiment kujutab endast manipuleerimist häälega, mis on redditi poliitika vastu. Meie kleepuvad märkmed ei riku ühtegi redditi isikliku kasu saamise reeglit (me ei loonud ka võltskontosid, rääkinud inimestele, kuidas hääletada, ega korraldanud hääletamisblokki). Kuid me näitasime, et inimeste julgustamine faktide kontrollimiseks avaldas süstemaatilist mõju redditi algoritmidele.

Idee “AI nudges” annab meile võimaluse mõelda ühiskonnaelsete püüdluste poole, et mõjutada inimeste ja masinate käitumist, säilitades samal ajal inimese vabaduse. Richard Thaler ja Cass Sunstein pakkusid esmalt välja nügimise, kuidas asutused saaksid oma võimu teostada, säilitades samal ajal isikuvabaduse [7]. Võrreldes tabloidiuudiste keelustamisega on faktide kontrollimist julgustav AI-märkus kergeim puudutus, mida moderaatorid võiksid võtta. Ükski inimene ei saa uudiseid jagada, kommenteerida ega hääletada, kuid ära võetakse AI nüanss endiselt ebausaldusväärsete uudiste levikut.

Nagu Sunstein ja Thaler rõhutavad, pole alati ilmne, kas need kerged katsed annavad soovitud tulemuse. Seetõttu peaksime nende mõju süstemaatiliselt testima, eriti kuna testimata süsteemidel võib olla ootamatuid tulemusi.

AI nugade juhtimine ja eetika

Valitsuste noogutused ja veebiplatvormide sotsiaalsed eksperimendid pälvivad sageli sarnast kriitikat. Arvan, et inimestel on õigesti oodata vastutust neilt, kes jõudu kasutavad. Tehes koostööd vabatahtlike moderaatoritega, olen suutnud töötada suurema läbipaistvuse ja vastutustundlikkusega, kui see on tüüpiline sotsiaaltöötluses. Kõik CivilServanti uuringud on kavandatud modereerimismeeskondade poolt ja nende poolt ning kõik tulemused avalikustatakse kõigepealt kogukonnale subreddit-ülevaatena. Meie õppetöö kavandid on enne alustamist avalikult loetletud avatud teaduse raamistikus ja kogu meie kood on avatud lähtekoodiga. Analüüsi täielikud üksikasjad on samuti avalikud, nii et igaüks saaks meie järeldusi kontrollida. Ainus, mida me tagasi hoiame, on tegelikud andmed, kuna austame kõigi asjaosaliste privaatsust.

Üldiselt loodan, et AI-nöörid, eriti kui neid juhivad kogukonnad ise, pakuvad üldsusele põnevat suunda, kuidas juhtida algoritmide rolli ühiskonnas, säilitades samal ajal ka üksikisiku vabaduse.

Kuidas uuring toimis

Selle testi jaoks alustasid moderaatorid uudiste allikate loeteluga, mis saavad sageli kaebusi. 27. novembrist kuni 20. jaanuarini määrasime juhuslikult igale uuele bulvarilehele ühe kolmest tingimusest: a) kleepuvat kommentaari pole, b) skepsist õhutavat kleepuvat kommentaari, c) skeptitsismi õhutavat kleepuvat kommentaari + hääletamist (üksikasjad leiate siit ).

Postitasime selle sõnumi tabloidsete uudiste arutelude tippu

Teine julgustab inimesi artiklit kontrollima ja kaaluma lingi hääletamist, kui nad ei leia selle väidete jaoks tõendusmaterjali:

See teine ​​sõnum julgustas inimesi kaaluma allahääletamist

Kas faktide kontrollimine võib mõjutada käitumist, kuidas redditi algoritmid ebausaldusväärseid uudiseid näevad?

Kuigi olime kindlad, et r / worldnewsi lugejad aitavad moderaatorite küsimisel abi, mõtisklesime ka: kas suurendades tabloidi uudiste kommenteerimist, kas võime kogemata põhjustada redditi algoritme nende tabloidide linkide reklaamimiseks?

Kui faktide kontroll suurendaks ebausaldusväärsete uudiste allikate populaarsust, võib kogukond vajada mõtlemist, kuhu oma pingutused panna. Sellepärast katsid moderaatorid teist kleepuvat kommentaari - see, mis julgustab lugejaid kaaluma hääletamise allatulistamist.

Kleepuvate kommentaaride mõju redditi algoritmidele testimiseks kogus CivilServant tarkvara iga nelja minuti järel andmeid postituste tulemuste kohta. Platvorm ei avalda täpselt seda, mis hindesse läheb, ega täpselt, kuidas selle paremusjärjestus töötab (küsisin). Siiski suutsime usaldusväärselt ennustada postituse alamdrediteeritud kuuma lehekülje edetabeli vanust ja tulemust (täielikud üksikasjad siin). Põhimõtteliselt, kui faktide kontrollimine avaldas artikli tulemusele suurt mõju, siis tõenäoliselt mõjutas see artikli paremusjärjestust aja jooksul alamreklaami esilehel. Katsetasin seda kahel viisil: võrdledes hindeid 24 tunni pärast ja modelleerides hinnete muutusi aja jooksul.

Kasutasin 24 tunni möödudes tulemuste hindamiseks negatiivset binoomimudelit. Kuna redditi algoritmid seisid meie eksperimendi ajal, põhjustas faktide kontrollimise julgustamine tabloidi edastusi keskmiselt 24 tunni pärast 49,1% (2,04x madalam) edastuste arvust, ilma kleepuva kommentaarita, keskmiselt r / worldnews. Mõju on statistiliselt oluline. Selle mudeli puhul ei õnnestunud mul leida kleepuvate kommentaaride mõju, mis julgustas lugejaid kaaluma allahääletamist.

Samuti testisin faktide kontrollimise mõju aja jooksul postituse tulemuse kasvumäärale. Selle küsimuse esitamiseks sobib iga nelja minuti järel postituse logiga muudetud skooriks juhusliku pealtkuulamise lineaarse regressiooni mudel. Leidsin, et faktide kontrollimise julgustamine põhjustab skoori kasvumäära madalamat. Siin leidsin, et hääletamise julgustamisel on tegelikult keskmiselt vähene positiivne mõju punktide kasvumäärale aja jooksul. Kuna me tegime katset redditi algoritmide muutmise ajal 2016. aasta detsembri alguses, leidsin ka, et nende kleepuvate kommentaaride mõju redditi algoritmidele võis muutuda pärast seda, kui reddit kohandas oma algoritme (üksikasju).

Kes aitas uudiste artikleid kontrollida?

930 mittebotot kommentaarist koos linkidega, mille moderaatorid said jääda, lisasid 737 kasutajakontot linke täiendavate tõendite saamiseks. Neist 133 kontot esitas rohkem kui ühe lingiga kommentaari. Paljud inimesed kontrollisid omapoolseid avaldusi faktiliselt. Esitajad postitasid lisateabe saamiseks 81 kommentaari.

Mida me sellest uuringust teada ei saa?

Selles testis vaadeldakse pigem arutelude tulemusi kui individuaalseid kontosid, seega ei saa me teada, kas üksikud inimesed olid veendunud skeptilisemad või kas kleepuvad kommentaarid panid niigi skeptilised inimesed uurima ja jagama. Samuti ei ole mul tõendeid faktide kontrollimise mõju kohta lugejatele, ehkki muud uuringud näitavad, et faktide kontroll mõjutab lugejate uskumusi [2] [3].

See uuring ei saa meile öelda palju selle kohta, miks näeme nii suurt muutust algoritmilistes efektides, kui muudame sõnumit, julgustades lugejaid kaaluma allahääletamist. See erinevus võib olla näide sellest, mida psühholoogid nimetavad reageerimisvõimeks, vastupanuks autoriteedi ettepanekutele. Või kui uudiste esitajad muretsevad, et nende lingid võivad alla hääletada, võivad nad küsida abi, mis tasakaalustab lugejate käitumist.

Kas see toimiks muud tüüpi linkidega, teistes alamdrediitides või muudel saitidel? See uuring on piiratud konkreetse kogukonna ja saitide loeteluga. Ehkki ma kahtlustan, et paljud suured lugejate veebikogukonnad aitaksid moderaatorite küsimisel linke faktide kontrollimiseks, on meie leiud redditi algoritmi kohta palju täpsemad.

Neile küsimustele saaksime vastuse, kui rohkem alamkrediite otsustaks proovida sarnaseid katseid. Kui olete huvitatud, võtke minuga reddit ühendust, et arutada sarnase katse läbiviimist ja registreeruda e-posti värskenduste saamiseks.

Lisateave selle katse kohta

Minu doktorikraad hõlmab kogukondade toetamist, et testida nende endi modereerimispraktikate mõju. Kavandasin selle eksperimendi koos r / worldnews moderaatoritega ja selle kiitis heaks MIT-i inimeste kasutamise katsealustena komitee. Kui teil on küsimusi või muresid, võtke ühendust redigeerijaga natematias.

See eksperiment, nagu ka kõik mu senised redditi-uuringud, viidi läbi redditi platvormist sõltumatult, kellel ei olnud mingit rolli katse kavandamisel ega kavandamisel. Katse ei ole veel eelretsenseeritud. Kõik CivilServanti tulemused postitatakse avalikult tagasi kaasatud kogukondadesse kohe, kui tulemused on valmis, ning akadeemilisi väljaandeid tuleb hiljem.

Katse täielikud üksikasjad avaldati eelnevalt eelanalüüsi kavas aadressil osf.io/hmq5m/. Kui olete huvitatud statistikast, olen avaldanud analüüsi täielikud üksikasjad.

Viited

[1] Salganik, M. J., ja Watts, D. J. (2008). Karja eksiarvamus: eksperimentaalne uurimus isetäituvate ennustuste kohta kunstlikul kultuuriturul. Sotsiaalpsühholoogia kord kvartalis, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz ja John Cook. Väärinformatsioon ja selle parandamine jätkas mõju avaldamist ja edukat desoonimist. Psühholoogiateadus avalikes huvides, 13 (3): 106–131, detsember 2012.

[3] Thomas Wood ja Ethan Porter. Eluvõimeline tagasilöögiefekt: massiliste hoiakute püsiv faktiline kinnipidamine. SSRN Scholarly Paper ID 2819073, sotsiaalteaduslike uuringute võrk, Rochester, NY, august 2016.

[4] Rahwan, Iyad (2016) Ühiskondlik ring: Algoritmilise sotsiaalse lepingu programmeerimine. Keskmine

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios ja Cedric Langbort. 2014. Auditeerimise algoritmid: Uurimismeetodid diskrimineerimise tuvastamiseks Interneti-platvormidel. Andmed ja diskrimineerimine: kriitiliste probleemide teisendamine tulemuslikuks uurimiseks, Rahvusvahelise Kommunikatsiooni Assotsiatsiooni aastakoosolek, 2014

[6] Diakopoulos, N., & Koliska, M. (2016). Algoritmiline läbipaistvus uudiste meedias. Digiajakirjandus, 1–20.

[7] Thaler, R. H., ja Sunstein, C. R. (2003). Libertarian paternalism. The American Economic Review, 93 (2), 175–179.