Kuidas ehitada eetika AI-ks - II osa

Teaduspõhised soovitused inimkonna hoidmiseks AI-s

iStock by Getty Images Autor: AndreyPopov

See on kaheosalise sarja teine ​​osa, kuidas eetikat AI-sse sisse ehitada. I osa keskendus eetilise kultuuri kasvatamisele teie ettevõttes ja meeskonnas, samuti läbipaistvusele nii teie ettevõttes kui ka väliselt. Selles artiklis keskendume teie andmetest ja algoritmidest välistamise eemaldamise mehhanismidele. Kõigist sekkumistest või toimingutest, mida saame võtta, on siin saavutatud edusammud kõige suuremad. Jätkuvalt ilmnevad uued lähenemisviisid andmete ja algoritmide eelarvamuste tuvastamiseks ja käsitlemiseks, mis tähendab, et kliendid peavad selle areneva tehnoloogiaga kursis olema.

Eemalda välistamine

AI-süsteemi sisenemiseks on eelarvamusi mitmel viisil. Nende parandamiseks on kõigepealt vaja need ära tunda.

Mõista seotud tegureid

Tuvastage tegurid, mis on teie algoritmis (s) silmapaistvad ja muutlikud.

Digitaalse laenamise rakendused võtavad ühe mobiilseadme kaudu sisse tonnide kaupa alternatiivseid andmeid, näiteks igapäevaseid asukohamudeleid, sotsiaalmeedias aktiivsust, tekstisõnumite kirjavahemärke või seda, kui paljudel nende kontaktidel on perekonnanimed laenude kinnitamiseks või tagasilükkamiseks või kõrgema intressimäära kehtestamiseks. Näiteks suitsetajad ja hilisõhtused Interneti-kasutajad maksavad laenude tagasimaksmisega halvasti. Neid andmeid kogutakse tavaliselt ilma kasutaja teadlikkuseta, kuna luba on maetud teenusetingimustesse.

Nii inseneridel kui ka lõppkasutajatel on nn must kast ebamugav. Nad tahavad aru saada sisenditest, mis soovituste koostamisel lähtusid. Kuid peaaegu võimatu on täpselt selgitada, kuidas AI soovituse esitas. Ülaltoodud laenunäite puhul on oluline meeles pidada, et korrelatsioon ei ole võrdne põhjuslikkusega, ja mõelda kriitiliselt seoste üle, mida võetakse oluliste otsuste tegemisel, nt eluasemelaenu kinnitamine.

Millised on tegurid, mis manipuleerimisel muudavad AI soovituse tulemusi oluliselt? Kasutatavate tegurite mõistmisel ja nende sisse / välja lülitamisel näevad loojad ja kasutajad, kuidas iga tegur mõjutab AI-d ja mille tulemuseks on erapoolikud otsused.

See Christoph Molnari juhend musta kasti mudelite selgitavaks tegemiseks on üks katse sügavamale kaevata. Veel ühte meetodit demonstreerisid Google'i teadlased 2015. aastal. Nad arendasid sügavale õppimisele tugineva pildituvastuse algoritmi, nii et fotodele objektide märkamise asemel genereeriks või muudaks see neid, et avastada funktsioone, mida programm kasutab barbelli äratundmiseks. või mõni muu objekt.

Microsofti kaasav disainilahenduste meeskond on nende disainivahenditele lisanud ja töötleb juhiseid AI-s välistamise tunnustamiseks. Selle jaotise ülejäänud soovitused on inspireeritud nende keskmisest postitusest nende viie tüüpi eelarvamuste kohta.

Andmekogu kallutatuse vältimine

Tehke kindlaks, kes või mis on teie andmekogumis välistatud või üleesindatud, miks nad on välistatud ja kuidas seda leevendada.

Tehke Google'i otsing otsinguil „3 valget teismelist” ja seejärel jaotist „3 musta teismelist” ning näete enamasti valgete teismeliste aktsiafotosid ja enamasti mustate teismeliste jaoks mõeldud kruusipilte. Selle põhjuseks on mustade teismeliste fotode puudumine andmebaasis, kuid on lihtne mõista, kuidas AI-süsteem teeb erapoolikaid järeldusi musta või valge teismeliste vahistamise tõenäosuse kohta, kui teda koolitatakse just sellel andmestikul.

Andmekogumi kallutatus põhjustab grupi üle- või alaesindatuse. Näiteks võib teie andmekogum olla teie kõige arenenumate kasutajate jaoks tugevalt koormatud, esindades ülejäänud teie kasutajaskonda. Selle tulemuseks võib olla toote või teenuse loomine, mida teie energiatarbijad armastavad, andes samal ajal mitte kunagi ülejäänud kasutajatele võimaluse kasvada ja areneda. Kuidas see välja näeb ja kuidas seda parandada?

  • Mida: enamikku teie andmekogust esindab üks kasutajarühm.
    Kuidas: masinõppe tasakaalustamatute tundidega tegelemiseks kasutage selliseid meetodeid nagu kulutundlik õpe, muutused proovivõtumeetodites ja kõrvalekallete tuvastamine.
  • Mis: enamuse suhtes kohaldatavad statistilised mustrid võivad vähemusrühmas kehtetud olla.
    Kuidas: looge erinevatele rühmadele erinevad algoritmid, mitte kõigile sobiv.
  • Mis: kategooriad või sildid lihtsustavad andmepunkte ja võivad protsendi andmete osas olla valed.
    Kuidas: hinnake tee-spetsiifilise kontrafaktuaalse õigluse kasutamist. See on masinate jaoks otsuste tegemise vorm, kus kellegi suhtes tehtud otsus on õiglane, kui see oleks tehtud sama kohtuotsuse korral, kui see inimene oleks ebaõiglastel viisidel olnud erinevas demograafilises rühmas (nt kui naine oleks mees, või valge mees olid mustad), nagu seletas Parmy Olson.
  • Mida? Tehke kindlaks, kes on tõrjutud ja mõju teie kasutajatele ning ka teie lõpptulemused. Kontekst ja kultuur on olulised, kuid võib olla võimatu seda andmetes näha.
    Kuidas: tuvastage tundmatud tundmatud, nagu on soovitanud Stanfordi ja Microsoft Researchi teadlased.

Väldi ühingu eelarvamusi

Uurige, kas teie treeningu andmed või sildid esindavad stereotüüpe (nt sugu, etniline kuuluvus) ja muutke neid suurenduse vältimiseks.

Piltide äratundmise AI-süsteemide koolitamiseks kasutatud fotokogumikus leidsid teadlased, et kokanduse, shoppamise ja pesemisega seotud fotodel oli andmestikus rohkem naisi kui mehi, samas kui sõidu, pildistamise ja juhendamisega seotud fotodel oli rohkem mehi kui naisi.

Assotsiatsioonihäire on siis, kui mudeli koolitamiseks kasutatud andmed püsivad ja suurendavad stereotüüpi, mis pole piiratud piltidega. Näiteks sooneutraalsetes keeltes, näiteks türgi keeles, näitab Google Translate soolist eelarvamust, paarides „ta” sõnadega nagu „töökas”, „arst” ja „president” ning „ta” sõnadega nagu „laisk”, „õde, Ja Nanny. Sarnaseid eelarvamusi on leitud ka Google Newsi otsingus.

Kahjuks võimendavad neid kallutatud andmekogumeid kasutavad masinõpperakendused neid kallutusi. Fotonäites oli andmestikus kokandusega seotud fotodel 33% rohkem naisi kui meestel, kuid algoritm võimendas seda kallutatust 68% -ni! See tuleneb diskrimineerivate mudelite kasutamisest (erinevalt generatiivsetest mudelitest), mis suurendavad algoritmide täpsust, võimendades andmetes üldistusi (eelarvamusi). Laura Douglas selgitab seda protsessi ilusti, kui soovite rohkem teada saada.

Eelarvamuse võimendamise tulemus tähendab, et lihtsalt andmestike jätmine olemasolevaks, kuna see kujutab endast tegelikkust (nt 91% USA meditsiiniõdedest on naised) pole õige lähenemisviis, kuna AI moonutab niigi tasakaalustamatut vaatenurka. See raskendab inimeste teadvustamist, et täna on tööjõus palju meesõdesid ja nad kipuvad teenima kõrgemat palka kui näiteks naised.

Teadlased on leidnud viise ebaõiglase kallutatuse parandamiseks, säilitades samal ajal täpsuse, vähendades soolise diagonaali võimendamist, kasutades korpuse tasandi piiranguid ja debüüdivate sõnade manuste abil. Kui teie AI-süsteem õpib aja jooksul, on vaja regulaarselt kontrollida oma süsteemi tulemusi, et veenduda, et eelarvamused pole teie andmestikku veel kord sisse hiilinud. Kaldumisega tegelemine ei ole ühekordne parandus; see nõuab pidevat valvsust.

Eelarvamuse võimendamise tulemus tähendab, et lihtsalt andmestike jätmine olemasolevaks, kuna see kujutab „reaalsust“… pole õige lähenemisviis, kuna AI moonutab niigi tasakaalustamatut vaatenurka.

Vältige kinnituse kallutamist

Tehke kindlaks, kas eelarvamused süsteemis loovad iseenesest täieliku ettekuulutuse ja takistavad valikuvabadust.

Compas AI süsteem, mida mõnes kohtusüsteemis kasutatakse süüdimõistetud kurjategija uuesti kuriteo toimepanemiseks, on näidanud süsteemseid põhivärve inimeste suhtes, mille tulemuseks on tingimisi keelu või pikemate vanglakaristuste andmine.

Kinnitusobjekt tugevdab eelarvamusi grupi või üksikisiku kohta. Selle tulemuseks on kajakamber, esitades teavet või võimalusi, mis on sarnased sellele, mille inimene on ise varem või enda jaoks valinud. Ülaltoodud näites näitas ProPublica artikkel, et Compas AI kasutatud algoritm liigitas mustal süüdistatavad valesti suure valesti toimepanemise riski ning liigitas valged süüdistatavad valesti madala riskitasemega ekslikult. Veel üks uuring näitas, et väljaõppeta Amazon Mechan Turk töötajad, kes kasutasid retsidivismi ennustamiseks vaid kuut tegurit, olid täpselt sama täpsed kui Compas, kasutades 157 tegurit (vastavalt 67% ja 65% täpsusega).

Isegi kui rass ei olnud üks kasutatavaid tegureid, ennustasid mõlemad ebatäpsemalt, et mustad kohtualused süüd uuesti esitavad ja valged süüdistatavad mitte. Selle põhjuseks on asjaolu, et teatud andmepunktid (nt vanglas viibimise aeg) on ​​võistlussõidu proksiks põgenenud tagasisideahelate loomiseks, mis mõjutavad ebaproportsionaalselt neid, mis on juba sotsiaalselt ebasoodsas olukorras.

Compas-süsteem on vaid üks näide, kuid elanikkonna osa seisab paljude siin käsitletud süsteemide, sealhulgas ennustava politseitöö, rakenduste laenutamise, teatevõistlusteenuste ja AI-abiliste sarnaste eelarvamuste all. Võib vaid ette kujutada, kui valus oleks iga päev mitmel rindel eelarvamuste ja tõrjutusega silmitsi seista. Nagu ka muud tüüpi eelpingestatuse korral, peate oma tulemusi katsetama, et näha kõrvalekaldeid aset leidval viisil, tuvastada kallutustegurid ja seejärel eemaldada need põgenevate tagasisideahelate katkestamiseks.

Väldi automaatika kallutamist

Tehke kindlaks, millal teie väärtused kirjutavad üle kasutaja väärtused, ja pakkuge kasutajatele võimalusi selle tühistamiseks.

AI iludusvõistlus pidi oma ilu hindamisel olema erapooletu, kuid peaaegu kõik võitjad olid valged.

Automaatika kallutatus sunnib enamuse väärtusi vähemuse suhtes, mis kahjustab mitmekesisust ja valikuvabadust. Seejärel pannakse AI-süsteemi loojate väärtused toime. Ülaltoodud näites tähistas AI iludusvõistlus koolitusandmete põhjal peamiselt valgeid nägusid kui kõige ilusamaid. Euroopa ilustandardid vaevavad täna mitte-eurooplaste fotode kvaliteeti, mille tulemuseks on tumedanahaliste inimeste fotode alasäritus ja AI-süsteemide raskused nende tuvastamisel. Selle tulemuseks on omakorda solvavad sildid (nt Google Photos “gorillajuhtum”) ja teatised (nt nutikad kaamerad, mis küsivad asiaatidelt, kas nad vilgutasid). Mis veelgi hullem, politsei näotuvastussüsteemid mõjutavad ebaproportsionaalselt aafrika ameeriklasi.

Selle eelarvamuse käsitlemiseks tuleb kõigepealt uurida väärtuspõhise eelarvamuse tulemusi (nt koolitusandmetel puudub mitmekesisus kõigi kasutajate või laiema elanikkonna esindamiseks, subjektiivsed sildid tähistavad looja väärtusi).

Varasemas näites, kus laenutatakse rakendusi, mis teevad otsuseid selle põhjal, kas keegi on suitsetaja või mitte, tuleb küsida, kas see tähistab loojate või elanikkonna enamuse väärtusi (nt suitsetamine on halb, seega suitsetajad on halvad). Naaske sotsiaalsüsteemide analüüsi juurde, et saada kasutajatelt tagasisidet, et teha kindlaks, kas nende väärtused või kultuurilised kaalutlused kirjutatakse üle. Kas teie kasutajad annaksid samu hinnanguid või soovitusi nagu AI? Kui ei, siis muutke treeningu andmeid, silte ja algoritme, et kajastada väärtuste mitmekesisust.

Koostoime kallutatuse leevendamine

Saate aru, kuidas teie süsteem õpib reaalajas toimuvast interaktsioonist, ja viige pahatahtliku kavatsuse leevendamiseks sisse kontrolli.

Inspirobot kasutab AI-d ja sisu, mida see veebist kraapib, et luua „inspireerivaid” tsitaate, kuid tulemused ulatuvad lõbustavalt veider kuni julma ja nihilistlikeni.

Interaktsioonide eelarvamused tekivad siis, kui inimesed suhtlevad AI süsteemidega või üritavad neid tahtlikult mõjutada ja luua kallutatud tulemusi. Inspiroboti looja teatas, et boti hinnapakkumised peegeldavad seda, mida see veebist leiab, ja tema katsed boti nihilistlikke suundumusi leevendada on neid ainult hullemaks teinud.

Teil ei pruugi olla võimalik vältida inimesi, kes üritavad teie AI-süsteemi tahtlikult kahjustada, kuid peaksite alati läbi viima „surmaeelse”, et selgitada välja viisid, kuidas teie AI-süsteemi saaks kuritarvitada ja kahju tekitada. Kui olete tuvastanud võimaliku kuritarvitamise, peaksite kontrollid võimalusel ära hoidma ja parandage see siis, kui te seda ei saa. Vaadake korrapäraselt üle andmeid, mida teie süsteem kasutab kallutatud andmepunktide õppimiseks ja kõrvaldamiseks.

Teil ei pruugi olla võimalik vältida inimesi, kes üritavad teie AI-süsteemi tahtlikult kahjustada, kuid peaksite alati läbi viima „surmaeelse”, et selgitada välja viisid, kuidas teie AI-süsteemi saaks kuritarvitada ja kahju tekitada.

Kuhu siit edasi minna

AI eelarvamused peegeldavad eelarvamusi meie laiemas ühiskonnas. Eetika integreerimine AI-sse on parandanud palju suurema probleemi sümptomeid. Peame ühiskonnana otsustama, et väärtustame kõigi jaoks võrdsust ja võrdsust ning teeme seda reaalses elus, mitte ainult meie AI-süsteemides. AI-l on potentsiaali olla suur demokratiseerija või suurendada sotsiaalset ebaõiglust ja teie enda otsustada, millisel spektri poolel soovite oma toodet (tooteid) kasutada.

Aitäh Justin Tauber, Liz Balsam, Molly Mahar, Ayori Selassie ja Raymon Sutedjo-The kogu tagasiside eest!

Jälgi meid saidil @SalesforceUX.

Kas soovite meiega koostööd teha? Võtke ühendust aadressil uxcareers@salesforce.com