Inimese ja masina koostöö õppimine

Vadim Tschernezki, Moin Nabi ja Tassilo Klein (ML Research Berlin)

Oleme jõudnud uude ajastusse, kus arvutusvõimsust, salvestamist ja suurandmete kättesaadavust on pidevalt ja tugevalt parendatud. Süvaõpe on osutunud ideaalseks tehnikaks nende suundumuste ärakasutamisel, seades end juhendatud õppe de facto standardiks. Kuid selline õppimine nõuab andmete märgistamist, mis üldiselt nõuab andmete kureerimisel suuri kulutusi. Seetõttu on tekkimas alternatiivsed paradigmad, mis võimaldavad maksimeerida tohutu hulga teabe potentsiaali uuel ja selgelt eristataval viisil. Selles ajaveebipostituses tutvustame kontseptsiooni, mis ühendab inimeste ja masinate tugevused ühiselt. Kuid enne üksikasjade lähemalt tutvumist alustame looga, mis tutvustab selle lähenemisviisi eeliseid.

1997. aastal alistas Garry Kasparov maleturniiril turniirimääruste kohaselt superarvuti (Deep Blue). See oli iseloomulik sündmus, kus valitsev maailma male meister alistas masina. Samal ajal kui Kasparov sellest kogemusest veel toibus, ammutas ta inspiratsiooni ka Deep Bluest. Ta küsis endalt: "Mis siis, kui saaksin mängida arvuti vastu - teise minu küljes oleva arvutiga -, mis ühendaks endas meie tugevad küljed, inimese intuitsiooni ja masina arvutuse, inimstrateegia, masina taktikad, inimkogemused, masina mälu?"

Kasparovi idee inimese ja masina koostööst males realiseeriti 2005. aastal edukalt arvutipõhisel maleturniiril, kus suurärimehed tegid koostööd superarvutitega. Tulemus oli üsna ootamatu: võitjateks olid paar amatöör-Ameerika maletajat, kes opereerisid korraga kolme tavalist arvutit. Näib, et sel juhul oli mängijate oskus arvutit juhtida väga oluline roll. Siit tuleneb küsimus, kas sellist laadi koostööd saab kasutada ka muude ülesannete jaoks. Järgmistes lõikudes antakse ülevaade tekkivatest lähenemisviisidest selles kontekstis.

Lähenemisviisid ja suundumused

Masinad kui kaastöötajad, mitte ainult tööriistad

Inimeste ja masinate võrdlemisel on ilmne, et mõlemal poolel on väga unikaalsed omadused ja tugevused. Inimesed teevad suurepäraselt oma teadmistele tuginedes intuitiivseid ja loovaid otsuseid. Arvutid on võimelised töötlema tohutul hulgal andmeid, et saada kokku lühendatud tähenduslikku teavet uute teadmiste saamiseks ja paremate otsuste tegemiseks. Nende eristavate tugevate külgede sünergia ärakasutamine näib olevat järgmine loomulik samm.

Teadusuuringutes on selliseid kombinatsioone uuritud põhjalikumalt viimaste aastate jooksul ja nad on järk-järgult rohkem hoogu sisse saanud. Ühe lähenemisviisi pakkusid välja Mintz et al. märgistamata andmete kasutamine suhete eraldamise mudelite täiustamiseks kaugjärelevalve kaudu. Eelkõige kasutavad nad inimese kureeritud andmebaasi heuristilise märgistamise funktsiooni kujundamiseks ja selle klassifitseerija koolitusprotseduurile lisamiseks. Seejärel saab klassifikaator eraldada ülitäpse mustri mõistliku arvu suhete jaoks. Kuna teadlased kavandavad märgistamisfunktsiooni, mis lähendab inimese annotaatori märgistamiskäitumist, muudab see järelevalve „kaugeks”.

Veel üks tehnika, mille on välja töötanud Wang jt. parandab arvuti nägemise valdkonnas objektide tuvastamist sildistamata piltide kaudu isevalvatava proovivõtmise kaudu. Selle meetodi oluline osa põhineb usaldusväärsete piirkonnaettepanekute automaatsel leidmisel ja pseudomärgistamisel objektidetektori täiustamiseks. See saavutatakse, kleepides need ettepanekud erinevatesse märgistatud piltidesse, et igakülgselt hinnata nende järjepidevuse väärtusi erinevates pildikontekstides. Ehkki need pildid on pseudomärgistatud, aitavad need tõhusalt kaasa tuvastustäpsuse ja mürarikaste proovide vastupidavuse parandamisele. Lõpuks märkivad mõlemad kirjeldatud lähenemisviisid sildistamata andmed automaatselt ja vähendavad seeläbi inimeste juhendamise ulatust koolitusprotsessis.

Inimese juhendamise integreerimine aktiivõppesse

Võrreldes eelmise kontseptsiooniga, kus andmekogumit laiendatakse masinakommenteeritavate andmetega, võiksime lasta õppijal valida ka keerukaid proove ja paluda inimesetreeneril neid märkida, sellest ka nimi aktiivõpe. Meetod osutub väga tõhusaks, eriti olukordades, kus proovide koolitamiseks on piiratud eelarve - eksperdid saavad keskenduda väljakutsuvatele juhtumitele, samal ajal kui masin võtab enamuse proovidest, mida tavaliselt on lihtne lahendada.

Aktiivse õppimise intuitsiooni selgitamiseks mõelge koerte piltide märgistamise tõu suhtes lihtsale ülesandele. Alustame põhiandmebaasiga, mis sisaldab märgistatud pilte koertest. See andmestik võib koolituse väljakutseks olla mitmel viisil: see võib enamasti sisaldada kaamera poole suunatud koerte pilte, muutes koolitatud mudeli koerte küljest kuvatavaks. See võib sisaldada ka tasakaalustamatul hulgal proove iga tõu kohta. Või võib see sisaldada sarnaseid nägusid tõusid, näiteks Belgia malinois ja saksa lambakoer. Sellistel juhtudel vajaksid nii inimesed kui ka masinad iga tõu kohta rohkem näiteid, et õppida koeri õigesti klassifitseerima. Aktiivõpe aitab sedalaadi probleeme lahendada.

Kujutage ette, et me suudaksime teatud baasandmestikus treenitud mudeli abil saavutada täpsuse 80%. Meile eraldatakse eelarve kuni 100 uue pildi märgistamiseks 1000-st sildistamata ja eesmärk on kasutada seda eelarvet arukalt, kuna ekspertide toetamine märgistamiseks on kulukas. Seetõttu peaksime selle asemel, et juhuslikult valida 100 proovi, peaksime pigem laskma oma masinaõppijal valida kõige raskemad valimid või sellised, mis kõige paremini kajastavad aluseks olevat andmete jaotust ja vähendavad liigset koondamist. Lasime mudelil soovitada eksperdile neid 100 proovi märgistamiseks, mille jaoks ta määraks madala usalduse või suure ebakindlusega sildid. Nii võib meie masinõppija täpsus tõusta pärast väljaõpet 95% -ni 90% asemel seadistuses, kus kasutati juhuslikult märgistatud proove. Teise võimalusena võiksime ka lihtsalt vähendada märgistatud andmete hulka ja koolitada mudeli sama täpsusega 90%, kuid vähem kulusid.

Võistlejate koolitus: mõlema parima ühendamine

Aktiivõppe ja automaatse märgistamise järkjärgulise täiustamise ühendamiseks vajame masinõppijat, mis koosneb kahest mudelist. Esiteks diskrimineeriv mudel antud proovide ennustamistäpsuse määramatuse mõõtmiseks (aktiivõpe) ja teiseks generatiivne mudel proovide pseudo-maa tõe ennustamiseks (automaatne märgistamine). Õppija koolituse efektiivsuse suurendamiseks on meie eesmärk optimeerida mõlemad mudelid konkureeriva koolituse kaudu. Sel viisil saab diskrimineerivat mudelit kasutada ka generatiivse mudeli ennustustele määramatuste määramiseks ja prognooside täpsuse suurendamiseks. Teadlaskonnas tugevat mainet saavutanud ja esitatud nõudeid täitvat nüüdisaegset mudelit nimetatakse generatiivseks võistlusvõrgustikuks (Generative Adversarial Network, GAN).

Inimese ja masina koostöö õppimine GAN-ide abil

Arvestades ülaltoodud joonisel näidatud raamistikku, kasutame kõigepealt generaatorit (G), et ennustada annoteerimata andmete pseudo-maa tõde. Kuna diskrimineerija (D) on võimeline määrama mitte ainult tegeliku, vaid ka G poolt ennustatud ebaselguse, siis saame märgistamata proove sorteerida raskuse või D määramatuse järgi. Määratleme proovid, mille jaotust pole täielikult tabanud veel nii keeruline ja lase D-l neid inimese annotaatorile soovitada. Kasutame G-ga automaatselt annoteeritud andmete tootmiseks ka teisi lihtsaid väikese määramatusega proove. Inimese juhendamine annab tugevama D, mis on kohandatud õpetaja määratud ülesande nõuetele (aktiivõpe). Parandatud D omakorda sunnib G-d ennustama kõrgema kvaliteediga pseudo-maa tõde (automaatne annotatsioon). Selle korduva täiustamise tõttu kujutavad GAN-id loomulikku raamistikku inimese ja masina ühendamiseks üheks ühiselt optimeeritud treeningprotseduuriks.

Kui ulme on täis masinaid ja roboteid, mis ähvardavad inimkonda ja loovad seeläbi kahtluskeskkonna, siis võistleva koolitusega inimese koostöös õppimise kontseptsioon näitab, kuidas masinad saavad meie tööd ja elu mõistlikult täiendada. Kirjeldatud lähenemisviisil on tegelikult suur potentsiaal muuta paljusid rakendusi, näiteks tervishoiusektoris. Eriti arendab meie meeskond praegu 3D-kardiovaskulaarse magnetresonantskujutise (MR) segmenteerimise lähenemisviisi, mis on oluline eeldus patsiendispetsiifiliste südamemudelite loomiseks ja seeläbi keeruliste südamehaiguste raviks. Meie eesmärk on luua mudel, mis õpib ise loodud segmentidest ja soovitab aktiivselt keerulisi MR-pilte ekspertidele käsitsi segmentimiseks. See võib märkimisväärselt vähendada selle keeruka protseduuri kulusid ja aega, nii et radioloogid saaksid pühendada patsiendi ravile rohkem aega. Kuigi see konkreetne näide näitab kenasti kontseptsiooni positiivset mõju ühiskonnale, on tervishoiusektorist väljaspool palju rakendusalasid, mis saavad kasu selle valdkonna uuringute tulemustest.

MIDL 2019 täieliku uurimistöö leiate siit: ebakindlusest lähtuv semantiline segmenteerimine inimese-masina koostöö kaudu