Parim 2019. aasta süvaõppe uuring

Oleme 2019. aasta esimese kvartaliga just lõpetanud ja sügava õppe tehnoloogia uurimistöö seisab ees väga heal klipil. Jälgin regulaarselt AI teadlaste jõupingutusi, et saada teada, kuhu see tehnoloogia suubub. See ettenägelikkus võimaldab mul oma aega paremini optimeerida veendumaks, et tean, mida ma ei tea. Selle tulemusel proovin tarbida vähemalt ühte teadustööd nädalas valdkonnas, kus võib olla sadu või võib-olla tuhandeid.

Selles artiklis aitan teid natuke aega kokku hoida, kureerides praeguse 2019. aastal seni avaldatud uurimistöö kogumi alljärgneva hallatava lühinimekirja alla. Filtreerisin oma valikud kaasata pabereid, millel on ka seotud GitHubi repoteek. Naudi!

Kiire graafikuesituse õppimine PyTorch Geometric abil

See uurimistöö tutvustas PyTorch Geometric, raamatukogu süvaõppe õppimiseks ebakorrapäraselt struktureeritud sisendandmete kohta, nagu graafikud, punktpilved ja kollektorid, mis on üles ehitatud PyTorchile. Lisaks üldistele graafiliste andmete struktuuridele ja töötlemismeetoditele sisaldab see mitmesuguseid hiljuti avaldatud meetodeid relatsioonõppe ja 3D-andmetöötluse valdkondadest. PyTorch Geometric saavutab suure andmeedastuse läbi hõreda GPU kiirenduse võimendamise, spetsiaalsete CUDA-tuumade pakkumise ja erineva suurusega sisestusnäidete efektiivse mini-partiihalduse juurutamise. Kood on saadaval GitHubis.

[Seotud artikkel: 2018. aasta kõige mõjukamad andmeteaduslikud uurimistööd]

Maski hinne R-CNN

Eksemplaride segmenteerimise ülesandes kasutatakse eksemplaride klassifitseerimise kindlust maskide kvaliteediskoorina enamikul juhtudel segmentimisraamistikes. Selles artiklis uuritakse seda probleemi ja pakutakse välja Mask Scoring R-CNN, mis sisaldab võrguplokki, et õppida ennustatavate esinemismaskide kvaliteeti. Maski hindamisstrateegia kalibreerib maski kvaliteedi ja maski skoori vahelise erinevuse ning parandab astmete segmenteerimise jõudlust, tähtsustades maski täpsemaid ennustusi COCO AP hindamise ajal. Kood on saadaval GitHubis.

Suure täpsusega pildi genereerimine vähem siltidega

Sügavad generatiivsed mudelid on muutumas tänapäevase masinõppe nurgakiviks. Hiljutine töö tinglike generatiivsete konkureerivate võrkude (GAN) alal on näidanud, et keerukate, kõrgmõõtmeliste jaotuste õppimine looduslike piltide vahel on käeulatuses. Kuigi uusimad mudelid suudavad luua suure täpsusega suure täpsusega ja mitmekesiseid looduspilte, toetuvad nad tohutule hulgale märgistatud andmetele. See artikkel näitab, kuidas saab kasu hiljutisest enese- ja pooljärelevalvega seotud õppetööst, et edestada nüüdisaegseima tehnoloogia (SOTA) edusamme nii juhendamata ImageNeti sünteesil kui ka tingimustes. Kood on saadaval GitHubis.

GCNv2: efektiivse kirjavahetuse ennustamine reaalajas SLAM-i jaoks

See artikkel tutvustab sügavat õppepõhist võrku GCNv2 võtmepunktide ja kirjelduste genereerimiseks. GCNv2 on üles ehitatud eelmisele meetodile, 3D-projektiivse geomeetria jaoks koolitatud võrgule GCN. GCNv2 on konstrueeritud koos binaarse deskriptorvektoriga, mis on ORB funktsioon, nii et see võib hõlpsalt asendada ORB sellistes süsteemides nagu ORB-SLAM. Kood on saadaval GitHubis.

[Seotud artikkel: teksti klassifitseerimise süvaõpe]

ALiPy: aktiivne õpe Pythonis

Juhendatud masinõppe meetodid nõuavad tavaliselt palju koolitust märgistatud näidetega. Kuid paljudes reaalsetes rakendustes on rikkalikult märgistamata andmeid, kuid piiratud märgistusega andmeid; ja siltide omandamine on kulukas. Aktiivne õpe (AL) vähendab märgistamise kulusid, valides iteeratiivselt kõige väärtuslikumad andmed, et nende sildilt päringuid annotaatorist teha. See artikkel tutvustab Pythoni liigaboksi ALiPy aktiivseks õppimiseks. Kood on saadaval GitHubis.

DeepFashion2: mitmekülgne võrdlusalus rõivaste piltide tuvastamiseks, poseerimiseks, segmenteerimiseks ja uuesti tuvastamiseks

Moepiltide mõistmist on edendanud rikkalike annotatsioonidega võrdlusalused, näiteks DeepFashion, mille etikettidel on rõivaste kategooriad, maamärgid ja tarbija-kaubandusliku pildi paarid. Kuid DeepFashionil on selliseid olulisi probleeme nagu üksikud rõivaesemed kujutise kohta, hõredad orientiirid (ainult 4 ~ 8) ja pikslimaskideta maskid, mis loob tegeliku stsenaariumi korral olulise erinevuse. See paber täidab lünga, esitades DeepFashion2 nende probleemide käsitlemiseks. See on nelja ülesande mitmekülgne etalon, sealhulgas riiete tuvastamine, poseerimise hinnang, segmenteerimine ja otsimine. Kood on saadaval GitHubis.

StarCraft mitme agendi väljakutse

Viimase paari aasta jooksul on sügava multiagendiga tugevdamise õppimisest (RL) saanud väga aktiivne uurimisvaldkond. Sellealane eriti keeruline probleemiklass on osaliselt jälgitav, koostööl põhinev ja mitme agendiga õppimine, kus agentide meeskonnad peavad õppima oma käitumist koordineerima, tuginedes ainult oma isiklikele tähelepanekutele. See on atraktiivne uurimisvaldkond, kuna sellised probleemid on olulised paljude reaalses maailmas kasutatavate süsteemide jaoks ja neid on ka paremini võimalik hinnata kui üldisi probleeme. Standardiseeritud keskkonnad nagu ALE ja MuJoCo on võimaldanud üheagendil RL liikuda mänguasjapiirkondadest kaugemale, näiteks võrgumaailmadest. Mitmeagentuurilise ühistu RL puhul pole aga võrreldavat võrdlusalust. Selle tulemusel kasutatakse enamikus selle valdkonna paberites ühekordseid mänguasjaprobleeme, mis raskendab tegelike edusammude mõõtmist. Selles dokumendis pakutakse StarCraft Multi-Agent Challenge (SMAC) välja võrdlusprobleemina selle lünga täitmiseks. Kood on saadaval GitHubis.

Väljalangevus on stohhastilise delta reegli erijuhtum: kiirem ja täpsem sügav õppimine

Mitmekihilised närvivõrgud on viinud silmapaistvate tulemusteni mitmesugustel teksti-, kõne- ja pilditöötluse võrdlusalustel. Hierarhiliste mudelite mittelineaarsete parameetrite hindamisel on teada, et nad on liiga kohandatud ja valesti määratletud. Üks lähenemisviis nendele hinnangutele ja nendega seotud probleemidele (kohalikud miinimumid, kaas-lineaarsus, tunnuse leidmine jne) nimetatakse väljalangemiseks. Väljalangemise algoritm eemaldab enne iga värskendust varjatud ühikud vastavalt Bernoulli juhuslikule muutujale tõenäosusega p, luues võrgule juhuslikke „šokke”, mille keskmisena arvestatakse värskendusi. See paber näitab, et väljalangemine on 1990. aastal algselt avaldatud üldisema mudeli, st Stochastilise Delta reegli ehk SDR, erijuhtum. Kood on saadaval GitHubis.

Lingvo: modulaarne ja skaleeritav raamistik järjestuste modelleerimiseks

Lingvo on Tensorflowi raamistik, mis pakub täielikku lahendust süvaõppe alaste ühiste teadusuuringute jaoks, pöörates erilist tähelepanu jada järjestuste mudelitele. Lingvo mudelid koosnevad modulaarsetest ehitusplokkidest, mis on elastsed ja hõlpsasti laiendatavad ning eksperimentide konfiguratsioonid on tsentraliseeritud ja väga kohandatavad. Jaotatud väljaõpet ja kvantiseeritud järeldusi toetatakse otse raamistikus ning see sisaldab suure hulga utiliitide, abistajafunktsioonide ja uusimate uurimisideede olemasolevaid rakendusi. Lingvot on viimase kahe aasta jooksul kasutanud kümmekond teadlast enam kui 20 ettekandes. See dokument kirjeldab Lingvo aluseks olevat kujundust ja on sissejuhatus raamistiku eri osadesse, pakkudes samas ka näiteid täiustatud funktsioonidest, mis tutvustavad raamistiku võimalusi. Kood on saadaval GitHubis.

Adaptiivsed gradientmeetodid dünaamilise õppimiskiirusega

Kiire treenimisprotsessi saavutamiseks on pakutud kohanemisvõimelisi optimeerimismeetodeid, nagu AdaGrad, RMSProp ja Adam, kasutades õpimäärade elementaarset skaleerimist. Ehkki need on valdav, üldistatakse neid üldjuhul vähe, võrreldes SGDga, või ei suuda nad ebastabiilse ja ekstreemse õpimäära tõttu isegi ühtlustuda. See artikkel näitab, et ekstreemsed õppimismäärad võivad viia kehva tulemusteni. Pakutakse Adamsi ja AMSGradi uusi variante, vastavalt AdaBound ja AMSBound, mis kasutavad dünaamilisi piiranguid õppimiskiirusele, et saavutada järkjärguline ja sujuv üleminek adaptiivsetelt meetoditelt SGD-le ja anda lähenemise teoreetiline tõend. Edasised katsed viidi läbi mitmesuguste populaarsete ülesannete ja mudelitega. Katsetulemused näitavad, et uued variandid võivad kõrvaldada üldistava lõhe adaptiivsete meetodite ja SGD vahel ning säilitada samal ajal suurema õppimiskiiruse. Kood on saadaval GitHubis.

Toimetaja märkus: kas soovite rohkem teada saada süvaõppe kohta isiklikult? Osalege ODSC East 2019 sellel aprillil 30. – 3. Mail Bostonis ja saate nõu otse ekspertidelt!

Lugege rohkem andmeteadusartikleid OpenDataScience.com, sealhulgas õpetused ja juhendid algajast edasijõudnutele! Tellige meie iganädalane uudiskiri siin ja saate igal neljapäeval värskeimaid uudiseid.