AutoML: autonoomse sõidu jaoks masinõppe mudelite kavandamise automatiseerimine

Autorid: Shuyang Cheng ja Gabriel Bender *

Waymis mängib masinõpe võtmerolli peaaegu igas isesõitmissüsteemi osas. See aitab meie autodel näha oma ümbrust, mõtestada maailma, ennustada, kuidas teised käituvad, ja otsustada oma järgmise parima käigu kohta.

Võtke ettekujutust: meie süsteem kasutab närvivõrkude kombinatsiooni, mis võimaldab meie sõidukitel sensori andmeid tõlgendada, et objekte tuvastada ja neid aja jooksul jälgida, et sel oleks sügav arusaam ümbritsevast maailmast. Nende närvivõrkude loomine on sageli aeganõudev ülesanne; Neuraalvõrguarhitektuuri optimeerimine isesõitvate autodega sõitmiseks vajaliku kvaliteedi ja kiiruse saavutamiseks on keeruline peenhäälestamise protsess, mis võib meie inseneridel võtta uue ülesande täitmiseks mitu kuud.

Koostöös Braini meeskonna Google AI teadlastega rakendame praktikas tipptasemel teadusuuringuid, et genereerida närvivõrgud automaatselt. Veelgi enam, need tipptasemel närvivõrgud on kvaliteetsemad ja kiiremad kui inseneride käsitsi peenhäälestatud võrgud.

Isesõitmise tehnoloogia viimiseks erinevatesse linnadesse ja keskkondadesse peame optimeerima oma mudeleid erinevate stsenaariumide jaoks suure kiirusega. AutoML võimaldab meil just seda teha, pakkudes tõhusalt ja pidevalt suurt hulka ML-lahendusi.

Siirdeõpe: olemasolevate AutoML-i arhitektuuride kasutamine

Meie koostöö algas lihtsa küsimusega: kas AutoML võiks autole genereerida kvaliteetse ja madala latentsusega närvivõrgu?

Kvaliteet mõõdab närvivõrgustiku vastuste täpsust. Latentsus mõõdab, kui kiiresti võrk oma vastused pakub, mida nimetatakse ka järeldamisajaks. Kuna sõitmine on tegevus, mis nõuab, et meie sõidukid kasutaksid reaalajas vastuseid, ja arvestades süsteemi ohutuskriitilist olemust, peavad meie närvivõrgud töötama madala latentsusajaga. Enamik võrke, mis töötavad otse meie sõidukitel, annavad tulemusi vähem kui 10ms, mis on kiirem kui paljud tuhandetes serverites töötavates andmekeskustes kasutatavad võrgud.

Algses AutoML-dokumendis [1] suutsid meie Google AI kolleegid CIFAR-10 klassikalise pildi tuvastamise ülesande lahendamiseks uurida automaatselt enam kui 12 000 arhitektuuri: tuvastada väike pilt ühe kümnest kategooriast, näiteks auto , lennuk, koer jne. Jätkamisdokumendis [2] avastasid nad NAS-rakkude nimega närvivõrkude ehitusplokkide perekonna, mille võiks moodustada automaatselt paremaid kui käsitsi valmistatud võrgud CIFAR-10 jaoks. jms ülesanded. Selle koostöö abil otsustasid meie teadlased kasutada neid rakke uute mudelite loomiseks automaatseks isesõitmiseks mõeldud ülesannete jaoks, viies sellega CIFAR-10 õpitu meie valdkonda. Meie esimene katse oli semantilise segmenteerimise ülesandega: tuvastada LiDAR-i punktipilves iga punkt kas auto, jalakäija, puu jne.

Üks NAS-lahtri näide. See lahter töötleb kahe eelneva kihi sisendeid närvivõrgus.

Selleks lõid meie teadlased automaatse otsingu algoritmi sadade erinevate NAS-i rakukombinatsioonide uurimiseks konvolutsioonilises võrguarhitektuuris (CNN), koolitades ja hinnates mudeleid meie LiDAR-i segmenteerimisülesande jaoks. Kui meie insenerid neid võrke käsitsi viimistlevad, saavad nad uurida vaid piiratud hulgal arhitektuure, kuid selle meetodi abil uurisime automaatselt sadu. Leidsime mudeleid, mis parandasid varasemalt käsitsi meisterdatud kahel viisil:

  • Mõnedel oli sarnase kvaliteediga latentsus oluliselt madalam.
  • Teistel oli sarnase latentsusajaga veelgi kõrgem kvaliteet.

Seda esialgset edu silmas pidades rakendasime sama otsingu algoritmi kahele lisaülesandele, mis on seotud liiklusradade tuvastamise ja lokaliseerimisega. Ülekandeõppe tehnika töötas ka nende ülesannete jaoks ja me saime autole paigaldada kolm äsjaõppinud ja täiustatud närvivõrku.

Otsesuunaline otsing: uute arhitektuuride otsimine nullist

Need esimesed tulemused julgustasid meid, seega otsustasime minna sammu edasi, otsides laiemalt täiesti uusi arhitektuure, mis võiksid pakkuda veelgi paremaid tulemusi. Kui me ei piirduks juba avastatud NAS-i lahtrite ühendamisega, võiksime otsida arhitektuure, mis võtsid arvesse meie ranget latentsusaega.

Otspunktide otsimine nõuab tavaliselt tuhandete arhitektuuride käsitsi uurimist, mis nõuab suuri arvutuskulusid. Ühtse arhitektuuri uurimine nõuab mitmepäevast koolitust mitme GPU-kaardiga andmekeskuse arvutis, mis tähendab, et ühe ülesande otsimine võtab tuhandeid päevi arvutusi. Selle asemel kavandasime puhverserveri ülesande: vähendatud LiDAR-i segmentimisülesande, mille saaks lahendada vaid mõne tunniga.

Üks väljakutse, mille meeskond pidi ületama, oli puhverserveri ülesande leidmine, mis oleks piisavalt sarnane meie algse segmenteerimisülesandega. Katsetasime mitu puhverserveri ülesande kujundust, enne kui suutsime kindlaks teha hea korrelatsiooni selle ülesande ja algse ülesande arhitektuuride kvaliteedi vahel. Seejärel käivitasime otsingu, mis sarnanes algse AutoML-i paberi otsinguga, kuid nüüd puhverserveri ülesande osas: puhverserveri otspunktotsing. See oli esimene kord, kui seda mõistet rakendati LiDARi andmete kasutamiseks.

Puhverserveri otsotsing: uurige vähendatud puhverserveriülesande abil tuhandeid arhitektuure, rakendage 100 parimat algsele ülesandele, kinnitage ja juurutage parimatest parimatest arhitektuuridest autos.

Kasutasime mitmeid otsingu algoritme, optimeerides kvaliteeti ja latentsust, kuna see on sõidukil kriitiline. Vaadates eri tüüpi CNN-i arhitektuure ja kasutades erinevaid otsimisstrateegiaid, näiteks juhusliku otsingu ja tugevdamise õppimist, saime puhverserveri ülesande jaoks uurida enam kui 10 000 erinevat arhitektuuri. Puhverserveri ülesande kasutamisel kulus vaid kahe nädala jooksul see, mis oleks Google TPU klastris võtnud üle aasta arvutusaja. Leidsime veelgi paremad võrgud kui varem, kui olime just NAS-i kärjed üle kandnud:

  • 20–30% madalama latentsusajaga närvivõrgud ja sama kvaliteediga tulemused.
  • Kvaliteetsemad närvivõrgud, 8–10% madalama veamääraga, sama latentsusega kui eelmised arhitektuurid.
1) Esimene graafik näitab umbes 4000 arhitektuuri, mis avastati juhusliku otsinguga lihtsal arhitektuurikomplektil. Iga punkt on koolitatud ja hinnatud arhitektuur. Kindel joon tähistab parimaid arhitektuure erinevatel järeldamisaja piirangutel. Punane punkt näitab siirdeõppega loodud võrgu latentsust ja jõudlust. Selles juhuslikus otsingus polnud võrgud nii head kui siirdeõppe korral. 2) Teises graafikus näitavad kollased ja sinised punktid veel kahe otsingu algoritmi tulemusi. Kollane oli juhuslik otsing täpsustatud arhitektuuride komplekti järgi. Sinine kasutas tugevdusõpet nagu [1] ja uuris enam kui 6000 arhitektuuri. See andis parimaid tulemusi. Need kaks täiendavat otsingut leidsid ülekandeõppe korral võrgud, mis olid oluliselt paremad kui võrk.

Mõned otsingust leitud arhitektuurid näitasid konvolutsioonide, koondamise ja dekonvolutsioonide loomingulisi kombinatsioone, nagu näiteks alloleval joonisel. Need arhitektuurid töötasid meie LiDARi algse segmenteerimise jaoks väga hästi ja neid hakatakse kasutama Waymo isesõitvatel sõidukitel.

Üks puhverserveri otspunktide otsimisel avastatud närvivõrgu arhitektuuridest.

Mis järgmiseks

Meie AutoML-i katsetused on alles algus. Meie LiDAR-i segmenteerimisülesannete jaoks pakkusid nii siirdeõpe kui ka puhverserveri otspunktotsing võrgud, mis olid paremad kui käsitsi meisterdatud. Nüüd on meil võimalus neid mehhanisme rakendada ka uut tüüpi ülesannete jaoks, mis võiksid parendada paljusid teisi närvivõrke.

See areng avab uusi ja põnevaid võimalusi meie tulevases ML-i töös ning parandab meie isesõitva tehnoloogia jõudlust ja võimalusi. Ootame oma töö jätkamist Google AI-ga, nii et püsige veel kursis!

Viited

[1] Barret Zoph ja Quoc V. Le. Neuraalse arhitektuuri otsing tugevdusõppe abil. ICLR, 2017.

[2] Barret Zoph, Vijay Vasudevan, Jonathon Shlens, Quoc V. Le, skaalautuva pildi tuvastamise ülekantavate arhitektuuride õppimine. CVPR, 2018.

* Tänusõnad

Selle Waymo ja Google'i vahelise koostöö algatasid ja sponsoreerisid Waymo Matthieu Devin ja Google'i Quoc Le. Tööd viisid läbi Waymo Shuyang Cheng ning Google'i Gabriel Bender ja Pieter-jan Kindermans. Lisateave Vishy Tirumalashetty toetuse eest.

Waymo ja Google'i meeskondade liikmed (vasakult): Gabriel Bender, Shuyang Cheng, Matthieu Devin ja Quoc Le