Inženirski vodnik za vgrajeni AI

Week 0, continued (Junij 2019).

$config[ads_text] not found
Anonim

Na voljo so številni viri, ki bodo inženirjem pomagali raziskati, kako izkoristiti nov svet globokega učenja v svojih modelih, omejenih z močjo

Rick Merritt, vodja Silicon Valley, EE Times

Če iščete prve korake v globoko učenje, niste sami in veliko virov.

Globične nevronske mreže so v bistvu nov način računanja. Namesto pisanja programa za zagon na procesorju, ki izpluje iz podatkov, pretakate podatke preko algoritmičnega modela, ki filtrira rezultate.

Pristop je začel pridobivati ​​pozornost po tekmovanju ImageNet za leto 2012, ko so nekateri algoritmi dosegli boljše rezultate, ki identificirajo slike kot človeka. Računalniška vizija je bila prvo polje, ki je občutilo velik napredek.

Od takrat so spletni giganti, kot so Amazon, Google in Facebook, začeli uporabljati globoko učenje za video, govor, prevod - kjerkoli so imeli velike zbirke podatkov, ki bi jih lahko razčesali, da bi našli nove vpoglede. Nedavno je Google CEO Sundar Pichai dejal, da so tehnike tako temeljite kot odkrivanje električne energije ali požara.

Požar je hitro ujel. Lansko leto je bilo več kot 300 milijonov pametnih telefonov dobavljenih z neko obliko zmožnosti nevronske mreže; 800.000 pospeševalcev umetne inteligence (AI) bo letos dostavilo podatkovnim centrom in vsak dan 700 milijonov ljudi uporablja nekakšno obliko pametnega osebnega asistenta, kot je Amazon Echo ali Apple's Siri, je dejal CC Wei, izvršni direktor čipkarjev TSMC . Danes je imenoval AI in 5G dva gonila industrije polprevodnikov.

Torej, če razmišljate o vašem prvem krovu ali projektu SoC za AI, imate veliko podjetij. In obstaja veliko pomoči.

Za več kot 50 podjetij je že rečeno, da prodajajo ali pripravljajo določeno vrsto pospeševalcev silicijevega pospeševanja. Nekateri so IP bloki za SoC, nekateri so čipi, nekateri pa sistemi.

Pred začetkom razvrščanja pa je nekaj pomembnih korakov, ki jih Jeff Bier, ustanovitelj vgrajenega vgrajenega vizija, imenuje "kambrijska eksplozija" novih izdelkov AI.

Prvič, merilnik, kjer vaša aplikacija velja za širok spekter zahtev glede učinkovitosti AI. To vam bo pomagalo hitro odpraviti številne možnosti silicija in programske opreme ter nič na nekaj, ki so najbolj primerne za vaše naloge.

Na enem koncu morajo avtomobili, ki vozijo sami, razvrščati skozi vire iz več kamer, radarjev, lidarjev in drugih senzorjev, da bi lahko odločali o vožnji v realnem času. Potrebujejo mrežo namenskih pospeševalcev.

Na drugi strani bi senzorska omrežja na poljubnem polju morda morala le odkriti in poročati o znatni spremembi vlage v tleh, ki bi se iztekla na uro ali celo na dan, ko bi prišlo do spremembe. Tu lahko zadostuje prehod z mikrokrmilnikom Arm Cortex-M, ki vodi svojo knjižnico CMSIS-DSP, je dejal Bier.

Jeff Bier je ustanovitelj zavezništva Embedded Vision.

Naslednji korak je izbiranje in usposabljanje pravega modela nevronske mreže iz abecede jušnih možnosti. Dve od najbolj priljubljenih so convolutional neural net (CNNs), na splošno za slikanje in ponavljajoče se nevronske mreže (RNNs), običajno za glas in zvok. Vendar pa znanstveniki s podatkovami poganjajo nove variante in hibridne kroge skoraj vsak dan, ko se uporabljajo primeri uporabe.

Dobra novica je, da raziskovalci pogosto objavljajo svoje najnovejše algoritme s pomočjo tehničnih dokumentov, v upanju, da bodo dobili oprijem. Modele lahko najdemo tudi preko okvirov programske opreme AI, ki jih spletni giganti vzdržujejo in oglašujejo, kot so Amazonova MxNet, Googleova TensorFlow, Facebookova Caffe2 in Microsoftova CNTK 2.0.

Nato morate poiskati ustrezne zbirke podatkov za svojo aplikacijo, jih označiti in jih uporabiti za usposabljanje algoritemskega modela, ki ste ga izbrali. Nekateri nizi podatkov so na voljo v javni domeni, vendar za najboljše rezultate boste morda morali ustvariti ali vsaj prilagoditi enega za svoje potrebe.

Podjetja za servisiranje, kot sta Samasource in iMerit, se pomikajo, da bi pomagali pri ukrotivanju in označevanju velikih nizov podatkov. Spletni velikani, kot so Amazon, Google in Microsoft, imajo tudi orodja za začetek v upanju, da boste svoje oblačne storitve uporabljali za usposabljanje in zagon vaših modelov.

V programe za živo in spletno izobraževanje lahko preberete podrobnosti. Na primer, Bierov letni vgrajeni vidni vrh vodi enodnevni tečaj usposabljanja za TensorFlow, enega izmed najbolj priljubljenih okvirov AI. Startup Fast.ai izvaja tudi vrsto spletnih tečajev .

Po pričakovanjih bo to poletje oskrunilo in posredovalo podrobnosti o svojem jedrnem jedru ML. Vir slike: Arm.
Izbira pravega silicija
Veliko aplikacij morda ne potrebuje posebnega silicija, če dobite programsko opremo pravilno. Obstoječi čipi, kot je Snapdragon Qualcomm, lahko dosežejo "izjemne rezultate na delovnih mestih AI, če veste, kaj delate", je dejal Bier.

V aprilu je Qualcomm razvil svoje čipe QCS603 in QCS605 ter s tem povezano programsko opremo, ki je prilagojena za prenos zmogljivosti AI na IOT. So v bistvu različice Snapdragon SoCs z nekaterimi različicami, ki podpirajo podaljšano življenjsko dobo za industrijske uporabnike.

NXP je v januarju predstavil svoj i.MX SoCs aplikacije za globoko učenje na prototipni pametni mikrovalovni pečici in hladilniku. Predstavitev FoodNet-a je pokazala, da čipi potekajo do 20 klasifikatorjev in poslujejo s postopki sklepanja v 8 do 66 milisekundah z uporabo mešanice obstoječih GPU blokov in Arm Cortex-A in -M jeder.

To je dejal, NXP, tako kot mnogi vlagatelji vdelanih čipov, pričakujejo, da bodo kmalu partnerji s proizvajalci pospeševalcev tretjih oseb. Sčasoma si prizadeva ponuditi lastne AI pospeševalne bloke.

QuickLogic je korak naprej. Najavila je 4. maja svojo Quick AI platformo, ki združuje svoje čipe EOS S3, ki se uporabljajo v pametnih zvočnikih, s čipom za pospeševanje AI podjetja Nepes Corp. Programska oprema dveh tretjih oseb pomaga pri prilagajanju algoritmov in usposabljanju na terenu za uporabe, kot so sistemi tovarniških vizij, predvidevanje in vzdrževanje.

Od leta 2016 ustanovljeni in zagonski čip in IP prodajalci objavljajo AI pospeševalnike, zdaj pa so na voljo številni deli. Na splošno so dodali integralne enote GPU blokom ali razširjene enote SIMD v jedrih DSP, je dejal Linley Gwennap iz The Linley Group.

Nedavno je Googlov notranji TPU jasno pokazal, da globoko učenje potrebuje pospeševalnike linearne algebre, običajno v obliki velikih množilnikov (MAC) z veliko pomnilnika. Nekatere naprave dodajajo strojno opremo za določene vidike nevronskih mrež, kot so aktivacije in združevanje, je dejal Gwennap.

Številne možnosti, ki so bile narejene na Kitajskem
EE Times je spremljal več kot 20 podjetij, ki delajo na pospeševalce AI za stranke do danes. Še veliko jih je. V poročilu iz julija 2017 iz Kitajske, kjer so vstali AI, serijski podjetnik Chris Rowen poroča o več, o katerih še nisva slišala, med njimi DeepGlint, Emotibot, Megvii, Intellifusion, Minieye, Momenta, MorphX, Rokid, SenseTime in Zero Zero Robotics v viziji in AISpeech, Mobvoi in Unisound v avdio.

Pomembno je razmišljati o peščici podjetij na Kitajskem.

Horizont Robotika je med najbolj zanimivimi. Ustanovljen s strani aI strokovnjakov iz Baiduja in Facebooka, že prenaša dva 40-nm trgovska čipa, kot tudi kamere in podsisteme ADAS, ki jih uporabljajo. Vlagalen je v več kot 100 milijonov dolarjev v tvegani kapital za gorivo, ki vključuje čipe 28 in 16 nm.

Bier je dejal, da je "videl nekaj zelo impresivnih demos" iz "dveletne družbe, ki se giblje zelo hitro", zaradi česar so eden od štirih čipov AI čipov, ki jih priporoča.

Še en najljubši Bierov je NovuMind, deloma zato, ker je njen ustanovitelj Ren Wu eden redkih tehnologov z dolgoletnim ozadjem v oblikovanju AI in procesorja. Njen 28-nm NovuTensor je namenjen 15-ih operacijam na sekundo (TOPS) z manj kot 5 W, v nadaljevanju pa je še 16-nm sled.

Dva začetka podjetja na Kitajskem sta imela svoje AI jedra oblikovana v pametne telefone iz velikih slušalk.

Blok AI iz Cambricon-a omogoča Huaweiov telefon Kirin 970. V začetku maja je družba napovedala svoje jedro 1M, ki obljublja do 5 TOPS / W za slušalke, pametne zvočnike, fotoaparate in avtomobile. Objavil je tudi MLU100, pospeševalnik podatkovnega centra 110 W.

DeePhijev čip Aristotle uporablja hibridno arhitekturo, ki je podobna procesorju CPU / GPU. Vir slike: DeePhi.
DeePhi iz Pekinga ima AI jedro, zasnovano v Samsungovi Exynos 9810 in Galaxy S9 telefonu. Začetek je izdal svoj čip Aristotel za CNN in čip Descartes za RNN, skupaj s ploščami, prilagojenimi kameram, avtomobilom in strežnikom. Rowen jih šteje za "eno najnaprednejših in impresivnih vseh začetnih pogovorov" na Kitajskem.

Chris Rowen je serijski podjetnik, ki se ukvarja z AI.
Rowen priporoča pekinščino Megvii. Zagonska Face + Face tehnologija prepoznavanja obraza uporablja bazo podatkov kitajske vlade, ki jo uporablja Alibaba's AliPay. Prav tako vzpodbuja vrednotenje v višini milijard dolarjev, da bi pomagala pri prehodu svoje tehnologije v oblaku na vgrajene naprave, je dejal Rowen.

Ogrevana konkurenca v jedrih
Nazaj v ZDA je Intel delal odlično delo, ki je poskušal ostati na robu silicijevega dioksida. Njegova pridobitev podjetja Movidius za leto 2016 je usmerjena v odjemalske sisteme s čipi, ki se že pojavljajo v več brezžičnih dirkalnikih DJI in varnostnih kamer. Izdal je več generacij čipov, Gwennap pa pričakuje, da se bo v naslednjih nekaj letih zmanjšal na jedro in se pojavil v čipih računalnikov.

Če načrtujete svoj SoC, je na voljo veliko AI jeder. Ironično je, Arm, ki prevladuje nad IP-jem procesorja, eden od zadnjih, ki bo vstopil v polje AI, ko bo to poletje izdal svoje jedro ML, vendar je Project Trillium Arm, ki je februarja objavil, predlagal, da bo ponudba široka in globoka.

Cadence, Ceva, Imagination, Synopsys in VeriSilicon imajo na voljo več jedra AI - v nekaterih primerih skoraj dve leti. Zaradi tega so prostor zelo konkurenčni in bogati z možnostmi na različnih ravneh delovanja z različnimi arhitekturi.

Ceva ponuja sklop štirih AI jeder za različne primere uporabe. Vir slike: Ceva.
Nvidia je tukaj temen konj. Prevladuje na trgu usposabljanja na osnovi oblakov z ogromnimi grafičnimi karticami Volta V100, objavljenimi maja 2017 . Toda prav tako želi priti v avtomobile z lastnim pogonom s svojim Xavierjevim čipom, ki bo prišel pozneje letos.

Nvidia je v prizadevanju, da bi preskočila trdo konkurenco, naredila Xavier IP odprtokodni pod imenom NVDLA. Več čipov se načrtuje z IP-jem, vendar nobeden ni bil objavljen, je dejal Nvidia exec marca .

Avtomobilski prostor je še posebej konkurenčen. Intel je kupil Mobileye za čipe AI v avtomobilih in tesno sodeluje z proizvajalci originalne opreme, vključno z BMW . Številni zagon so osredotočeni na sektor, vključno z AImotive, ki trenutno načrtuje preskusni čip, ki bo potekal v lastnem voznem parku avtomobilov.

Še en pol ducata startupov
Za tiste z želodcem, ki delajo z zagonom, obstaja veliko drugih lačnih ljudi tam zunaj.

GreenWaves izkorišča projekte RISC-V in PULP s projekti odprtega vira, da bi zagotovil GAP8, 55-nm čip, ki je bil napovedan leta 2016, in načrtuje 12 GOPS pri 20 mW in 400 MHz. Njegov cilj je voditi pri porabi električne energije za naprave IoT, vendar ne pričakuje, da bo obseg proizvodnje do konca leta.

Videantis Nemčije izdaja licenco za jedro AI za sisteme vida. Namenjen je doseganju 16 nm razponov od 0, 1 tera množenja akumulatorjev / sekund (TMAC / s) za ultra-poceni naprave do 36 TMAC / s za naprave z visoko zmogljivostjo, ki uporabljajo večplastno arhitekturo VLIW / SIMD DSP.

ThinCI je podrobno predstavil grafični pretočni procesor za vizijo in sisteme ADAS na Hot Chipsu v avgustu, vendar je dejal, da še ni posnel. Podjetje že sodeluje z investitorjem in partnerjem Denso v sistemu, za katerega upa, da se bo integriral v avtomobile leta 2020.

Bier pravi, da je še eden izmed njegovih priljubljenih Mythic, ki uporablja AI za desetletno arhitekturo procesorja v pomnilniku . Obljublja velik preskok zmogljivosti / vata, vendar se pričakuje, da se deli ne bodo proizvajali do konca leta 2019.

Skupina bivših silikonskih inženirjev v Googlu je ustanovila zagonsko groqo s spletno stranjo, ki je zahtevala procesor, ki ima 8 TOPS / W in 400 TOPS / s, kar bo letos letelo. Do zdaj družba ni odobrila razgovorov.

Esperanto je novembra objavil načrte za čisti list papirja za AI izziv z uporabo jeder RISC-V. Kot mnogi zaganjalniki vključuje tudi ekipo veteranskih mikroprocesorskih inženirjev, ki želijo prevzeti zgodovinski izziv, vendar ne zagotavlja časovnega okvira za zagotavljanje silicija.

Dva tesno spremljana zagonska podjetja načrtujejo oblikovanje čipov, vendar prodajajo sisteme, verjetno ciljno usmerjeni na podjetja, ki želijo zagnati AI delovna mesta v svojih zasebnih oblakih.

Arhitektura podatkovnega toka Wave Computing je naravna tekma za algoritme AI, pravi Bier. Vendar pa se ne zdi, da se ukvarjajo z vgrajenimi sistemi, zlasti glede na njegovo čipovo uporabo lahkega HBM2 spomina in njegove načrte za naprave 3U velikih Linux.

Podobno je SambaNova v marcu prišel iz skrivnega načina z ekipo dveh tehnologov Stanford in nekdanjim oblikovalcem SPARC procesorjev v podjetju Sun Microsystems. Medtem ko so načrti še vedno nepomembni, je aprilski pogovor s strani glavnega direktorja predlagal, da bo tekmoval z Waveom, da bo ponudil AI naprave za poslovne uporabnike.

Obe podjetji bi lahko v končni fazi spinali žetone ali licenčne tehnologije tudi za vgrajene sisteme, zato jih je vredno gledati.