中文字幕精品一区二区精品_久久一二三区_亚洲韩日在线_日韩中文字幕视频

中國(guó)自動(dòng)化學(xué)會(huì)會(huì)士、副理事長(zhǎng)戴瓊海,團(tuán)隊(duì)新作登上Nature:提出光電可重構(gòu)計(jì)算模式,邁向AI新時(shí)代

日期:2021-04-15 11:23

4月12日,一篇題為“Large-scale neuromorphic optoelectronic computing with a reconfigurable diffractive processing unit”的論文登上Nature子刊《Nature Photonics》。 

論文是由中國(guó)工程院院士戴瓊海教授團(tuán)隊(duì)撰寫,第一作者是清華大學(xué)博士研究生周天貺。

該工作的主要研究?jī)?nèi)容是:提出了一種光電可重構(gòu)計(jì)算模式,通過構(gòu)造一個(gè)衍射處理器(DPU),它可以有效地支持不同的神經(jīng)網(wǎng)絡(luò),并實(shí)現(xiàn)數(shù)百萬個(gè)神經(jīng)元的高模型復(fù)雜度。

在論文中,作者展示了如何對(duì)DPU的重新配置,從而實(shí)現(xiàn)各種衍射前饋和循環(huán)神經(jīng)網(wǎng)絡(luò),并設(shè)計(jì)了一種新型的自適應(yīng)訓(xùn)練方法,能夠規(guī)避系統(tǒng)缺陷。

作者將訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)進(jìn)行測(cè)試,測(cè)試結(jié)果是:在手寫數(shù)字圖像和人類動(dòng)作視頻分類基準(zhǔn)數(shù)據(jù)集上,其精度與電子計(jì)算方法相當(dāng)。

對(duì)此,有人評(píng)價(jià),這篇論文所提出的可重構(gòu)DPU,是向高性能神經(jīng)形態(tài)光電計(jì)算處理器邁出的重要一步。 

1、主要思想

在過去的十年中,由電子驅(qū)動(dòng)的計(jì)算處理器產(chǎn)生了巨大影響,在通用CPU“身上”我們見證了各種神經(jīng)計(jì)算體系結(jié)構(gòu)的應(yīng)用,例如卷積神經(jīng)網(wǎng)絡(luò)(CNNs)、遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)。然而,由于摩爾定律的限制,電子硬件的性能即將觸摸到“天花板”。因此,開發(fā)下一代計(jì)算方式勢(shì)在必行。

光學(xué)計(jì)算的原理是使用光子代替電子進(jìn)行計(jì)算,并能克服電子學(xué)的固有限制,將能效、處理速度和計(jì)算吞吐量提高幾個(gè)數(shù)量級(jí)。

已經(jīng)有研究員利用光學(xué)計(jì)算的特性,構(gòu)建專用光學(xué)處理器,并在基本數(shù)學(xué)和信號(hào)處理方面,所表現(xiàn)出的性能遠(yuǎn)遠(yuǎn)超過現(xiàn)在的電子處理器。

而在人工智能領(lǐng)域,人工神經(jīng)網(wǎng)絡(luò)(ANN)是最有前途的光計(jì)算模型之一,利用光電子器件和光傳播的性質(zhì)可以有效地實(shí)現(xiàn)神經(jīng)元的功能。

但是,現(xiàn)有的光學(xué)AI加速器只能為特定神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)或特定任務(wù)定制單一功能。換句話說,對(duì)于不同任務(wù)的不同AI算法,現(xiàn)在的“設(shè)備”無能為力。此外,目前光神經(jīng)網(wǎng)絡(luò)的模型復(fù)雜度和實(shí)驗(yàn)性能都較低,導(dǎo)致網(wǎng)絡(luò)性能(如分類精度)與最先進(jìn)的電子神經(jīng)網(wǎng)絡(luò)相比存在較大差距。

究其原因,主要是由于光學(xué)網(wǎng)絡(luò)設(shè)計(jì)空間的靈活性有限,難以集成理想的非線性運(yùn)算,難以靈活控制復(fù)雜的數(shù)據(jù)流。

所以,作者提出了一種用于大規(guī)模神經(jīng)形態(tài)光電計(jì)算的可重構(gòu)DPU,可以通過編程改變功能,從而構(gòu)建不同類型的人工神經(jīng)網(wǎng)絡(luò)架構(gòu)。此外,還配備了極高數(shù)據(jù)吞吐量的光學(xué)調(diào)制器和光電探測(cè)器。

在用光電器件實(shí)際實(shí)現(xiàn)所設(shè)計(jì)的模型的過程中,為了解決不同誤差源(如對(duì)準(zhǔn)誤差和非理想器件特性)造成的模型偏差,作者開發(fā)了一種自適應(yīng)訓(xùn)練方法。

2、主要方法與實(shí)驗(yàn)結(jié)果 

DPU的原理和光電實(shí)現(xiàn)如上圖所示。DPU是一個(gè)由大規(guī)模衍射神經(jīng)元和加權(quán)光學(xué)互連(weighted optical interconnections)組成的光電神經(jīng)形態(tài)處理器。它是一個(gè)基本的構(gòu)建塊,可以編程,建立各種類型的人工神經(jīng)網(wǎng)絡(luò),具有很高的模型復(fù)雜性和準(zhǔn)確性。

利用信息編碼模塊將單位輸入數(shù)據(jù)量化并電光轉(zhuǎn)換為復(fù)值光場(chǎng),在幅度或相位分量上進(jìn)行編碼。不同的輸入節(jié)點(diǎn)通過光衍射連接物理地連接到各個(gè)輸出神經(jīng)元,其中控制連接強(qiáng)度的突觸權(quán)重由波前的衍射調(diào)制決定。

每個(gè)衍射光電神經(jīng)元執(zhí)行其加權(quán)輸入的光場(chǎng)求和,并通過在光電轉(zhuǎn)換期間自然出現(xiàn)的計(jì)算光場(chǎng)上應(yīng)用復(fù)激活函數(shù)來生成單位輸出。

作者采用具有高數(shù)據(jù)吞吐量(每秒千兆位)的可編程光電器件,來支撐DPU實(shí)現(xiàn)高速神經(jīng)網(wǎng)絡(luò)配置和視頻率推斷能力。

圖注:系統(tǒng)的原理圖和實(shí)驗(yàn)設(shè)置

在這項(xiàng)工作中,系統(tǒng)被設(shè)計(jì)用于處理饋入圖像和視頻的大規(guī)模視覺信號(hào)。因此,采用數(shù)字微鏡器件(DMD)和空間光調(diào)制器(SLM)作為光調(diào)制器實(shí)現(xiàn)輸入節(jié)點(diǎn),采用互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器作為光電探測(cè)器實(shí)現(xiàn)光電神經(jīng)元。

通過控制和緩沖單元的大規(guī)模并行光電數(shù)據(jù)流,DPU可以被暫時(shí)多路復(fù)用和編程,從而定制不同類型的ANN結(jié)構(gòu)(如上圖所示)。由于幾乎所有的計(jì)算操作都是光學(xué)完成的,因此與前沿的GPU處理器相比,光電AI架構(gòu)顯著提高了計(jì)算速度和系統(tǒng)能效。

圖注:自適應(yīng)訓(xùn)練方法

此外,作者通過構(gòu)建一個(gè)三層光電衍射深度神經(jīng)網(wǎng)絡(luò)(D2NN)來驗(yàn)證所提出的自適應(yīng)訓(xùn)練方法,并用MNIST數(shù)據(jù)集進(jìn)行測(cè)試。 

模型在MNIST訓(xùn)練集上訓(xùn)練之后,測(cè)試集中的10,000個(gè)數(shù)字圖像上獲得了97.6%的盲測(cè)正確率。另外,在沒有自適應(yīng)訓(xùn)練的情況下,由于系統(tǒng)誤差的層層累積,將預(yù)先訓(xùn)練好的模型直接遷移到我們的光電系統(tǒng)中,識(shí)別率急劇下降到63.9%。

另外一個(gè)測(cè)試是,通過在兩個(gè)基準(zhǔn)數(shù)據(jù)庫(kù)(Weizmann41和KTH42數(shù)據(jù)庫(kù))上使用序列精度和動(dòng)作精度的度量來評(píng)估所構(gòu)建的D-RNN,目的是用于人類動(dòng)作識(shí)別任務(wù)。

在消融和性能分析之后,對(duì)于具有147萬個(gè)光電神經(jīng)元的Weizmann和KTH數(shù)據(jù)庫(kù),網(wǎng)絡(luò)序列長(zhǎng)度分別被設(shè)置為3和5。通過配置DPU讀出層對(duì)D-RNN結(jié)構(gòu)進(jìn)行了評(píng)估,然后對(duì)D-RNN結(jié)構(gòu)進(jìn)行了Silico預(yù)訓(xùn)練。

實(shí)驗(yàn)結(jié)果是,這兩個(gè)數(shù)據(jù)庫(kù)的盲測(cè)序準(zhǔn)確率分別為88.9%和90.5%,對(duì)應(yīng)于兩個(gè)模型的動(dòng)作準(zhǔn)確率分別為100%和96.3%。

為了在實(shí)驗(yàn)上實(shí)現(xiàn)該模型,由于D-RNN的循環(huán)連接特性,作者通過微調(diào)輸出層的調(diào)制系數(shù)來執(zhí)行自適應(yīng)訓(xùn)練。 

上圖展示了自適應(yīng)訓(xùn)練后的存儲(chǔ)器、讀入和讀出DPU層的設(shè)計(jì)調(diào)制系數(shù),其中上行和下行分別對(duì)應(yīng)于Weizmann和第k個(gè)數(shù)據(jù)庫(kù)的模型。

與未進(jìn)行自適應(yīng)訓(xùn)練的實(shí)驗(yàn)結(jié)果相比,自適應(yīng)訓(xùn)練使Weizmann數(shù)據(jù)庫(kù)的實(shí)驗(yàn)序列準(zhǔn)確率從51.0%提高到82.9%,實(shí)驗(yàn)動(dòng)作準(zhǔn)確率從56.7%提高到96.7%。

同樣,經(jīng)過自適應(yīng)訓(xùn)練后,實(shí)驗(yàn)序列準(zhǔn)確率從52.6%提高到85.4%,動(dòng)作準(zhǔn)確率從53.7%提高到94.4%。

圖注:展開的D-RNN的體系結(jié)構(gòu)

綜上,通過傳輸經(jīng)訓(xùn)練的D-RNN隱藏層并使用低復(fù)雜度的電子讀出層來代替DPU讀出層,可以進(jìn)一步提高D-RNN的識(shí)別準(zhǔn)確性和穩(wěn)健性,形成D-RNN++體系結(jié)構(gòu)。

作者評(píng)估了D-RNN++相對(duì)于讀出節(jié)點(diǎn)數(shù)量的實(shí)驗(yàn)序列和動(dòng)作精度,如上圖所示。實(shí)驗(yàn)結(jié)果表明,D-RNN++在Weizmann和KTH(First Scene)數(shù)據(jù)庫(kù)的最優(yōu)電子讀出節(jié)點(diǎn)數(shù)(electronic read-out nodes )分別為2500和96.3%的情況下,實(shí)驗(yàn)動(dòng)作準(zhǔn)確率分別達(dá)到100%和96.3%。

此外,D-RNN++對(duì)Weizmann和KTH(First Scene)數(shù)據(jù)庫(kù)進(jìn)行分類的實(shí)驗(yàn)動(dòng)作準(zhǔn)確率達(dá)到了與最先進(jìn)的電子計(jì)算方法相當(dāng)?shù)男阅?,甚至超過了這兩種方法的準(zhǔn)確率,后者的準(zhǔn)確率分別為100%和96.0%。

綜上所述,研究員在實(shí)驗(yàn)中展示了一種可重構(gòu)的光電計(jì)算處理器,即DPU,它可以編程以適應(yīng)不同類型的人工神經(jīng)網(wǎng)絡(luò),以實(shí)現(xiàn)大規(guī)模高性能的光學(xué)神經(jīng)信息處理。通過有效地設(shè)計(jì)光電計(jì)算系統(tǒng)來融合光學(xué)和電子的互補(bǔ)優(yōu)勢(shì)。

戴海瓊團(tuán)隊(duì)預(yù)計(jì),其所提出的方法將加速開發(fā)更強(qiáng)大的光學(xué)AI處理器,并作為現(xiàn)代計(jì)算的關(guān)鍵支持,邁向人工智能的新時(shí)代。

戴瓊海院士簡(jiǎn)介:

戴瓊海,自動(dòng)控制學(xué)家,中國(guó)工程院院士,中國(guó)自動(dòng)化學(xué)會(huì)會(huì)士、副理事長(zhǎng),清華大學(xué)自動(dòng)化系教授,清華大學(xué)生命科學(xué)學(xué)院兼職教授,清華大學(xué)信息科學(xué)技術(shù)學(xué)院院長(zhǎng)。主持承擔(dān)了國(guó)家科技部重大基礎(chǔ)研究973項(xiàng)目和國(guó)家基金委重大儀器項(xiàng)目,在立體視覺、三維重建和計(jì)算攝像儀器等方面做了基礎(chǔ)性和開拓性工作。致力于開展多維多尺度計(jì)算攝像儀器的研究,旨在提供從亞細(xì)胞、組織到器官的多尺度動(dòng)態(tài)觀測(cè)數(shù)據(jù),試圖突破百萬級(jí)腦神經(jīng)連接的觀測(cè),揭示神經(jīng)系統(tǒng)結(jié)構(gòu)和功能等腦科學(xué)規(guī)律,為創(chuàng)建新一代人工智能提供支撐。

來源:AI科技評(píng)論