可編程芯片首次用光訓(xùn)練神經(jīng)網(wǎng)絡(luò)
4 月 21 日消息,據(jù)最新一期《自然?光子學(xué)》雜志報(bào)道,美國(guó)賓夕法尼亞大學(xué)的工程師們開發(fā)了首款能夠利用光進(jìn)行非線性神經(jīng)網(wǎng)絡(luò)訓(xùn)練的可編程芯片。
該芯片可以使用光來(lái)訓(xùn)練非線性神經(jīng)網(wǎng)絡(luò) —— 這一突破可以顯著加快 AI 訓(xùn)練速度,減少能耗,甚至為全光計(jì)算機(jī)鋪平道路。
▲ 芯片內(nèi)部的圖像 —— 白色虛線框是輸入,黃色虛線框是輸出
當(dāng)前的 AI 芯片是電子的,依賴電力進(jìn)行計(jì)算,而這款新芯片是光子芯片。在《自然?光子學(xué)》雜志的描述中,這款芯片改變了光的行為,以執(zhí)行現(xiàn)代 AI 核心中的非線性數(shù)學(xué)。
目前大多數(shù) AI 系統(tǒng)都依賴于神經(jīng)網(wǎng)絡(luò),這是一種模仿生物神經(jīng)組織的軟件。正如神經(jīng)元連接起來(lái)使生物體能夠思考一樣,神經(jīng)網(wǎng)絡(luò)通過(guò)連接簡(jiǎn)單單元或“節(jié)點(diǎn)”的層,使 AI 系統(tǒng)能夠執(zhí)行復(fù)雜任務(wù)。
該團(tuán)隊(duì)的突破始于一種特殊的半導(dǎo)體材料,它能對(duì)光做出反應(yīng)。當(dāng)一束“信號(hào)”光(攜帶輸入數(shù)據(jù))穿過(guò)該材料時(shí),一束從上方照射的“泵浦”光束調(diào)整材料如何反應(yīng)。
通過(guò)改變泵浦光的形狀和強(qiáng)度,團(tuán)隊(duì)可以控制信號(hào)光的吸收、傳輸或放大,這取決于光的強(qiáng)度和材料的行為。這個(gè)過(guò)程“編程”芯片執(zhí)行不同的非線性函數(shù)。
值得注意的是,這項(xiàng)研究并未改變芯片的基礎(chǔ)結(jié)構(gòu),而是利用光在材料內(nèi)部形成的圖案來(lái)重塑光線穿越的方式。這造就了一個(gè)可以根據(jù)泵浦模式表達(dá)多種數(shù)學(xué)函數(shù)的可重構(gòu)系統(tǒng),使其具有實(shí)時(shí)學(xué)習(xí)能力,能根據(jù)輸出反饋調(diào)整自身行為。
為了驗(yàn)證該芯片的能力,團(tuán)隊(duì)用其解決了多項(xiàng)基準(zhǔn) AI 問(wèn)題。在簡(jiǎn)單的非線性決策邊界任務(wù)中,實(shí)現(xiàn)了超過(guò) 97% 的準(zhǔn)確率;在著名的鳶尾花數(shù)據(jù)集問(wèn)題上,達(dá)到了 96% 以上的準(zhǔn)確率。這表明,與傳統(tǒng)數(shù)字神經(jīng)網(wǎng)絡(luò)相比,光子芯片不僅性能相當(dāng),甚至更優(yōu),而且能耗更低,因?yàn)樗鼈儨p少了對(duì)耗電元件的依賴。
此外,實(shí)驗(yàn)還顯示,只需 4 個(gè)非線性的光學(xué)連接就能達(dá)到傳統(tǒng)模型中 20 個(gè)固定非線性激活函數(shù)線性電子連接的效果,展示了該技術(shù)的巨大潛力。隨著架構(gòu)的進(jìn)一步擴(kuò)展,效率將更加顯著。
不同于以往制造后固定的光子系統(tǒng),這款新芯片提供了一個(gè)空白的平臺(tái),可通過(guò)泵浦光的作用如同畫筆般繪制出可編程指令,是現(xiàn)場(chǎng)可編程光子計(jì)算機(jī)概念的一次實(shí)際證明,標(biāo)志著向光速訓(xùn)練 AI 邁進(jìn)的重要一步。
【來(lái)源: IT之家 】