雷鋒網(wǎng) (公眾號(hào)：雷鋒網(wǎng)) AI科技評(píng)論按：人類某些神經(jīng)元的樹(shù)突，可以執(zhí)行之前認(rèn)為需要整個(gè)神經(jīng)網(wǎng)絡(luò)才能完成的邏輯運(yùn)算。

目前對(duì)于計(jì)算機(jī)科學(xué)家來(lái)講，人工神經(jīng)網(wǎng)絡(luò)構(gòu)建，往往基于這樣一個(gè)概念：神經(jīng)元是一個(gè)簡(jiǎn)單的、非智能的開(kāi)關(guān)，神經(jīng)網(wǎng)絡(luò)的信息處理來(lái)源于數(shù)萬(wàn)（數(shù)萬(wàn)億）個(gè)神經(jīng)元之間的連接。

然后神經(jīng)科學(xué)家對(duì)于人腦的研究發(fā)現(xiàn)卻并不是如此。在神經(jīng)科學(xué)的諸多研究中已經(jīng)發(fā)現(xiàn)，人腦在信息計(jì)算上并不只有神經(jīng)元連接在起作用，單個(gè)的神經(jīng)元也同樣承擔(dān)著比以前人們想象中要重要得多的計(jì)算任務(wù)。

雷鋒網(wǎng)AI科技評(píng)論了解到，最近《Science》上發(fā)表了一篇論文 “Dendritic action potentials and computation in human layer 2/3 cortical neurons”。在這篇論文中，研究人員發(fā)現(xiàn)，皮質(zhì)神經(jīng)元樹(shù)突上的微小區(qū)室（tiny compartments in the dendritic arms of cortical neurons）可以執(zhí)行特定的計(jì)算-“異或”。這個(gè)發(fā)現(xiàn)之所以重要，在于，一直以來(lái)數(shù)學(xué)理論家們都認(rèn)為單個(gè)神經(jīng)元是無(wú)法進(jìn)行“異或”計(jì)算的；現(xiàn)在則不僅是單個(gè)神經(jīng)元，甚至神經(jīng)元的樹(shù)突上的部分都可以進(jìn)行“異或”運(yùn)算。

神經(jīng)元并不單純只是為了連接，它們同樣能夠執(zhí)行復(fù)雜運(yùn)算，神經(jīng)元本身可能也是一個(gè)多層網(wǎng)絡(luò)。這個(gè)發(fā)現(xiàn)對(duì)于構(gòu)建人工神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)科學(xué)家們來(lái)講，或許會(huì)是一個(gè)非常重要的啟發(fā)。

啞神經(jīng)元的局限性

在上世紀(jì)40年代和50年代，這樣一幅圖片開(kāi)始在神經(jīng)科學(xué)領(lǐng)域占主導(dǎo)地位：

• 啞神經(jīng)元（“dumb” neuron），一個(gè)簡(jiǎn)單的積分器，整個(gè)網(wǎng)絡(luò)中對(duì)輸入進(jìn)行求和的點(diǎn)；

• 從神經(jīng)元延伸出來(lái)的分支（稱為樹(shù)突）能夠從鄰近神經(jīng)元接收成千上萬(wàn)的信號(hào)，有些是興奮性信號(hào)，有些是抑制性信號(hào)；

• 在神經(jīng)元細(xì)胞體上，所有的信號(hào)在這里進(jìn)行加權(quán)和計(jì)數(shù)，如果總和超過(guò)某個(gè)閾值，則神經(jīng)元會(huì)發(fā)出一系列的電脈沖（動(dòng)作電位），這些電脈沖會(huì)直接刺激鄰近的神經(jīng)元。

大約在同一時(shí)間，研究人員意識(shí)到，單個(gè)神經(jīng)元可以起到邏輯門(mén)的作用，類似于數(shù)字電路中的邏輯門(mén)（盡管截止目前我們還不清楚大腦在處理信息，在多大程度上是這樣的）。例如，如果神經(jīng)元僅在收到足夠數(shù)量的輸入后才觸發(fā)，實(shí)際上就是一個(gè)“與”門(mén)。

因此理論上，神經(jīng)元網(wǎng)絡(luò)可以執(zhí)行任何計(jì)算。

但顯然這種模型是存在局限性的。在這種模型中，神經(jīng)元將坍縮為空間中的一個(gè)點(diǎn)，它沒(méi)有任何內(nèi)部結(jié)構(gòu)。另一方面這個(gè)模型也忽略了一個(gè)事實(shí)：流入給定神經(jīng)元的數(shù)千個(gè)輸入是沿著不同的樹(shù)突進(jìn)入神經(jīng)元細(xì)胞體的，而這些樹(shù)突本身所起到的功能可能差異巨大，或者更為具體來(lái)說(shuō)，這些樹(shù)突內(nèi)部本身可能存在一些計(jì)算功能。

這種模型在80年代開(kāi)始改變。

神經(jīng)科學(xué)家Christof Koch等人通過(guò)建模（后來(lái)也得到了實(shí)驗(yàn)的支持）表明，單個(gè)神經(jīng)元內(nèi)部不能表達(dá)為單個(gè)或統(tǒng)一的電壓信號(hào)；取而代之的是，電壓信號(hào)沿著樹(shù)突進(jìn)入神經(jīng)元胞體內(nèi)時(shí)會(huì)降低，并且通常對(duì)細(xì)胞的最終輸出沒(méi)有任何貢獻(xiàn)。

信號(hào)的不一致性，意味著單個(gè)的樹(shù)突可能在彼此獨(dú)立地處理信息。這與先前的神經(jīng)元假說(shuō)是有矛盾的；在先前的神經(jīng)元假說(shuō)中，神經(jīng)元只是簡(jiǎn)單將所有東西加在一起。

這項(xiàng)工作促使了Koch以及耶魯大學(xué)醫(yī)學(xué)院的Gordon Shepherd等人開(kāi)始對(duì)樹(shù)突結(jié)構(gòu)進(jìn)行建模。基本的思路就是，神經(jīng)元不再只是充當(dāng)一個(gè)簡(jiǎn)單的邏輯門(mén)，而是一個(gè)復(fù)雜的多單元處理系統(tǒng)。

后來(lái) Mel 等人進(jìn)行了更加細(xì)致的研究，他們發(fā)現(xiàn)：1）樹(shù)突能夠產(chǎn)生局部尖峰；2）樹(shù)突具有自己的非線性輸入-輸出曲線；3）樹(shù)突有自己的激活閾值（這個(gè)閾值與神經(jīng)元整體閾值不同）；4）樹(shù)突本身可以充當(dāng) AND 門(mén)或其他單元。

Mel等人認(rèn)為，這意味著可以將單個(gè)的神經(jīng)元構(gòu)想為 two-layer 的神經(jīng)網(wǎng)絡(luò)：樹(shù)突充當(dāng)非線性計(jì)算子單元，收集輸入并吐出中間輸出；這些輸出信號(hào)將在細(xì)胞體中進(jìn)行結(jié)合，然后決定整個(gè)神經(jīng)元的反應(yīng)。

當(dāng)然，截止目前為止，我們還并不清楚樹(shù)突水平的活動(dòng)，是否會(huì)影響神經(jīng)元的放電以及鄰近神經(jīng)元的活動(dòng)。不過(guò)，不管如何，局部處理在整個(gè)神經(jīng)元系統(tǒng)中的作用已經(jīng)毋庸置疑。在計(jì)算能力上，神經(jīng)元要比我們想象的強(qiáng)大很多。

神經(jīng)學(xué)家Shepherd也曾表示：“皮層中進(jìn)行處理的大部分功率實(shí)際上是低于閾值的。單個(gè)神經(jīng)元系統(tǒng)可能并不僅僅只是一個(gè)加權(quán)求和的系統(tǒng)。”

從理論上來(lái)講，幾乎任何可以想象的計(jì)算都可以由一個(gè)具有足夠樹(shù)突的神經(jīng)元來(lái)執(zhí)行，每個(gè)樹(shù)突都能夠執(zhí)行自己的非線性計(jì)算。

而前面提到的最近發(fā)表在《Science》上的論文中，研究人員將這一想法又向前推進(jìn)了一步：他們認(rèn)為，不僅僅是樹(shù)突本身，樹(shù)突中的微小區(qū)室也能夠獨(dú)立執(zhí)行復(fù)雜計(jì)算。

意外尖峰與明斯基的不可能

本文作者M(jìn)atthew Larkum 是一位洪堡德的神經(jīng)科學(xué)家，他的研究團(tuán)隊(duì)希望能夠從不同的問(wèn)題角度來(lái)研究樹(shù)突。之前研究者主要在研究嚙齒類動(dòng)物的樹(shù)突活動(dòng)，因此他們希望能夠研究有大量且更長(zhǎng)樹(shù)突的人類神經(jīng)元中的電信號(hào)有什么不同。

他們從人類大腦皮層的第二層和第三層獲取了腦組織切片，人類大腦皮層包含了有許多樹(shù)突的特大神經(jīng)元。當(dāng)他們用電流來(lái)刺激這些樹(shù)突時(shí)，他們看到了意料之外且反復(fù)出現(xiàn)的尖峰，這些尖峰似乎與其他已知的神經(jīng)信號(hào)完全不一樣。它們非常迅速而短暫，就如同動(dòng)作電位一般，是由鈣離子的流動(dòng)所引起的。這是值得注意的，因?yàn)閭鹘y(tǒng)的動(dòng)作電位通常是由鈉離子和鉀離子所引起的。并且，雖然此前已經(jīng)在嚙齒動(dòng)物的樹(shù)突狀中也觀察到了這種由鈣離子所誘發(fā)的信號(hào)，但是那些尖狀物的持續(xù)時(shí)間要長(zhǎng)得多。

更奇怪的是，給樹(shù)突注入給多的電流刺激，反而會(huì)降低神經(jīng)元放電的密集度，而非增加。為了搞清楚這種新的尖峰可能帶來(lái)什么影響，研究人員構(gòu)建了一個(gè)能夠反映神經(jīng)元行為的模型。?

該模型發(fā)現(xiàn)，輸入 X和輸入Y，如果只有輸入 X 或只有輸入Y，樹(shù)突會(huì)出現(xiàn)尖峰；而如果兩個(gè)輸入同時(shí)出現(xiàn)，就不會(huì)有尖峰。這相當(dāng)于異或（或XOR）的非線性計(jì)算。

這一發(fā)現(xiàn)在計(jì)算機(jī)領(lǐng)域產(chǎn)生了轟動(dòng)。多年來(lái)，他們都認(rèn)為 XOR 函數(shù)不可能出現(xiàn)在單個(gè)神經(jīng)元中，著名的計(jì)算機(jī)科學(xué)家Marvin Minsky 和Seymour Papert在他們于1969 年合著的《Perceptrons》一書(shū)中，還對(duì)單層人工網(wǎng)絡(luò)無(wú)法執(zhí)行 XOR 進(jìn)行了論證。這一結(jié)論具有毀滅性的影響，以至于很多計(jì)算機(jī)科學(xué)家都將20世紀(jì)80年代之前神經(jīng)網(wǎng)絡(luò)研究陷入低迷狀態(tài)，歸咎于這一結(jié)論。

神經(jīng)網(wǎng)絡(luò)研究者最終找到了避開(kāi)Minsky 和 Papert所提出的困難的方法，同時(shí)神經(jīng)科學(xué)家們也在自然界中找到了這些解決方案的案例。例如，Poirazi 之前就已經(jīng)發(fā)現(xiàn)了XOR是可能存在于單個(gè)神經(jīng)元中的：并且簡(jiǎn)單將兩個(gè)樹(shù)突結(jié)合起來(lái)，就能夠?qū)崿F(xiàn)這一點(diǎn)。而在最近的這個(gè)實(shí)驗(yàn)中，他們甚至能夠提供了一個(gè)合理的、在單個(gè)樹(shù)突中執(zhí)行XOR的生物物理機(jī)制。

處理器中的處理器

當(dāng)然，并非所有的神經(jīng)元都是如此。據(jù)論文作者 Gidon 所說(shuō)，大腦的其他部分也存在很多更小的點(diǎn)狀神經(jīng)元。或許發(fā)現(xiàn)的這種神經(jīng)復(fù)雜性的存在是有原因的。

神經(jīng)元中的一個(gè)小區(qū)室，為什么需要具有整個(gè)神經(jīng)元或一個(gè)小型的神經(jīng)網(wǎng)絡(luò)才具備的能力呢？

一個(gè)可能是：多層神經(jīng)網(wǎng)絡(luò)的神經(jīng)元能夠有更好的處理能力，并且能夠有更好的學(xué)習(xí)和存儲(chǔ)能力。

對(duì)此，Poirazi指出：“或許在單個(gè)的神經(jīng)元內(nèi)就有一個(gè)深度網(wǎng)絡(luò)，這在學(xué)習(xí)有難度的問(wèn)題或認(rèn)知方面，會(huì)強(qiáng)大許多。”

Kording 也提到：“單個(gè)神經(jīng)元或許能夠計(jì)算真正復(fù)雜的函數(shù)，例如，它可能能夠擁有自主識(shí)別對(duì)象的能力。”

正如Poirazi 所說(shuō)，如此強(qiáng)大的單個(gè)神經(jīng)元，也將有助于大腦降低能量消耗。

據(jù)了解，研究者們計(jì)劃下一步將嘗試在嚙齒類動(dòng)物或其他動(dòng)物身上的樹(shù)突中尋找相似的信號(hào)，以此來(lái)確定這種計(jì)算能力是否是人類所獨(dú)有。他們也希望能夠超越模型的范疇，將他們觀察到的神經(jīng)行為與動(dòng)物的實(shí)際行為結(jié)合起來(lái)研究。

與此同時(shí)，Poirazi 則期望能夠比較這些樹(shù)突中的計(jì)算與神經(jīng)元網(wǎng)絡(luò)中實(shí)際發(fā)生的情況，以此證明前者是否具備一些優(yōu)勢(shì)。這包括測(cè)試其他類型的邏輯操作、探索這些操作將對(duì)學(xué)習(xí)和記憶有哪些貢獻(xiàn)意義。她表示：“在我們開(kāi)展這些實(shí)驗(yàn)之前，我們無(wú)法真正確定這一發(fā)現(xiàn)將帶來(lái)多大的影響。”

結(jié)語(yǔ)?

雖然現(xiàn)在研究者們還有很多工作需要做，但他們認(rèn)為這些發(fā)現(xiàn)也暗示著他們需要重新思考他們?cè)撊绾螌?duì)大腦以及其更廣泛的函數(shù)建模。僅僅關(guān)注不同神經(jīng)元和大腦區(qū)域的關(guān)聯(lián)性，遠(yuǎn)遠(yuǎn)不夠。

這一新結(jié)果，似乎也會(huì)對(duì)人工智能和機(jī)器學(xué)習(xí)領(lǐng)域的問(wèn)題帶來(lái)影響。人工神經(jīng)網(wǎng)絡(luò)依賴于點(diǎn)狀模型，這種模型將神經(jīng)元視作對(duì)輸入計(jì)數(shù)并在活動(dòng)函數(shù)中傳遞總數(shù)的節(jié)點(diǎn)。

紐約大學(xué)認(rèn)知科學(xué)家、深度學(xué)習(xí)的懷疑者 Gary Marcus曾說(shuō)過(guò)：“只有少數(shù)人在認(rèn)真對(duì)待這個(gè)觀點(diǎn)：?jiǎn)蝹€(gè)神經(jīng)元可能是一個(gè)復(fù)雜計(jì)算的設(shè)備。”

他補(bǔ)充道，盡管這篇在《科學(xué)》上發(fā)表的論文只是更廣泛的研究史中闡述了這一觀點(diǎn)的其中一項(xiàng)發(fā)現(xiàn)，但計(jì)算機(jī)科學(xué)家應(yīng)該嚴(yán)肅看待這一觀點(diǎn)，因?yàn)樗?XOR 問(wèn)題為阻礙了神經(jīng)網(wǎng)絡(luò)研究如此長(zhǎng)時(shí)間的研究難題提供了一個(gè)研究框架。他表示：“也就是說(shuō)，我們真地需要考慮采用這種解決思路，想從愚蠢的神經(jīng)元中獲得聰明的認(rèn)知的整個(gè)研究規(guī)則，可能是錯(cuò)誤的。”

via? https://www.quantamagazine.org/neural-dendrites-reveal-their-computational-power-20200114/

雷鋒網(wǎng)報(bào)道。

。