新加坡國立大學(xué)賴載興教授專訪:用混沌邊緣改善神經(jīng)網(wǎng)絡(luò),與上帝擲骰子
2021年,諾貝尓獎(jiǎng)委員會決定將物理獎(jiǎng)?lì)C發(fā)給復(fù)雜系統(tǒng)研究領(lǐng)域、以喬治·帕里西(George Parisi)為首三位科學(xué)家。當(dāng)時(shí)不僅物理學(xué)界,許多計(jì)算神經(jīng)科學(xué)家或理論機(jī)器學(xué)習(xí)學(xué)者表達(dá)了對帕里西的祝賀和感激,認(rèn)為他的理論成果極大地推動了神經(jīng)網(wǎng)絡(luò)理論研究這一跨學(xué)科領(lǐng)域的蓬勃發(fā)展。
在新加坡國立大學(xué),Choy Heng Lai(賴載興)教授便是這一波復(fù)雜系統(tǒng)與神經(jīng)網(wǎng)絡(luò)跨學(xué)科研究風(fēng)潮的代表人物之一。賴教授的學(xué)術(shù)生涯,始于對物理學(xué)的熱愛和對未知的好奇。上個(gè)世紀(jì)70年代在芝加哥大學(xué)求學(xué)期間,他深入研究了粒子現(xiàn)象學(xué)和場論,探索了弱相互作用模型構(gòu)建時(shí)期的標(biāo)準(zhǔn)模型;在哥本哈根的尼爾斯玻爾研究所,他進(jìn)一步拓展了自己的學(xué)術(shù)視野,從量子色動力學(xué)的角度研究了電子-正電子湮滅過程中的多噴流結(jié)構(gòu)。這一研究不僅加深了他對物理學(xué)的理解,更激發(fā)了他對復(fù)雜系統(tǒng)的濃厚興趣。
加入新加坡國立大學(xué)后,賴教授面臨著一個(gè)全新的學(xué)術(shù)環(huán)境。遠(yuǎn)離實(shí)驗(yàn)信息中心的他,開始轉(zhuǎn)向粒子物理學(xué)的其他領(lǐng)域,探索強(qiáng)子相互作用的幾何圖像、經(jīng)典規(guī)范場理論和量子場理論。然而,他逐漸意識到,還原論方法并不足以充分解釋集體性質(zhì)和復(fù)雜行為的涌現(xiàn)。這一認(rèn)識,促使他開始探索非線性動力學(xué)和混沌,逐步進(jìn)入復(fù)雜網(wǎng)絡(luò)和更廣泛的復(fù)雜系統(tǒng)研究領(lǐng)域。
在此過程中,賴教授及其團(tuán)隊(duì)在《人工智能與機(jī)器人研究國際期刊》(IJAIRR)的最新研究——《Asymptotic edge of chaos as guiding principle for neural network training》——成為了深度學(xué)習(xí)領(lǐng)域的一個(gè)創(chuàng)新之舉。這項(xiàng)研究首次嘗試將混沌邊緣(edge of chaos)的概念應(yīng)用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練,提出了一種新的訓(xùn)練原則,即在混沌邊緣,深度學(xué)習(xí)模型能夠展現(xiàn)出最佳的泛化性能。這一發(fā)現(xiàn)不僅是對深度學(xué)習(xí)理論的貢獻(xiàn),也為未來的訓(xùn)練策略指明了方向。
借此契機(jī),賴教授向AI科技評論介紹了該論文的研究過程,以及混沌研究中存在的感悟。
論文鏈接: https://gairdao.com/doi/10.1142/S2972335323500011
論文引用鏈接:https://www.worldscientific.com/action/showCitFormats?doi=10.1142%2FS2972335323500011&area=0000000000000001
混沌邊緣:神經(jīng)網(wǎng)絡(luò)訓(xùn)練的新思路
“混沌”是“秩序”的反義詞,是隨機(jī)混亂,是不可預(yù)測的“蝴蝶效應(yīng)”;混沌邊緣源自復(fù)雜系統(tǒng)理論,并描繪了一種處于有序與混沌之間的動態(tài)平衡狀態(tài)。這一理論基礎(chǔ)不僅在物理學(xué)、生物學(xué)等多個(gè)學(xué)科中展現(xiàn)出其深遠(yuǎn)的影響,也在神經(jīng)網(wǎng)絡(luò)和人工智能的研究中揭示了其獨(dú)特的價(jià)值。
神經(jīng)網(wǎng)絡(luò)本質(zhì)上是復(fù)雜的非線性動力學(xué)系統(tǒng),它們展現(xiàn)出的混沌特性賦予了它們獨(dú)特的信息處理能力。正是這種與混沌緊密相連的本質(zhì),使得混沌神經(jīng)網(wǎng)絡(luò)被視為模擬現(xiàn)實(shí)世界復(fù)雜計(jì)算任務(wù)的智能信息處理系統(tǒng)之一。在神經(jīng)科學(xué)領(lǐng)域,有研究表明,大腦在某些操作點(diǎn)上可能接近混沌邊緣,這樣的狀態(tài)被認(rèn)為能夠優(yōu)化信息處理和學(xué)習(xí)能力。不同于當(dāng)前主流人工智能研究試圖用一種簡單的數(shù)學(xué)方法來理解人工智能模型,混沌邊緣的概念不僅啟示了一種新的思考方式,而且為我們理解大腦如何處理復(fù)雜信息提供了一個(gè)強(qiáng)有力的理論工具。
混沌邊緣原理表明,在有序與混沌之間的動態(tài)平衡狀態(tài)可以促進(jìn)信息的最大化處理。在神經(jīng)網(wǎng)絡(luò)中,這意味著網(wǎng)絡(luò)能夠在保持足夠穩(wěn)定性的同時(shí),對輸入數(shù)據(jù)進(jìn)行高效的信息編碼和處理。這種平衡狀態(tài)為理解網(wǎng)絡(luò)內(nèi)部的決策過程提供了一個(gè)窗口,因?yàn)榫W(wǎng)絡(luò)在混沌邊緣的操作可能伴隨著更加明顯和可追蹤的動態(tài)模式。
賴教授這項(xiàng)研究的核心,在于如何將混沌邊緣的理論轉(zhuǎn)化為實(shí)際的神經(jīng)網(wǎng)絡(luò)訓(xùn)練策略。賴教授及其團(tuán)隊(duì)選擇了一種常用的訓(xùn)練算法和正則化過程,展示了如何根據(jù)這一理論原則來設(shè)置訓(xùn)練超參數(shù),而不是依賴傳統(tǒng)的反復(fù)試驗(yàn)或基于啟發(fā)式的方法。他們提出了一種“半解析”方法來確定最佳的權(quán)重衰減強(qiáng)度,這種方法需要對基礎(chǔ)解析方程進(jìn)行一定的校準(zhǔn),以估計(jì)維持模型在混沌邊緣的最佳權(quán)重衰減強(qiáng)度。
與上帝擲骰子
賴教授的研究不僅僅在探索混沌邊緣對于優(yōu)化神經(jīng)網(wǎng)絡(luò)性能的潛力,而且還著重于提高人工智能系統(tǒng)的可解釋性。在人工智能領(lǐng)域,尤其是深度學(xué)習(xí)模型,通常被認(rèn)為是“黑箱”,因?yàn)樗鼈兊臎Q策過程缺乏透明度。然而,賴教授研究中使用的混沌邊緣原理,提供了一種可能的途徑來增強(qiáng)模型的可解釋性。
通過賴教授的“半解析”方法,研究人員能夠更精確地控制神經(jīng)網(wǎng)絡(luò)的權(quán)重衰減,從而維持網(wǎng)絡(luò)在混沌邊緣的最佳狀態(tài)。這種方法不僅有助于提升網(wǎng)絡(luò)的泛化能力,還可能揭示網(wǎng)絡(luò)如何通過權(quán)重的調(diào)整來響應(yīng)不同的輸入數(shù)據(jù)。因此,混沌邊緣原理的應(yīng)用為理解神經(jīng)網(wǎng)絡(luò)的決策機(jī)制提供了一種新的視角,有助于我們解釋和預(yù)測模型的行為。
此外,賴教授的研究還指出,通過適當(dāng)?shù)恼齽t化,可以推動模型向有序狀態(tài)轉(zhuǎn)移,從而實(shí)現(xiàn)更好的性能。這種正則化方法,如權(quán)重衰減,通過懲罰過大的權(quán)重值來防止模型過擬合,同時(shí)保持模型的復(fù)雜性和表達(dá)能力。這種方法的引入,為解釋模型的行為提供了更多的線索,因?yàn)檎齽t化項(xiàng)直接影響了模型的決策邊界和敏感度。
正如一句話所言:問題不在于上帝是否擲骰子,而在于如何擲骰子。賴教授的研究,不僅在理論上具有創(chuàng)新性,更在實(shí)踐中顯示出巨大的潛力。這一原則也適用于高度復(fù)雜的模型和任務(wù),或許這一研究的潛在應(yīng)用,有望影響未來的神經(jīng)網(wǎng)絡(luò)訓(xùn)練策略,幫助我們了解“如何擲骰子”。
在這篇文章中,我們將深入探討賴教授的這項(xiàng)創(chuàng)新研究,從其理論基礎(chǔ)到實(shí)踐應(yīng)用,從團(tuán)隊(duì)合作到研究挑戰(zhàn),我們將一一呈現(xiàn)。以下為雷峰網(wǎng)-AI科技評論與賴教授的采訪實(shí)錄,AI科技評論做了不修改原意的編輯:
一、論文解讀
AI科技評論: 您的最新論文《Asymptotic edge of chaos as guiding principle for neural network training》探討了混沌邊緣在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的作用。您能為我們解讀一下這項(xiàng)研究的創(chuàng)新點(diǎn)嗎?
(論文截圖。來源:IJAIRR)
賴載興:?這項(xiàng)研究我們早期發(fā)現(xiàn)(https://arxiv.org/abs/1909.05176) 的首次應(yīng)用嘗試,即深度學(xué)習(xí)模型在接近混沌邊緣時(shí)具有最佳泛化性能。然后,我們被激勵(lì)在實(shí)踐中應(yīng)用這種“混亂邊緣”原則。我們選擇關(guān)注一種常用的訓(xùn)練算法和正則化過程,以證明人們可以根據(jù)這一理論原理來設(shè)置訓(xùn)練超參數(shù),而不是像通常那樣進(jìn)行反復(fù)試驗(yàn)或基于啟發(fā)式方法。
雷峰網(wǎng)-AI科技評論: 您是如何將經(jīng)典的 Sherrington-Kirkpatrick 模型與神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的動力系統(tǒng)聯(lián)系起來的?
賴載興:?謝林頓-柯克帕特里克自旋玻璃模型(SK 模型)【注1】已被物理學(xué)家用來理解神經(jīng)網(wǎng)絡(luò)。我們的貢獻(xiàn)是將現(xiàn)代神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程進(jìn)一步映射到SK模型相圖上,并進(jìn)一步將訓(xùn)練超參數(shù)與物理動力學(xué)過程聯(lián)系起來,以便可以清楚地理解每個(gè)參數(shù)在有序混沌過渡過程中的作用。
雷峰網(wǎng)-AI科技評論: 論文提到了一種設(shè)置最佳權(quán)重衰減強(qiáng)度的“半解析”方法。您能詳細(xì)說明一下這個(gè)方法是如何工作的以及它對提高模型性能的意義嗎?
賴載興:??“半解析”意思是因?yàn)樗枰獙A(chǔ)解析方程進(jìn)行一定的校準(zhǔn)。為了估計(jì)將模型維持在混沌邊緣的最佳權(quán)重衰減強(qiáng)度,我們需要知道它與其他訓(xùn)練超參數(shù)之間的數(shù)學(xué)關(guān)系。雖然它們之間的函數(shù)依賴性可以通過分析得出,但方程中的某些常數(shù)需要根據(jù)經(jīng)驗(yàn)進(jìn)行校準(zhǔn)。本質(zhì)上,通過“設(shè)置”這個(gè)最佳權(quán)重衰減強(qiáng)度,模型將不斷探索學(xué)習(xí)數(shù)據(jù)模式的最佳權(quán)重配置,從而實(shí)現(xiàn)最佳測試精度。
雷峰網(wǎng)-AI科技評論:您如何看待這一研究在深度學(xué)習(xí)理論和實(shí)踐中的潛在應(yīng)用?它將如何影響未來的神經(jīng)網(wǎng)絡(luò)訓(xùn)練策略?
賴載興:?我們認(rèn)為這是使用“混沌邊緣”【注2】作為增強(qiáng)深度學(xué)習(xí)模型訓(xùn)練原則的第一個(gè)概念驗(yàn)證。雖然我們在簡單的訓(xùn)練任務(wù)上選擇了一個(gè)簡單的模型,但我們預(yù)計(jì)這一原則也適用于高度復(fù)雜的模型和任務(wù),盡管控制混沌邊緣的確切實(shí)現(xiàn)可能會有所不同。
雷峰網(wǎng)-AI科技評論:團(tuán)隊(duì)在研究過程中遇到的主要挑戰(zhàn)是什么,如何解決的?另外,您認(rèn)為目前的研究差距和優(yōu)化計(jì)劃是什么?
賴載興:?研究過程中有很多失敗的嘗試。我們研究了模型和訓(xùn)練機(jī)制的許多不同變體,但大未能提供清晰的洞見或因過于復(fù)雜而難以分析。但所有這些失敗都幫助我們對理論圖景和深度學(xué)習(xí)訓(xùn)練動態(tài)有了更深入的了解,其中不少發(fā)現(xiàn)令人振奮。
此外,我們面臨的另一個(gè)挑戰(zhàn)是如何將跨學(xué)科的研究成果傳達(dá)給特定領(lǐng)域的專家,尤其是計(jì)算機(jī)科學(xué)家。物理學(xué)家與計(jì)算機(jī)科學(xué)家在研究人工智能時(shí)可能采用截然不同的視角和方法,有時(shí)甚至顯得格格不入。然而,這種跨學(xué)科的交流極大地促進(jìn)了我們向他們學(xué)習(xí),從而顯著提升了我們的研究質(zhì)量。
我們之間的一個(gè)研究差距可能是,目前的人工智能研究依賴簡單的數(shù)學(xué)方程來理解人工智能模型,隱含地希望在解釋它時(shí)能達(dá)到一些簡單性。然而,人工智能似乎利用的是復(fù)雜性而不是簡單性,這種隱含的“簡單性”假設(shè)可能會阻礙理解人工智能深入理解的進(jìn)展。工智能深入理解的進(jìn)展。
雷峰網(wǎng)-AI科技評論:全球范圍內(nèi),有哪些頂尖研究團(tuán)隊(duì)正在開展與您類似的項(xiàng)目?
賴載興:?除了人工智能之外,復(fù)雜性科學(xué)中也有“混沌邊緣”的相關(guān)研究。他們中的許多人研究生物網(wǎng)絡(luò)和分布式水庫計(jì)算機(jī)網(wǎng)絡(luò)(Reservoir Computer Networks)。著名的包括印第安納大學(xué)伯明根分校的約翰·貝格斯(John Beggs)、賓夕法尼亞大學(xué)的丹尼·S·巴塞特(Dani S. Bassett)。
二.領(lǐng)域洞見
雷峰網(wǎng)-AI科技評論:您認(rèn)為當(dāng)前機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域面臨的最大挑戰(zhàn)是什么?您的研究如何幫助應(yīng)對這些挑戰(zhàn)?
賴載興:?最大的挑戰(zhàn)可能是可解釋性,這樣模型就可以用來完成艱巨的任務(wù)。我們研究中使用的混沌邊緣原理可以作為提高人工智能可解釋性的理論基礎(chǔ)。
雷峰網(wǎng)-AI科技評論:您能否介紹一下本研究的應(yīng)用前景和潛在挑戰(zhàn)?
賴載興:?我們的研究是概念驗(yàn)證的第一步,表明利用復(fù)雜系統(tǒng)科學(xué)中的原理可以幫助創(chuàng)建更好的人工智能模型。從長遠(yuǎn)來看,它可以帶來更好、更復(fù)雜的訓(xùn)練算法或模型架構(gòu)。然而,由于大型語言模型等最先進(jìn)的模型非常龐大且復(fù)雜,因此實(shí)現(xiàn)更好的人工智能模型非常具有挑戰(zhàn)性。
雷峰網(wǎng) (公眾號:雷峰網(wǎng)) -AI科技評論: 您如何看待量子信息科學(xué)和復(fù)雜系統(tǒng)研究在未來技術(shù)發(fā)展中的作用?他們將如何推動跨學(xué)科創(chuàng)新?
賴載興:?量子信息科學(xué)正沿著一條不可阻擋的軌跡迅速發(fā)展,這不僅得益于它巨大的潛力,更源于它對量子技術(shù)革新的驅(qū)動作用。隨著我們對量子世界的認(rèn)識日益加深,對通信、計(jì)算和安全等領(lǐng)域的高級功能需求不斷增長,探索量子領(lǐng)域已成為一個(gè)合乎邏輯的下一步。制造量子設(shè)備是一個(gè)復(fù)雜的過程,它要求精密的工程技巧和跨學(xué)科知識的融合。量子信息科學(xué)有潛力成為連接多個(gè)前沿創(chuàng)新的關(guān)鍵紐帶。
復(fù)雜系統(tǒng)科學(xué)正逐漸被視為一種普遍的方法論和思考框架,而不僅僅是特定領(lǐng)域的知識。它已經(jīng)滲透并融入了眾多學(xué)科包括物理、化學(xué)、生物醫(yī)學(xué)、工程,乃至社會科學(xué)、經(jīng)濟(jì)學(xué)、物流等領(lǐng)域,以及城市動力學(xué)、彈性和可持續(xù)性問題。這些問題的解決不再局限于傳統(tǒng)學(xué)科的視角,而是需要跨學(xué)科的協(xié)作和貢獻(xiàn)。隨著復(fù)雜性思維成為研究的常態(tài),“復(fù)雜性科學(xué)”這個(gè)術(shù)語在未來很可能會從我們的詞匯中消失。
三、學(xué)術(shù)背景及展望
雷峰網(wǎng)-AI科技評論:您能簡單介紹一下您的個(gè)人背景和學(xué)術(shù)歷程嗎?您是如何從粒子現(xiàn)象學(xué)和場論過渡到非線性動態(tài)系統(tǒng)、量子混沌和復(fù)雜系統(tǒng)的?
賴載興:?我1971 年至 1978 年間在芝加哥大學(xué)完成了本科至博士的學(xué)習(xí), 我的博士論文是關(guān)于(反)中微子誘導(dǎo)的二μ子的產(chǎn)生,這項(xiàng)研究為弱相互作用模型構(gòu)建時(shí)期提供了對標(biāo)準(zhǔn)模型的深入和及時(shí)評估。隨后,在我哥本哈根的尼爾斯玻爾研究所,我深入研究了量子色動力學(xué)下的電子-正電子湮滅過程。
加入新加坡國立大學(xué)后,我面臨了與實(shí)驗(yàn)信息中心距離較遠(yuǎn)的挑戰(zhàn),這促使我轉(zhuǎn)向粒子物理學(xué)的其他理論領(lǐng)域,包括強(qiáng)子相互作用、經(jīng)典與量子規(guī)范場理論。我被整體論所吸引,認(rèn)為還原論方法不能完全解釋復(fù)雜系統(tǒng)的集體行為。我的研究逐步從非線性動力學(xué)和混沌理論擴(kuò)展到復(fù)雜網(wǎng)絡(luò)和系統(tǒng),這是一段充滿發(fā)現(xiàn)的物理學(xué)之旅。
雷峰網(wǎng)-AI科技評論:在學(xué)術(shù)傳承方面,您在物理學(xué)方面有科學(xué)根源,在教育方面,您推動了新加坡國立大學(xué)計(jì)算科學(xué)的發(fā)展。您過去的經(jīng)歷如何塑造您的專業(yè)技能和研究視角?它與本研究有何關(guān)系?
賴載興:?在我看來,求知欲是學(xué)者最寶貴的品質(zhì),它驅(qū)使我們超越自己的專業(yè)領(lǐng)域,對新的問題保持好奇,欣賞并吸收他人的創(chuàng)新思維和方法,以及用自己學(xué)科的原則和概念來構(gòu)建問題和挑戰(zhàn)。我在芝加哥大學(xué)接受的跨學(xué)科教育,涵蓋物理、人文、社會科學(xué)以及生物和化學(xué),為我日后在新加坡國立大學(xué)的多元教育發(fā)展中打下了堅(jiān)實(shí)的基礎(chǔ)。無論是建立計(jì)算科學(xué)項(xiàng)目、轉(zhuǎn)型物理系研究方向,還是參與創(chuàng)立耶魯-新加坡國立大學(xué)學(xué)院,這些經(jīng)歷都豐富了我的教育背景和科學(xué)視野。
最近,我將研究領(lǐng)域擴(kuò)展到了機(jī)器學(xué)習(xí)物理學(xué),這一轉(zhuǎn)變源自對深度學(xué)習(xí)基本原理的深入思考。在物理學(xué)中,我們習(xí)慣于通過對稱性或最優(yōu)化原則(如最小作用原理、熵最大化等)來理解現(xiàn)象。如果我們將深度學(xué)習(xí)視為一個(gè)動態(tài)過程,我會關(guān)注在這個(gè)過程中哪些量被最小化或最大化,以及這些過程背后的機(jī)制是什么。這種探索在某種程度上是第一波神經(jīng)網(wǎng)絡(luò)浪潮中物理學(xué)家工作的延續(xù),并有助于我們在深度學(xué)習(xí)領(lǐng)域?qū)崿F(xiàn)更高的可解釋性和可重復(fù)性。
雷峰網(wǎng)-AI科技評論:您能分享一下您目前的一些研究方向或正在進(jìn)行的項(xiàng)目嗎?
賴載興:?我的同事(Feng Ling, Chen Kan, 和一些研究生)目前正在進(jìn)行城市動力學(xué)問題的概念框架和應(yīng)用開發(fā),包括城市韌性(臨界點(diǎn)、預(yù)警信號、預(yù)測……)、城市環(huán)境中的疫情傳播,以及社交網(wǎng)絡(luò)上的信息傳播和控制(包括錯(cuò)誤信息)。這項(xiàng)工作是在新加坡國立大學(xué)城市框架下進(jìn)行的。
我參與的另一個(gè)方向是新加坡的AI for Science倡議,希望能夠利用新加坡已建立的科學(xué)界社群來推動人工智能的應(yīng)用,并可能為理解人工智能過程的機(jī)制和動態(tài)提供反饋。
雷峰網(wǎng)-AI科技評論: 最后,您對科學(xué)和教育有哪些個(gè)人哲學(xué)或信念?這些對您的研究和職業(yè)有何影響?
賴載興:??我的朋友阿圖爾·埃克特(Artur Ekert)是量子技術(shù)中心的首任主任,他在所有電子郵件中都引用了一句話:“做你喜歡的事,喜歡你所做的事”。我非常贊同這句話。我個(gè)人認(rèn)為,成為一名科學(xué)家是一種特權(quán),你可以追隨自己的熱情,將學(xué)習(xí)和探索視作生活方式,而非單純的“工作”。換言之,你從事研究是源于你的激情和興趣;教學(xué)是希望分享知識的喜悅;承擔(dān)學(xué)術(shù)管理,是因?yàn)閷λ鶎贆C(jī)構(gòu)有深厚的歸屬感和責(zé)任感。自己的學(xué)術(shù)生涯能如此充實(shí),盡管這可能帶有些許理想化色彩。不幸的是(也許?!),現(xiàn)代學(xué)術(shù)界越來越重視研究成果作為成功的唯一標(biāo)準(zhǔn),這可能會改變年輕學(xué)者對學(xué)術(shù)成就的認(rèn)識和滿足感。
注1:謝林頓-柯克帕特里克(Sherrington-Kirkpatrick,簡稱SK)自旋玻璃模型是一個(gè)物理學(xué)中的簡化模型,涉及到大量元素之間的復(fù)雜相互作用,用數(shù)學(xué)語言來描述,在一種被稱為自旋玻璃特殊的磁性材料所包含的中隨機(jī)分布、完全無序的小磁鐵之間非常復(fù)雜和混亂的磁場模式,以及這些小磁鐵如何在這個(gè)混亂的網(wǎng)絡(luò)中找到一種平衡狀態(tài)。簡而言之,SK模型是一個(gè)探索復(fù)雜系統(tǒng)中秩序與混亂相互作用的重要工具,這個(gè)模型也在研究大腦神經(jīng)元如何協(xié)同工作時(shí)提供了洞見。
注2:"混沌邊緣"(Edge of Chaos)是一個(gè)描述系統(tǒng)動態(tài)行為的術(shù)語,它指的是一種特殊狀態(tài),其中系統(tǒng)的行為既不是完全有序的,也不是完全無序的。這個(gè)概念在復(fù)雜系統(tǒng)理論中非常重要,因?yàn)樗ǔEc系統(tǒng)的高適應(yīng)性和信息處理能力相關(guān)聯(lián)。在人工智能和機(jī)器學(xué)習(xí)中,研究者嘗試?yán)没煦邕吘壍母拍顏碓O(shè)計(jì)更智能、更能適應(yīng)新情況的算法。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見 轉(zhuǎn)載須知 。