黃仁勛談“主權AI”:基礎設施不能指望外包
近日, 知名VC A16Z的合伙人Anjney Midha與英偉達創(chuàng)始人兼CEO黃仁勛、Mistral聯(lián)合創(chuàng)始人兼CEO Arthur Mensch在其播客節(jié)目中討論了主權人工智能、國家人工智能戰(zhàn)略, 以及為什么每個國家都必須掌控自己的數(shù)字智能等話題,其中著重討論了當AI日漸成為新一代國家基礎設施的之際,國家如何部署AI、應對AI競爭。
Mistral是一家法國的AI公司,創(chuàng)立于2023年,專注于開發(fā)開源大模型,Arthur Mensch此前曾就職于DeepMind。A16Z和英偉達均是Mistral的投資方,Mistral上一輪融資后估值約為62億美元。
在訪談中,兩位創(chuàng)始人也探討了關于開源和閉源模型與安全之間的關系,二人均認為, 國家限制輸出模型,并不能意味著就會變得更“安全”,反而開源模型的飛輪效應能夠加速AI進程,從而使“閉關鎖國”背景下的模型面臨很高的被淘汰風險。
此外,二人還對AI通用性與專用性之間關系進行了討論,他們均認同AI是一種通用技術,但同時也是一種專用型技術,在國家層面,需要更好地適應國情、文化和社會習慣等因素,因此,對于國家而言, “親自下場”參與尤為重要,不能指望外包“作為基礎設施的數(shù)字智能”。
以下為“明亮公司”結合AI編譯的對話內容:
AI將是國家的基礎設施
Anjney Midha: 今天,我們來聊“主權AI”,讓我們先從不同國家的領導者那里得到的第一個問題開始——AI實際上是一種通用技術嗎?在人類歷史上,我們可能只有少數(shù)這樣的技術。一些經(jīng)濟學家稱,這些技術加速了整個社會的經(jīng)濟進步,例如電力、印刷機等等。現(xiàn)在每個人都在問的問題是,這是思考AI的正確方式嗎,還是AI只是另一種重要但最終只是垂直領域的技術?
Arthur Mensch:它是一種通用技術,因為它從根本上改變了我們構建軟件和運用機器的方式。 就像互聯(lián)網(wǎng)是一種通用技術一樣,AI也是一種通用技術。它允許構建代表你行事的Agent,在這方面,它可以用于任何行業(yè)的垂直領域。它可以用于服務、公共服務,它可以改變民眾的生活,它可以用于農(nóng)業(yè),當然也可以用于國防目的,所以它涵蓋了國家需要關注的一切。因此,從這個角度來看,任何國家將其作為優(yōu)先事項并制定專門的國家AI戰(zhàn)略是非常自然的。
黃仁勛: 100%同意Arthur所說的。而且,這也是人們放棄的原因:如果它是一種通用技術,且一家公司可以構建最終的通用技術,那么為什么其他人不能做同樣的事情呢?但這也是一個思維把戲,讓人們相信這種技術只能由少數(shù)人去構建,而其他人只需坐享其成。
我建議每個人都參與AI,這不是特權階層的專屬。智能技術是為每個人服務的,不僅僅是世界上少數(shù)幾家公司應該去構建它。沒有人會比瑞典更關心瑞典文化、瑞典語言、瑞典人民和瑞典生態(tài)系統(tǒng)。沒有人會比沙特更關心沙特的生態(tài)系統(tǒng)。沒有人會比以色列更關心以色列……
技術是通用的,但智能技術也是高度專業(yè)化的,原因是這樣的:坦白說, 我不認為我會等待一個通用聊天機器人成為某個特定疾病領域的專家。 我仍然認為,我寧愿有一個在該領域高度專業(yè)化的人員,去微調、訓練,使其專門化。
Arthur Mensch: AI是一種通用技術, 就像編程語言一樣。它還是一種承載了文化的技術, 這意味著,存在一種基礎設施,當然,不是每個國家都會打造芯片。像基礎模型、Web壓縮這樣的通用模型,最終會開源,可以作為構建專門系統(tǒng)的正確基礎。
但除此之外,我認為這取決于組織、企業(yè)、國家去構建他們的所需。讓其發(fā)揮作用的方法是,采用像開源模型這樣的通用模型,并將你所擁有的特定知識,或者讓你的公民、讓你的員工將他們的知識提煉到系統(tǒng)中,提煉到代表你行事的Agent中,從而使這Agent逐漸變得更準確,更符合國家或企業(yè)構建AI系統(tǒng)時的指令和規(guī)范。
因此,你需要垂直領域的專家,你需要文化專家,你需要那些擁有特定國家議程的人,與技術公司合作,這些公司能夠以易于使用的方式,以易于專門化的方式,展示開源基礎設施。我認為,這就是前沿,它是一種非常水平化 (horizontal) 技術,但要使其發(fā)揮任何作用,你需要水平提供者與垂直領域專家之間的合作。
與歷史上的其他通用技術浪潮不同,比如電力或印刷機,這一次有什么不同呢?如果我是國家領導人,我應該如何思考我們國家的AI?我應該將其視為數(shù)字勞動力嗎,還是將其視為某種橋梁?
我認為, 它與電力相似。 從經(jīng)濟角度來看,它將在未來幾年內對每個國家的GDP產(chǎn)生兩位數(shù)的影響。這意味著每個國家都需要關注它,因為如果他們不能在合適的地方建立基礎設施,建立屬于自身主權的能力,那么這意味著可能會有資金流向其他國家。因此,這在一定程度上改變了全球的經(jīng)濟平衡。
從這個意義上說,它與一百年前的電力并沒有太大不同。當時,建設電力工廠,你是在為從鄰居那里購買做準備。當然,最終這很好,因為它創(chuàng)造了一些依賴關系。所以,我認為從這個意義上說,它是相似的。
有什么不同呢?我認為有兩點。首先, 它是一種有點模糊的技術。 如果你想要用它來創(chuàng)造數(shù)字勞動力,你需要塑造它,你需要有基礎設施、人才和軟件,而人才需要在本地培養(yǎng)。我認為這很重要,原因在于,AI與電力不同,這是一種內容生成技術。因此,你有產(chǎn)生內容的Agent,它們生產(chǎn)文本、生產(chǎn)圖像、生產(chǎn)語音,與人互動……而當你生產(chǎn)內容并與社會互動時,你就成為一種社會構建。
這一意義上,社會構建承載著文化,承載著企業(yè)或國家的價值觀。因此,如果你不希望這些價值觀消失,也不希望依賴于集中的供應商,你需要更深入地參與其中,而不是像對待電力那樣去參與。
Anjney Midha: 你同意這個觀點嗎,Jensen?
黃仁勛: 有幾種方法可以思考這個問題。一個方向是,國家的數(shù)字智能不太可能是想要外包給第三方的東西。
一些需要考慮的因素是, 你的數(shù)字智能現(xiàn)在是你的一種新基礎設施, 就像你的電信、醫(yī)療保健、教育、高速公路、電力一樣,而現(xiàn)在來到了新的一層,就是你的數(shù)字智能。你有責任決定這種數(shù)字智能如何發(fā)展,以及你是否希望將其外包,或者這是你想要參與的,甚至可能控制并塑造成為國家基礎設施的東西。
另一種思考方式是 你的數(shù)字勞動力 。現(xiàn)在這是新的一層,你必須決定這個國家或公司的數(shù)字勞動力,是你決定外包,希望它按照你所期望的方式發(fā)展,還是你想要參與,甚至決定控制、培養(yǎng)并使其變得更好。
我們總是雇傭通用型員工,我們從學校招聘他們,他們中有些人比其他人更通用,有些人比其他人更聰明。一旦他們成為我們的員工,我們決定讓他們入職。培訓他們,給他們設置護欄 (guardrailing) ,評估他們,持續(xù)提升他們。我們投入必要的資源,將通用智能轉化為超級智能,從而讓我們受益。
在這兩種情況下,它都為國家經(jīng)濟做出貢獻,它都為社會進步做出貢獻,在兩種情況下,它都為文化做出貢獻。我認為在這兩種情況下,國家都需要在其中發(fā)揮非常積極的作用。沒錯,它確實是一種通用技術,但你必須決定如何塑造它。
你們國家的數(shù)據(jù)是屬于你們的、你們的國家圖書館,你們的歷史,你們想要將其數(shù)字化,你們可以將其提供給全世界,你也可以提供給國內的公司、研究人員和機構,它屬于你們。當然,這些都是非常模糊的東西,它們是非常軟性的概念。但它確實屬于你們,你可以決定如何將其用于造福你的人民,它屬于你們, 因為你有責任塑造它的未來主權, 這是你們的責任。
Anjney Midha: 除了軍事、電力網(wǎng)絡等國家資助和保護的資產(chǎn)外,如果沒有理解AI基礎設施和主權AI的關鍵性,是否需要控制整個技術棧?
Arthur Mensch?: Jensen提到數(shù)字勞動力,我認為這是一個很好的類比,你需要為你的 “AI勞動力”提供就業(yè)的平臺,這意味著你需要能夠定制模型,并將你國家圖書館中的知識注入到模型中,這樣它突然就能更好地使用你的語言。你需要能夠讓你的系統(tǒng)了解你的法律,以便當你部署AI軟件時,符合你所設置的邊界。
那個就業(yè)平臺需要能夠定制、設置護欄 (guardrailing) 、評測,然后當注意到某些事情需要改進時,修復問題,調試問題。這就是我們正在構建的平臺。一旦定制系統(tǒng)完成,能自己維護它們是很重要的。這意味著能夠在你自己的基礎設施上部署它們,能夠讓你的技術合作伙伴潛在地消失。
黃仁勛: 你的IT部門將成為你的數(shù)字勞動力的HR部門, 他們將使用Arthur描述的這些工具來入職AI、微調AI、設置護欄、持續(xù)評估它們并改進它們。那個飛輪將由現(xiàn)代版本的IT部門管理,我們將擁有生物勞動力和數(shù)字勞動力,這是非常棒的。所以沒有人會為你做這件事,你必須自己去做。
盡管我們有這么多技術公司,每個公司仍然有自己的IT部門,我有自己的IT部門,我不會在未來將其外包給其他人。它們對我來說將變得更加重要,因為它們將幫助我們管理這些數(shù)字勞動力。你將在每個國家、每個公司中都這樣做,而這些國家中的每個公司都將這樣做。所以對于Arthur所描述的,要將這種通用技術微調后真正成為相關領域專家,這是AI的巨大未來空間。
Anjney Midha: 我想確認下你們兩人所說的,你提到文化,你說有一系列規(guī)范,你定制模型時訓練數(shù)據(jù)中就有這些規(guī)范 (norms) 。
黃仁勛:你說的是規(guī)范,這正是意味著它是軟性的,而不是規(guī)則,規(guī)則更硬,算法也是,算法和法律是非常具體的。
Arthur Mensch: 是的,你想在系統(tǒng)中融入不同的東西。有一些風格和知識的元素,你不會通過嚴格的邊界設置來強制執(zhí)行,而是可以通過持續(xù)訓練模型來實現(xiàn)。你采用國家圖書館的內容、采用偏好,并將其提煉到模型中。然后你有一套流程,如果你在公司里,你有一套政策,這些是嚴格的,所以通常構建的方式是,你將模型連接到嚴格的規(guī)則上,并確保每次輸入時,都驗證規(guī)則是否得到遵守。所以,一方面是軟性的,偏好、文化。
黃仁勛:人的偏好是多維的, 有太多特征定義了我的偏好,很難想象如果讓人類用Python來描述這些,比如用C++來描述“基于這個,我更喜歡這個,但如果那樣做,我更喜歡另一個東西”。如果人類真的那樣做,規(guī)則的數(shù)量將是難以想象的,這就是為什么AI有能力將所有這些代碼化。 它是一種能夠處理生活模糊性 (ambiguity of life) 的新編程模型。
Anjney Midha: 你的意思是AI不僅僅是一種計算基礎設施,它也是一種文化基礎設施。
Arthur Mensch: 它關乎確保你的文化基礎設施以及公司或國家中的人類專業(yè)知識能夠融入到AI系統(tǒng)中。
黃仁勛: 文化會刷新價值觀。我們剛才還在討論,這些AI模型、AI服務對提問的回應方式各不相同,對吧?因為它們已經(jīng)將服務或公司的價值觀編程到各自的服務中了。你能想象它在國際層面上的規(guī)模效應嗎?
Arthur Mensch: 這是集中式AI模型的一個內在局限性,你認為你可以將一些普遍價值觀和普遍專業(yè)知識寫入一個通用模型中。在某個時候,你需要將通用模型拿過來,問特定的員工群體或大眾群體,他們的偏好是什么,他們的期望是什么,你需要確保你以一種軟性方式和硬性方式來專門化這個模型,通過規(guī)則和文化偏好。所以這部分是不能外包的,無論是作為一個國家還是作為一個企業(yè),你需要掌控它。
Anjney Midha: 可能這么說有點夸張——如果它是一種文化基礎設施,而我沒有它的主權,那么所涉及的利害關系基本上相當于 “現(xiàn)代數(shù)字殖民” 。如果你說,你得把AI當作幾乎是你的數(shù)字勞動力,而另一個國家或不是我的主權國家的人可以決定我的數(shù)字勞動力能做什么或不能做什么,那這就是一個問題。
黃仁勛: 有些東西是普遍的,例如,某些公司可以為全世界的國家和社會以及公司服務,因為它是基本通用的,但它不能是唯一的社會肌理,它不能是唯一的層級,它不能是唯一的數(shù)字智能層,它必須由某種地區(qū)性的內容來增強。
嘿,你知道,我認為麥當勞到處都很好,肯德基也到處都很好,星巴克也不錯。但你仍然希望有當?shù)氐娘L格、當?shù)氐目谖秮碓鰪娝_@就是文化,它定義了社會、定義了我們。所以我認為到處都有沃爾瑪是可以的,你可以依賴它。 但你需要有當?shù)氐娘L格、當?shù)氐目谖丁數(shù)氐姆铡?/strong>
也許讓我換一種說法,很可能在未來,就我們的數(shù)字勞動力而言,我們會有一些通用的數(shù)字工人,它們擅長做一些基礎研究或類似的事情,對每家公司來說都不必要重新創(chuàng)造,對吧?我認為Excel很好,Microsoft Office是普遍優(yōu)秀的,我很樂意使用它。
Anjney Midha: 一個好用的參考架構。
黃仁勛: 沒錯,然后還有行業(yè)特定的工具和行業(yè)特定的專業(yè)知識,這對我們來說很重要。……你的數(shù)字勞動力也會是這樣的,AI也會是這樣的。會有一些你可以直接從貨架上拿下來的東西,新的搜索很可能會有一些AI,但然后會有工業(yè)版本的AI,我們可能會從Cadence和其他公司那里得到,然后我們不得不培養(yǎng)我們自己的,使用Arthur的工具,我們不得不微調它們,讓他們變得更好。
Arthur Mensch: 我非常同意這種愿景,即有一個通用模型,然后有一些行業(yè)層面的專門化,然后是公司和國家層面的更高一層專門化。 你會有一個越來越專門化的AI系統(tǒng)樹。
也許可以舉一個具體的例子,就是我們最近在1月份發(fā)布的Mistral模型,它是一個通用模型,所以它會說所有的語言,它對大多數(shù)事情都有所了解。但隨后,我們開始了一個新的專門化模型家族,這些模型在語言方面進行了專門化。所以我們加入了更多的阿拉伯語,更多的印度語言,并重新訓練了模型,我們將這些額外的知識提煉出來,這些知識是初始模型未曾見過的。通過這樣做,我們實際上讓它在說阿拉伯語和印度半島的語言時更加符合習慣用法。
而且,對于給定大小的模型,如果你選擇專門化它,你可以得到一個更好的模型。今天,我們的24B模型,經(jīng)過阿拉伯語專門化后,表現(xiàn)超過了其他五倍大的語言模型,原因就在于我們進行了專門化。
這是第一層。然后,如果你考慮下一個更高層次,你可以考慮垂直領域。所以,如果你想構建一個模型, 它不僅擅長阿拉伯語,而且還能處理沙特阿拉伯的法律案件, 例如。好吧,你需要再次專門化,所以還有一些額外的工作需要與公司合作完成,以確保你的系統(tǒng)不僅擅長說某種語言,而且還能理解在這種語言中進行的法律工作,所以對于任何語言和垂直領域的組合,你都可以想象到,都需要進行專門化。
如果你想要一個會說法語的醫(yī)療診斷助手,好吧,你需要擅長法語,但你也需要理解如何用法語進行醫(yī)療診斷,對吧?所以這兩件事對于通用模型提供商來說是非常難做的。
Anjney Midha: 如果你所描述的是對的,那么我需要在我們的本地規(guī)范、我的本地數(shù)據(jù)上定制這個AI層,這從技術能力角度來看相當復雜。那么,你會如何建議一個大國去思考這個技術棧呢?我們談論的是芯片、計算、數(shù)據(jù)中心、模型、應用,然后最終是你描述的AI護士或AI醫(yī)生。你會如何建議一個較小的國家與之不同地去思考呢?
Arthur Mensch: 我會建議擁有這個技術棧的水平化 (horizontal) 部分,所以你需要基礎設施,你需要推理基元 (inference primitives) ,你需要定制基元,你需要可識別性,你需要能夠將邊界連接到模型上,將模型連接到實時信息源等,這些基元在不同國家、不同企業(yè)都是工業(yè)化的,都能買得到。然后你可以根據(jù)你的價值觀、你的專業(yè)知識、你的本地人才,從這些基元開始構建。
問題是,什么是水平化的?可以如果你是一個小企業(yè)或小國家,你應該購買什么,而什么又是僅適用于你的、需要你自己去構建的。
黃仁勛: 你必須明白, 這并不像你想象的那么難。首先,因為技術正在變得更好,更易于使用。 你能想象五年前做這件事嗎?那是不可能的。你能想象五年后做這件事嗎?它將變得微不足道。我們正處于中間階段。唯一的問題是,你是否需要去做這件事?如果你得出結論,這對你是重要的,那么你就必須盡快參與其中,學習并一路學習,只要知道它正變得越來越容易。
事實上,我們嘗試去做Agent系統(tǒng),三年前也是極其困難的,但Agent系統(tǒng)如今要容易得多。所有用于策劃數(shù)據(jù)集、入職數(shù)字員工、評估員工、設置護欄的工具,所有這些都在不斷改進。關于技術的另一點是,當它變得更快時,它就變得更容易了。
你知道,我有幸見證了計算機從最早的時期開始發(fā)展。計算機的性能曾經(jīng)是如此令人沮喪地慢,你所做的一切都很困難。但如今,你知道,我們所做的事情是如此神奇,因為速度也很快。無論是出于你的機構需求,還是出于參與這項有史以來最重要的技術,事實是,它正在變得越來越好,所以借口越來越少。
Anjney Midha:因為變革是困難的。 如果我是國家領導人,我面臨著不斷增加的地緣政治風險,我不知道我的盟友是誰,選舉即將到來,我有無數(shù)的事情需要處理。但現(xiàn)在,假設我理解了這一點,你花了很多時間與國家領導人交談,他們詢問關于快速部署AI的風險,你從他們那里聽到的最常見的問題是什么?
Arthur Mensch: 我聽到過一些問題,但其中一個風險是看到你的民眾開始害怕這項技術,擔心它會取代他們。然而,如果我們可以共同努力, 確保每個人都能接觸到這項技術并接受使用它的培訓,那么這種恐懼是可以避免的。 因此,對民眾的技能培養(yǎng)是極其重要的,要讓人們明白AI是一個機會,讓他們能夠更好地工作,并通過應用程序、通過他們可以在智能手機上安裝的東西、通過公共服務來展示其真正的目的。
例如,我們正在與法國的失業(yè)系統(tǒng)合作,通過AI Agent將就業(yè)機會與失業(yè)者聯(lián)系起來,這些Agent當然由機構內的人類操作員激活,這是一個非常容易被接受的機會,讓人們更好地找到工作。因此,這是確保民眾理解機會的一部分,AI真的只是他們需要采用的一種新變化,就像他們在90年代采用個人電腦,以及在2000年代采用互聯(lián)網(wǎng)一樣。
這些變化的共同點是,你需要讓人們接受這項技術。我認為國家可能面臨的最大問題是, AI可能會增加已經(jīng)相對較大的數(shù)字鴻溝。 但如果我們共同努力,并以正確的方式去做,我們可以確保AI實際上正在縮小數(shù)字鴻溝。
黃仁勛: AI是一種新的編程計算機的方式,因為它通過輸入一些文字,你可以讓計算機做某事。就像我們過去所做的那樣,我們輸入文字,讓計算機做某事。現(xiàn)在你可以與它對話,你可以通過多種方式與它互動,你可以讓計算機為你做事,這比以前容易得多。今天能夠使用ChatGPT編程計算機的人數(shù)遠遠超過能夠使用C++編程計算機的人數(shù)。因此,從人類潛力的角度來看,我們已經(jīng)縮小了技術差距,這可能是迄今為止我們所見過最偉大的技術平權因素。
Arthur Mensch: 但你仍然需要讓民眾了解它。
黃仁勛: 我只是在描述一個事實。事實是, 使用ChatGPT編程計算機的人數(shù)比使用C++編程計算機的人數(shù)要多。 實際上,在過去的三年里,這是一個不爭的事實。
……
開源:更加安全還是更高風險?
Anjney Midha: 讓我們來談談開源的熱潮,因為你們兩人都公開談論過在主權背景下開源模型的重要性。去年,Nvidia和Mistral共同訓練了一個名為Mistral NeMo的模型。為什么開源模型是你們如此重要的一部分?為什么開源模型是你們如此重要的一部分?
Arthur Mensch: 首先,這是一種水平化的 (horizontal) 技術,企業(yè)和國家最終愿意在自己的基礎設施上部署它。從主權的角度來看,擁有這種開放性是很重要的。第二點是,發(fā)布開源模型很重要,因為 它可以加速進程。 我們創(chuàng)建Mistral的基礎是,我們在2010年至2020年之間進行AI研究時看到,由于每個實驗室都在相互構建,進程加速了,而這種加速在第一個大型語言模型出現(xiàn)后,尤其是OpenAI的模型之后,就消失了。
因此,重新啟動這種開放的飛輪——我貢獻一些東西,然后另一個實驗室貢獻其他東西,然后在此基礎上進行迭代——這就是我們創(chuàng)建Mistral的原因,我認為我們在這方面做得很好,因為我們開始發(fā)布模型,然后Meta也開始發(fā)布模型,然后中國公司如DeepSeek發(fā)布了更強大的模型,每個人都能從中受益。
回到NeMo,關于創(chuàng)建AI模型的開放方式的一個困難是,這更像是一個大教堂而不是集市,當涉及到開源時,因為構建一個模型需要大量的投入。因此,我們與Nvidia團隊所做的就是真正將兩個團隊結合起來,讓他們在相同的基礎設施上工作,使用相同的代碼,解決相同的問題,并結合他們的專業(yè)知識來構建同一個模型。這非常成功,因為Nvidia帶來了我們不知道的東西,而我們帶來了Nvidia不知道的東西,最終我們生產(chǎn)出了當時同尺寸下最好的模型。
因此,我們真的相信這種合作,并且認為我們應該在更大規(guī)模上進行更多合作,不僅僅是兩家公司,而是可能三家或四家公司,這就是開源將如何占上風。
黃仁勛: 是的,我完全同意。開源的好處,除了加速并提升所有通用模型和通用能力的基礎科學外, 開源版本還激活了大量的利基市場和利基創(chuàng)新。 突然之間,在醫(yī)療保健、生命科學、物理科學、機器人技術、交通等領域,由于開源能力足夠好而被激活的行業(yè)數(shù)量是驚人的。
Anjney Midha: 但在任務關鍵型領域,數(shù)據(jù)可能很敏感。
黃仁勛: 是的,例如,在能源開采領域,誰會去創(chuàng)建一個AI公司來開采能源呢?能源開采本身是一個非常重要的領域,但能源開采的市場規(guī)模并不大,因此開源激活了每一個這樣的領域,金融服務也是如此,你可以隨意挑選。
Arthur Mensch:任何“任務關鍵型”的領域,都需要做自有部署,可能還需要在邊緣進行部署, 對任何需要進行強審計并能夠進行徹底評估的領域,如果你能夠訪問權重,你就可以更好地評估一個模型,而不是僅僅通過API訪問。因此, 如果你想要圍繞你的系統(tǒng)建立100%的準確性,我認為你不應該使用閉源 (模型) 。
黃仁勛: 而且你必須將其融入到你的循環(huán)中。如何將你的本地數(shù)據(jù)連接起來?將它與你自己的本地數(shù)據(jù)、你自己的本地經(jīng)驗連接起來。使用得越多,它就變得越好。那個飛輪,你無法在沒有開源的情況下做到這一點。
Anjney Midha: 假設我是一個國家領導人,我正在考慮開源,我開始聽到有人說:“嘿,開源是對國家安全的威脅。我們不應該出口我們的模型,因為這些開源模型實際上泄露了太多信息。更重要的是,壞人也可以使用這些開源模型,因此這對安全構成威脅。相反,我們應該做的是關上大門,只允許兩三個獲得政府許可的擁有基礎設施的實驗室獲來進行訓練。”我確實聽到很多這樣的說法。我應該如何思考這個問題?這與你告訴我的相反,即開源對于任務關鍵型行業(yè)更好?
Arthur Mensch:實驗室之間的合作對于人類的成功至關重要。如果一個國家決定封鎖一切,唯一會發(fā)生的事情是另一個國家將占據(jù)領導地位。 切斷自己與“開源飛輪”的聯(lián)系,對于保持競爭力的代價實在太高了。
在美國有這樣的爭論,如果一個國家對模型權重 (weights) 進行出口管制,這并不會阻止歐洲或亞洲的任何國家繼續(xù)取得進展,他們甚至將合作以加速這一進程。因此,我認為我們需要接受這樣一個事實——這是一種水平化 (horizontal) 技術,非常類似于編程語言,編程語言都是開源的,對吧?我認為AI也需要開源。
黃仁勛:控制軟件是不可能的。 如果你試圖控制它,那么其他人會說:“好吧,讓我們自己來。”就像Arthur提到的那樣。問題是,開源更安全嗎?開源提供了更多的透明度,更多的研究人員,更多人的檢查。這就是為什么世界上每一個云服務提供商都是基于開源構建的。
給我一個例子,一個公共云今天是基于非開源的基礎設施堆棧構建的。你從開源開始,你可以對其進行定制。但開源的好處是,有這么多人的貢獻。而且,開源的檢查是非常重要的。你不能在開源中隨意放置任何東西。如果你這樣做,你會在網(wǎng)上被人嘲笑。你必須在開源中放置好的東西,因為審查是如此嚴格。因此,我認為開源提供了所有這些好處: 促進合作、加速創(chuàng)新、提升卓越、確保透明度、更多檢查——所有這些都提高了安全性。
Anjney Midha: 從某種意義上說,你們認為,部分原因是開源更安全,就像我們看到的開源數(shù)據(jù)庫、存儲和網(wǎng)絡計算一樣。全世界都可以幫助你進行紅隊測試 (red teaming) ,而不是只有公司內部的一小群研究人員。
黃仁勛: 是的,沒錯。
Arthur Mensch: 通過將許多組織聚集在一起,共同開發(fā)一種技術,使他們都可以使用并針對自己的領域進行專門化, 你實際上是在強迫技術對每個人都變得更好。 因此,這意味著你正在消除偏見,你正在確保你構建的通用模型盡可能好,不會出現(xiàn)故障。我認為從這個意義上說, 開源也是一種減少故障點的方法。
如果你今天是一家公司,決定完全依賴單一組織及其安全原則和紅隊測試組織,你可能有點過于信任它了。而如果你基于開源模型構建我的技術,你實際上是信任世界,確保你所構建的基礎是可靠的。所以,這減少了故障點,這顯然是一個企業(yè)和國家都需要做的事情。
打造公司:什么是好的組織結構?
Anjney Midha: 我們現(xiàn)在要稍微轉換一下話題,談談公司建設,這是很多人非常期待從你們兩位那里聽到的內容。那么,讓我們先從你開始,Jensen。你提到Nvidia是世界上最小的大公司。是什么讓你們能夠以這種方式運作?
黃仁勛:我們的架構是為了適應快速變化的世界而設計的, 這種變化可能是由我們自己引起的,也可能是影響我們的外部因素。原因在于,技術變化非常快。如果你過度強調可控性,那么你就會削弱系統(tǒng)適應變化的能力,無法保持敏捷。因此, 我們的公司文化強調“對齊” (aligned) ,而不是“控制” (control)。 我很少使用“控制”這個詞來描述公司的運作方式。我們注重最小化官僚主義,讓流程盡可能輕量化,以提高效率和敏捷性。
是在平靜的鄉(xiāng)村,還是更接近于水泥森林?你處于什么樣的環(huán)境中?因為你要構建的系統(tǒng)類型應該與你所處的環(huán)境保持一致。讓我感到奇怪的是,每家公司的組織架構看起來都很相似,但它們做的事情卻各不相同。一家公司可能像蛇一樣靈活,另一家可能像大象一樣龐大,還有一家可能像獵豹一樣敏捷。盡管它們在森林中都扮演著不同的角色,但它們的組織架構卻驚人地相似,這似乎并不合理。
Arthur Mensch: 我同意,公司確實有各自特點。盡管它們的組織架構有時看起來相似,但我們還有很多東西要學習。我們的公司還不到兩年歷史,所以對我們來說,最大的挑戰(zhàn)之一是,Mistral是一家深科技公司,它是由科學驅動的。科學并沒有軟件行業(yè)那樣的時間尺度,你不能按月來規(guī)劃。有時候,你并不清楚事情什么時候會準備好,但與此同時,客戶卻在詢問下一個模型何時推出,某種能力何時可用。
因此,我們需要管理好客戶的期望,我認為這是我們正在做的一件好事。我們需要在產(chǎn)品需求和科學研究之間找到平衡。 你不想讓研究團隊完全專注于讓產(chǎn)品工作,你需要讓他們保持一定的獨立性。
我認為我們在這方面做得很好,我們開始在公司內部實現(xiàn)不同頻率的運作——在項目方面,我們每周進行迭代;而在科學研究方面,我們則更注重深入探索,研究產(chǎn)品在某些領域為何表現(xiàn)不佳,以及如何通過研究、新數(shù)據(jù)、新架構或新方法來改進它。這種模式在典型的SaaS公司中是不存在的,因為這本質上是一個科學問題。
Anjney Midha: Nvidia是一家在過去30多年里非常成功的公司,它已經(jīng)找到了讓科學和研究始終領先于世界的一些方法,無論是2012年的CUDA,還是今天的Cosmos,后者在模擬領域無疑是最先進的。那么,這種模式是否正確呢?
黃仁勛: 我們在公司內部協(xié)調了Arthur剛才所說的。 我們有基礎研究、應用研究,然后是架構設計,最后是產(chǎn)品開發(fā)。 我們有多個層面,這些層面都是必不可少的。是的,它們都有自己的時間節(jié)奏。在基礎研究方面,頻率可能相當?shù)停硪环矫妫诋a(chǎn)品方面,我們有一個龐大的行業(yè)客戶群體,他們依賴我們。
因此,我們必須非常精確。一方面,我們管理基礎研究,希望發(fā)現(xiàn)那些沒有人預料到的驚喜;另一方面,我們又要能夠滿足大家的預期,可預測地交付產(chǎn)品。我們在公司內部協(xié)調了這兩個極端。
Anjney Midha: 這個市場中有許多令人困惑的事情,但其中有一件我想特別指出: 客戶同時也是你的競爭對手。 Nvidia向AWS出售GPU,而AWS正在開發(fā)自己的芯片,名為Trainium。Arthur,你們訓練的模型通過AWS和Azure銷售,而這些云服務提供商資助了像Anthropic和OpenAI這樣的實驗室。在這種環(huán)境下,你們如何取得勝利?你們如何管理這些關系?因為我們之前談到了公司內部的建設,但現(xiàn)在我很好奇,你們如何在這種外部環(huán)境中生存?
Arthur Mensch: Jensen說得很對,你要放棄控制,但要努力保持一致。盡管有時候某些公司可能是競爭對手,但你們可能有共同的利益,可以在特定的議程上合作。
黃仁勛: 你必須有自己的位置。顯然,這些云服務提供商與Arthur合作,并不是因為他們已經(jīng)有了相同的東西,而是因為他們希望擁有兩樣類似的東西。這是因為Arthur和Mistral在世界上擁有獨特的地位, 它們在特定領域提供了獨特的價值。 我們今天討論的許多內容都是Mistral和Nvidia在世界上獨特擅長的領域。我們與眾不同。
你知道,我們不僅僅是一個ASIC (專用集成電路) 制造商。我們能夠為云服務提供商 (CSPs) 做很多事情,這些是他們自己無法做到的。例如,我們的架構被廣泛應用。在很多方面,我們是未來初創(chuàng)公司的第一個切入點,原因在于,通過與Nvidia合作,他們不需要在戰(zhàn)略或商業(yè)上綁定任何主要的云服務商。他們可以對接每一家云服務提供商,甚至可以決定自己建立系統(tǒng),因為最終,經(jīng)濟因素可能會對他們更有利,或者他們可能希望獲得我們提供的一些在云服務提供商內部受到保護的能力。
無論出于何種原因,為了成為一個好的合作伙伴,你仍然需要有一個獨特的地位,你需要有一個獨特的價值主張。我認為Mistral有一個非常獨特的價值主張,我們也有一個非常獨特的價值主張。我們在世界上的位置很重要,即使是我們與之競爭的人。
當我們在舒適區(qū)內時,當我們對自己的身份感到自在時,我們就能成為所有云服務提供商的優(yōu)秀合作伙伴。然后,我們希望看到他們成功。我知道這聽起來有點奇怪,當我們把他們視為競爭對手時,但我們并不把他們視為競爭對手, 我們把他們視為合作伙伴,他們碰巧也與我們競爭。 你知道,我們?yōu)樵品仗峁┥趟龅淖钪匾氖虑橹痪褪菫樗麄儙砩猓粋€偉大的計算平臺就是能帶來生意。
Anjney Midha: 我記得當我第一次和Arthur見面時,我們在倫敦的一家餐廳里,深夜還在討論他的A輪融資計劃,當時我們正在討論他為什么需要這么多資金。現(xiàn)在回想起來,Mistral的A輪融資籌集了5億美元,而其他一些公司為了達到同樣的階段卻花費了數(shù)十億美元。
當時我問他:“你們想用什么芯片來運行?”他看著我,好像我問了一個荒謬的問題一樣,仿佛答案不言而喻——除了Nvidia的H100芯片,還能用什么?Nvidia投資于初創(chuàng)企業(yè)和創(chuàng)始人的生態(tài)系統(tǒng),甚至在沒有人知道他們之前就投資了。是什么思想在引導你如此深入地投資于初創(chuàng)企業(yè)和創(chuàng)始人,甚至在他們成名之前?
黃仁勛: 我想原因有兩個。首先,我很少稱我們所制造的產(chǎn)品為GPU。雖然我們制造的是GPU,但我認為Nvidia是一家計算公司。如果你是一家計算公司,最重要的事情是開發(fā)者。我們的所有策略、行動、優(yōu)先事項、聚焦點和投資,100%都與 “開發(fā)者至上” 的理念保持一致,這也可以被稱作 生態(tài)系統(tǒng) 。
所以,一切都從這里開始,也在這里結束。我們舉辦開發(fā)者大會,公司內部的所有舉措都是以開發(fā)者為中心的。這是第一點。
第二點是,我們當時正在開拓一種全新的計算方法,這種方法對于通用計算世界來說是非常陌生的。這種加速計算方法在很長一段時間里都是非常陌生的、反直覺的,甚至有些笨拙。因此,我們一直在尋找下一個令人驚嘆的突破,下一個看似不可能實現(xiàn)的事情,而這些如果沒有加速計算是無法做到的。
所以,很自然地,我會去尋找像Arthur這樣的研究人員和偉大的思想家,因為我在尋找下一個殺手級應用。如果還有某個令人驚嘆的計算機科學思想家我們還沒有接觸過,那肯定是我的疏忽,我們一定要去接觸他們。
Anjney Midha: 從計算的角度來看,你認為未來有哪些最重要的趨勢?特別是對于那些可能正在領導世界上增長最快的市場的政府決策者們,他們試圖了解計算的未來發(fā)展方向,你會如何指導他們?
Arthur Mensch:我們正在朝著越來越異步的工作負載發(fā)展, 也就是說,你將一個任務交給AI系統(tǒng),然后它會花20分鐘進行研究,然后再返回結果。這肯定會在一定程度上改變你看待基礎設施的方式,因為這會帶來更多的負載。所以,這對我們來說是一個看好的案例,無論是對數(shù)據(jù)中心還是對Nvidia來說都是如此。正如我開始時所說,如果你沒有正確的AI Agent入職基礎設施,所有這些都不會發(fā)生,如果你沒有一種流行的方式讓AI系統(tǒng)了解它們所交互的人,以及如何向它們提供信息。
從與人類互動中學習的方面在未來幾年將變得極其重要。還有一個方面是關于個性化的,即讓模型和系統(tǒng)整合對用戶的最佳表示,以盡可能有用的方式為他人服務。我認為我們還處于這個階段的早期,但這種情況將深刻改變我們與機器的互動方式,這些機器將更多地了解我們的品味,了解如何為我們提供盡可能有用的服務。
我想作為總理或國家領導人, 我想考慮教育,確保我有一個了解AI的本地人才庫,能夠創(chuàng)建專門的AI系統(tǒng)。我還需要考慮基礎設施,既包括實體方面,也包括軟件方面。 所以,什么是正確的基礎組件?與誰合作才能為你提供入 (數(shù)字勞動) 就職平臺?這兩點很重要。如果你擁有人才,并且與這群人深度合作,你的國家經(jīng)濟將發(fā)生深刻的變化。
黃仁勛: 在過去的十年里,我們看到了計算領域的巨大變化,從手工編碼到機器學習,從CPU到GPU,從軟件到AI。整個技術棧、整個行業(yè)都經(jīng)歷了徹底的變革,而我們仍在經(jīng)歷這一變革。在接下來的十年里,情況將更加令人難以置信。當然,我們知道預訓練很重要,而且將繼續(xù)如此。 但現(xiàn)在我們有了后訓練,后訓練包括思想實驗、實踐、輔導、指導以及我們人類用來學習的所有技能。
你知道,思考和Agent系統(tǒng)、信息性數(shù)字工作者AI即將出現(xiàn)的想法真的很令人興奮。這對計算的意義非常深刻,這也是我們在過去……人們對我們推出Blackwall感到驚訝,原因是我們?yōu)橥评順嫿薆lackwall,而且恰逢其時,因為思考本身是一個巨大的計算負載。
所以,有一個計算層面,還有我們將看到的AI類型。有Agent AI、信息性數(shù)字工作者AI,但還有物理AI正在取得巨大進展,以及物理AI也在取得巨大進展。物理AI當然是那些遵循并理解物理定律、原子定律、化學定律等所有自然科學的AI。
你知道, 所有這些自然科學領域我們都將看到一些重大突破, 這將影響工業(yè)、科學、高等教育和研究。然后還有物理AI,這些AI理解物理世界的本質,從摩擦力到慣性,因果關系,以及物體的永久性等常識性的東西,人類有常識,但大多數(shù)AI卻沒有。我認為這將使許多機器人系統(tǒng)成為可能,這將在制造業(yè)等領域產(chǎn)生重大影響。
美國經(jīng)濟非常依賴知識工作者,而許多其他國家則非常依賴制造業(yè)。因此,我認為許多國家領導人應該意識到,他們需要的能夠變革和革新其行業(yè)的那些AI即將到來,他們應該保持高度警惕。
我鼓勵人們不要過分敬畏技術,有時候當你過分敬畏技術時,你最終不會去參與它,你會害怕它。不要害怕。我們今天討論的關于AI的一些內容,比如它如何縮小技術差距,這確實是一個非常重要的國家利益,你有責任去參與它。無論如何,未來令人興奮。
本文來自微信公眾號: 明亮公司 ,作者:MD