AI 競賽壓力山大:Meta 被曝資金缺口,向微軟、亞馬遜求援
4 月 19 日消息, 科技 媒體 The Information 昨日(4 月 18 日)發(fā)布博文,報道稱 Meta Platforms 在 AI 競賽中面臨巨大成本壓力,2024? 年曾向微軟、亞馬遜等競爭對手尋求資金支持,用于訓(xùn)練其旗艦大語言模型 Llama。
IT之家援引該媒體報道,Meta 內(nèi)部因擔(dān)憂資源需求,發(fā)起“Llama Consortium”的提議,Meta 甚至提出讓潛在 投資 者參與 Llama 未來功能的開發(fā),以吸引合作。
消息人士透露,初期反應(yīng)并不熱烈,正式資金協(xié)議是否達(dá)成仍不明朗。這一嘗試凸顯了構(gòu)建領(lǐng)先 AI 系統(tǒng)的巨額成本,即便是擁有雄厚財力的 Meta 也感受到壓力,顯示出生成式 AI 領(lǐng)域的高風(fēng)險。
Meta 近期公布的 Llama 4 系列模型進(jìn)一步凸顯其技術(shù)雄心與成本挑戰(zhàn)。其中,Llama 4 Scout(總參數(shù) 109B,活躍參數(shù) 17B)面向單 GPU 使用,具備超大的 1000 萬 token 上下文窗口,可一次性處理約 750 萬字內(nèi)容。而 Llama 4 Maverick(總參數(shù) 400B,活躍參數(shù) 17B,128 個專家)則針對更大規(guī)模任務(wù)。
兩款模型均采用 Mixture-of-Experts(MoE)架構(gòu),通過激活特定子網(wǎng)絡(luò)提升效率。此外,Meta 內(nèi)部還開發(fā)了參數(shù)高達(dá) 2 萬億的 Llama 4 Behemoth,用于訓(xùn)練小型模型,需動用多達(dá) 3.2 萬塊 GPU。
Meta 的資金尋求與 Llama 模型在其業(yè)務(wù)中的核心地位密切相關(guān)。Llama 4 發(fā)布后迅速集成到 WhatsApp、Instagram 和 Facebook 的 Meta AI 功能中,并通過亞馬遜 SageMaker JumpStart 和微軟 Azure AI Foundry 等云平臺提供商用許可。
同時,Meta 在競爭中采取強(qiáng)硬姿態(tài),阻止 蘋果 的 Apple Intelligence 功能在其 iOS 應(yīng)用中使用,迫使用戶轉(zhuǎn)向基于 Llama 的 AI 工具。
【來源: IT之家】