2025年2月2日,針對日益強勁的AI推理需求和企業(yè)級AI應(yīng)用私有化部署場景(Private AI),云軸 科技 ZStack 宣布 AI Infra 平臺 ZStack 智塔全面支持企業(yè)私有化部署 DeepSeek V3/R1/ Janus Pro三種模型,并可基于海光、昇騰、英偉達、英特爾等多種國內(nèi)外 CPU/GPU 適配,助力企業(yè)級 AI 應(yīng)用進一步落地。

云軸科技ZStack智塔功能架構(gòu)圖

據(jù)悉,隨著DeepSeek于2024年12月上線并開源 DeepSeek V3/ R1/Janus Pro,全球公有云平臺如 AWS、Azure、華為云陸續(xù)宣布支持 DeepSeek R1或R1/V3。ZStack 智塔作為支持 DeepSeek 的企業(yè)級私有化 AI Infra 平臺,將充分發(fā)揮 DeepSeek 開源模型和低成本高性能特點,進一步推進AI的企業(yè)級商用進程:

全面支持 DeepSeek 三種模型,滿足企業(yè)不同AI場景需求

AI Infra 平臺 ZStack 智塔在模型層提供模型開發(fā)和應(yīng)用所需的各種基礎(chǔ)工具和組件,支持各種開源閉源AI模型的生命周期管理。ZStack 智塔首發(fā)支持 DeepSeek V3/ R1/Janus Pro,V3 適用于通用型自然語言處理任務(wù),R1 專注于復雜推理任務(wù),而 Janus Pro 則擅長多模態(tài)理解與生成,可滿足企業(yè)不同 AI 場景的需求。

支持國產(chǎn)/國外多種 CPU/GPU,適配企業(yè)數(shù)據(jù)中心多樣化算力資源

AI Infra 平臺 ZStack 智塔在算力層提供計算、存儲、網(wǎng)絡(luò)、安全等基礎(chǔ)資源和服務(wù),可支持 DeepSeek 在海光、昇騰、英偉達、英特爾等多種國內(nèi)外 CPU/GPU 算力資源上進行私有化部署,適配企業(yè)數(shù)據(jù)中心多樣化算力資源。

ZStack 智塔具備智能異構(gòu)調(diào)度引擎自動匹配硬件特性,支持 CUDA、ROCm、CANN 等體系架構(gòu),以及無 GPU 測試方案,CPU 部署 DeepSeek-R1-7B 輕量化模型,在 16 核云主機實現(xiàn) 9.26 tokens/s可用級表現(xiàn)。

提供企業(yè)靈活性與定制化服務(wù),構(gòu)建新一代企業(yè)數(shù)智化平臺

AI Infra 平臺 ZStack 智塔可以根據(jù)企業(yè)自身需求,在私有云或混合云環(huán)境中部署DeepSeek模型,從而確保數(shù)據(jù)的安全性和隱私保護;還提供裸金屬、虛擬機和容器計算資源的彈性擴展,支持與多種硬件和軟件的集成,使得企業(yè)能夠輕松地將AI能力整合到現(xiàn)有系統(tǒng)中,這種靈活性和定制化服務(wù)滿足了企業(yè)級用戶對AI應(yīng)用的多樣化需求。

ZStack 智塔在資源利用方面具備可多卡并發(fā)推理技術(shù),通過多張 GPU 聯(lián)合推理,提升小顯存 GPU 可用性,減少閑置;顯卡切分技術(shù),通過對單張 GPU 進行算力、顯存切分,提升大顯存 GPU 的資源利用率;模型量化技術(shù),模型平臺可以對模型進行量化,配合 DeepSeek 低成本高性能特點大幅提升 AI 效率。

AI Infra 平臺是企業(yè)加速釋放AI生產(chǎn)力的關(guān)鍵引擎平臺,它聚焦企業(yè)級AI應(yīng)用的私有化部署場景(Private AI),是支撐人工智能應(yīng)用開發(fā)、部署、運行和管理的一系列基礎(chǔ)工具和軟件平臺,具備算力管理層、模型管理層、應(yīng)用管理層三大能力模型。賽迪顧問認為,2025年是中國 AI Infra 平臺應(yīng)用元年。

AI 推理算力需求激增,催生了企業(yè)級智算資源管理新需求;AI 應(yīng)用加速向企業(yè)級場景滲透,模型工具鏈、運營管理組件助力降低 AI 應(yīng)用門檻;數(shù)據(jù)隱私和安全性驅(qū)動AI應(yīng)用的私有化部署,新一代企業(yè)數(shù)智化轉(zhuǎn)型底座 AI Infra 平臺呈現(xiàn)飛速發(fā)展趨勢。2025年1月,賽迪顧問發(fā)布《2025中國 AI Infra 平臺市場發(fā)展研究報告》中預計,AI Infra 平臺2024年、2025年將分別達到19.4億元和36.1億元,2025年同比增長將超過86%。