阿里云存儲升級向量檢索引擎,AI 數(shù)據(jù)查詢時延較開源大降 80% | 速途網(wǎng)
速途網(wǎng)8月28日消息(報道:李楠)今日,阿里云面向 AI 全面升級存儲數(shù)據(jù)服務(wù),大幅提升從數(shù)據(jù)采集、預(yù)處理到大模型訓(xùn)練及推理的數(shù)據(jù)處理效率。新升級的表格存儲 Tablestore 向量檢索服務(wù),查詢時延較開源引擎降低 80%,而資源消耗僅為開源的 10%,可整體節(jié)省 50% 存儲成本,適用于推薦系統(tǒng)、圖像與視頻檢索、自然語言處理與語義搜索等多個應(yīng)用場景。
多模態(tài)已成為 AI 大模型發(fā)展趨勢,而龐雜的文字、圖片、音頻、視頻等不同模態(tài)數(shù)據(jù)如何統(tǒng)一存儲及高效管理,是 AI 實現(xiàn)下一步飛躍的關(guān)鍵所在。其中,向量檢索被認為是效率最高的檢索方法之一,非結(jié)構(gòu)化數(shù)據(jù)可基于同一套向量體系進行統(tǒng)一存儲和檢索,可有效解決大模型幻覺和知識更新問題,整體提升大模型在實際應(yīng)用落地場景中的性能表現(xiàn)。
為滿足 AI 新需求,阿里云全新升級了表格存儲 Tablestore,可提供千億行規(guī)模數(shù)據(jù)的存儲和檢索服務(wù),并支持 RAG 應(yīng)用、多模態(tài)搜索及元數(shù)據(jù)服務(wù)等,整體存儲成本可降低 50%。表格存儲采用 Serverless 分布式框架設(shè)計,基于 DiskANN 算法深度優(yōu)化,僅將 10% 的圖索引數(shù)據(jù)存放至內(nèi)存,實現(xiàn)和主流 HNSW 圖算法同等水平的高性能,大幅節(jié)省90%的內(nèi)存資源消耗。在相同資源消耗情況下,較開源向量引擎,表格存儲索引寫入時間降低 65%,查詢時延大降 80%。

圖:Tablestore向量檢索查詢性能與開源引擎對比圖
從數(shù)據(jù)采集、數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練和推理到 RAG、AI 應(yīng)用,阿里云存儲針對AI大模型數(shù)據(jù)處理全鏈路實現(xiàn)全面升級優(yōu)化。在模型訓(xùn)練和推理階段,利用對象存儲 OSS 構(gòu)建統(tǒng)一的AI數(shù)據(jù)湖底座,并結(jié)合CPFS、全新的 OSS Connector for AI/ML 等存儲產(chǎn)品和能力,可大幅降低數(shù)據(jù)集加載時間,有效提升模型訓(xùn)練效率;面向 AI應(yīng)用,阿里云全新升級 OSS MetaQuery 能力,結(jié)合表格存儲 Tablestore 向量檢索能力,幫助企業(yè)和開發(fā)者在云上簡化 AI 應(yīng)用的搭建流程,快速驗證業(yè)務(wù)創(chuàng)新思路。例如,企服公司“AI集象”基于Tablestore完成 RAG 智能檢索升級,為客戶提供更快、更強、更穩(wěn)定的 AI 智能數(shù)據(jù)服務(wù),實現(xiàn)業(yè)務(wù)提效。

圖:阿里云存儲面向AI時代全面進化升級
據(jù)了解,在 Forrester 全球 AI 基礎(chǔ)設(shè)施解決方案報告中,阿里云 AI Infra 綜合產(chǎn)品力居全球第二。阿里云存儲是當(dāng)前國內(nèi)規(guī)模最大的存儲服務(wù)商,擁有全球云計算廠商中最完整的存儲產(chǎn)品線,曾獲中國電子學(xué)會科學(xué)技術(shù)特等獎、世界互聯(lián)網(wǎng)領(lǐng)先科技成果獎,盤古分布式存儲技術(shù)還曾榮獲中國發(fā)明專利金獎。