時(shí)序數(shù)據(jù)庫(kù)IoTDB為某大廠多領(lǐng)域物聯(lián)網(wǎng)場(chǎng)景提供數(shù)字化管理基座
1.? 業(yè)務(wù)背景
某大廠物聯(lián)場(chǎng)景從消費(fèi)領(lǐng)域擴(kuò)展至城市數(shù)字化建設(shè)、分布式可再生能源等多個(gè)方向。物聯(lián)解決方案主要分為四大板塊:
工業(yè) 互聯(lián)網(wǎng) :融合云計(jì)算、物聯(lián)網(wǎng)、大數(shù)據(jù)、AI、 區(qū)塊鏈 等技術(shù),發(fā)揮產(chǎn)業(yè)鏈和供應(yīng)鏈優(yōu)勢(shì),賦能多行業(yè)生態(tài)。
能源雙碳:基于分布式可再生能源產(chǎn)業(yè)變革現(xiàn)狀,利用云原生技術(shù)重構(gòu)分布式能源平臺(tái)底座,促進(jìn)產(chǎn)業(yè)運(yùn)營(yíng)轉(zhuǎn)型和提升。
智能家居:依托平臺(tái)電商能力,擴(kuò)大智能產(chǎn)品使用人群,滿足智能家居多場(chǎng)景需求。
數(shù)字倉(cāng)庫(kù):結(jié)合物流和 金融 積累,實(shí)現(xiàn)貨物和倉(cāng)單數(shù)字化,并構(gòu)建倉(cāng)儲(chǔ)數(shù)字化業(yè)務(wù)創(chuàng)新解決方案。
基于物聯(lián)網(wǎng)場(chǎng)景“云、邊、端”架構(gòu),某大廠整合多領(lǐng)域應(yīng)用場(chǎng)景與功能需求,結(jié)合大數(shù)據(jù)、云原生、AI、區(qū)塊鏈等技術(shù),成功打造物聯(lián)通用平臺(tái)。平臺(tái)基座為終端設(shè)備層,連接智能家居、供應(yīng)鏈金融、能源等各領(lǐng)域智能設(shè)備。核心層級(jí)包括技術(shù)平臺(tái)層(T-PaaS 層)和業(yè)務(wù)平臺(tái)層(B-PaaS 層)。T-PaaS 層通過(guò)構(gòu)建通用平臺(tái),為物聯(lián)場(chǎng)景提供設(shè)備管理、數(shù)據(jù)處理、邊緣計(jì)算、數(shù)字孿生等功能。B-PaaS 層針對(duì)不同行業(yè)方向提供對(duì)應(yīng)業(yè)務(wù)平臺(tái)能力,進(jìn)一步支撐智能家居、供應(yīng)鏈金融、能源雙碳等領(lǐng)域應(yīng)用。
某大廠在數(shù)字能源、智能家居和數(shù)字倉(cāng)庫(kù)等領(lǐng)域應(yīng)用 IoTDB,支持能源設(shè)備監(jiān)控、智能家居數(shù)據(jù)分析和倉(cāng)儲(chǔ)貨物實(shí)時(shí)監(jiān)管等業(yè)務(wù)。IoTDB 的高效存儲(chǔ)、實(shí)時(shí)查詢、云邊協(xié)同等能力,為物聯(lián)平臺(tái)提供了強(qiáng)大的技術(shù)基座,推動(dòng)物聯(lián)網(wǎng)多領(lǐng)域場(chǎng)景實(shí)現(xiàn)智能化升級(jí)。
2.? 選型要點(diǎn)
某大廠對(duì)于時(shí)序數(shù)據(jù)庫(kù)的期望為:
高并發(fā)、高吞吐寫入:物聯(lián)時(shí)序數(shù)據(jù)規(guī)模龐大,寫多讀少,因此時(shí)序數(shù)據(jù)庫(kù)需支持多終端海量時(shí)序數(shù)據(jù)實(shí)時(shí)寫入。
實(shí)時(shí)聚合查詢分析:時(shí)序數(shù)據(jù)結(jié)構(gòu)化語(yǔ)義較弱。時(shí)序數(shù)據(jù)庫(kù)需結(jié)合實(shí)時(shí)和歷史數(shù)據(jù),生成可感知、可解讀、可調(diào)控的高語(yǔ)義數(shù)據(jù)結(jié)果,以備業(yè)務(wù)層應(yīng)用。
本地自治:為優(yōu)化時(shí)序數(shù)據(jù)處理成本,時(shí)序數(shù)據(jù)庫(kù)需支持?jǐn)?shù)據(jù)源本地計(jì)算,減少不必要的數(shù)據(jù)復(fù)制與遷移。
分布式高可用:為滿足多行業(yè)規(guī)模化時(shí)序數(shù)據(jù)管理需求,時(shí)序數(shù)據(jù)庫(kù)需實(shí)現(xiàn)分布式部署,并支持多副本管理與高效集群擴(kuò)容。
端邊云協(xié)同:參照物聯(lián)平臺(tái)“云、邊、端”架構(gòu),時(shí)序數(shù)據(jù)庫(kù)需解決各終端部署難點(diǎn)。端側(cè)需支持弱 Schema 可插拔式接入;邊側(cè)需實(shí)現(xiàn)去中心化分布式架構(gòu),方便遠(yuǎn)程運(yùn)維;云側(cè)需提供統(tǒng)一數(shù)據(jù)應(yīng)用接口,支撐豐富應(yīng)用能力。
某大廠認(rèn)可 IoTDB 為物聯(lián)網(wǎng)場(chǎng)景量身打造的系統(tǒng)架構(gòu)與多項(xiàng)功能特性,選擇 IoTDB 為時(shí)序數(shù)據(jù)管理核心的原因?yàn)椋?/p>
物聯(lián)網(wǎng)專屬模型:樹(shù)狀結(jié)構(gòu)支持單節(jié)點(diǎn)管理百萬(wàn)設(shè)備、千萬(wàn)條時(shí)間序列,模型定義靈活,擴(kuò)展方便,適合物聯(lián)網(wǎng)海量設(shè)備數(shù)據(jù)監(jiān)控場(chǎng)景。
高效存儲(chǔ)、高壓縮比:通過(guò) TsFile 優(yōu)化時(shí)間序列編碼和壓縮方法,結(jié)合針對(duì)物聯(lián)網(wǎng)優(yōu)化的 IoT-LSM 時(shí)序存儲(chǔ)引擎,支持海量數(shù)據(jù)高效存儲(chǔ),寫入性能可達(dá)千萬(wàn)點(diǎn)/秒。
高效查詢:通過(guò)預(yù)聚合和時(shí)序索引,高效支持?jǐn)?shù)據(jù)過(guò)濾、聚合查詢、降采樣查詢等物聯(lián)網(wǎng)典型時(shí)序數(shù)據(jù)查詢種類。
云邊協(xié)同:端側(cè)通過(guò) TsFile 實(shí)現(xiàn)數(shù)據(jù)即插即用,邊側(cè)部署輕量化單機(jī)版 IoTDB 實(shí)現(xiàn)自治。依托統(tǒng)一文件格式 TsFile,IoTDB 支持端側(cè)、邊側(cè)數(shù)據(jù)傳輸至云平臺(tái),不需要重新組織和重復(fù)寫入。數(shù)據(jù)同步邏輯簡(jiǎn)單,并能有效節(jié)省網(wǎng)絡(luò)帶寬消耗。
生態(tài)豐富:IoTDB 支持與 Flink、Spark、Grafana 等系統(tǒng)集成,有效拓展時(shí)序數(shù)據(jù)管理解決方案的豐富性。
憑借 IoTDB 的存儲(chǔ)性能、查詢效率及高擴(kuò)展性優(yōu)勢(shì),某大廠的時(shí)序數(shù)據(jù)管理需求得到了全方位滿足。
3.? 應(yīng)用場(chǎng)景及效果
某大廠在多個(gè)領(lǐng)域落地以 IoTDB 為基座的物聯(lián)網(wǎng)解決方案,典型場(chǎng)景如下:
(1)數(shù)字能源
數(shù)字能源領(lǐng)域涉及光伏、風(fēng)機(jī)、儲(chǔ)能電池、充電樁等設(shè)備,這些設(shè)備一般呈分散式分布。因此,方案架構(gòu)側(cè)重于“端-邊-云”數(shù)據(jù)協(xié)同,通過(guò)邊緣節(jié)點(diǎn)實(shí)時(shí)采集設(shè)備運(yùn)行數(shù)據(jù),傳輸至云側(cè)處理分析。此架構(gòu)方便在發(fā)電側(cè)和儲(chǔ)能側(cè)建立、調(diào)整本地化調(diào)度策略,實(shí)現(xiàn)本地能量循環(huán)平衡。
基于行業(yè)需求,某大廠構(gòu)建了邊云協(xié)同的能源物聯(lián)網(wǎng)架構(gòu)體系。端側(cè)通過(guò) ModbusRTU、ModbusTCP、OPC 等采集協(xié)議,將充電樁、換電站、逆變器等設(shè)備數(shù)據(jù)上傳至邊側(cè)。邊側(cè)網(wǎng)關(guān)整合數(shù)據(jù)后,將數(shù)據(jù)上傳至云側(cè)物聯(lián)管理平臺(tái)。
云側(cè)物聯(lián)管理平臺(tái)包括接入層和管理層。接入層涵蓋協(xié)議適配、安全認(rèn)證、Topic 權(quán)限策略等模塊,并支持邊端業(yè)務(wù)數(shù)據(jù)同步。管理層實(shí)現(xiàn)設(shè)備管理、數(shù)字孿生、邊緣計(jì)算和數(shù)據(jù)處理等功能,通過(guò) API 網(wǎng)關(guān)支撐能源設(shè)備管理、碳資產(chǎn)管理、光伏設(shè)備運(yùn)維等上游應(yīng)用。
IoTDB 應(yīng)用于云側(cè)物聯(lián)管理平臺(tái),支持設(shè)備模型建構(gòu)、高效寫入、自定義數(shù)據(jù)處理、低延遲查詢等操作,幫助實(shí)現(xiàn)多類能源設(shè)備實(shí)時(shí)運(yùn)維監(jiān)控。以某電力能源項(xiàng)目要求為例,IoTDB 需接入測(cè)點(diǎn)數(shù)超 5000 萬(wàn),寫入速度達(dá)千萬(wàn)級(jí)/秒,存儲(chǔ)超 5 年全量數(shù)據(jù),實(shí)現(xiàn)查詢秒級(jí)響應(yīng),時(shí)間窗口統(tǒng)計(jì)業(yè)務(wù)支持百萬(wàn)級(jí)/秒處理能力,并提供低運(yùn)維成本云邊協(xié)同能力。
(2)智能家居
某大廠智能家居方案架構(gòu)中,設(shè)備接入層采集家居設(shè)備數(shù)據(jù)并傳輸至物聯(lián)平臺(tái)。物聯(lián)平臺(tái)涵蓋設(shè)備分組、設(shè)備孿生、物模型等功能,定義和管理設(shè)備及其上報(bào)數(shù)據(jù)。在此基礎(chǔ)上,水電氣服務(wù)包含多個(gè)關(guān)鍵組件:
數(shù)據(jù)查詢組件:執(zhí)行權(quán)限校驗(yàn)、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)過(guò)濾、數(shù)據(jù)聚合等操作,確保查詢結(jié)果安全性和準(zhǔn)確性。
降采樣組件:通過(guò)定時(shí)調(diào)度、元數(shù)據(jù)讀取、數(shù)據(jù)聚合等,對(duì)數(shù)據(jù)進(jìn)行降采樣處理,還原數(shù)據(jù)基本走勢(shì)。
聚合算子組件:執(zhí)行累計(jì)值、平均值、實(shí)時(shí)功率、狀態(tài)時(shí)長(zhǎng)等多種聚合計(jì)算。
時(shí)間聚合組件:按小時(shí)、天、周等時(shí)間維度進(jìn)行數(shù)據(jù)聚合。
IoTDB 應(yīng)用于智能家居系統(tǒng)水電氣場(chǎng)景,支持水表、電表、氣表使用量實(shí)時(shí)監(jiān)控與統(tǒng)計(jì),為水電氣服務(wù)關(guān)鍵組件提供功能支撐。目前,IoTDB 接入家居系統(tǒng)測(cè)點(diǎn)數(shù)超 100 萬(wàn),消息寫入速率達(dá) 45 萬(wàn)+/分鐘,存量數(shù)據(jù)超 32 億條,支持六種算子、五種時(shí)間維度聚合查詢,讀取成本由 4 元/千次降至 1 元/百萬(wàn)次。
(3)數(shù)字倉(cāng)庫(kù)
某大廠數(shù)字倉(cāng)庫(kù)方案架構(gòu)聚焦實(shí)時(shí)倉(cāng)儲(chǔ)貨物監(jiān)管及數(shù)字倉(cāng)單管理,主要包含三部分:
全流程控貨:覆蓋入庫(kù)、在庫(kù)、出庫(kù)各環(huán)節(jié)。通過(guò)圖像視頻采集實(shí)現(xiàn)遠(yuǎn)程看貨,借助自動(dòng)繪制輪廓和實(shí)時(shí)貨物關(guān)聯(lián)實(shí)現(xiàn)智能守貨,全程對(duì)貨物進(jìn)行監(jiān)管、主動(dòng)告警并上鏈存證,達(dá)成高效 AI 管控。
多品類監(jiān)管:針對(duì)倉(cāng)儲(chǔ)領(lǐng)域現(xiàn)貨、期貨市場(chǎng)的重點(diǎn)品類商品(如金屬、化工商品、消費(fèi)品等)提供智能監(jiān)管方案。
高可信數(shù)字倉(cāng)單:實(shí)現(xiàn)倉(cāng)單開(kāi)立、交易、質(zhì)押、兌付、驗(yàn)真全流程上鏈存證,支持實(shí)時(shí)遠(yuǎn)程看貨,確保可信。
IoTDB 為數(shù)字倉(cāng)庫(kù)提供時(shí)序數(shù)據(jù)實(shí)時(shí)感知能力。結(jié)合其他數(shù)據(jù),形成倉(cāng)儲(chǔ)產(chǎn)業(yè)化數(shù)字鏈,支持貨物狀態(tài) 24 小時(shí)實(shí)時(shí)調(diào)取、監(jiān)控、異常告警等業(yè)務(wù),降低倉(cāng)儲(chǔ)人力成本,為數(shù)字化倉(cāng)單交易提供依據(jù),便于開(kāi)展更豐富的數(shù)字化業(yè)務(wù)。
4.? 未來(lái)展望
某大廠提出,時(shí)序數(shù)據(jù)庫(kù)領(lǐng)域處于市場(chǎng)爆發(fā)期,發(fā)展迅速,而 IoTDB 是其中的佼佼者。從長(zhǎng)期來(lái)看,時(shí)序數(shù)據(jù)庫(kù)系統(tǒng)可觀測(cè)性是商用化基礎(chǔ),多級(jí)多角度數(shù)據(jù)管理、可視化運(yùn)維、深度分析追蹤是未來(lái)發(fā)展的重要關(guān)注點(diǎn)。同時(shí),單位數(shù)據(jù)應(yīng)用價(jià)值的 經(jīng)濟(jì) 性是商用化經(jīng)濟(jì)效益的重要衡量指標(biāo)。時(shí)序數(shù)據(jù)庫(kù)需要以應(yīng)用價(jià)值為牽引,實(shí)現(xiàn)采存算用一體化發(fā)展,進(jìn)一步降低數(shù)字化成本。
IoTDB 多項(xiàng)功能研發(fā)成果,如 AINode、視圖、流處理引擎、系統(tǒng)監(jiān)控面板、可視化控制臺(tái)及Workbench 等易用性工具,加強(qiáng)了 IoTDB 在時(shí)序數(shù)據(jù)實(shí)時(shí)處理、機(jī)器學(xué)習(xí)分析、權(quán)限管理、可視化管理等維度的能力,能夠有效保障對(duì)時(shí)序數(shù)據(jù)的規(guī)模化應(yīng)用。
未來(lái),IoTDB 將持續(xù)迭代升級(jí),緊密貼合用戶業(yè)務(wù)發(fā)展節(jié)奏,建立和完善高穩(wěn)定、強(qiáng)性能的萬(wàn)物互聯(lián)平臺(tái)基座,推動(dòng)物聯(lián)網(wǎng)數(shù)字化進(jìn)程加速發(fā)展。