時序數(shù)據(jù)庫IoTDB為某大廠多領(lǐng)域物聯(lián)網(wǎng)場景提供數(shù)字化管理基座
1.? 業(yè)務(wù)背景
某大廠物聯(lián)場景從消費領(lǐng)域擴展至城市數(shù)字化建設(shè)、分布式可再生能源等多個方向。物聯(lián)解決方案主要分為四大板塊:
工業(yè) 互聯(lián)網(wǎng) :融合云計算、物聯(lián)網(wǎng)、大數(shù)據(jù)、AI、 區(qū)塊鏈 等技術(shù),發(fā)揮產(chǎn)業(yè)鏈和供應(yīng)鏈優(yōu)勢,賦能多行業(yè)生態(tài)。
能源雙碳:基于分布式可再生能源產(chǎn)業(yè)變革現(xiàn)狀,利用云原生技術(shù)重構(gòu)分布式能源平臺底座,促進產(chǎn)業(yè)運營轉(zhuǎn)型和提升。
智能家居:依托平臺電商能力,擴大智能產(chǎn)品使用人群,滿足智能家居多場景需求。
數(shù)字倉庫:結(jié)合物流和 金融 積累,實現(xiàn)貨物和倉單數(shù)字化,并構(gòu)建倉儲數(shù)字化業(yè)務(wù)創(chuàng)新解決方案。
基于物聯(lián)網(wǎng)場景“云、邊、端”架構(gòu),某大廠整合多領(lǐng)域應(yīng)用場景與功能需求,結(jié)合大數(shù)據(jù)、云原生、AI、區(qū)塊鏈等技術(shù),成功打造物聯(lián)通用平臺。平臺基座為終端設(shè)備層,連接智能家居、供應(yīng)鏈金融、能源等各領(lǐng)域智能設(shè)備。核心層級包括技術(shù)平臺層(T-PaaS 層)和業(yè)務(wù)平臺層(B-PaaS 層)。T-PaaS 層通過構(gòu)建通用平臺,為物聯(lián)場景提供設(shè)備管理、數(shù)據(jù)處理、邊緣計算、數(shù)字孿生等功能。B-PaaS 層針對不同行業(yè)方向提供對應(yīng)業(yè)務(wù)平臺能力,進一步支撐智能家居、供應(yīng)鏈金融、能源雙碳等領(lǐng)域應(yīng)用。
某大廠在數(shù)字能源、智能家居和數(shù)字倉庫等領(lǐng)域應(yīng)用 IoTDB,支持能源設(shè)備監(jiān)控、智能家居數(shù)據(jù)分析和倉儲貨物實時監(jiān)管等業(yè)務(wù)。IoTDB 的高效存儲、實時查詢、云邊協(xié)同等能力,為物聯(lián)平臺提供了強大的技術(shù)基座,推動物聯(lián)網(wǎng)多領(lǐng)域場景實現(xiàn)智能化升級。
2.? 選型要點
某大廠對于時序數(shù)據(jù)庫的期望為:
高并發(fā)、高吞吐寫入:物聯(lián)時序數(shù)據(jù)規(guī)模龐大,寫多讀少,因此時序數(shù)據(jù)庫需支持多終端海量時序數(shù)據(jù)實時寫入。
實時聚合查詢分析:時序數(shù)據(jù)結(jié)構(gòu)化語義較弱。時序數(shù)據(jù)庫需結(jié)合實時和歷史數(shù)據(jù),生成可感知、可解讀、可調(diào)控的高語義數(shù)據(jù)結(jié)果,以備業(yè)務(wù)層應(yīng)用。
本地自治:為優(yōu)化時序數(shù)據(jù)處理成本,時序數(shù)據(jù)庫需支持數(shù)據(jù)源本地計算,減少不必要的數(shù)據(jù)復(fù)制與遷移。
分布式高可用:為滿足多行業(yè)規(guī)模化時序數(shù)據(jù)管理需求,時序數(shù)據(jù)庫需實現(xiàn)分布式部署,并支持多副本管理與高效集群擴容。
端邊云協(xié)同:參照物聯(lián)平臺“云、邊、端”架構(gòu),時序數(shù)據(jù)庫需解決各終端部署難點。端側(cè)需支持弱 Schema 可插拔式接入;邊側(cè)需實現(xiàn)去中心化分布式架構(gòu),方便遠程運維;云側(cè)需提供統(tǒng)一數(shù)據(jù)應(yīng)用接口,支撐豐富應(yīng)用能力。
某大廠認可 IoTDB 為物聯(lián)網(wǎng)場景量身打造的系統(tǒng)架構(gòu)與多項功能特性,選擇 IoTDB 為時序數(shù)據(jù)管理核心的原因為:
物聯(lián)網(wǎng)專屬模型:樹狀結(jié)構(gòu)支持單節(jié)點管理百萬設(shè)備、千萬條時間序列,模型定義靈活,擴展方便,適合物聯(lián)網(wǎng)海量設(shè)備數(shù)據(jù)監(jiān)控場景。
高效存儲、高壓縮比:通過 TsFile 優(yōu)化時間序列編碼和壓縮方法,結(jié)合針對物聯(lián)網(wǎng)優(yōu)化的 IoT-LSM 時序存儲引擎,支持海量數(shù)據(jù)高效存儲,寫入性能可達千萬點/秒。
高效查詢:通過預(yù)聚合和時序索引,高效支持數(shù)據(jù)過濾、聚合查詢、降采樣查詢等物聯(lián)網(wǎng)典型時序數(shù)據(jù)查詢種類。
云邊協(xié)同:端側(cè)通過 TsFile 實現(xiàn)數(shù)據(jù)即插即用,邊側(cè)部署輕量化單機版 IoTDB 實現(xiàn)自治。依托統(tǒng)一文件格式 TsFile,IoTDB 支持端側(cè)、邊側(cè)數(shù)據(jù)傳輸至云平臺,不需要重新組織和重復(fù)寫入。數(shù)據(jù)同步邏輯簡單,并能有效節(jié)省網(wǎng)絡(luò)帶寬消耗。
生態(tài)豐富:IoTDB 支持與 Flink、Spark、Grafana 等系統(tǒng)集成,有效拓展時序數(shù)據(jù)管理解決方案的豐富性。
憑借 IoTDB 的存儲性能、查詢效率及高擴展性優(yōu)勢,某大廠的時序數(shù)據(jù)管理需求得到了全方位滿足。
3.? 應(yīng)用場景及效果
某大廠在多個領(lǐng)域落地以 IoTDB 為基座的物聯(lián)網(wǎng)解決方案,典型場景如下:
(1)數(shù)字能源
數(shù)字能源領(lǐng)域涉及光伏、風(fēng)機、儲能電池、充電樁等設(shè)備,這些設(shè)備一般呈分散式分布。因此,方案架構(gòu)側(cè)重于“端-邊-云”數(shù)據(jù)協(xié)同,通過邊緣節(jié)點實時采集設(shè)備運行數(shù)據(jù),傳輸至云側(cè)處理分析。此架構(gòu)方便在發(fā)電側(cè)和儲能側(cè)建立、調(diào)整本地化調(diào)度策略,實現(xiàn)本地能量循環(huán)平衡。
基于行業(yè)需求,某大廠構(gòu)建了邊云協(xié)同的能源物聯(lián)網(wǎng)架構(gòu)體系。端側(cè)通過 ModbusRTU、ModbusTCP、OPC 等采集協(xié)議,將充電樁、換電站、逆變器等設(shè)備數(shù)據(jù)上傳至邊側(cè)。邊側(cè)網(wǎng)關(guān)整合數(shù)據(jù)后,將數(shù)據(jù)上傳至云側(cè)物聯(lián)管理平臺。
云側(cè)物聯(lián)管理平臺包括接入層和管理層。接入層涵蓋協(xié)議適配、安全認證、Topic 權(quán)限策略等模塊,并支持邊端業(yè)務(wù)數(shù)據(jù)同步。管理層實現(xiàn)設(shè)備管理、數(shù)字孿生、邊緣計算和數(shù)據(jù)處理等功能,通過 API 網(wǎng)關(guān)支撐能源設(shè)備管理、碳資產(chǎn)管理、光伏設(shè)備運維等上游應(yīng)用。
IoTDB 應(yīng)用于云側(cè)物聯(lián)管理平臺,支持設(shè)備模型建構(gòu)、高效寫入、自定義數(shù)據(jù)處理、低延遲查詢等操作,幫助實現(xiàn)多類能源設(shè)備實時運維監(jiān)控。以某電力能源項目要求為例,IoTDB 需接入測點數(shù)超 5000 萬,寫入速度達千萬級/秒,存儲超 5 年全量數(shù)據(jù),實現(xiàn)查詢秒級響應(yīng),時間窗口統(tǒng)計業(yè)務(wù)支持百萬級/秒處理能力,并提供低運維成本云邊協(xié)同能力。
(2)智能家居
某大廠智能家居方案架構(gòu)中,設(shè)備接入層采集家居設(shè)備數(shù)據(jù)并傳輸至物聯(lián)平臺。物聯(lián)平臺涵蓋設(shè)備分組、設(shè)備孿生、物模型等功能,定義和管理設(shè)備及其上報數(shù)據(jù)。在此基礎(chǔ)上,水電氣服務(wù)包含多個關(guān)鍵組件:
數(shù)據(jù)查詢組件:執(zhí)行權(quán)限校驗、數(shù)據(jù)校驗、數(shù)據(jù)過濾、數(shù)據(jù)聚合等操作,確保查詢結(jié)果安全性和準確性。
降采樣組件:通過定時調(diào)度、元數(shù)據(jù)讀取、數(shù)據(jù)聚合等,對數(shù)據(jù)進行降采樣處理,還原數(shù)據(jù)基本走勢。
聚合算子組件:執(zhí)行累計值、平均值、實時功率、狀態(tài)時長等多種聚合計算。
時間聚合組件:按小時、天、周等時間維度進行數(shù)據(jù)聚合。
IoTDB 應(yīng)用于智能家居系統(tǒng)水電氣場景,支持水表、電表、氣表使用量實時監(jiān)控與統(tǒng)計,為水電氣服務(wù)關(guān)鍵組件提供功能支撐。目前,IoTDB 接入家居系統(tǒng)測點數(shù)超 100 萬,消息寫入速率達 45 萬+/分鐘,存量數(shù)據(jù)超 32 億條,支持六種算子、五種時間維度聚合查詢,讀取成本由 4 元/千次降至 1 元/百萬次。
(3)數(shù)字倉庫
某大廠數(shù)字倉庫方案架構(gòu)聚焦實時倉儲貨物監(jiān)管及數(shù)字倉單管理,主要包含三部分:
全流程控貨:覆蓋入庫、在庫、出庫各環(huán)節(jié)。通過圖像視頻采集實現(xiàn)遠程看貨,借助自動繪制輪廓和實時貨物關(guān)聯(lián)實現(xiàn)智能守貨,全程對貨物進行監(jiān)管、主動告警并上鏈存證,達成高效 AI 管控。
多品類監(jiān)管:針對倉儲領(lǐng)域現(xiàn)貨、期貨市場的重點品類商品(如金屬、化工商品、消費品等)提供智能監(jiān)管方案。
高可信數(shù)字倉單:實現(xiàn)倉單開立、交易、質(zhì)押、兌付、驗真全流程上鏈存證,支持實時遠程看貨,確保可信。
IoTDB 為數(shù)字倉庫提供時序數(shù)據(jù)實時感知能力。結(jié)合其他數(shù)據(jù),形成倉儲產(chǎn)業(yè)化數(shù)字鏈,支持貨物狀態(tài) 24 小時實時調(diào)取、監(jiān)控、異常告警等業(yè)務(wù),降低倉儲人力成本,為數(shù)字化倉單交易提供依據(jù),便于開展更豐富的數(shù)字化業(yè)務(wù)。
4.? 未來展望
某大廠提出,時序數(shù)據(jù)庫領(lǐng)域處于市場爆發(fā)期,發(fā)展迅速,而 IoTDB 是其中的佼佼者。從長期來看,時序數(shù)據(jù)庫系統(tǒng)可觀測性是商用化基礎(chǔ),多級多角度數(shù)據(jù)管理、可視化運維、深度分析追蹤是未來發(fā)展的重要關(guān)注點。同時,單位數(shù)據(jù)應(yīng)用價值的 經(jīng)濟 性是商用化經(jīng)濟效益的重要衡量指標。時序數(shù)據(jù)庫需要以應(yīng)用價值為牽引,實現(xiàn)采存算用一體化發(fā)展,進一步降低數(shù)字化成本。
IoTDB 多項功能研發(fā)成果,如 AINode、視圖、流處理引擎、系統(tǒng)監(jiān)控面板、可視化控制臺及Workbench 等易用性工具,加強了 IoTDB 在時序數(shù)據(jù)實時處理、機器學(xué)習(xí)分析、權(quán)限管理、可視化管理等維度的能力,能夠有效保障對時序數(shù)據(jù)的規(guī)模化應(yīng)用。
未來,IoTDB 將持續(xù)迭代升級,緊密貼合用戶業(yè)務(wù)發(fā)展節(jié)奏,建立和完善高穩(wěn)定、強性能的萬物互聯(lián)平臺基座,推動物聯(lián)網(wǎng)數(shù)字化進程加速發(fā)展。