导读
TDengine TSDB 成功落地量测数据管理系统,以贴合 “系统 — 设备 — 测点” 的树形建模优势与卓越高并发、计算性能,构建 “采集 — 存储 — 加工 — 服务” 全链路架构。系统经平稳切换后,已稳定支撑 300 万测点、数十亿条数据运行,依托原生流式计算能力实现关键指标实时分析,快速识别机组运行异常,大幅提升数据处理效率与生产运维时效性,为业务增长提供坚实数据底座。
一、业务背景:大数据平台升级的核心需求
随着公司业务持续扩张,量测数据规模快速攀升,原大数据平台在处理高频时序数据方面的局限日益突出:采集与加工链路过长、系统间衔接不畅、延迟高,尤其在应对机组高频运行数据时,计算与服务响应明显滞后,已无法满足生产运行监控对数据时效性的要求。
基于业务发展战略,公司决定升级大数据平台技术架构,引入专业时序数据库,建设全新的量测数据管理系统,以提升高并发采集能力、加速数据加工链路、增强系统稳定性,为生产运行管理提供可靠的数据底座。
二、选型决策:TDengine TSDB vs IoTDB
在充分调研行业主流时序数据库产品并完成专项测试后,公司最终选定 TDengine TSDB。关键原因主要体现在以下两点:
(一)数据模型契合度更高
公司量测数据具备明确的“系统—设备—测点”层级关系,对数据组织与管理方式要求较高。其它时序数据库在复杂层级数据建模上灵活性不足,难以满足多业态统一管理诉求。
TDengine TSDB 能完全贴合公司既有数据模型规范,支持树形结构建模,数据组织更清晰,后续查询、管理、扩展成本更低。
(二)高并发与计算性能表现更优
在模拟生产高峰写入场景中,其它时序数据库曾出现写入延迟甚至数据丢失,无法确保高并发环境下的数据完整性。
TDengine TSDB 表现稳定,写入速度快、数据无丢失,并在大规模聚合与统计计算任务中明显更高效,更符合公司对时效性数据加工的要求。
(一)平台架构设计
基于 TDengine TSDB,公司构建了“采集—存储—加工—服务”全链路的新型量测数据管理系统:
- 采集层:提供实时与批量两种模式,覆盖生产环境各类设备。其中实时数据采集针对集控数据,支持源端 IEC104 协议、MQTT 协议、Kafka 等类型数据实时接入;非实时数据采集同样面向集控数据,涵盖数据库、接口等多种数据源,确保数据采集全面且精准。
- 存储层:以 TDengine TSDB 为核心,按业务模型统一管理全量时序数据,保障数据存储的稳定性与安全性。
- 加工层:借助内置计算能力完成清洗、转换及关键指标实时分析,同时支持 TDengine TSDB 与 Hadoop、OLTP、OLAP 等数据库间的数据同步功能,可根据企业量测数据技术架构实现分场景的数据加工、推送及共享。
服务层:向生产运营、监控等业务系统提供标准化接口和高时效性数据服务,核心包含数据共享功能 —— 作为数据平台各节点间及与外部平台数据交换的基础核心能力,可实现加工后数据或分析成果的统一共享,将数据转化为数据能力。数据共享分为两类:
- 非实时数据共享:针对小时级、日级、月级的量测结果数据,基于消费需求定制相关服务接口,通过共享平台实现按需数据供给服务;
- 实时数据共享:针对秒级、分钟级的量测数据,依托时序库自带的主题发布功能,按消费需求将流式处理结果表或原始数据发布至消息队列,满足消费方的实时数据需求。
(二)数据模型与部署
严格按照公司元数据规范构建标准化数据模型,实现不同业态数据的统一组织,充分利用 TDengine TSDB 的多列和单列模型,提升查询效率与系统可维护性。
部分表结构设计如下:
field | type | length | note |
=====================================================================
ts | TIMESTAMP | 8 | |
rated_power | DOUBLE | 8 | |
minimum_power | DOUBLE | 8 | |
data_rate | DOUBLE | 8 | |
company | VARCHAR | 255 | TAG |
ps_name | VARCHAR | 255 | TAG |
country_code | VARCHAR | 255 | TAG |
ps_code | VARCHAR | 255 | TAG |
rated_energy | VARCHAR | 255 | TAG |
rated_power_unit | VARCHAR | 255 | TAG |
data_unit | VARCHAR | 255 | TAG |
remark | VARCHAR | 255 | TAG |field | type | length | note |
======================================================================
ts | TIMESTAMP | 8 | |
val | DOUBLE | 8 | |
point | VARCHAR | 64 | TAG |
point_name | NCHAR | 64 | TAG |
point_path | VARCHAR | 64 | TAG |
index_name | NCHAR | 64 | TAG |(三)流式计算能力应用
针对告警、能量统计、有功功率等重要应用场景,公司充分利用 TDengine TSDB 原生流式计算能力,实现实时化的数据分析与业务指标生成,使关键指标不再依赖复杂的外部计算链路,整体加工效率大幅提升。
| 序号 | 功能 |
|---|---|
| 告警功能 | |
| 1 | 系统级告警 |
| 2 | 变流器告警 |
| 3 | 电池簇报警 |
| 数据处理 | |
| 1 | 当日总充/放电量 |
| 2 | 当日最大\最小soe |
| 3 | 电站有功功率 |
| 4 | 当日最大充电功率首次时间 |
| 5 | 当日上/下网电量 |
| 6 | 站用电量 |
| 7 | 场站5分钟平局功率 |
流计算示例:当日总充电量
create stream `st_str_test01` trigger force_window_close into `ctest`.`stb_test01` tags(
point varchar(255),
index_code varchar(255),
ps_code varchar(255),
ps_name varchar(255)
) subtable(concat('test01_', point)) as
select
_wstart dt,
first(val) fir_val,
last(val) sec_val
from
ctsdb.stb_cn
where
1 = 1
and index_code = 'drzcdl'
and dt >= TODAY() - 1d partition by tbname,
point,
index_code,
ps_code,
ps_name interval(1d);四、落地效果:量测数据管理系统的实际应用成效
(一)功能更完善、流程更顺畅
新系统已全面覆盖数据采集、历史迁移、实时加工和数据服务等关键环节,整体链路更短、响应更快、可运维性提升明显。
(二)支撑大规模数据稳定运行
目前系统已接入 300 万测点,数据规模达数十亿条。通过合理的硬件配置扩容,系统在高负载下仍保持稳定运行,为业务持续增长预留充足空间。
(三)生产运营价值显著增强
依托高并发、低延迟的数据库引擎,系统可对机组运行状态进行更及时的监测,快速识别功率突变等异常情况,为生产运行提供更高时效性的风险预警能力,明显提升运行安全性与管理效率。
结语
TDengine TSDB 驱动的量测数据管理系统,以贴合场景的树形建模与全链路架构,成功支撑 300 万测点、数十亿数据稳定运行。其高并发处理与原生流式计算优势,显著提升数据时效性与运维效率,强化风险预警能力。经针对性优化攻克运行挑战后,系统性能更趋稳定。未来,我们将持续深化技术适配,探索与 AI、边缘计算的融合应用,拓展跨业态数据协同场景,推动数据价值从运维支撑向战略决策延伸,以更智能、高效的时序数据管理能力,助力业务创新升级,为企业长远发展注入持续动能。
公司简介
中能拾贝科技有限公司致力于通过先进的技术和产品,为企业提供全方位的工业数智产品与解决方案。拾贝云工业智能底座涵盖工业智能操作系统、物联网、大数据、人工智能等多个技术平台,应用产品覆盖故障预测与健康管理(CyberwPHM)、企业资产管理(CyberwEAM)、工业控制系统(CyberwICS)等多个应用领域。其以客户为中心,根据企业的实际需求,量身定制专业的行业解决方案,助力企业提升生产效率、降低运营成本。
作者:何乐
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。