导读

TDengine TSDB 成功落地量测数据管理系统,以贴合 “系统 — 设备 — 测点” 的树形建模优势与卓越高并发、计算性能,构建 “采集 — 存储 — 加工 — 服务” 全链路架构。系统经平稳切换后,已稳定支撑 300 万测点、数十亿条数据运行,依托原生流式计算能力实现关键指标实时分析,快速识别机组运行异常,大幅提升数据处理效率与生产运维时效性,为业务增长提供坚实数据底座。

一、业务背景:大数据平台升级的核心需求

随着公司业务持续扩张,量测数据规模快速攀升,原大数据平台在处理高频时序数据方面的局限日益突出:采集与加工链路过长、系统间衔接不畅、延迟高,尤其在应对机组高频运行数据时,计算与服务响应明显滞后,已无法满足生产运行监控对数据时效性的要求。

基于业务发展战略,公司决定升级大数据平台技术架构,引入专业时序数据库,建设全新的量测数据管理系统,以提升高并发采集能力、加速数据加工链路、增强系统稳定性,为生产运行管理提供可靠的数据底座。

二、选型决策:TDengine TSDB vs IoTDB

在充分调研行业主流时序数据库产品并完成专项测试后,公司最终选定 TDengine TSDB。关键原因主要体现在以下两点:

(一)数据模型契合度更高

公司量测数据具备明确的“系统—设备—测点”层级关系,对数据组织与管理方式要求较高。其它时序数据库在复杂层级数据建模上灵活性不足,难以满足多业态统一管理诉求。

TDengine TSDB 能完全贴合公司既有数据模型规范,支持树形结构建模,数据组织更清晰,后续查询、管理、扩展成本更低。

(二)高并发与计算性能表现更优

在模拟生产高峰写入场景中,其它时序数据库曾出现写入延迟甚至数据丢失,无法确保高并发环境下的数据完整性。

TDengine TSDB 表现稳定,写入速度快、数据无丢失,并在大规模聚合与统计计算任务中明显更高效,更符合公司对时效性数据加工的要求。

(一)平台架构设计

基于 TDengine TSDB,公司构建了“采集—存储—加工—服务”全链路的新型量测数据管理系统:

  • 采集层:提供实时与批量两种模式,覆盖生产环境各类设备。其中实时数据采集针对集控数据,支持源端 IEC104 协议、MQTT 协议、Kafka 等类型数据实时接入;非实时数据采集同样面向集控数据,涵盖数据库、接口等多种数据源,确保数据采集全面且精准。
  • 存储层:以 TDengine TSDB 为核心,按业务模型统一管理全量时序数据,保障数据存储的稳定性与安全性。
  • 加工层:借助内置计算能力完成清洗、转换及关键指标实时分析,同时支持 TDengine TSDB 与 Hadoop、OLTP、OLAP 等数据库间的数据同步功能,可根据企业量测数据技术架构实现分场景的数据加工、推送及共享。
  • 服务层:向生产运营、监控等业务系统提供标准化接口和高时效性数据服务,核心包含数据共享功能 —— 作为数据平台各节点间及与外部平台数据交换的基础核心能力,可实现加工后数据或分析成果的统一共享,将数据转化为数据能力。数据共享分为两类:

    1. 非实时数据共享:针对小时级、日级、月级的量测结果数据,基于消费需求定制相关服务接口,通过共享平台实现按需数据供给服务;
    2. 实时数据共享:针对秒级、分钟级的量测数据,依托时序库自带的主题发布功能,按消费需求将流式处理结果表或原始数据发布至消息队列,满足消费方的实时数据需求。

(二)数据模型与部署

严格按照公司元数据规范构建标准化数据模型,实现不同业态数据的统一组织,充分利用 TDengine TSDB 的多列和单列模型,提升查询效率与系统可维护性。

部分表结构设计如下:

field   |          type   |   length    |        note  |
=====================================================================
 ts                  | TIMESTAMP       |           8 |              |
 rated_power         | DOUBLE          |           8 |              |
 minimum_power       | DOUBLE          |           8 |              |
 data_rate           | DOUBLE          |           8 |              |
 company             | VARCHAR         |         255 | TAG          |
 ps_name             | VARCHAR         |         255 | TAG          |
 country_code        | VARCHAR         |         255 | TAG          |
 ps_code             | VARCHAR         |         255 | TAG          |
 rated_energy        | VARCHAR         |         255 | TAG          |
 rated_power_unit    | VARCHAR         |         255 | TAG          |
 data_unit           | VARCHAR         |         255 | TAG          |
 remark              | VARCHAR         |         255 | TAG          |
field   |          type   |   length    |        note   |
======================================================================
 ts                  | TIMESTAMP       |           8 |               |
 val                 | DOUBLE          |           8 |               |
 point               | VARCHAR         |          64 | TAG           |
 point_name          | NCHAR           |          64 | TAG           |
 point_path          | VARCHAR         |          64 | TAG           |
 index_name          | NCHAR           |          64 | TAG           |

(三)流式计算能力应用

针对告警、能量统计、有功功率等重要应用场景,公司充分利用 TDengine TSDB 原生流式计算能力,实现实时化的数据分析与业务指标生成,使关键指标不再依赖复杂的外部计算链路,整体加工效率大幅提升。

序号功能
告警功能
1系统级告警
2变流器告警
3电池簇报警
数据处理
1当日总充/放电量
2当日最大\最小soe
3电站有功功率
4当日最大充电功率首次时间
5当日上/下网电量
6站用电量
7场站5分钟平局功率

流计算示例:当日总充电量

create stream `st_str_test01` trigger force_window_close  into `ctest`.`stb_test01` tags(
    point varchar(255),
    index_code varchar(255),
    ps_code varchar(255),
    ps_name varchar(255)
) subtable(concat('test01_', point)) as
select
    _wstart dt,
    first(val) fir_val,
    last(val) sec_val
from
    ctsdb.stb_cn
where
    1 = 1
    and index_code = 'drzcdl'
    and dt >= TODAY() - 1d partition by tbname,
    point,
    index_code,
    ps_code,
    ps_name interval(1d);

四、落地效果:量测数据管理系统的实际应用成效

(一)功能更完善、流程更顺畅

新系统已全面覆盖数据采集、历史迁移、实时加工和数据服务等关键环节,整体链路更短、响应更快、可运维性提升明显。

(二)支撑大规模数据稳定运行

目前系统已接入 300 万测点,数据规模达数十亿条。通过合理的硬件配置扩容,系统在高负载下仍保持稳定运行,为业务持续增长预留充足空间。

(三)生产运营价值显著增强

依托高并发、低延迟的数据库引擎,系统可对机组运行状态进行更及时的监测,快速识别功率突变等异常情况,为生产运行提供更高时效性的风险预警能力,明显提升运行安全性与管理效率。

结语

TDengine TSDB 驱动的量测数据管理系统,以贴合场景的树形建模与全链路架构,成功支撑 300 万测点、数十亿数据稳定运行。其高并发处理与原生流式计算优势,显著提升数据时效性与运维效率,强化风险预警能力。经针对性优化攻克运行挑战后,系统性能更趋稳定。未来,我们将持续深化技术适配,探索与 AI、边缘计算的融合应用,拓展跨业态数据协同场景,推动数据价值从运维支撑向战略决策延伸,以更智能、高效的时序数据管理能力,助力业务创新升级,为企业长远发展注入持续动能。

公司简介

中能拾贝科技有限公司致力于通过先进的技术和产品,为企业提供全方位的工业数智产品与解决方案。拾贝云工业智能底座涵盖工业智能操作系统、物联网、大数据、人工智能等多个技术平台,应用产品覆盖故障预测与健康管理(CyberwPHM)、企业资产管理(CyberwEAM)、工业控制系统(CyberwICS)等多个应用领域。其以客户为中心,根据企业的实际需求,量身定制专业的行业解决方案,助力企业提升生产效率、降低运营成本。

作者:何乐


TDengine涛思数据
95 声望38 粉丝

TDengine 致力于构建 AI 时代的工业数据底座,旗下有两款产品:TDengine TSDB——高性能、分布式的时序数据库和 TDengine IDMP——AI 原生的工业数据管理平台。