时序数据库

物联网传感器数据的高效存储引擎

概述

时序数据库(Time-Series Database)针对物联网场景中设备按时间戳上报的传感器数据优化,是物联网数据存储的核心。与关系型数据库按行存储不同,时序数据库采用列式存储、时间分区、专用压缩算法,利用时序数据"时间有序、多测点、高写入、范围查询为主"的特点,实现百万点/秒的写入吞吐与毫秒级的时间范围查询。在能源监控、工业采集、环境监测、智能表计等场景中,时序数据库是不可替代的存储引擎。

物联网时序数据的特点:数据点以(设备, 指标, 时间戳, 值)形式产生,同一设备的多个指标常一起上报;查询多为"某设备某指标在某时间范围的聚合或明细";数据具有时效性,近期数据热、历史数据冷。时序数据库针对这些特点做了存储、索引、查询的专门优化。

核心特性

高写入与压缩

百万点/秒写入,支持批量写入(Batch Insert)优化。列式存储+Delta编码+压缩算法,压缩比可达10:1以上。按时间分区,便于过期删除与并行查询。

降采样与聚合

内置AVG、SUM、MAX、MIN等聚合函数。支持降采样:将1分钟粒度数据聚合为1小时、1天,减少存储与加速大范围查询。支持连续查询(Continuous Query)自动预聚合。

保留策略与分层

按时间自动过期删除(如保留90天)。支持热数据SSD、冷数据HDD分层存储。与数据微服务、流式处理、数据可视化紧密集成。

典型产品与选型

InfluxDB:开源流行,生态丰富。TDengine:国产、高性能、压缩比高,物联网场景表现突出。TimescaleDB:基于PostgreSQL的扩展,SQL兼容好。OpenTSDB:基于HBase,适合大数据生态。选型需考虑写入性能、查询能力、压缩比、运维成本、与现有技术栈的集成。


相关链接