概述
物联网平台除时序数据(传感器数值)外,还需存储设备上报的图片、视频、固件包、日志文件等非结构化数据。这些数据具有体量大、增长快、访问模式不同(热数据频繁访问、冷数据归档)等特点,传统文件系统或关系数据库难以胜任。分布式存储系统如MinIO、Ceph、HDFS提供高可用、可扩展的对象存储能力,满足PB级文件存储需求。对象存储采用S3兼容API,支持大文件分片上传、断点续传、版本管理,与物联网平台的设备文件上传、OTA固件分发、日志归档等场景天然契合。
物联网场景下,摄像头抓拍、工业视觉质检图片、车载视频、设备诊断日志等数据量巨大。分布式存储需支持按租户、按产品、按时间分区,便于隔离与生命周期管理。与CDN结合可加速固件下载、图片访问,降低源站压力。
核心特性
对象存储与S3兼容
S3兼容API,支持Put/Get/Delete等操作。大文件分片上传(Multipart Upload)、断点续传。支持元数据、标签、生命周期规则。与AWS S3、阿里云OSS、腾讯云COS等API兼容,便于迁移与多云部署。
高可用与弹性扩展
多副本或纠删码(EC)保障数据不丢失。节点故障时自动恢复。支持动态扩容,新增节点即可增加容量与吞吐。PB级容量、高并发访问。
CDN与分层存储
结合CDN加速固件下载、图片访问,减轻源站压力。支持热数据SSD、冷数据HDD的分层存储,降低成本。生命周期策略:自动将过期数据迁移至低成本存储或删除。
物联网典型应用
摄像头抓拍、工业质检图片、车载视频存储。固件包存储与OTA分发。设备日志、诊断文件归档。数据备份与容灾。与物联网平台集成,设备通过HTTP/MQTT上传文件,平台存储后供查询、下载、分析使用。