概述
实时分析(Realtime Analytics)对物联网设备数据进行秒级或分钟级聚合、统计、预测,为业务提供实时决策支持。与离线批处理不同,实时分析要求数据产生后短时间内即可查询到聚合结果,支撑大屏看板、实时告警、动态调度等场景。结合流式计算(Flink、Spark Streaming)、时序数据库(InfluxDB、TDengine)、OLAP引擎(ClickHouse、Doris),实现设备数量统计、能耗汇总、异常预测、趋势分析等能力。应用于能源管理、工业监控、智慧运维、车联网等场景。
物联网实时分析的挑战:数据量大、维度多(设备×指标×时间×区域)、查询延迟要求高。需采用预聚合、物化视图、流批一体等技术,在写入时或准实时完成聚合,查询时直接读取预计算结果,避免全表扫描。
核心能力
实时聚合
SUM、AVG、COUNT、MAX/MIN等聚合函数,按时间窗口(1分钟、5分钟、1小时)滚动或滑动计算。支持按设备、产品、分组、区域等多维度分组。流式计算引擎在数据到达时增量更新聚合结果,写入时序库或OLAP表,供查询使用。
多维分析与钻取
按设备、时间、区域等维度钻取,从汇总到明细。支持同比、环比、占比等分析。OLAP引擎或时序数据库的降采样、聚合查询支撑多维分析。与数据可视化配合,实现交互式探索。
预测分析与异常检测
基于历史数据的趋势预测、用量预测。机器学习模型(如LSTM、Prophet)做时序预测。异常检测:统计方法(3σ、IQR)或机器学习识别离群点。实时分析管道中嵌入模型推理,实现实时预警。
物联网典型应用
能耗实时统计:电表、水表数据按楼栋、区域、时间聚合,大屏展示今日用量、同比。设备健康度分析:振动、温度等指标实时计算健康分数,低于阈值告警。产量实时汇总:产线计数、良品率实时聚合,支撑生产看板。与数据可视化、告警、报表联动,形成完整的实时决策体系。
查询看到的是哪一层聚合
窗口统计回答的业务问题
查询接口在短时间内返回的,应是已经对齐口径的统计,而不是临时把原始点再扫一遍。它回答的问题是:过去一个窗口里,某一组设备的和、均值、极值或次数是多少。窗口可以滚动、滑动或按空闲间隔切开,分组键可以是设备、产品、区域或租户。结果写入查询层之后,大屏和接口读到的就是这层数字。原始点可以保留给追查,交互查询不应再靠全表扫描去拼同一个指标。
每个指标先写成公式,再谈实时。缺失点是忽略还是记成零,重复上报是覆盖还是累加,跨日按哪个时区切桶,都要写进公式。公式不同,同一条原始流会得到不同的“今日用量”。分析服务把公式固定在写入路径上,查询只读取结果。预测和异常识别若要接进这条路径,输入必须是按同一公式整理过的序列,否则模型学到的是补点方式,现场过程被淹没。
预聚合粒度要先定指标口径
预聚合适合查询频繁、分组键有限、业务能接受桶宽带来的精度损失的指标。桶宽不应大于需要分辨的最小变化,同时也要让一组分组键的写入量在存储上站得住。把每台设备、每个子传感器、每一分钟都做成独立键,预聚合表会比原始表更大,查询反而变慢。这种明细留在时序存储里,分析层只保留稳定的汇总键。
晚到数据的期限要在启用前量出来。现场设备若会缓存半小时再补报,五分钟窗口在关闭后仍可能被改写。刚关闭的窗口若直接当成账单,次日重算会对不上。可以为每个窗口标记“仍可能修订”,直到水位越过补报期限。与数据清洗的分工是:清洗去掉不可能的值并统一单位,分析在干净序列上按窗口公式聚合。两边不要各写一套“什么叫有效点”。
迟到点会改写已关闭的窗口
设备时钟超前时,点会落入未来窗口,当时的查询偏小;时钟校正后又涌进当前窗口,曲线出现台阶。时钟滞后时,点被算进错误的历史桶。分析作业应记下事件时间与入库时间的差,超过阈值的点进入旁路,不直接改写已经对外发布的窗口;若业务允许修订,就要留下修订版本,而不是悄悄覆盖旧数字。
把原始点求和与预聚合求和再加一次,会造成重复计量。接口应声明结果来自哪一层。告警若用原始峰值、看板若用桶内均值,两边会长期不一致。告警规则应引用分析层同一只桶,规则的投递放在告警微服务,避免各处复制一份阈值。滑动窗口的步长若远小于窗口长度,相邻结果高度重叠,同一次波动会被多次计入,看起来像持续异常。步长和窗口要按需要的灵敏度一起定。分组键从区域改成设备后,旧的物化结果不会自动作废,要写明重建的时间范围,避免新旧口径在同一条曲线里拼接。