定义
数据同步(Data Sync)指使多个数据源(设备、平台、地域)之间的数据保持一致的过程。物联网场景下的数据同步包括:设备与平台——设备 数据采集 上报至平台,平台配置、固件下发至设备;多平台间——充电运营平台 与 eMSP 通过 OCPI 同步充电会话、CDR;多地域间——跨境部署时,各地域 设备管理平台 数据同步至中心。同步策略包括全量同步、增量同步、差分传输,结合 差分校准 保障一致性。
数据同步是跨境业务协同的基础,需考虑网络延迟、冲突解决、最终一致性等。
技术特点与架构
数据同步技术特点包括:同步方向——单向(设备→平台)、双向(设备↔平台)、多向(多平台互同步);同步策略——定时全量、实时增量、变化触发;冲突解决——last-write-wins、版本向量、CRDT 等;传输优化——数据压缩、差分传输 降低同步数据量。在 差分校准 场景中,全量同步用于校准基准,日常采用增量同步。
跨境场景下,数据同步需考虑时区、网络不稳定、合规(数据跨境传输限制),可采用区域中心+中心汇聚的层级架构。
在物联网与跨境场景中的应用
数据同步在物联网与跨境场景中的应用包括:充电互联互通——OCPI 实现 CPO 与 eMSP 间充电会话、CDR 同步;设备管理——设备状态、配置在设备与 设备管理平台 间同步;跨境物流——订单、定位 在多平台、多地域间同步;跨境运营——跨境部署的充电桩、物流设备数据同步至总部平台。达希物联为物联网设备提供覆盖 200+ 国家的连接,支撑数据同步在跨境场景下的可靠执行。
多副本对齐时的一致性边界
全量、增量与最终一致
数据同步的技术含义,是让设备影子、区域平台和中心库对同一对象的同一版本达成可解释的一致,而不是要求任意时刻每个字节都相同。全量同步用完整快照覆盖基准,适合上线、长期离线后重连和发现版本对不上的时候。增量同步只搬变化字段,日常流量更小,但接收端必须已经持有同一基准。最终一致允许跨境链路上先看到旧值,只要版本号或向量时钟能在稍后收敛。强一致则要求写成功之前多数副本都确认,控制指令和计费状态更接近这种要求,遥测曲线通常承受不了那么高的往返延迟。
跨境时区与补传窗口
使用条件包括:每条记录带有稳定的对象标识、单调的版本或序号,以及明确的时间来源;冲突策略事先写清,是后写覆盖、按字段合并,还是遇到分歧就挂起人工处理;离线期间设备能在本地排队,重连后按序号补传,而不是只报“当前值”。跨境时区不能拿本地墙上时钟直接比先后,应统一到带时区的时间戳,或干脆只用序号。区域中心先收本地设备、再向总部汇聚时,要标明这条数据已经到达哪一层,避免总部把尚未汇聚的空洞当成设备没报。同步通道若经过漫游网络,批量补传要限速,防止一上线就把链路打满,把实时告警挤掉。
把乱序包当成最新值
常见错误是按到达顺序覆盖状态。漫游切换时后发的旧包可能晚到,若没有版本比较,平台会把已恢复的设备又写成故障。另一类错误是双向同步没有主次,平台下发的配置和设备本地改过的配置互相覆盖,最后两边都不确定哪份有效。只做增量、从不做差分校准,基准漂移后每条增量都叠在错误起点上。删除和“字段未出现”也必须区分,否则对端会把缺省当成清零。时钟跳变、夏令时和运营商短信校时失败,都会让按时间排序的同步产生回退。同步任务成功只表示报文被接受,不表示业务含义已经对齐,关键状态还应有读回校验。
区域汇聚还要单独标记“已到本地、尚未到中心”的状态,否则总部看板会把传输中的空洞画成设备沉默。补传队列应有上限和丢弃策略,优先保留告警和配置回执,放弃过期的高频采样,而不是先进先出地把最新故障挤掉。删除同步要用墓碑记录,不能靠对方下次全量时“字段没出现”来猜测删除。双向修改同一参数时,若没有主次,后到达的一方会获胜,现场人员会看到自己刚改的阈值被旧值盖回。验收要用人为制造的乱序、重复和半包,确认状态机停在缺口前。只在网络良好的机房里看同步成功,说明不了漫游切换时的行为。