AIoT领域数据更新

杭州忆事科技有限公司对余开发EMQ是一家开源物联网数据基础设施软件供应商，我们一直以开源为核心，产品覆盖了消息和流处理，以及边缘端的能力，主要目的是解决实时数据的移动、流处理和分析，希望服务产业的数字化、实时化、智能化转型。

在运营商的努力下，我们现在面对的AIoT物联网架构基本解决了连接的问题。在端侧，有很多异构设备在实时产生数据，这些数据通过一个小网关进行初步汇聚，经过边缘基站接入到核心网络后，再进入到云数据中心，对数据分析处理后反馈到各个端——这是目前所看到的大部分物联网架构的模型。

但是连接的问题解决了，数据与信息之间还是有很大的区别，即空有数据但不产生价值，物联网数据并没有真正反哺到业务层。现在中国大部分AIoT企业的应用也只是停留在数据化的阶段，而非数字化、信息化。

EMQ认为，物联网时代的数字化转型有四个趋势：
           一是全面的云原生转向，从原来的业务上云、数据上云，转变为无论是应用服务还是数据基础设施应用服务，都逐步向云原生靠拢。不论是研发、部署，还是运维、测试，云原生理念目前已深入行业内部。
         二是数据逐渐从云端下沉到边缘端，如数据量比较高的V2X以及对于边缘端的设备数据采集有要求的应用，使得边缘计算开始崛起。但边缘计算本身并不是完美的，其可能存在碎片化的问题也带来了云边协同的困难。

三是分布式云的发展，很多互联网平台和AIoT应用的开发者将原有的云原生技术向边缘发展，把之前集中在公有云上的内容逐渐放到了分布式云中。

       四是数据的类型也在发生变化，从移动互联网时代由手机产生的具有明显波峰波谷的交易型数据、事务型数据，转变成由机器产生的连续不断的分析型数据。接下来，我将详细阐述物联网全连接时代数据的范式变化。

数据生产主体和产生方式

数据产生主体从人类转变为机器。人类行为产生的交易型数据可以有诸如双十一、双十二这种明显的波峰波谷变化，而对于物联网设备来说，往往每分钟甚至每秒都在上报数据，没有明显的波峰波谷，而且这些数据具有非常明显的时空上下文特征。

数据类型

对AIoT领域的数据来说，其产生的那一刻价值。例如当你使用充电桩时某一刻充电失败了，这背后失败的原因，对用户来说才是价值的，所以需要从事务型数据转变为流式数据，以进行实时的分析处理。

数据体量

在连接的问题解决之后，数据连接量就迎来了井喷式增长。根据的报告，全球的物联网数据未来会达到ZB级别，这意味着大部分大型的物联网平台以后面对的数据量将从原来的GB时代过渡到PB、EB时代。

数据处理

对于海量数据并发连接的需求，同时又要做到实时的流式计算，原有的大数据架构必然要发生改变。之前是从数据的源头把数据录入到事先设计好的表中，在需要分析的时候从数据库里把数据读出来进行分析。而现在面对的数据很多都是半结构化、非结构化的，比如视频、音频之类的数据，对于这一类数据，往往在产生的那一刻不知道该怎么分析，需要有查询的能力，才能把数据的价值发挥到，这就要求从原先的批处理方式过渡为流式计算，自然会产生新的数据库。
综合以上几点，我们提出了四个原则，我们的产品也是基于这四个原则来设计和开发的。