忆事科技
新闻资讯

新闻中心

当前位置: 首页 > 新闻中心 > 行业新闻

AIoT领域需要什么样的数据基础架构

2022-01-21 10:06:26

杭州忆事科技有限公司对余开发EMQ是一家开源物联网数据基础设施软件供应商,我们一直以开源为核心,产品覆盖了消息和流处理,以及边缘端的能力,主要目的是解决实时数据的移动、流处理和分析,希望服务产业的数字化、实时化、智能化转型。

在运营商的努力下,我们现在面对的AIoT物联网架构基本解决了连接的问题。在端侧,有很多异构设备在实时产生数据,这些数据通过一个小网关进行初步汇聚,经过边缘基站接入到核心网络后,再进入到云数据中心,对数据分析处理后反馈到各个端——这是目前所看到的大部分物联网架构的模型。

      但是连接的问题解决了,数据与信息之间还是有很大的区别,即空有数据但不产生价值,物联网数据并没有真正反哺到业务层。现在中国大部分AIoT企业的应用也只是停留在数据化的阶段,而非数字化、信息化。

EMQ认为,物联网时代的数字化转型有四个趋势:
           一是全面的云原生转向,从原来的业务上云、数据上云,转变为无论是应用服务还是数据基础设施应用服务,都逐步向云原生靠拢。不论是研发、部署,还是运维、测试,云原生理念目前已深入行业内部。
         二是数据逐渐从云端下沉到边缘端,如数据量比较高的V2X以及对于边缘端的设备数据采集有要求的应用,使得边缘计算开始崛起。但边缘计算本身并不是完美的,其可能存在碎片化的问题也带来了云边协同的困难。

        三是分布式云的发展,很多互联网平台和AIoT应用的开发者将原有的云原生技术向边缘发展,把之前集中在公有云上的内容逐渐放到了分布式云中。

       四是数据的类型也在发生变化,从移动互联网时代由手机产生的具有明显波峰波谷的交易型数据、事务型数据,转变成由机器产生的连续不断的分析型数据。接下来,我将详细阐述物联网全连接时代数据的范式变化。

数据生产主体和产生方式

数据产生主体从人类转变为机器。人类行为产生的交易型数据可以有诸如双十一、双十二这种明显的波峰波谷变化,而对于物联网设备来说,往往每分钟甚至每秒都在上报数据,没有明显的波峰波谷,而且这些数据具有非常明显的时空上下文特征。

数据类型

对AIoT领域的数据来说,其产生的那一刻价值。例如当你使用充电桩时某一刻充电失败了,这背后失败的原因,对用户来说才是价值的,所以需要从事务型数据转变为流式数据,以进行实时的分析处理。

数据体量

在连接的问题解决之后,数据连接量就迎来了井喷式增长。根据的报告,全球的物联网数据未来会达到ZB级别,这意味着大部分大型的物联网平台以后面对的数据量将从原来的GB时代过渡到PB、EB时代。

数据处理

对于海量数据并发连接的需求,同时又要做到实时的流式计算,原有的大数据架构必然要发生改变。之前是从数据的源头把数据录入到事先设计好的表中,在需要分析的时候从数据库里把数据读出来进行分析。而现在面对的数据很多都是半结构化、非结构化的,比如视频、音频之类的数据,对于这一类数据,往往在产生的那一刻不知道该怎么分析,需要有查询的能力,才能把数据的价值发挥到,这就要求从原先的批处理方式过渡为流式计算,自然会产生新的数据库。
综合以上几点,我们提出了四个原则,我们的产品也是基于这四个原则来设计和开发的。


近期浏览: