比之物联网或万物互联万物皆可分析更重要
- 来源:数据分析网 原标题:Teradata CTO:数据仓库融合开源,万物皆可分析
- 2016/6/12 14:44:18
- 32510
Teradata天睿公司技术官宝立明
万物皆可分析
Teradata提出了“万物皆可分析”的说法,宝立明表示,“万物皆可分析”的概念指的是传感器能够捕获数据,以前很多公司只是在做数据的采集,现在这些企业已经成熟了,可以开始做数据的分析了。
在五到十年之前,还没有制造业企业在谈大数据分析,现在Teradata称万物皆可分析已经包括制造业。在医疗设备上,其实也是有传感器的,是放在人们的身上来检测身体状况,从而决定是不是需要一些治疗的干预,有利于提高医疗水平的质量,提高人们的身体健康的水平。同样,电信行业也是有传感器数据的,手机就是传感器,能够发送各种各样有关用户的移动的位置信息。还有零售行业也是如此,所以Teradata认为“万物皆可分析”,真正包括的万物是涵盖各行各业。
宝立明认为,万物皆可分析更重要。物联网或者万物互联,只是谈的是数据的收集。数据收集越多,成本越高,不分析就没有价值。
IoT数据带来的不同:
1.量是100倍于传统的数据,因此你需要一个非常强大的数据平台去存储它,去处理它,这个数据平台必须是高度可扩展的。
2.对于IoT数据而言,这种地理空间的数据占非常大的比例,所以Teradata需要在这方面拥有先进的地理空间分析的能力。
3.在IoT的数据中,有大量的基于时间序列的事件数据要去分析。而传统的SQL处理,基本上处理的是数据集,它不善于做这种时间序列处理。所以,这也是为什么Teradata谈到Aster在这方面是远远于其他数据分析技术。
对于万物皆可分析,Teradata一直以来倡导的技术架构是UDA(统一数据架构)。在UDA(统一数据架构)之下,Teradata既有自己的技术,也有各种各样开源的技术,比如Hadoop。同时Teradata还有数据湖的技术、Aster技术。Aster非常关键的一点是非常适合传感器数据的分析平台。
Teradata可以做的是,把数据先放到数据湖存储,经过Aster,经过对数据进一步处理,把它导入到数据仓库,为BI分析师所使用,所以它是一层一层的数据堆栈的架构。Aster作为一个数据平台,已经被移植到了Hadoop这种分布式的Power系统之上了,既可以在文件系统上去执行Aster,也可以在开源的数据库上应用。
针对万物皆可分析,Teradata相关的产品一共有七大类:
1.TeradataListener框架,能够以实时的方式把海量的数据导入到Teradata的系统里;2.利用RESTfulAPI,可以实现各种技术平台的对接;
2.一个非常可靠、高可伸缩的数据传输技术;
3.存储技术;
4.可兼容的技术;
5.不断完善的压缩技术;
6.即将推出的TeradataIntelliFlex一体机,基于海量并行处理(MPP)架构,能以非常高的经济性,有效地进行海量数据的处理。
Teradata还有一个nPath技术,结合了MapReduce和SQL来做时序数据的分析。
如果把MapReduce在Hadoop这样的一个分布式的文件系统上去做执行的话,它会产生大量的中间的文件。但是Teradata现在把MapReduce直接和SQL结合,它直接就会得出终的文件,中间的这些文件就没有了,简化了分析的难度,并提高了效率。
版权与免责声明:凡本网注明“来源:智能制造网”的所有作品,均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品,未经本网授权不
展开全部
热门评论