资讯中心

比之物联网或万物互联万物皆可分析更重要

来源:数据分析网 原标题:Teradata CTO:数据仓库融合开源,万物皆可分析
2016/6/12 14:44:18
32510
导读:作为一家大数据技术公司的技术掌舵人,天睿公司技术官宝立明对开源的热爱是业内共知的。但在热爱开源的背后,体现的是什么样的大数据技术路线呢?
  【中国智能制造网 名家论坛】作为一家大数据技术公司的技术掌舵人,Teradata天睿公司技术官宝立明对开源的热爱是业内共知的。但在热爱开源的背后,体现的是什么样的大数据技术路线呢?
  
  Teradata天睿公司技术官宝立明
  
  万物皆可分析
  
  Teradata提出了“万物皆可分析”的说法,宝立明表示,“万物皆可分析”的概念指的是传感器能够捕获数据,以前很多公司只是在做数据的采集,现在这些企业已经成熟了,可以开始做数据的分析了。
  
  在五到十年之前,还没有制造业企业在谈大数据分析,现在Teradata称万物皆可分析已经包括制造业。在医疗设备上,其实也是有传感器的,是放在人们的身上来检测身体状况,从而决定是不是需要一些治疗的干预,有利于提高医疗水平的质量,提高人们的身体健康的水平。同样,电信行业也是有传感器数据的,手机就是传感器,能够发送各种各样有关用户的移动的位置信息。还有零售行业也是如此,所以Teradata认为“万物皆可分析”,真正包括的万物是涵盖各行各业。
  
  宝立明认为,万物皆可分析更重要。物联网或者万物互联,只是谈的是数据的收集。数据收集越多,成本越高,不分析就没有价值。
  
  IoT数据带来的不同:
  
  1.量是100倍于传统的数据,因此你需要一个非常强大的数据平台去存储它,去处理它,这个数据平台必须是高度可扩展的。
  
  2.对于IoT数据而言,这种地理空间的数据占非常大的比例,所以Teradata需要在这方面拥有先进的地理空间分析的能力。
  
  3.在IoT的数据中,有大量的基于时间序列的事件数据要去分析。而传统的SQL处理,基本上处理的是数据集,它不善于做这种时间序列处理。所以,这也是为什么Teradata谈到Aster在这方面是远远于其他数据分析技术。
  
  对于万物皆可分析,Teradata一直以来倡导的技术架构是UDA(统一数据架构)。在UDA(统一数据架构)之下,Teradata既有自己的技术,也有各种各样开源的技术,比如Hadoop。同时Teradata还有数据湖的技术、Aster技术。Aster非常关键的一点是非常适合传感器数据的分析平台。
  
  Teradata可以做的是,把数据先放到数据湖存储,经过Aster,经过对数据进一步处理,把它导入到数据仓库,为BI分析师所使用,所以它是一层一层的数据堆栈的架构。Aster作为一个数据平台,已经被移植到了Hadoop这种分布式的Power系统之上了,既可以在文件系统上去执行Aster,也可以在开源的数据库上应用。
  
  针对万物皆可分析,Teradata相关的产品一共有七大类:
  
  1.TeradataListener框架,能够以实时的方式把海量的数据导入到Teradata的系统里;2.利用RESTfulAPI,可以实现各种技术平台的对接;
  
  2.一个非常可靠、高可伸缩的数据传输技术;
  
  3.存储技术;
  
  4.可兼容的技术;
  
  5.不断完善的压缩技术;
  
  6.即将推出的TeradataIntelliFlex一体机,基于海量并行处理(MPP)架构,能以非常高的经济性,有效地进行海量数据的处理。
  
  Teradata还有一个nPath技术,结合了MapReduce和SQL来做时序数据的分析。
  
  如果把MapReduce在Hadoop这样的一个分布式的文件系统上去做执行的话,它会产生大量的中间的文件。但是Teradata现在把MapReduce直接和SQL结合,它直接就会得出终的文件,中间的这些文件就没有了,简化了分析的难度,并提高了效率。

热门评论

上一篇:世界数据科学家谈未来十年大数据发展

下一篇:沃尔沃中国区总裁表示卡车未来也能电动

相关新闻

<