开源与闭源的融合有利于构建大数据分析生态
- 来源：至顶网 原标题：开源与闭源的融合构建大数据分析生态
- 2016/5/28 9:05:24
- 32206
开源与闭源的融合有利于构建大数据分析生态
但目前B2B数据分析整个市场总量还很小，而且对数据分析的要求更高。因为单一平台不能解决大数据的所有问题，这也有了开源与闭源技术的混合需求，构建大数据分析的生态系统，在IoT数据大量爆发的时代为各行各业提供对应的分析能力。
IoT数据分析需要7大支撑
IoT的快速发展让数据分析也要更进一步，因为IoT的数据量是传统数据的100倍，这就需要强大可扩展的数据平台来存储和处理这些数据；IoT的地理空间数据比例非常大，需要拥有先进的地理空间分析能力；IoT中有大量基于时间序列的时间数据需要分析，传统SQL并不善于处理。
数据量、地理空间数据、时间序列数据三方面都是IoT数据相比于传统数据的不同之处。Teradata天睿公司技术官宝立明提到，随着IoT数据的可分析也标志着我们已经真的进入了“万物皆可分析”的时代，通过传感器采集到的数据终于可以发挥其价值。
构建大数据分析生态实现开源与闭源的融合
其实在2015年TeradataPartners大会上，Teradata就提出了“万物皆可分析”的概念。但基于传感器的数据应用更多集中在制造业层面，所以Teradata的一个业务重点便是要向制造业转移。当然万物皆可分析也包含了来自各行各业的数据，如电信行业收集手机的地理位置信息，医疗行业医疗设备收集的身体指标数据等等。
在Teradata提供的产品中对于IoT数据的分析可以分为七类，、TeradataListener框架，以实时的方式把海量的数据导入到Teradata系统；第二、利用RESTfulAPI实现各种技术平台的对接；第三、可靠、高可伸缩的数据传输技术；第四、存储技术；第五、可兼容技术；第六、压缩技术；第七、即将推出TeradataIntelliFlex一体机产品，采用下一代海量并行处理（MPP）架构，能以非常高的经济性，有效地进行海量数据的处理。
除了刚刚说到的七部分，Teradata实现万物皆可分析的基础还是统一数据架构（UDA），其结合了Teradata的技术、开源技术、数据湖等技术。
“我们可以将数据先放到数据湖中存储，经过Aster进一步处理，导入到数据仓库为BI使用。”宝立明说道，UDA中的Aster是一个非常适合处理传感器数据的平台，而且已经被移植到Hadoop上，既可以在文件系统上去执行，也可以在开源的数据库上应用。
从跳高演变看技术整合
正如UDA的架构，开源和闭源已经实现融合，而这在之前是不可想象的。宝立明用跳高姿势的演变举例，在之前跳高的姿势都是剪刀腿，而到了80年代跳高遇到了一个转型期，背越式的出现比剪刀腿能取得更好的成绩。
这也使得越来越多的选手开始采用背越式，当然选手可以依然待在安全区，但你终不会成为赢家。通过12年的发展背越式完全取代了剪刀腿，这就如同采用新技术也是一个痛苦的过程一样，企业需要实现商业技术和开源技术的整合。
在15年前，Teradata就已经把数据库产品跑在Unix、Linux开源的版本之上，一直到今天也是如此。
在UDA的组合中不仅有开源Hadoop，宝立明还特别提到同Facebook合作研发的开源分布式SQL查询引擎Presto，以及运行在Presto上面的QueryGrid，其可以在Hadoop平台发起并完成跨平台查询，所以UDA已经是一个商业技术和开源技术融合的开放架构。
同时Teradata也为机器学习提供一个具有高可延展性的大数据平台，把机器学习的算法，像R、Ruby内嵌到平台之上，供Teradata的数据科学家做各种各样的实验和探索，更好地找到一些成熟可商用的技术，整合到解决方案中。
在云计算战略上，为了和企业的应用趋势匹配，数据分析的重心也正在向云中转移，尤其是现在企业的业务系统逐渐前移到云端，分析也将转移到云端。
Teradata的原则是给客户提供同类佳技术的选择，AWS是目前宣布的家公有云合作伙伴，未来在MicrosoftAzure、谷歌云上都会提供服务，目标是在不同云平台上都可以提供同样的数据分析能力。
版权与免责声明：凡本网注明“来源：智能制造网”的所有作品，均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品，未经本网授权不
展开全部
热门评论