盘点：热门云计算与大数据开源技术变迁
- 来源：Csdn 原标题：盘点人气云计算&大数据开源技术变迁
- 2016/5/7 9:24:57
- 31907
盘点：热门云计算与大数据开源技术变迁
业务需求刺激下，大数据生态繁花似锦
近年内，随着越来越多的设备接入互联网，当下一年所产生的数据往往是以往数年的总和。而据GlobalCloudIndex预计，截止至2020年互联设备数量将达到500亿，众多爆发式增长的设备预计在2017年便会产生高达7.7ZB的互联网数据。在这个大背景下，各个机构都积累了足够多的数据，从而对数据进行分析并产生指导实践的见解也成为了企业提高竞争力的迫切需求。在这个需求刺激下，开源大数据技术生态圈得到了飞速发展——在数据的整个生命周期中，从收集到处理，一直到数据可视化和储存，各种开源技术框架林立。
在开源大数据处理上，出于对成本和数据量的考虑，横向扩展已经必不可少，因此在这个领域涌现出大量的集群计算框架，其中大家首先想到的就是Hadoop。Hadoop天生高贵，由原雅虎工程师DougCutting在Google论文的启发下建立，也是时下生产环境部署多的计算框架。然而，随着内存成本的降低和对不同处理类型需求的增加，缺乏对内存有效利用及资源调度粒度的不够，业内涌现出大量的计算框架并占据一席之地，其中备受关注的包括ApacheSpark、ApacheFlink、ApacheStorm/JStorm等，整个大数据生态繁华似锦。
开源IaaS发展，从百花齐放到一家独大
如上文所述，随着接入互联网的设备增多，企业IT基础设施往往需要承受以往数倍的压力，从而对原有的资源组织方式提出了严峻的挑战。在这个前提下，云计算得以快速发展并在各行各业落地，更成为许多创业公司的立足之本。而作为云计算的一种重要形式，IaaS服务有各种开源和商业云平台方案，作为当前成功的云计算平台，AWS更是吸引了众多的关注和模仿，如果说云计算发展到如今的火爆，除了IT技术的发展趋势，更重要的是背后云计算厂商的大力支持和推广。我们早听到IaaS概念可以追溯到1983年，一家在现在看来非常厉害的公司SunMicrosystems就提出了“网络是电脑”的概念，但是由于概念太超前，在当时并没有引起重视。
随着Amazon推出其弹性云计算，并在IaaS领域大获成功，Google、微软、VMware、IBM等IT巨头们大举跟进，纷纷涉足云计算领域，云计算的热潮汹涌而至。在这期间，开源IaaS领域发展同样迅猛，从早的Eucalyptus、OpenNebula、CloudStack等到我们熟知的OpenStack，百花齐放，百家争鸣，一时云计算领域热闹非凡，当然，随着众多大型厂商的支持、社区的壮大以及生态的不断完善，OpenStack如今大放异彩，开始逐渐占据主导。不是说OpenStack现在无缺，只是在当下的开源IaaS领域，OpenStack已经毫无争议的成为受关注的云计算技术，并逐渐成为开源IaaS领域的代名词。
容器技术异军突起，从技术演进到标准、生态之争
Docker，时下火的容器技术，从诞生到进军生产环境，每一步的技术演进都受到了巨大的关注。其实，谈及容器技术，其实Docker并非首创，早在十数年前，容器技术便已有雏形，但是以SolomonHykes为首的一帮工程师敏锐的发现了容器技术在云计算领域的巨大潜力，随后迅速技术转型，开始投向容器技术并且从一开始就走开源路线，这位身上流著美国与法国的血统，喜欢网咖打电动，酷爱摩托车的年轻人开始了一段非凡的浪漫之旅。
无论是版本的迭代还是进军生产环境，Docker这三年来的发展可以说是如鱼得水，当然，期间也受到过质疑，比如CoreOS与Docker的标准之争就在容器圈引起了不大不小的轰动，后以Solomon和CoreOS的创始人AlexPolvi握手言和告终。之后随着Docker版本的更新，在网络和安全、存储等领域的短板被逐渐补足之后，Docker的集群能力得以完善。
容器引擎领域，虽说有CoreOS团队开源的rkt项目，但是和Docker相比，在用户以及社区活跃度方面都有很大差距。容器的编排，可以说在目前Docker领域受到的关注度，从Mesos到Kubernetes，围绕两种技术的编排之争超乎想象，由于背后都有大批的厂商支持，短期内，这两种技术都将得到迅速的发展，某一方不会形成压倒性优势，另外，从Docker公司的角度，背后的动作也有对编排的考量，综述所述，容器生态中，围绕Docker的生态之争才刚刚开始。
析开源云计算&大数据技术新实践
Docker短板补足，生产级实践备受关注
如上文所述，在Docker版本的更新过程中，自身的一些技术缺陷得到了弥补，Docker在安全、存储以及网络领域的短板得到逐步的解决，Docker进军生产环境已经成为大势所趋。国外，在Docker应用领域有着比较先进的经验。国内目前真正将Docker应用在生产领域的很少，其中应用在核心业务的就更少，Docker从诞生到现在，已经3年时间，如果继续炒作Docker的优越已经毫无意义，当下，们为关心的是如何让Docker真正落地，如何在生产环境中使用Docker，急需这个领域有一些个吃螃蟹的企业出来分享他们的经验和教训。
为此，2016Container峰会聚焦生产级实践，邀请了在金融、教育、制造、证券等领域已经应用Docker的企业技术负责人到场，给我们谈谈他们在生产环境中是如何使用Docker的，大规模部署Docker的经验和趟过的坑。比如我们请到了民生银行架构管理中心副主任周越博带来《Docker助力互联网金融新架构》，长安汽车分布式技术架构室室主任黄俊带来《容器化技术在长安汽车中的实践》，广发证券信息技术部资深架构师、交易云技术研发团队负责人杨涛带来的《广发证券基于大规模docker容器集群的OpenTrading证券交易云实践之路》，另外，哈有永信至诚科技股份有限公司副总裁带来的《CloudStack Docker构建云端信息安全实验场》。
OpenStack式微?如何借势Docker
无可否认，Docker的发展热度在一定程度上掩盖了OpenStack的光芒，但是作为开源IaaS领域的平台，IaaS如何和Docker和谐发展，或者如何借势Docker弥补OpenStack在技术领域的短板，已经成为很多关注的焦点。另外，上届的OpenStack技术峰会，我们邀请到IBM云计算架构师刘光亚分享了《深度解析Docker和OpenStack系统集成》收到了众多参会者的广泛关注，今年OpenStack技术峰会，我们同样邀请到九州云OpenStack开发工程师张雷为大家分享如何基于Docker部署升级OpenStack，此外，对于已经部署了OpenStack基础服务的用户而言，如何大化地发挥底层服务的能力、优化资源使用，同时提升用户体验，我们邀请到IBM研究员，OpenStack Senlin项目组长、Heat项目的Core滕启明博士来为我们分享如何通过编程充分发挥OpenStack云的能力。值得一提的是，对于OpenStack在企业的实践，我们也邀请到中国移动，中国银联、国家电网、华为、ebay、顺丰快递等工程师，分享他们在OpenStack实践方面的感悟。
Hadoop老矣?时下开源大数据生态解读
如前文所述，在海量数据处理上，横向扩展已毋庸置疑。而在这个领域，由Hadoop2.0中诞生的YARN无疑为耀眼，也是时下生产环境部署为广泛的开源框架。在本届CCTC2016上，华为印研Hadoop工程团队架构师、Hadoop Committer Naganarasimha Garla将从技术角度解析YARN的异构实现，而Hulu大数据架构组负责人董西成将分享YARN在生产环境中的异构应用与实践。
谈到开源海量数据处理，行业内首先落地的无疑是批量计算，而在这方面，MapReduce无疑是鼻祖，也是时下生产环境部署多的计算框架。然而正如上文所述，缺少对内存的有效利用和业务对不同类型计算的需求，效率比较低的MapReduce同样面临着大量竞争者，其中两个备受关注的就是Spark和Flink。因此，在CCTC2016上，主办方特设置了2016中国Spark技术峰会，不仅有3位Apache Spark Committer RamSriharsha、连城、范文臣为大家解析Spark2.0，来自Intel、Hortonworks、Elastic、腾讯、新浪微博、Admaster、MediaV等国内外机构的近十位专家将带来新的Spark实践分享，详情可以看笔者之前的峰会解析。而在Flink方面，Flink活跃贡献者，万达金融李呈祥将为大家分享名为“Apache Flink:Streamengine beyond Batch”的议题。
此外，基于大量用户的生产欢迎使用，Hadoop同样亦在飞速进步，就比如说之前一直由HDF和HBase的存储层已面临Kudu(Cloudera开源)的强力挑战，当然，满足业务需求，生产环境使用是大家所追求的共同目的。
版权与免责声明：凡本网注明“来源：智能制造网”的所有作品，均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品，未经本网授权不
展开全部
热门评论