大数据火热市场暗藏“痛点”发展隐忧不容忽视
- 来源：中国工控网 原标题：大数据，光鲜之下隐忧重重
- 2016/6/2 10:09:27
- 30906
大数据火热市场下暗藏“痛点” 发展隐忧不容忽视
大数据痛点一号：GPU编程仍未得到普及
CPU的使用成本仍然较为昂贵，至少与GPU相比要贵得多。如果我们能够面向GPU开发出更理想的执行标准以及更多表现出色的驱动程序，那么相信一个新的市场将由此诞生。就目前来讲，GPU的使用成本优势并没能得到很好的体现，这是因为我们难以针对其进行编程，而且几乎没办法在不建立特定模型的前提下完成这项任务。
这种情况类似于，有些人希望编写出类似于ODBC或者JDBC的代码来处理某些高强度工作，并说服AMD或者英伟达将业务着眼点放在显卡产品之外。假设我们原本已经习惯了使用Spark实现各类计算任务,而且压根不觉得这么做有什么问题；但仿佛在一夜之间，其他人都开始构建所谓“GPGPU”集群，这自然会让我们有点措手不及之感。
不少技术人员都开始在这方面做出探索，但要想真正让成果实现市场化，我们至少需要搞定两大竞争对手——AMD以及英伟达，也许再加上英特尔。除非它们愿意联手合作，否则如果继续像现在这样把技术保密看作市场成功的实现途径，那么问题永远也找不到理想的答案。
数据痛点二号：多工作负载缩放
我们拥有Docker。我们拥有Yarn。我们还拥有Spark、Tez、MapReduce以及未来可能出现的一系列技术方案。我们还拥有多种资源池化实现工具，其中包含各类不同优先级及其它设定。如果大家选择部署一个Javawar文件，则可以在PaaS上进行“自动伸缩”。但如果大家希望在Hadoop上实现同样的效果，那么情况就不太一样了。
再有，存储与处理体系之间的交互该如何处理？有时候大家需要以临时性方式对存储资源进行扩展与分发。我应该有能力运行自己的“月末统计”批量任务并将Docker镜像自动部署到任意指定位置。而在我的任务完成之后，系统应当对其进行反部署，并将资源重新分配给其它工作负载。应用程序或者工作负载应该根本不需要在这方面浪费太多精力。
但目前这些要求尚无法实现。我希望大家习惯了编写Chef方案与脚本，因为这是达到以上目标的惟一办法。
大数据痛点三号：NoSQL部署更令人头痛
为什么我已经能够利用ssh与sudo将镜像导入Linux设备、为其指定Ambari并安装像Hadoop这样复杂度极高的项目，但却仍然需要在MongoDB以及大部分其它数据库的部署工作中浪费时间与精力？当然，我也可以编写Chef自动化方案，但恕我仍对此无法认同。
大数据痛点四号：查询分析器/修复器
当初在使用JBoss的时候，我曾经对Hibernate以及后来的JPA/EJB3进行过大量调试。具体来讲，主要工作包括查看日志记录、找出存在n 1类查询的位置、将其纳入join并移除可能影响运行效果的糟糕缓存配置。
但有时候情况又完全相反：我们可以将每一套需要的表添加到系统当中，但其返回速度却慢得让人抓狂。有时候，我打算在复杂程度更高的系统之上查看OracleEnterpriseManager及其分析结果，但返回的报告却完全是一堆胡言乱语——这意味着其中存在问题。不过我可以同时着眼于两套始终共同协作的表，并据此找到分析当中存在的规律。我甚至考虑过利用编程方式解决问题。
版权与免责声明：凡本网注明“来源：智能制造网”的所有作品，均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品，未经本网授权不
展开全部
热门评论