有了Cloudera 大数据落地其实很简单

欢迎大家来到IT世界,在知识的湖畔探索吧!


欢迎大家来到IT世界,在知识的湖畔探索吧!

“都说大数据神奇，能帮我找个妹纸才算神奇呢？”单身男同事开玩笑说，所谓说者无心，听者有意，没想到还真成了事实。

eHarmony是一家在线婚恋交友网站，每天为数百万人提供服务。最近eHarmony对其云环境进行了升级，部署了Cloudera Apache Hadoop发行版，对在线数据进行更复杂的大数据分析，高恋爱成功的机会，个性化的服务让eHarmony深受欢迎。

大数据落地难

大数据难落地，这是很多国内很多行业用户的共同体验。为什么大数据落地难，首先说到大数据，势必要说到Apache Hadoop，通过数据分布式处理的方式，借助Map/Reduce，为海量数据分析提供快速相应和支持。

最成功的Map/Reduce服务首推Google、百度等搜索引擎服务。通过Map，搜索引擎服务器对于分布式数据，进行关键词的匹配处理，然后通过Reduce将搜索结果集中，对外提交服务。尽管Map/Reduce有效，但学习起来会有一些困难。

Mapp/Reduce学习起来有点难

除此之外，也可以采用Hbase，用近似数据库范式来处理数据。可用类SQL的Hive SQL创建查询，并转化为Map/Reduce任务。不过Map/Reduce任务、Hive查询、Hbase操作等都要轮流进行，这就是Hadoop的局限。

尽管Hadoop2对此进行了改进，将Map/Reduce升级为YARN(Yet Another Resource Negotiator)，允许多个应用同时访问，类似于操作以系统任务处理方式，不再有一次一项操作的限制。无论在效率，还是应用性方面，应用难度的确有所降低。但对于传统行业/企业来说，Hadoop仍然是一个难以翻越的高山。

偏偏Hadoop是一个开源的项目，这意味着用户可以很容易获取。“很多用户在Hadoop上花费了大量时间，琢磨来琢磨去，难有建树。”某大数据厂商中国区销售主管说。他表示：“Hadoop甚至已成为中国大数据应用落地的主要障碍。”也许没有能够完全领其中的含义，Hadoop之父Doug Cutting先生谈及对此看法时疑惑的表示，不用Hadoop，有什么更好的办法呢？

商业体现价值

大数据落地难,当然不是Hadoop之过。很多行业/企业用户受困于Hadoop，在于忽略了发行版和商业版区分。

从开源社区的角度，发行版代表者软件研发可行的方向，是人类软件智慧的集中体现。但在稳定性、兼容性等商业化应用指标上，还存在明显的欠缺，成熟性还有待完备。在这种情况下，行业用户使用Hadoop发行版，需要自身具备较好的维护水平和能力，随时能够解决使用过程中有可能出现的各种问题。从功能，到稳定性，发行版都存在一定的欠缺。

对于多数行业/企业用户来说，软件研发和维护水平显然是短板，难以驾驭Hadoop发行版，削足适履，大数据应用裹足不前也就不是什么奇怪的事情了。对于行业/企业用户来说，需要一个强大的商业合作伙伴。

Cloudera搭乘“英特尔”快车

目前，Hadoop发行版除了社区Apache Hadoop外，Cloudera、Hortonworks、mapR、EMC、IBM、英特尔、华为等都提供了商业版本。

在中国，经过多年发展，Cloudera免费版在国内市场占据80%的份额，并有越来越多的用户转向Cloudera商业版本。依据x86至强处理器强大品牌影响力，以及市场覆盖能力，英特尔Hadoop发行版在国内也具有相当广泛的影响力。

去年3月，英特尔宣布向Cloudera总投资额增至7.4亿美元，持股18%，从而成为Cloudera最大战略股东。去年9月，Cloudera在华建立业务机构，直接面向用户提供软、硬件大数据解决方案支持和服务，涵盖直销、专业服务、客户支持、培训以及研发工作等。

Cloudera在中国的业务得到了大股东——英特尔的鼎力支持，Cloudera和英特尔尝试了各种方法，加速推出全新的大数据解决方案，两家的开发团队在Cloudera四个最新Hadoop发行版本进行了全方位合作，其中包括把Apache Hadoop英特尔分发版的独特功能，加入到Cloudera的发行版中，并通过软件优化，以充分利用英特尔至强处理器硬件性能和功能优势。

在中国，英特尔帮助Cloudera与生态系统合作伙伴建立了密切合作的关系，有了英特尔的鼎力支持，Cloudera如虎添翼，业务得到快速发展 。

Cloudera公司创始人兼首席执行官Mike Olson 指出：“在过去的一年里，我们与英特尔加强了开源Hadoop的合作创新，使得其在企业的采用率获得迅速提升，可使企业保持Hadoop平台开放性，并受益于大数据分析。”

“尽管很多客户的名称不能够对外披露，但Cloudera进入中国短短的数月以来，已经在金融、高校、气象等领域拥有了多个成功应用案例，帮助客户实现基于统一的平台和数据进行多样化的自助分析，改善客户的服务能力和服务效率，大大节约了投资成本。” Olson说。

谈到大数据应用，有用户专家表示，这不是一个一蹴而就的过程，需要行业/企业与大数据服务提供商不断深化合作，运用各种大数据分析工具，对于企业数据进行多角度反复推演，方可洞悉数据背后所隐藏的价值。尽管过程曲折，艰苦，但一旦获得突破，将会给行业/企业业务创新带来前所未有的突破，而这也恰恰是大数据应用的魅力所在。

Cloudera落地中国，给中国行业/企业大数据应用带来了前所未有的福音。

注：本文由公众号“来自IT的我”授权发布

蜂巢，是中国最大的商用及企业级自媒体联盟。科技正能量（pp_tech）是蜂巢自媒体联盟成员。