欢迎大家来到IT世界,在知识的湖畔探索吧!
| 责编：王迪
在Google，MapReduce有着非常广泛的应用，包括分布排序，Web访问日志分析、反向构建索引和机器学习等。Nutch项目开发，正是以MapReduce的项目为依据，开发出后来大名鼎鼎的Hadoop。
Hadoop架构示意图（来自cnblog）
可惜风云变幻，时光荏苒，现在谷歌宣布要弃用MapReduce，转而投向更有前景的云分析平台。
mapreduce平行编程设计架构流程图（图片来自Google）
实际上，MapReduce虽然被称为谷歌三宝之一。谷歌内部对这款产品并不是很满意。在2010年就传出消息说，谷歌正在构建新型网络内容索引系统来替代MapReduce。从2009年开始，Google就已经启动了代号为“Colossus”的研发计划，主要内容围绕新的分布式文件系统——Caffeine进行研发。
麻省理工学院的数据库专家Mike Stonebraker认为，MapReduce的计算方法对于实时计算来说是很不合适的，是过时的。
在旧金山举行的Google I/O大会上，谷歌发布了Cloud Dataflow以替代MapReduce。谷歌高级副总裁Holzele指出，一旦数据到达几个PB级别，MapReduce处理起来并不是那么得心应手。
Google I/O大会展示的Cloud Dataflow幻灯片（图：oschina.net）
在大会上，谷歌力推Cloud Dataflow新平台，认为该系统比起同规模任何系统，其运行速度更快。
Cloud Dataflow能创建数据管道，在批处理和流处理模式下摄取、转变和分析数据。相比MapReduce可以降低运营开销，更容易的从数据中获取到可行的见解。同样，谷歌将会为开发人员提供其云服务平台，而没有类似此前MapReduce平台上的一些限制。
“Cloud Dataflow是谷歌十几年技术研发的成果，提供完全自动优化的部署、管理和拓展服务。”Holzele继续说道。
在大会上，Holzele也宣示了一些其他云服务平台取得的成果。
Cloud Save
Cloud Save是一种API，允许应用程序在云里或其他地方保存单个用户的数据，并使用它而不需要提供任何服务器端代码。 借助谷歌平台即服务提供的App Engine，用户可以通过计算引擎的特性构建自己的应用程序。
Cloud Debugging
部署在云中的许多服务器软件上的漏洞可以被Cloud Debugging找到并筛选出来。
Cloud Tracing
Cloud Tracing在不同的项目中调用统计数据，例如服务器数据库延迟的调用，并且提供分析报告。
Cloud Monitoring
Cloud Monitoring是一种智能监控系统，是Stackdriver集成的结果，谷歌于今年5月份刚刚购买了这个项目。提供云基础设施资源的检测功能，对磁盘、虚拟机、谷歌服务的服务项目以及十多个非谷歌开源包进行监测。
笔者在此提醒，Hadoop平台是开源的，但是Cloud Dataflow并不是，任何公司想要使用它都必须要为谷歌的服务付费。
作为谷歌三宝之一的MapReduce，随着数据到达PB级别的实时计算能力不足，全新Cloud Dataflow成为谷歌推出的替代产品，并提供完全自动优化的部署、管理和拓展服务。
王迪
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://itzsg.com/36434.html
