Hadoop之父勾勒大数据平台的未来

　　“大数据不是炒作，也不是泡沫。Hadoop在未来将继续追随谷歌的脚步。”Hadoop的创造者兼Apache Hadoop项目创始人Doug Cutting近日表示。

　　作为一个批处理计算引擎，Apache Hadoop是大数据核心的开源软件框架。有一种说法是，Hadoop并不适用于真正实时数据可见性所需要的在线互动数据处理。事实是这样的吗?Hadoop的创造者兼Apache Hadoop项目创始人(现任Cloudera公司首席架构师)Doug Cutting说：“相信Hadoop拥有一个超越批处理的未来。”

　　Hadoop的创造者兼Apache Hadoop项目创始人、Cloudera公司首席架构师 Doug Cutting

　　“批处理有其用武之地。例如，你需要移动大量数据并分析所有数据的时候。但我仍认为，人们真正想要的是批处理和在线计算的结合体。Hadoop将会成为企业未来主流数据处理系统的内核。” Cutting说。

　　Hadoop行至何处?

　　在刚刚结束的Strata Conference+Hadoop World会议上，Cutting解释了Hadoop堆栈的核心思想，以及其未来的发展方向。“Hadoop被看作是一个批处理计算引擎，事实上，这是我们开始的地方(结合MapReduce)。MapReduce是一个很棒的工具，目前市场上有很多关于如何在MapReduce上部署各种算法的书籍。”Cutting说。

　　MapReduce是一个编程模型，由谷歌公司设计，用于使用分布式计算批量并行处理海量数据。MapReduce得到一个输入，然后将其分成很多更小的子问题，这些问题被分配到不同节点来并行处理。然后，它们重新组合子问题的答案以形成输出。

　　“这是非常有效的，”Cutting表示，“它允许你把计算移向数据。这样一来，当你处理数据时就不需要到处复制数据，并且它还形成了一个共享平台。构建分布式系统是一个复杂的过程，所以我们不希望反反复复重新部署它。MapReduce被证明是一个坚实的基础，依托MapReduce开发出了很多工具，例如Pig和Hive。”
(本文不涉密)
责任编辑：

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。