什么是Hadoop以及它用于什么? [关闭]

Modified on: Tue, 26 Jun 2018 06:04:30 +0800

我一直喜欢阅读ServerFault一段时间,我在Hadoop上遇到了很多话题。从全球的角度来看,我发现它的作用有点麻烦。

所以我的问题很简单:什么是Hadoop?它有什么作用 ?它是干什么用的 ?为什么会踢屁股?

编辑如果有人碰巧对使用Hadoop的用例进行演示/解释,那就太棒了。

最佳答案

直接从马口

  

Hadoop是一个运行框架
  构建大型集群的应用程序
  商品硬件。 Hadoop
  框架透明地提供
  应用程序可靠性和数据
  运动。 Hadoop实现了一个
  计算范式命名
  Map / Reduce,应用程序所在的位置
  分成许多小碎片
  工作,每个都可以执行或
  在群集中的任何节点上重新执行。
  另外,它提供了分布式
  存储数据的文件系统(HDFS)
  计算节点,提供非常高的
  跨越的总带宽
  簇。 Map / Reduce和
  分布式文件系统的设计
  以便节点故障
  自动处理
  框架。

Map / Reduce是一种编程范例,受到Google的欢迎任务被分成小部分并分发到大量节点进行处理(映射),然后将结果汇总到最终答案(减少)。谷歌和雅虎将其用于搜索引擎技术等等。

Hadoop是实现此类处理方案的通用框架。至于为什么它踢屁股,主要是因为它提供了诸如容错之类的简洁功能,并且可以将几乎任何类型的硬件集合在一起进行处理。如果您的问题符合范例,它也可以非常好地扩展。

您可以在网站上阅读所有相关内容。

至于一些例子,保罗给了一些例子,但是你可以做的还有一些不那么以网络为中心的事情:

  • 渲染3D电影。 “map”步骤将每个帧的几何分布到不同的节点,节点渲染它,并在“reduce”步骤中重新组合渲染的帧。
  • 在分子模型中计算系统中的能量。系统轨迹的每个帧在“映射”步骤中分布到节点。节点计算每帧的能量,
    然后在“减少”步骤中总结结果。

本质上,该模型非常适用于可以分解为完全独立的类似离散计算的问题,并且可以重新组合以产生最终结果。


相关问答

添加新评论