• 导航

hadoop不同版本有哪些

一、信德娱乐下载Hadoop是什么?

初次听到hadoop这次单词,信任许多人跟我其时是相同,难免心中画上一个大大的问号——这是什么东西?Hadoop是什么?百度百科的解说是:Hadoop是一个由Apache基金会所开发的散布式体系根底架构。换句话说便是hadoop是一个可以对许多数据进行散布式处理的软件结构。

Hadoopd之所谓会诞生,首要是因为进入到大数据年代,核算机需求处理的数据量过分巨大。这时就需求将这些巨大数据切开分配到N台核算机进行处理。当许多信息被分配到不同核算机进行处理时,要保证终究得到的成果正确就需求对这些散布处理的信息进行办理,hadoop便是这样的一套处理方案。

经过一个简略浅显的比如阐明:假如说你有一个篮子生果,你想知道苹果和梨的数量是多少,那么只需一个一个数就可以知道有多少了。假如你有一个集装箱生果,这时候就需求许多人一起帮你数了,这相当于多进程或多线程。假如你许多个集装箱的生果,这时就需求散布式核算了,也便是Hadoop。

二、hadoop的版别

 

跟着这几年大数据浪潮的鼓起,hadoop的各种版别也快速在国内撒播和运用。当时首要的hadoop版别有以下几种:

1、Apache hadoop 的2.0版别,它的模块首要有以下几个:

hadoop通用模块,支撑其他hadoop模块的通用东西集;

Hadoop散布式文件体系,支撑对应数据高吞吐量拜访的散布式文件体系;

用于作业调度和集群资源办理的Hadoop YANRN结构;

Hadoop MapReduce,根据YARN的大数据并行处理体系。

2、Cloudera hadoop:Cloudera版别层次愈加明晰,且它供给了适用于各种操作体系的Hadoop装置包,可直接运用apt-get或许yum指令进行装置,愈加省劲。

3、Hortonworks:Hortonworks 的主打产品是Hortonworks Data Platform ,也同样是100%开源的产品,HDP除了常见的项目外还包含了Ambari,一款开源的装置和办理体系。HCatalog,一个元数据办理体系,HCatalog现已集成到Facebook 开源的Hive中。Hortonworks的Stinger开创性地极大地优化了Hive项目。Hortonworks为入门供给了一个非常好的,易于运用的沙盒。Hortonworks开发了许多增强特性并提交至中心骨干,这使得Apache Hadoop可以在包含Windows Server和Windows Azure在内的Microsoft Windows渠道上本地运转。

三、国产hadoop发行版有哪些

国内做hadoop发行版的像华为、大快查找都有推出自己的发行版。华为在硬件上有天然的有事,华为的FusionInsight Hadoop版别根据Apache Hadoop,构建NameNode、JobTracker、HiveServer的HA功用,进程毛病后体系主动Failover,无需人工干预,这个也是对Hadoop的小修补,远不如MapR处理的完全。

大快查找推出的DKhaoop, 是现在已知的国产发行版中仅有一个纯原生态的开发,集成了整个HADOOP生态体系的悉数组件,并深度优化,从头编译为一个完好的更高功能的大数据通用核算渠道,完成了各部件的有机和谐。因而DKH比较开源的大数据渠道,在核算功能上有了高达5倍的功能提高。