概述Hadoop及其特点

概述Hadoop及其特点

Hadop是一个处理海量数据的分布式框架,其具体应用为用一定数量的不同电脑搭建集群,将数据分发至不同的设备上进行存储和数据处理,由此来避免由于数据量大而导致一台电脑处理时,宕机和崩溃的情况,提高了大量数据的处理速度。其核心内三大组件构成,分别是分布式文件存储系统HDFS,分布式运框架MaPReduce以及资源管理器,

1)Hadoop HDFS:一个高可靠、高吞吐量的分布式文件系统。

2)Hadoop MapReduce:一个分布式的离线并行计算框架。

3)Hadoop YARN:作业调度与集群资源管理的框架。

4)Hadoop Common:支持其他模块的工具模块。

特点:

1高可靠性,Hadop通过将数据备份在不同的机器上进行保存,避免数据处理时由于宕机而导致丢失问题,保证了数据的安全性和可靠性;

2.高扩展性,可以通进添加设备到集群来快速提高集群存储及集群运算规模。

3.高效性,由多台没备搭建的集群其效率高于普通设备

4.高容错性,Hadoop在保存数据时默认情况下会保留三个副本当一台机器宕机时,可以自动将副本复制给其他设备,保证了数据的完整性,并可以将失败的任务重新发

5.低成本性,Hadoop可以布署在廉价的机器上进行数据的并发处理。

相关推荐

dnf魔界卡片哪个值钱
365不给提款怎么办

dnf魔界卡片哪个值钱

📅 07-05 👁️ 4695
二〇二五 《逍遥情缘》蛇年新春数字服今日开启预创建
365不给提款怎么办

二〇二五 《逍遥情缘》蛇年新春数字服今日开启预创建

📅 06-27 👁️ 7853
苹果电脑清内存,这样清内存马上见效
365不给提款怎么办

苹果电脑清内存,这样清内存马上见效

📅 07-06 👁️ 4793
权力的游戏 铁王座模型道具 定做批发
365bet足球即时比分

权力的游戏 铁王座模型道具 定做批发

📅 07-09 👁️ 9712
中国的蜀山在哪?(蜀山原型是哪座山)
365bet足球即时比分

中国的蜀山在哪?(蜀山原型是哪座山)

📅 07-05 👁️ 5060
皇帝成长计划2怎么刷近臣
365不给提款怎么办

皇帝成长计划2怎么刷近臣

📅 06-27 👁️ 5435