神创天陆活动专区

HDFS中各个角色的性质与职责

一、角色性质:

主角色:NameNode(管理NameSpace)

NameNode是Hadoop分布式文件系统的核心,架构中的主角色。NameNode维护和管理文件系统元数据,包括名称空间目录树结构、文件和块的位置信息、访问权限等信息。NameNode是访问HDFS的唯一入口。NameNode内部通过内存和磁盘文件两种方式管理元数据。其中磁盘上的元数据文件包括Fsimage内存元数据镜像文件和edits log(Journal)编辑日志。从角色:DataNode

DataNode是Hadoop HDFS中的从角色,负责具体的数据块存储。DataNode的数量决定了HDFS集群的整体数据存储能力。通过和NameNode配合维护着数据块。主角色辅助角色: SecondaryNameNode

Secondary NameNode充当NameNode的辅助节点,但不能替代NameNode。主要是帮助主角色进行元数据文件的合并动作。可以通俗的理解为主角色的“秘书”二、工作职责

NameNode职责

NameNode仅存储HDFS的元数据:文件系统中所有文件的目录树,并跟踪整个集群中的文件,不存储实际数据。NameNode知道HDFS中任何给定文件的块列表及其位置。使用此信息NameNode知道如何从块中构建文件。NameNode不持久化存储每个文件中各个块所在的datanode的位置信息,这些信息会在系统启动时从DataNode重建。NameNode是Hadoop集群中的单点故障。NameNode所在机器通常会配置有大量内存(RAM)DataNode职责

DataNode负责最终数据块block的存储。是集群的从角色,也称为Slave。DataNode启动时,会将自己注册到NameNode并汇报自己负责持有的块列表。当某个DataNode关闭时,不会影响数据的可用性。 NameNode将安排由其他DataNode管理的块进行副本复制。DataNode所在机器通常配置有大量的硬盘空间,因为实际数据存储在DataNode中。