簡(jiǎn)介

Namenode 和 Datanode

HDFS采用master/slave架構。一個(gè)HDFS集群是由一個(gè)Namenode和一定數目的Datanodes組成。
Namenode是一個(gè)中心服務(wù)器，負責管理文件系統的名字空間(namespace)以及客戶(hù)端對文件的訪(fǎng)問(wèn)。
集群中的Datanode一般是一個(gè)節點(diǎn)一個(gè)，負責管理它所在節點(diǎn)上的存儲。
HDFS暴露了文件系統的名字空間，用戶(hù)能夠以文件的形式在上面存儲數據。
從內部看，一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數據塊，這些塊存儲在一組Datanode上。
Namenode執行文件系統的名字空間操作，比如打開(kāi)、關(guān)閉、重命名文件或目錄。它也負責確定數據塊到具體Datanode節點(diǎn)的映射。
Datanode負責處理文件系統客戶(hù)端的讀寫(xiě)請求。在Namenode的統一調度下進(jìn)行數據塊的創(chuàng )建、刪除和復制。

Namenode是所有HDFS元數據的仲裁者和管理者，這樣，用戶(hù)數據永遠不會(huì )流過(guò)Namenode。

Namenode全權管理數據塊的復制，它周期性地從集群中的每個(gè)Datanode接收心跳信號和塊狀態(tài)報告(Blockreport)。
接收到心跳信號意味著(zhù)該Datanode節點(diǎn)工作正常。塊狀態(tài)報告包含了一個(gè)該Datanode上所有數據塊的列表。

HDFS中的文件都是一次性寫(xiě)入的，并且嚴格要求在任何時(shí)候只能有一個(gè)寫(xiě)入者。

Namenode上保存著(zhù)HDFS的名字空間。對于任何對文件系統元數據產(chǎn)生修改的操作，Namenode都會(huì )使用一種稱(chēng)為EditLog的事務(wù)日志記錄下來(lái)。
Namenode在本地操作系統的文件系統中存儲這個(gè)Editlog。整個(gè)文件系統的名字空間，包括數據塊到文件的映射、文件的屬性等，都存儲在一個(gè)稱(chēng)為FsImage的文件中，這個(gè)文件也是放在Namenode所在的本地文件系統上。

Namenode在內存中保存著(zhù)整個(gè)文件系統的名字空間和文件數據塊映射(Blockmap)的映像。

當Namenode啟動(dòng)時(shí)，它從硬盤(pán)中讀取Editlog和FsImage，將所有Editlog中的事務(wù)作用在內存中的FsImage上，
并將這個(gè)新版本的FsImage從內存中保存到本地磁盤(pán)上，然后刪除舊的Editlog，因為這個(gè)舊的Editlog的事務(wù)都已經(jīng)作用在FsImage上了。

Datanode將HDFS數據以文件的形式存儲在本地的文件系統中，它并不知道有關(guān)HDFS文件的信息。它把每個(gè)HDFS數據塊存儲在本地文件系統的一個(gè)單獨的文件中。
Datanode并不在同一個(gè)目錄創(chuàng )建所有的文件，實(shí)際上，它用試探的方法來(lái)確定每個(gè)目錄的最佳文件數目，并且在適當的時(shí)候創(chuàng )建子目錄。
在同一個(gè)目錄中創(chuàng )建所有的本地文件并不是最優(yōu)的選擇，這是因為本地文件系統可能無(wú)法高效地在單個(gè)目錄中支持大量的文件。
當一個(gè)Datanode啟動(dòng)時(shí)，它會(huì )掃描本地文件系統，產(chǎn)生一個(gè)這些本地文件對應的所有HDFS數據塊的列表，然后作為報告發(fā)送到Namenode，這個(gè)報告就是塊狀態(tài)報告。

副本

在大多數情況下，副本系數是3，HDFS的存放策略是將一個(gè)副本存放在本地機架的節點(diǎn)上，一個(gè)副本放在同一機架的另一個(gè)節點(diǎn)上，最后一個(gè)副本放在不同機架的節點(diǎn)上。
這種策略減少了機架間的數據傳輸，這就提高了寫(xiě)操作的效率。機架的錯誤遠遠比節點(diǎn)的錯誤少，所以這個(gè)策略不會(huì )影響到數據的可靠性和可用性。
在這種策略下，副本并不是均勻分布在不同的機架上。三分之一的副本在一個(gè)節點(diǎn)上，三分之二的副本在一個(gè)機架上，其他副本均勻分布在剩下的機架中，
這一策略在不損害數據可靠性和讀取性能的情況下改進(jìn)了寫(xiě)的性能。

為了降低整體的帶寬消耗和讀取延時(shí)，HDFS會(huì )盡量讓讀取程序讀取離它最近的副本。
如果在讀取程序的同一個(gè)機架上有一個(gè)副本，那么就讀取該副本。如果一個(gè)HDFS集群跨越多個(gè)數據中心，那么客戶(hù)端也將首先讀本地數據中心的副本。

安全模式

Secondary NameNode 處理步驟