簡(jiǎn)介 HDFS作為一個(gè)分布式文件系統，只允許一個(gè)客戶(hù)端同時(shí)對一個(gè)文件進(jìn)行修改操作。租約就是為了實(shí)現獨占的寫(xiě)操作的機制。 HDFS租約的主要實(shí)現類(lèi)是LeaseManager。 Lease 的使用場(chǎng)景如下： 客戶(hù)端在申請創(chuàng )建新的文件或者向文件追加都會(huì )先向NameNode申請獲得inode或者最后一個(gè)塊的信息 在NameNode中FSNamesystem會(huì )調用recoverLeaseInternal檢查文件是否是UnderConstruction，是UnderConstruction的前提下，在leaseManager中是否這個(gè)client已經(jīng)持有租約，如果有則拋出已經(jīng)持有租約的異常 再檢查文件的原來(lái)的租約持有者的的租約是否超過(guò)了軟限制，如果超過(guò)了軟限制則執行租約恢復internalReleaseLease進(jìn)行租約恢復。 因為在文件是UnderConstruction前提下檢查，文件必定有一個(gè)租約持有者，所以，直接拋出已經(jīng)有另一個(gè)租約持有者的異常。 如果文件不是在UnderConstruction狀態(tài)，則直接為這個(gè)發(fā)起請求的客戶(hù)端構造租約，加入到LeaseManager的租約維護的集合中....

簡(jiǎn)介 hdfs提供了一種除了通過(guò)rpc的方式進(jìn)行文件操作的方式之外，還提供了http的方式對文件進(jìn)行操作的方式：webhdfs。支持HDFS 的完整FileSystem / FileContext接口。 其中Router和NameNode都支持了webhdfs的功能，具體實(shí)現有差別。 使用 文件系統URI與HTTP URL WebHDFS的文件系統方案為“ webhdfs：// ”。WebHDFS文件系統URI具有以下格式。 webhdfs://<主機>:<HTTP_PORT>/<PATH> 上面的WebHDFS URI對應于下面的HDFS URI。 hdfs://<主機>:<RPC_PORT>/<PATH> 在REST API中，在路徑中插入前綴“ /webhdfs/v1 ”，并在末尾附加查詢(xún)。因此，相應的HTTP URL具有以下格式。 http://<主機>:<HTTP_PORT>/webhdfs/v1/<PATH>?op=create 詳細可以參考：https://h....

簡(jiǎn)介 Namenode 和 Datanode HDFS采用master/slave架構。一個(gè)HDFS集群是由一個(gè)Namenode和一定數目的Datanodes組成。 Namenode是一個(gè)中心服務(wù)器，負責管理文件系統的名字空間(namespace)以及客戶(hù)端對文件的訪(fǎng)問(wèn)。 集群中的Datanode一般是一個(gè)節點(diǎn)一個(gè)，負責管理它所在節點(diǎn)上的存儲。 HDFS暴露了文件系統的名字空間，用戶(hù)能夠以文件的形式在上面存儲數據。 從內部看，一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數據塊，這些塊存儲在一組Datanode上。 Namenode執行文件系統的名字空間操作，比如打開(kāi)、關(guān)閉、重命名文件或目錄。它也負責確定數據塊到具體Datanode節點(diǎn)的映射。 Datanode負責處理文件系統客戶(hù)端的讀寫(xiě)請求。在Namenode的統一調度下進(jìn)行數據塊的創(chuàng )建、刪除和復制。 Namenode是所有HDFS元數據的仲裁者和管理者，這樣，用戶(hù)數據永遠不會(huì )流過(guò)Namenode。 Namenode全權管理數據塊的復制，它周期性地從集群中的每個(gè)Datanode接收心跳信號和塊狀態(tài)報告(Blockreport)。 接收到心跳信號意味....