說(shuō)明 DistCp（分布式拷貝）是用于大規模集群內部和集群之間拷貝的工具。 它使用Map/Reduce實(shí)現文件分發(fā)，錯誤處理和恢復，以及報告生成。 它把文件和目錄的列表作為map任務(wù)的輸入，每個(gè)任務(wù)會(huì )完成源列表中部分文件的拷貝。 由于使用了Map/Reduce方法，這個(gè)工具在語(yǔ)義和執行上都會(huì )有特殊的地方。 這篇文檔會(huì )為常用DistCp操作提供指南并闡述它的工作模型。 源碼詳解 作業(yè)啟動(dòng) 作業(yè)的啟動(dòng)主要包含初始化和作業(yè)提交，在初始化階段主要是list左右需要拷貝的文件信息，根據文件信息構造split信息。 作業(yè)提交階段就是根據初始化階段構造的split信息，將作業(yè)提交到Yarn上面。 作業(yè)初始化 初始化階段主要是list左右需要拷貝的文件信息，根據文件信息構造split信息。 DistCp的入口函數是main函數，在main函數里面主要做了兩件事： 注冊Cleanup。 初始化和啟動(dòng)作業(yè)，核心處理函數為execute函數里面的createAndSubmitJob 創(chuàng )建Job對象,主要是指定Map的處理類(lèi)，InputFormat 和outputFormat 信息: Job job = ....

簡(jiǎn)介 HDFS作為一個(gè)分布式文件系統，只允許一個(gè)客戶(hù)端同時(shí)對一個(gè)文件進(jìn)行修改操作。租約就是為了實(shí)現獨占的寫(xiě)操作的機制。 HDFS租約的主要實(shí)現類(lèi)是LeaseManager。 Lease 的使用場(chǎng)景如下： 客戶(hù)端在申請創(chuàng )建新的文件或者向文件追加都會(huì )先向NameNode申請獲得inode或者最后一個(gè)塊的信息 在NameNode中FSNamesystem會(huì )調用recoverLeaseInternal檢查文件是否是UnderConstruction，是UnderConstruction的前提下，在leaseManager中是否這個(gè)client已經(jīng)持有租約，如果有則拋出已經(jīng)持有租約的異常 再檢查文件的原來(lái)的租約持有者的的租約是否超過(guò)了軟限制，如果超過(guò)了軟限制則執行租約恢復internalReleaseLease進(jìn)行租約恢復。 因為在文件是UnderConstruction前提下檢查，文件必定有一個(gè)租約持有者，所以，直接拋出已經(jīng)有另一個(gè)租約持有者的異常。 如果文件不是在UnderConstruction狀態(tài)，則直接為這個(gè)發(fā)起請求的客戶(hù)端構造租約，加入到LeaseManager的租約維護的集合中....

簡(jiǎn)介 hdfs提供了一種除了通過(guò)rpc的方式進(jìn)行文件操作的方式之外，還提供了http的方式對文件進(jìn)行操作的方式：webhdfs。支持HDFS 的完整FileSystem / FileContext接口。 其中Router和NameNode都支持了webhdfs的功能，具體實(shí)現有差別。 使用 文件系統URI與HTTP URL WebHDFS的文件系統方案為“ webhdfs：// ”。WebHDFS文件系統URI具有以下格式。 webhdfs://<主機>:<HTTP_PORT>/<PATH> 上面的WebHDFS URI對應于下面的HDFS URI。 hdfs://<主機>:<RPC_PORT>/<PATH> 在REST API中，在路徑中插入前綴“ /webhdfs/v1 ”，并在末尾附加查詢(xún)。因此，相應的HTTP URL具有以下格式。 http://<主機>:<HTTP_PORT>/webhdfs/v1/<PATH>?op=create 詳細可以參考：https://h....

Hadoop自帶的hadoop-sls只能用于壓測調度器，可在實(shí)際中影響ResourceManager性能的因素比較多，不能只看調度器。當前項目可構造海量的Fake NM節點(diǎn)，用于模擬線(xiàn)上RM的巨大壓力場(chǎng)景，進(jìn)行優(yōu)化。首先需要對NM進(jìn)行仿真。

Hadoop自帶的hadoop-sls只能用于壓測調度器，可在實(shí)際中影響ResourceManager性能的因素比較多，不能只看調度器。 當前項目可構造海量的Fake NM節點(diǎn)，用于模擬線(xiàn)上RM的巨大壓力場(chǎng)景，進(jìn)行優(yōu)化。 詳細參見(jiàn)：https://github.com/zeekling/yarnRmTester

Mapreduce作業(yè)啟動(dòng)源碼解析，從源碼開(kāi)始理解Mapreduce。

解決Idea啟動(dòng)慢，運行慢的問(wèn)題。

背景 前端時(shí)間租的騰訊云服務(wù)器是按照流量計費的，最近一段時(shí)間流量走的老快了，并且發(fā)現默認1G的帶寬老是卡。 原因 通過(guò)分析nginx的日志發(fā)現有大量的爬蟲(chóng)在大批量的訪(fǎng)問(wèn)代碼倉。導致占用了大量帶寬。 解決 nginx中過(guò)濾爬蟲(chóng) 在nginx中配置下面信息，過(guò)濾掉大量爬蟲(chóng)的請求。 if ($http_user_agent ~ "(meta-externalagent|Amazonbot|ClaudeBot|Baiduspider|SemrushBot|bingbot|Bytespider|AhrefsBot|Linguee)" ) { return 403; } if ($http_user_agent ~ "Swiftbot|YandexBot|jikeSpider|MJ12bot|ZmEu phpmyadmin|EasouSpider|YYSpider|jaunty|oBot|FlightDeckReports" ) { return 403; } if ($http_user_agent ~ "(Googlebot|GoogleOther|Java|feedpars....

簡(jiǎn)介 container-executor 是NodeManager管理Container很重要的一個(gè)工具，是深入學(xué)習Yarn作業(yè)調度不可缺少的一個(gè)知識點(diǎn)，值得深入學(xué)習。本文只描述比較基礎的功能點(diǎn)(目前不會(huì )包含Docker相關(guān))。 核心功能點(diǎn) checksetup 主要是檢查container-executor的配置是否ok，沒(méi)有其他功能。核心代碼如下： case CHECK_SETUP: //we already did this exit_code = 0; break; mount-cgroups 在配置項feature.mount-cgroup.enabled為true的時(shí)候為nodemanager掛載cgroup。核心是調用系統函數mount。下面代碼中的是配置的掛載點(diǎn)。由命令行參數傳入。 if (mount("none", mount_path, "cgroup", 0, controller) == 0) { // 掛載成功 if (mkdirs(hier_path, perms) == 0) { change_owner(hier_path, nm_uid....

問(wèn)題現象 使用IDEA打開(kāi)Hadoop源碼之后，發(fā)現YarnServiceProtos部分代碼無(wú)法補全，已經(jīng)安裝了protobuf相關(guān)的插件。 原因以及解決方法 再打開(kāi)YarnServiceProtos文件的時(shí)候會(huì )提示類(lèi)似文件過(guò)大無(wú)法打開(kāi)的文字，所以可能是這個(gè)文件過(guò)大導致Idea沒(méi)有加載，所以代碼無(wú)法補全。 在idea.properties中增加下面配置之后重啟Idea發(fā)現可以補全了。 idea.max.intellisense.filesize=6000 idea.max.content.load.filesize=60000