說(shuō)明 DistCp（分布式拷貝）是用于大規模集群內部和集群之間拷貝的工具。 它使用Map/Reduce實(shí)現文件分發(fā)，錯誤處理和恢復，以及報告生成。 它把文件和目錄的列表作為map任務(wù)的輸入，每個(gè)任務(wù)會(huì )完成源列表中部分文件

簡(jiǎn)介 HDFS作為一個(gè)分布式文件系統，只允許一個(gè)客戶(hù)端同時(shí)對一個(gè)文件進(jìn)行修改操作。租約就是為了實(shí)現獨占的寫(xiě)操作的機制。 HDFS租約的主要實(shí)現類(lèi)是LeaseManager。 Lease 的使用場(chǎng)景如下： 客戶(hù)端在申請

簡(jiǎn)介 hdfs提供了一種除了通過(guò)rpc的方式進(jìn)行文件操作的方式之外，還提供了http的方式對文件進(jìn)行操作的方式：webhdfs。支持HDFS 的完整FileSystem / FileContext接口。 其中Router

Hadoop自帶的hadoop-sls只能用于壓測調度器，可在實(shí)際中影響ResourceManager性能的因素比較多，不能只看調度器。當前項目可構造海量的Fake NM節點(diǎn)，用于模擬線(xiàn)上RM的巨大壓力場(chǎng)景，進(jìn)行優(yōu)化。首先需要對NM進(jìn)行仿真。

Hadoop自帶的hadoop-sls只能用于壓測調度器，可在實(shí)際中影響ResourceManager性能的因素比較多，不能只看調度器。 當前項目可構造海量的Fake NM節點(diǎn)，用于模擬線(xiàn)上RM的巨大壓力場(chǎng)景，進(jìn)行優(yōu)化。

Mapreduce作業(yè)啟動(dòng)源碼解析，從源碼開(kāi)始理解Mapreduce。

解決Idea啟動(dòng)慢，運行慢的問(wèn)題。

背景 前端時(shí)間租的騰訊云服務(wù)器是按照流量計費的，最近一段時(shí)間流量走的老快了，并且發(fā)現默認1G的帶寬老是卡。 原因 通過(guò)分析nginx的日志發(fā)現有大量的爬蟲(chóng)在大批量的訪(fǎng)問(wèn)代碼倉。導致占用了大量帶寬。 解決 nginx中過(guò)濾

簡(jiǎn)介 container-executor 是NodeManager管理Container很重要的一個(gè)工具，是深入學(xué)習Yarn作業(yè)調度不可缺少的一個(gè)知識點(diǎn)，值得深入學(xué)習。本文只描述比較基礎的功能點(diǎn)(目前不會(huì )包含Docke

問(wèn)題現象 使用IDEA打開(kāi)Hadoop源碼之后，發(fā)現YarnServiceProtos部分代碼無(wú)法補全，已經(jīng)安裝了protobuf相關(guān)的插件。 原因以及解決方法 再打開(kāi)YarnServiceProtos文件的時(shí)候會(huì )提示類(lèi)