簡(jiǎn)介 container-executor 是NodeManager管理Container很重要的一個(gè)工具，是深入學(xué)習Yarn作業(yè)調度不可缺少的一個(gè)知識點(diǎn)，值得深入學(xué)習。本文只描述比較基礎的功能點(diǎn)(目前不會(huì )包含Docker相關(guān))。 核心功能點(diǎn) checksetup 主要是檢查container-executor的配置是否ok，沒(méi)有其他功能。核心代碼如下： case CHECK_SETUP: //we already did this exit_code = 0; break; mount-cgroups 在配置項feature.mount-cgroup.enabled為true的時(shí)候為nodemanager掛載cgroup。核心是調用系統函數mount。下面代碼中的是配置的掛載點(diǎn)。由命令行參數傳入。 if (mount("none", mount_path, "cgroup", 0, controller) == 0) { // 掛載成功 if (mkdirs(hier_path, perms) == 0) { change_owner(hier_path, nm_uid....

簡(jiǎn)介 源碼解析 Capacity 調度器的核心類(lèi)是CapacityScheduler。在初始化CapacityScheduler的時(shí)候，在構造函數initAsyncSchedulingProperties，里面會(huì )初始化調度器相關(guān)。 核心類(lèi)是AsyncSchedulingConfiguration，主要內容總結為：初始化異步調度器線(xiàn)程AsyncScheduleThread，可以初始化多個(gè)，調度支持多線(xiàn)程。 AsyncScheduleThread繼承自Thread，核心是循環(huán)調度，調度的核心函數為schedule。 schedule函數 一般情況下，滿(mǎn)足下面條件的節點(diǎn)不會(huì )被分配資源： 心跳超時(shí)的節點(diǎn)，心跳超時(shí)的節點(diǎn)一般認為是可能已經(jīng)dead了。為了可靠性考慮，不給此類(lèi)節點(diǎn)分配Container。 當前節點(diǎn)的狀態(tài)不為RUNNING狀態(tài)，不為RUNNING狀態(tài)的節點(diǎn)是異常的，不能分配節點(diǎn)。 上述判斷的核心實(shí)現函數為shouldSkipNodeSchedule。 資源分配方式 資源分配方式分為： 按照節點(diǎn)分配資源 按照標簽進(jìn)行分配 按照節點(diǎn)分配資源 隨機產(chǎn)生一個(gè)隨機數，范圍是0 ~ ....

簡(jiǎn)介 為了解決HDFS的水平擴展性問(wèn)題，社區從Apache Hadoop 0.23.0版本開(kāi)始引入了HDFS federation。HDFS Federation是指 HDFS集群可同時(shí)存在多個(gè)NameNode/Namespace，每個(gè)Namespace之間是互相獨立的； 單獨的一個(gè)Namespace里面包含多個(gè) NameNode，其中一個(gè)是主，剩余的是備，這個(gè)和上面我們介紹的單Namespace里面的架構是一樣的。這些Namespace共同管理整個(gè)集群的數據，每個(gè)Namespace只管理一部分數據，之間互不影響。 集群中的DataNode向所有的NameNode注冊，并定期向這些NameNode發(fā)送心跳和塊信息，同時(shí)DataNode也會(huì )執行NameNode發(fā)送過(guò)來(lái)的命令。集群中的NameNodes共享所有DataNode的存儲資源。HDFS Federation的架構如下圖所示： 子模塊 State Store模塊 初始化 初始化是從類(lèi)Router的serviceInit函數觸發(fā)的。 提供開(kāi)關(guān)：dfs.federation.router.store.enable，默認開(kāi)啟。核心實(shí)現....

簡(jiǎn)介 HDFS的NameNode、Yarn的ResourceManager都是依靠ZK實(shí)現主備倒換的。核心的類(lèi)為：ZKFailoverController.java, 選舉的核心類(lèi)為ActiveStandbyElector.java 主備選舉 主備選舉的核心類(lèi)是ActiveStandbyElector。在初始化的時(shí)候需要創(chuàng )建zk連接并且嘗試在zk上面創(chuàng )建文件。在創(chuàng )建連接或者創(chuàng )建文件的時(shí)候都會(huì )有回調事件。 回調處理的函數主要包含： 創(chuàng )建node節點(diǎn)回調 入口函數如下： public synchronized void processResult(int rc, String path, Object ctx, String name) { // ..... } 處理流程圖如下： 監控回調 入口函數如下： public synchronized void processResult(int rc, String path, Object ctx, Stat stat) { // ... } 處理流程如下： 事件回調 入口函數如下： synchronized void process....

客戶(hù)端認證 客戶(hù)端的入口函數為 KerberosAuthenticator.authenticate函數 連接HTTP服務(wù)端 HttpURLConnection conn = token.openConnection(url, connConfigurator); conn.setRequestMethod(AUTH_HTTP_METHOD); conn.connect(); SPNEGO認證 對于普通的HTTP的kerberos認證(SPNEGO)，需要現在客戶(hù)端登錄KDC服務(wù)。核心代碼在函數doSpnegoSequence里面。 首先需要登錄KDC服務(wù)端： subject = new Subject(); LoginContext login = new LoginContext("", subject, null, new KerberosConfiguration()); // 登錄KDC服務(wù) login.login(); 下面主要是開(kāi)始認證的時(shí)候的邏輯。核心處理邏輯流程圖如下： 主要代碼邏輯如下。 GSSManager gssManager = GSSManager.g....

簡(jiǎn)介 ContainerManager主要負責NM中管理所有Container生命周期，其主要包含啟動(dòng)Container、恢復Container、停止Container等功能。 主要功能由ContainerManagerImpl類(lèi)實(shí)現，具體代碼可以參考當前類(lèi)。 初始化 初始化主要分為兩部分： ContainerManagerImpl實(shí)例的構造函數和serviceInit函數。 構造函數 當前函數為構造函數，主要初始化必須要的一些變量等。 dispatcher ： 事件的中央調度器，主要用于管理單個(gè)Container的生命周期。在當前函數里面會(huì )通過(guò)dispatcher.register()注冊支持的事件。 containersLauncher： 主要用于啟動(dòng)Container，可以通過(guò)配置項yarn.nodemanager.containers-launcher.class指定。默認為containersLauncher.class serviceInit函數 主要是服務(wù)啟動(dòng)時(shí)的初始化函數，ContainerManager在NodeManager內部屬于一個(gè)服務(wù)。所以初始化的時(shí)候會(huì )調....

簡(jiǎn)介 BPServiceActor 主要在DataNode中用于和NameNode溝通的類(lèi)。主要功能如下： 與 namenode 進(jìn)行預注冊握手。 向 namenode 注冊。 定期向 namenode 發(fā)送心跳。 處理從 namenode 收到的命令。 核心功能 BPServiceActor的入口函數為start函數，當前類(lèi)本身為runnable接口的實(shí)現類(lèi)，所以在start函數里面新建了BPServiceActor線(xiàn)程，并且將其啟動(dòng)， 所以其真實(shí)的啟動(dòng)函數為run() 在run函數里面主要做了連接NameNode并且注冊當前DataNode的事。 與NameNode握手 首先要做的就是和NameNode建立連接，核心代碼如下： bpNamenode = dn.connectToNN(nnAddr); 建立連接之后需要做的就是獲取獲取版本信息并且檢查版本信息，如果單次獲取失敗會(huì )進(jìn)行重試。失敗之后每次的重試間隔為5s。 NamespaceInfo nsInfo = retrieveNamespaceInfo(); bpos.verifyAndSetNamespaceInfo(th....

jobhistory 作業(yè)緩存 jobhistory 一般會(huì )保存一部分作業(yè)信息到內存中，查詢(xún)作業(yè)信息的時(shí)候一般會(huì )從內存查詢(xún)，如果內存查詢(xún)不到就會(huì )從磁盤(pán)上掃描。 jobhistory 緩存一般分為兩層，第一層是guava緩存，默認情況下guava的緩存個(gè)數是5，可以通過(guò)配置項mapreduce.jobhistory.loadedjobs.cache.size控制。 當guava的一級緩存中不存在的時(shí)候，默認是需要重新加載的，jobhistory中定義了加載規則,定義代碼如下： CacheLoader<JobId, Job> loader; loader = new CacheLoader<JobId, Job>() { @Override public Job load(JobId key) throws Exception { return loadJob(key); } }; 其中loadJob實(shí)現如下，其中hsManager為加載具體實(shí)現， private Job loadJob(JobId jobId) throws RuntimeException, ....

NameNode客戶(hù)端協(xié)議詳解 協(xié)議的定義主要在類(lèi)NamenodeProtocols中。如下： public interface NamenodeProtocols extends ClientProtocol, DatanodeProtocol, DatanodeLifelineProtocol, NamenodeProtocol, RefreshAuthorizationPolicyProtocol, ReconfigurationProtocol, RefreshUserMappingsProtocol, RefreshCallQueueProtocol, GenericRefreshProtocol, GetUserMappingsProtocol, HAServiceProtocol { } 根據交互對象的不同，將協(xié)議進(jìn)行了不同的歸類(lèi)。要想了解協(xié)議內容，需要將其單獨分開(kāi)分析。 NamenodeProtocol 詳解 BlocksWithLocations getBlocks(DatanodeInfo datanode, long size, long minBlockSiz....

Namenode最重要的兩個(gè)功能之一就是維護整個(gè)文件系統的目錄樹(shù)（即命名空間namesystem） 。 HDFS文件系統的命名空間（namespace） ， 也就是以“/”為根的整個(gè)目錄樹(shù)， 是通過(guò)FSDirectory類(lèi)來(lái)管理的。 FSNamesystem也提供了管理目錄樹(shù)結構的方法。 FSNamesystem中的方法多是調用FSDirectory類(lèi)的實(shí)現。FSNamesystem在FSDirectory類(lèi)方法的基礎上添加了editlog日志記錄的功能。 FSDirectory的操作則全部是在內存中進(jìn)行的， 并不進(jìn)行editlog的日志記錄。