客戶(hù)端認證 客戶(hù)端的入口函數為 KerberosAuthenticator.authenticate函數 連接HTTP服務(wù)端 HttpURLConnection conn = token.openConnection(url, connConfigurator); conn.setRequestMethod(AUTH_HTTP_METHOD); conn.connect(); SPNEGO認證 對于普通的HTTP的kerberos認證(SPNEGO)，需要現在客戶(hù)端登錄KDC服務(wù)。核心代碼在函數doSpnegoSequence里面。 首先需要登錄KDC服務(wù)端： subject = new Subject(); LoginContext login = new LoginContext("", subject, null, new KerberosConfiguration()); // 登錄KDC服務(wù) login.login(); 下面主要是開(kāi)始認證的時(shí)候的邏輯。核心處理邏輯流程圖如下： 主要代碼邏輯如下。 GSSManager gssManager = GSSManager.g....

簡(jiǎn)介 ContainerManager主要負責NM中管理所有Container生命周期，其主要包含啟動(dòng)Container、恢復Container、停止Container等功能。 主要功能由ContainerManagerImpl類(lèi)實(shí)現，具體代碼可以參考當前類(lèi)。 初始化 初始化主要分為兩部分： ContainerManagerImpl實(shí)例的構造函數和serviceInit函數。 構造函數 當前函數為構造函數，主要初始化必須要的一些變量等。 dispatcher ： 事件的中央調度器，主要用于管理單個(gè)Container的生命周期。在當前函數里面會(huì )通過(guò)dispatcher.register()注冊支持的事件。 containersLauncher： 主要用于啟動(dòng)Container，可以通過(guò)配置項yarn.nodemanager.containers-launcher.class指定。默認為containersLauncher.class serviceInit函數 主要是服務(wù)啟動(dòng)時(shí)的初始化函數，ContainerManager在NodeManager內部屬于一個(gè)服務(wù)。所以初始化的時(shí)候會(huì )調....

簡(jiǎn)介 BPServiceActor 主要在DataNode中用于和NameNode溝通的類(lèi)。主要功能如下： 與 namenode 進(jìn)行預注冊握手。 向 namenode 注冊。 定期向 namenode 發(fā)送心跳。 處理從 namenode 收到的命令。 核心功能 BPServiceActor的入口函數為start函數，當前類(lèi)本身為runnable接口的實(shí)現類(lèi)，所以在start函數里面新建了BPServiceActor線(xiàn)程，并且將其啟動(dòng)， 所以其真實(shí)的啟動(dòng)函數為run() 在run函數里面主要做了連接NameNode并且注冊當前DataNode的事。 與NameNode握手 首先要做的就是和NameNode建立連接，核心代碼如下： bpNamenode = dn.connectToNN(nnAddr); 建立連接之后需要做的就是獲取獲取版本信息并且檢查版本信息，如果單次獲取失敗會(huì )進(jìn)行重試。失敗之后每次的重試間隔為5s。 NamespaceInfo nsInfo = retrieveNamespaceInfo(); bpos.verifyAndSetNamespaceInfo(th....

jobhistory 作業(yè)緩存 jobhistory 一般會(huì )保存一部分作業(yè)信息到內存中，查詢(xún)作業(yè)信息的時(shí)候一般會(huì )從內存查詢(xún)，如果內存查詢(xún)不到就會(huì )從磁盤(pán)上掃描。 jobhistory 緩存一般分為兩層，第一層是guava緩存，默認情況下guava的緩存個(gè)數是5，可以通過(guò)配置項mapreduce.jobhistory.loadedjobs.cache.size控制。 當guava的一級緩存中不存在的時(shí)候，默認是需要重新加載的，jobhistory中定義了加載規則,定義代碼如下： CacheLoader<JobId, Job> loader; loader = new CacheLoader<JobId, Job>() { @Override public Job load(JobId key) throws Exception { return loadJob(key); } }; 其中loadJob實(shí)現如下，其中hsManager為加載具體實(shí)現， private Job loadJob(JobId jobId) throws RuntimeException, ....

NameNode客戶(hù)端協(xié)議詳解 協(xié)議的定義主要在類(lèi)NamenodeProtocols中。如下： public interface NamenodeProtocols extends ClientProtocol, DatanodeProtocol, DatanodeLifelineProtocol, NamenodeProtocol, RefreshAuthorizationPolicyProtocol, ReconfigurationProtocol, RefreshUserMappingsProtocol, RefreshCallQueueProtocol, GenericRefreshProtocol, GetUserMappingsProtocol, HAServiceProtocol { } 根據交互對象的不同，將協(xié)議進(jìn)行了不同的歸類(lèi)。要想了解協(xié)議內容，需要將其單獨分開(kāi)分析。 NamenodeProtocol 詳解 BlocksWithLocations getBlocks(DatanodeInfo datanode, long size, long minBlockSiz....

Namenode最重要的兩個(gè)功能之一就是維護整個(gè)文件系統的目錄樹(shù)（即命名空間namesystem） 。 HDFS文件系統的命名空間（namespace） ， 也就是以“/”為根的整個(gè)目錄樹(shù)， 是通過(guò)FSDirectory類(lèi)來(lái)管理的。 FSNamesystem也提供了管理目錄樹(shù)結構的方法。 FSNamesystem中的方法多是調用FSDirectory類(lèi)的實(shí)現。FSNamesystem在FSDirectory類(lèi)方法的基礎上添加了editlog日志記錄的功能。 FSDirectory的操作則全部是在內存中進(jìn)行的， 并不進(jìn)行editlog的日志記錄。

作業(yè)啟動(dòng) 作業(yè)提交的客戶(hù)端比較核心的類(lèi)是Job.java，看作業(yè)啟動(dòng)的源碼需要從這個(gè)類(lèi)開(kāi)始看。 Job.java 作業(yè)啟動(dòng)的入口函數為waitForCompletion函數。當前函數的核心函數為submit()，主要如下： public void submit() throws IOException, InterruptedException, ClassNotFoundException { ensureState(JobState.DEFINE); setUseNewAPI(); connect(); final JobSubmitter submitter = getJobSubmitter(cluster.getFileSystem(), cluster.getClient()); status = ugi.doAs(new PrivilegedExceptionAction<JobStatus>() { public JobStatus run() throws IOException, InterruptedException, ClassNotFoundEx....

常見(jiàn)命令記錄，總結篇

簡(jiǎn)介 Yarn采用了基于事件驅動(dòng)的并發(fā)模型： 所有狀態(tài)機都實(shí)現了EventHandler接口，很多服務(wù)（類(lèi)名通常帶有Service后綴）也實(shí)現了該接口，它們都是事件處理器。 需要異步處理的事件由中央異步調度器（類(lèi)名通常帶有Dispatcher后綴）統一接收/派發(fā)，需要同步處理的事件直接交給相應的事件處理器。 某些事件處理器不僅處理事件，也會(huì )向中央異步調度器發(fā)送事件。 事件處理器定義 事件處理器定義如下： @SuppressWarnings("rawtypes") @Public @Evolving public interface EventHandler<T extends Event> { void handle(T event); } 只有一個(gè)handler函數，如參是事件： 中央處理器AsyncDispatcher AsyncDispatcher 實(shí)現了接口Dispatcher，Dispatcher中定義了事件Dispatcher的接口。主要提供兩個(gè)功能： 注冊不同類(lèi)型的事件，主要包含事件類(lèi)型和事件處理器。 獲取事件處理器，用來(lái)派發(fā)事件，等待異步執行真正的....

簡(jiǎn)介 ResourceManager(RM)，RM是全局的資源管理器，負責整個(gè)系統的資源管理和分配。主要由以下兩部分組成： 調度器：根據容量、隊列限制條件將系統資源分配給各個(gè)應用。 資源分配的單位是container，container是一個(gè)動(dòng)態(tài)資源單位，它將內存、CPU、磁盤(pán)、網(wǎng)絡(luò )等資源封裝在一起，從而限定了資源使用量。 調度器是一個(gè)可插拔的組件，用戶(hù)可以自己定制，也可以選擇Fair或Capacity調度器. 應用程序管理器：負責管理所有應用程序的以下內容： 應用提交 與調度器協(xié)商資源以啟動(dòng)AM. 監控AM運行狀態(tài)并在失敗時(shí)重啟它 RM內部架構 交互模塊：RM對普通用戶(hù)、管理員、Web提供了三種對外服務(wù)： ClientRMService:為普通用戶(hù)提供服務(wù)，它處理來(lái)自客戶(hù)端的各種RPC，比如: 應用提交 終止應用 獲取應用狀態(tài)等 AdminService:為管理員提供的獨立接口，主要目的是為了防止大量普通用戶(hù)請求阻塞管理員通道，提供如下功能： 動(dòng)態(tài)更新節點(diǎn)列表 更新ACL列表 更新隊列信息等 WebApp:提供一個(gè)Web界面來(lái)讓用戶(hù)更友好的獲知集群和應....