作業(yè)提交流程 Yarn 調度器 先進(jìn)先出調度器 容量調度器 分配算法 公平調度器 調度原理 缺額 資源分配方式 樣例 : DRF策略

簡(jiǎn)介 Namenode 和 Datanode HDFS采用master/slave架構。一個(gè)HDFS集群是由一個(gè)Namenode和一定數目的Datanodes組成。 Namenode是一個(gè)中心服務(wù)器，負責管理文件系統的名字空間(namespace)以及客戶(hù)端對文件的訪(fǎng)問(wèn)。 集群中的Datanode一般是一個(gè)節點(diǎn)一個(gè)，負責管理它所在節點(diǎn)上的存儲。 HDFS暴露了文件系統的名字空間，用戶(hù)能夠以文件的形式在上面存儲數據。 從內部看，一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數據塊，這些塊存儲在一組Datanode上。 Namenode執行文件系統的名字空間操作，比如打開(kāi)、關(guān)閉、重命名文件或目錄。它也負責確定數據塊到具體Datanode節點(diǎn)的映射。 Datanode負責處理文件系統客戶(hù)端的讀寫(xiě)請求。在Namenode的統一調度下進(jìn)行數據塊的創(chuàng )建、刪除和復制。 Namenode是所有HDFS元數據的仲裁者和管理者，這樣，用戶(hù)數據永遠不會(huì )流過(guò)Namenode。 Namenode全權管理數據塊的復制，它周期性地從集群中的每個(gè)Datanode接收心跳信號和塊狀態(tài)報告(Blockreport)。 接收到心跳信號意味....

Apache Hudi將核心倉庫和數據庫功能直接帶到數據湖中。Hudi提供了表、事務(wù)、高效upserts/刪除、高級索引、流式攝取服務(wù)、數據群集/壓縮優(yōu)化以及并發(fā)，同時(shí)保持數據以開(kāi)源文件格式保留。 Hudi是Hadoop Upserts and Incrementals縮寫(xiě)，用于管理分布式文件系統DFS上大型分析數據集存儲。 Hudi是一種針對分析型業(yè)務(wù)的、掃描優(yōu)化的數據存儲抽象，它能夠使DFS數據集在分鐘級的時(shí)延內支持變更，也支持下游系統對這個(gè)數據集的增量處理。

RocksDB是一個(gè)高性能、可擴展、嵌入式、持久化、可靠、易用和可定制的鍵值存儲庫。它采用LSM樹(shù)數據結構，支持高吞吐量的寫(xiě)入和快速的范圍查詢(xún)，可被嵌入到應用程序中，實(shí)現持久化存儲，支持水平擴展，可以在多臺服務(wù)器上部署，實(shí)現集群化存儲，具有高度的可靠性和穩定性，易于使用并可以根據需求進(jìn)行定制和優(yōu)化。RocksDB主要使用到了下面知識：

Flink 的 Master 節點(diǎn)包含了三個(gè)組件: Dispatcher、ResourceManager 和 JobManager。 Dispatcher: 負責接收用戶(hù)提供的作業(yè)，并且負責為這個(gè)新提交的作業(yè)拉起一個(gè)新的 JobManager 服務(wù)； ResourceManager: 負責資源的管理，在整個(gè) Flink 集群中只有一個(gè) ResourceManager，資源相關(guān)的內容都由這個(gè)服務(wù)負責； JobManager: 負責管理具體某個(gè)作業(yè)的執行，在一個(gè) Flink 集群中可能有多個(gè)作業(yè)同時(shí)執行，每個(gè)作業(yè)都會(huì )有自己的 JobManager 服務(wù)。

在我的Linux筆記本上面運行一個(gè)jar包的時(shí)候報錯如下： Exception in thread "main" java.lang.UnsatisfiedLinkError: Can't load library: /usr/lib/jvm/java-17-openjdk-amd64/lib/libawt_xawt.so at java.base/java.lang.ClassLoader.loadLibrary(ClassLoader.java:2393) at java.base/java.lang.Runtime.load0(Runtime.java:755) at java.base/java.lang.System.load(System.java:1953) at java.base/jdk.internal.loader.NativeLibraries.load(Native Method) at java.base/jdk.internal.loader.NativeLibraries$NativeLibraryImpl.open(NativeLibraries.ja....

Flink 為作業(yè)的容錯提供 Checkpoint 和 Savepoint 兩種機制。保存點(diǎn)機制（Savepoints）是檢查點(diǎn)機制一種特殊的實(shí)現，它允許你通過(guò)手工方式來(lái)觸發(fā)Checkpoint，并將結果持久化存儲到指定路徑中，主要用于避免Flink集群在重啟或升級時(shí)導致?tīng)顟B(tài)丟失。

狀態(tài)后端和checkpoint詳解，包括常見(jiàn)checkpoint問(wèn)題處理。

背景 在Idea當中運行Test的時(shí)候發(fā)現報錯如下： scala: No scalac found to compile scala sources 但是在操作系統上面安裝了scala，在idea當中也安裝了 原因 雖然在操作系統上面安裝了scala，但是idea當中沒(méi)有添加scala，

解決Idea啟動(dòng)慢，運行慢的問(wèn)題。