日本乱偷中文字幕,美女脱内衣18禁免费看,亚洲国产精品丝袜在线观看,18女人腿打开无遮挡,廖承宇chinese野战做受

Flink 配置文件詳解

flink 的安裝參照:flink 簡(jiǎn)單入門(mén), 我們來(lái)了解下flink的配置文件。

flink配置文件列表:
4130fb46f0c34630bf9ace85a2b0e6bf.png

安裝目錄下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。

flink-conf.yaml

基礎配置

# jobManager 的IP地址
jobmanager.rpc.address: localhost
# JobManager 的端口號
jobmanager.rpc.port: 6123
# JobManager JVM heap 內存大小
jobmanager.heap.size: 1024m
# TaskManager JVM heap 內存大小
taskmanager.heap.size: 1024m
# 每個(gè) TaskManager 提供的任務(wù) slots 數量大小
taskmanager.numberOfTaskSlots: 1
# 程序默認并行計算的個(gè)數
parallelism.default: 1
# 文件系統來(lái)源
# fs.default-scheme

高可用性配置

# 可以選擇 'NONE' 或者 'zookeeper'.
# high-availability: zookeeper

# 文件系統路徑,讓 Flink 在高可用性設置中持久保存元數據
# high-availability.storageDir: hdfs:///flink/ha/

# zookeeper 集群中仲裁者的機器 ip 和 port 端口號
# high-availability.zookeeper.quorum: localhost:2181

# 默認是 open,如果 zookeeper security 啟用了該值會(huì )更改成 creator
# high-availability.zookeeper.client.acl: open

容錯和檢查點(diǎn) 配置

# 用于存儲和檢查點(diǎn)狀態(tài)
# state.backend: filesystem
 
# 存儲檢查點(diǎn)的數據文件和元數據的默認目錄
# state.checkpoints.dir: hdfs://namenode-host:port/flink-checkpoints
 
# savepoints 的默認目標目錄(可選)
# state.savepoints.dir: hdfs://namenode-host:port/flink-checkpoints
 
# 用于啟用/禁用增量 checkpoints 的標志
# state.backend.incremental: false

web 前端配置

# 基于 Web 的運行時(shí)監視器偵聽(tīng)的地址.
#jobmanager.web.address: 0.0.0.0
 
#  Web 的運行時(shí)監視器端口
rest.port: 8081
 
# 是否從基于 Web 的 jobmanager 啟用作業(yè)提交
# jobmanager.web.submit.enable: false

高級配置

# io.tmp.dirs: /tmp
 
# 是否應在 TaskManager 啟動(dòng)時(shí)預先分配 TaskManager 管理的內存
# taskmanager.memory.preallocate: false
 
# 類(lèi)加載解析順序,是先檢查用戶(hù)代碼 jar(“child-first”)還是應用程序類(lèi)路徑(“parent-first”)。 默認設置指示首先從用戶(hù)代碼 jar 加載類(lèi)
# classloader.resolve-order: child-first
 
 
# 用于網(wǎng)絡(luò )緩沖區的 JVM 內存的分數。 這決定了 TaskManager 可以同時(shí)擁有多少流數據交換通道以及通道緩沖的程度。 如果作業(yè)被拒絕或者您收到系統沒(méi)有足夠緩沖區的警告,請增加此值或下面的最小/最大值。 另請注意,“taskmanager.network.memory.min”和“taskmanager.network.memory.max”可能會(huì )覆蓋此分數
 
# taskmanager.network.memory.fraction: 0.1
# taskmanager.network.memory.min: 67108864
# taskmanager.network.memory.max: 1073741824

Flink 集群安全配置

# 指示是否從 Kerberos ticket 緩存中讀取
# security.kerberos.login.use-ticket-cache: true
 
# 包含用戶(hù)憑據的 Kerberos 密鑰表文件的絕對路徑
# security.kerberos.login.keytab: /path/to/kerberos/keytab
 
# 與 keytab 關(guān)聯(lián)的 Kerberos 主體名稱(chēng)
# security.kerberos.login.principal: flink-user
 
# 以逗號分隔的登錄上下文列表,用于提供 Kerberos 憑據(例如,`Client,KafkaClient`使用憑證進(jìn)行 ZooKeeper 身份驗證和 Kafka 身份驗證)
# security.kerberos.login.contexts: Client,KafkaClient

Zookeeper 安全配置

# 覆蓋以下配置以提供自定義 ZK 服務(wù)名稱(chēng)
# zookeeper.sasl.service-name: zookeeper
 
# 該配置必須匹配 "security.kerberos.login.contexts" 中的列表(含有一個(gè))
# zookeeper.sasl.login-context-name: Client

HistoryServer

# 你可以通過(guò) bin/historyserver.sh (start|stop) 命令啟動(dòng)和關(guān)閉 HistoryServer
 
# 將已完成的作業(yè)上傳到的目錄
# jobmanager.archive.fs.dir: hdfs:///completed-jobs/
 
# 基于 Web 的 HistoryServer 的地址
# historyserver.web.address: 0.0.0.0
 
# 基于 Web 的 HistoryServer 的端口號
# historyserver.web.port: 8082
 
# 以逗號分隔的目錄列表,用于監視已完成的作業(yè)
# historyserver.archive.fs.dir: hdfs:///completed-jobs/
 
# 刷新受監控目錄的時(shí)間間隔(以毫秒為單位)
# historyserver.archive.fs.refresh-interval: 10000

查看下另外兩個(gè)配置 slaves / master

556beaec14214698467232c2cf9cead4.png

zoo.cfg

# 每個(gè) tick 的毫秒數
tickTime=2000
 
# 初始同步階段可以采用的 tick 數
initLimit=10
 
# 在發(fā)送請求和獲取確認之間可以傳遞的 tick 數
syncLimit=5
 
# 存儲快照的目錄
# dataDir=/tmp/zookeeper
 
# 客戶(hù)端將連接的端口
clientPort=2181
 
# ZooKeeper quorum peers
server.1=localhost:2888:3888
# server.2=host:peer-port:leader-port

日志配置

Flink 在不同平臺下運行的日志文件

log4j-cli.properties
log4j-console.properties
log4j-yarn-session.properties
log4j.properties
logback-console.xml
logback-yarn.xml
logback.xml

sql-client-defaults.yaml

execution:
  # 'batch' or 'streaming' execution
  type: streaming
  # allow 'event-time' or only 'processing-time' in sources
  time-characteristic: event-time
  # interval in ms for emitting periodic watermarks
  periodic-watermarks-interval: 200
  # 'changelog' or 'table' presentation of results
  result-mode: changelog
  # parallelism of the program
  parallelism: 1
  # maximum parallelism
  max-parallelism: 128
  # minimum idle state retention in ms
  min-idle-state-retention: 0
  # maximum idle state retention in ms
  max-idle-state-retention: 0
  
deployment:
  # general cluster communication timeout in ms
  response-timeout: 5000
  # (optional) address from cluster to gateway
  gateway-address: ""
  # (optional) port from cluster to gateway
  gateway-port: 0


標 題:《Flink 配置文件詳解
作 者:zeekling
提 示:轉載請注明文章轉載自個(gè)人博客:浪浪山旁那個(gè)村

    評論
    0 評論
avatar

取消
日本乱偷中文字幕,美女脱内衣18禁免费看,亚洲国产精品丝袜在线观看,18女人腿打开无遮挡,廖承宇chinese野战做受