Flink大數據常見(jiàn)問(wèn)題總結。

常見(jiàn)工具安裝，包括: 軟件備注 m4autoconf依賴(lài) autoconfautoconf依賴(lài) automakeautoconf依賴(lài) libtoolsautoconf依賴(lài) gmpgcc安裝依賴(lài) mpfrgcc安裝依賴(lài) mpcgcc安裝依賴(lài) islgcc安裝依賴(lài) gccgcc安裝依賴(lài)

今天同事找我幫忙看一個(gè)Flink的問(wèn)題，現象是前幾天還能提交的客戶(hù)端，就在今天突然提交不了作業(yè)了，報錯提示大概如下（公司的東西涉密）， Caused by: org.apache.flink.api.common.InvalidProgramException: The LocalStreamEnvironment cannot be used when submitting a program through a client, or running in a TestEnvironment context. at org.apache.flink.streaming.api.environment.LocalStreamEnvironment.(LocalStreamEnvironment.java:68) at org.apache.flink.streaming.api.environment.LocalStreamEnvironment.(LocalStreamEnvironment.java:58) at org.apache.flink.streaming.api.env....

本文只適合沒(méi)錢(qián)買(mǎi)新電腦又想用老電腦寫(xiě)代碼的人，其他人請繞行。 本文適合比較想學(xué)習Linux的人，不想感興趣的請繞行。

由于本人使用的自建代碼倉Gitea在docker 19版本存在bug，導致一個(gè)MR只能提交一個(gè)commit，提交第二個(gè)的時(shí)候MR就沒(méi)辦法merge了。 當然想要解決這個(gè)問(wèn)題有兩個(gè)辦法： 在Debian 9上面安裝Docker 20以后的版本，但是apt源里面沒(méi)有，可以考慮安裝Debian 10對應的Docker。 將Debian 9升級到Debian 10，順便安裝最新版本的Docker，目前版本是23。也能解決我當前的問(wèn)題。 經(jīng)過(guò)我個(gè)人的考慮，Debian 9也已經(jīng)出了好多年了，Debian 12都快出了，索性借著(zhù)這個(gè)機會(huì )先升級到Debian 10。

Neovim是一個(gè)社區驅動(dòng)的開(kāi)源項目，是Vim文本編輯器的一個(gè)分叉版本，它的構建使Vim更容易為核心開(kāi)發(fā)人員維護。是對vim的一個(gè)增強，相比與vim性能更好，速度更快。

背景 可能是實(shí)在太無(wú)聊了，居然覺(jué)得Bolo博客響應有點(diǎn)慢，忍不住看了下代碼，發(fā)現了一個(gè)比較難以接受的現實(shí)：Bolo博客中的markdown沒(méi)事都會(huì )調用解析服務(wù)區解析。 開(kāi)發(fā) 于是我就加了下面這個(gè)函數： public static String toHTML(final String markdownText, String cacheKey) { String cache = RedisCacheUtils.getCache(cacheKey); if (!StringUtils.isEmpty(cache)) { return cache; } cache = toHTML(markdownText); RedisCacheUtils.cacheValue(cacheKey, cache); return cache; } 在別人調用的時(shí)候優(yōu)先從Redis里面獲取了緩存。詳細代碼如下： https://github.com/zeekling/bolo-solo/commit/1f5eb32df14c5181d03fa33c4010e3828fe0353d 其他問(wèn)題 但是發(fā)現以前的老....

debian 11 安裝clang-15 debian 11 使用apt install clang-15安裝失敗，可以使用下面命令安裝： wget https://mirrors.tuna.tsinghua.edu.cn/llvm-apt/llvm.sh sudo chmod +x llvm.sh sudo ./llvm.sh 15 all -m https://mirrors.tuna.tsinghua.edu.cn/llvm-apt

底層原理簡(jiǎn)介 LState:存儲左邊數據流中的數據。 RState：存儲右邊數據流中的數據。 當左邊數據流數據到達的時(shí)候會(huì )保存到LState，并且到RState中進(jìn)行Join。將Join生成的結果數據發(fā)送到下游。 右邊數據流中數據到達的時(shí)候，會(huì )保存到RState當中，并且到LState中進(jìn)行Join，然后將Join之嚄胡的結果數據發(fā)送到下游。 為了保障左右兩邊流中需要Join的數據出現在相同節點(diǎn)，Flink SQL會(huì )利用Join中的on的關(guān)聯(lián)條件進(jìn)行分區，把相同關(guān)聯(lián)條件 的數據分發(fā)到同一個(gè)分區里面。 普通雙流Join 現有訂單表A和支付表B進(jìn)行關(guān)聯(lián)得到匯總表C。訂單表和支付表初始數據如下： 表A：訂單表數據 order_id timestamp 1001 2023-02-04 10:00:00 1002 2023-01-04 10:01:02 表B：支付表數據 order_id pay_money order_id pay_money 1001 80 1002 100 inner join 當A表中每一條數據到達時(shí)，都會(huì )和B表中....

設置空閑狀態(tài)保留時(shí)間 不設置空閑狀態(tài)保留時(shí)間會(huì )導致?tīng)顟B(tài)爆炸。 FlinkSQL 的 regular join inner 、 left 、 right ），左右表的數據都會(huì )一直保存在狀態(tài)里，不會(huì )清理！要么設置 TTL ，要么使用 Flink SQL 的 interval join 。 使用 Top N 語(yǔ)法進(jìn)行去重，重復數據的出現一般都位于特定區間內（例如一小時(shí)或一天內），過(guò)了這段時(shí)間之后，對應的 狀態(tài)就不再需要了。 Flink SQL可以指定空閑狀態(tài)（即未更新的狀態(tài)）被保留的最小時(shí)間 當狀態(tài)中某個(gè) key對應的 狀態(tài)未更新的時(shí)間達到閾值時(shí)， 該條狀態(tài)被自動(dòng)清理。 API 設置： tableEnv.getConfig().setIdleStateRetention(Duration.ofHours(1)); 配置參數設置： Configuration configuration = tableEnv.getConfig().getConfiguration(); configuration.setString("table.exec.state.ttl", " 1 h" ); ....