背景 前端時(shí)間租的騰訊云服務(wù)器是按照流量計費的，最近一段時(shí)間流量走的老快了，并且發(fā)現默認1G的帶寬老是卡。 原因 通過(guò)分析nginx的日志發(fā)現有大量的爬蟲(chóng)在大批量的訪(fǎng)問(wèn)代碼倉。導致占用了大量帶寬。 解決 nginx中過(guò)濾爬蟲(chóng) 在nginx中配置下面信息，過(guò)濾掉大量爬蟲(chóng)的請求。 if ($http_user_agent ~ "(meta-externalagent|Amazonbot|ClaudeBot|Baiduspider|SemrushBot|bingbot|Bytespider|AhrefsBot|Linguee)" ) { return 403; } if ($http_user_agent ~ "Swiftbot|YandexBot|jikeSpider|MJ12bot|ZmEu phpmyadmin|EasouSpider|YYSpider|jaunty|oBot|FlightDeckReports" ) { return 403; } if ($http_user_agent ~ "(Googlebot|GoogleOther|Java|feedpars....

簡(jiǎn)介 container-executor 是NodeManager管理Container很重要的一個(gè)工具，是深入學(xué)習Yarn作業(yè)調度不可缺少的一個(gè)知識點(diǎn)，值得深入學(xué)習。本文只描述比較基礎的功能點(diǎn)(目前不會(huì )包含Docker相關(guān))。 核心功能點(diǎn) checksetup 主要是檢查container-executor的配置是否ok，沒(méi)有其他功能。核心代碼如下： case CHECK_SETUP: //we already did this exit_code = 0; break; mount-cgroups 在配置項feature.mount-cgroup.enabled為true的時(shí)候為nodemanager掛載cgroup。核心是調用系統函數mount。下面代碼中的是配置的掛載點(diǎn)。由命令行參數傳入。 if (mount("none", mount_path, "cgroup", 0, controller) == 0) { // 掛載成功 if (mkdirs(hier_path, perms) == 0) { change_owner(hier_path, nm_uid....