【Hadoop】【持續更新】hdfs 常見(jiàn)命令
hdfs fsck 命令
詳細參見(jiàn):
https://www.cnblogs.com/tesla-turing/p/11487899.html
https://zhuanlan.zhihu.com/p/336578884
hdfs distcp 命令
DistCp(分布式拷貝)是用于大規模集群內部和集群之間拷貝的工具。 它使用Map/Reduce實(shí)現文件分發(fā),錯誤處理和恢復,以及報告生成。 它把文件和目錄的列表作為map任務(wù)的輸入,每個(gè)任務(wù)會(huì )完成源列表中部分文件的拷貝。
hadoop distcp hdfs://nn1:8020/foo/bar \
hdfs://nn2:8020/bar/foo
詳細參見(jiàn):https://hadoop.apache.org/docs/r1.0.4/cn/distcp.html
hdfs archive命令
Hadoop archives是特殊的檔案格式。一個(gè)Hadoop archive對應一個(gè)文件系統目錄。 Hadoop archive的擴展名是*.har。Hadoop archive包含元數據(形式是_index和_masterindx)和數據(part-*)文件。_index文件包含了檔案中的文件的文件名和位置信息。
hadoop archive -archiveName name <src>* <dest>
詳細參考:https://hadoop.apache.org/docs/r1.0.4/cn/hadoop_archives.html
hdfs dfsadmin
hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | leave | get | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave filename] [-setQuota <quota> <dirname>...<dirname>] [-clrQuota <dirname>...<dirname>] [-help [cmd]]
詳細參考:https://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html#dfsadmin
hdfs mradmin
刷新tasktracker信息:

0 評論