datanode節點下線/刪除/退役 Decommission Datanode


節點退役 Decommission Datanode

Decommission Datanode就是把Datanode從HDFS集群中移除掉。
Datanode是存儲實際數據的,因此在Decommission Datanode的時候需要把Datanode上的數據遷移到別的機器上。下線的時候Datanode會有以下操作,1:計算塊信息 2:刪除塊 3:copy塊 4:校驗塊信息

操作步驟
1:在Namenode上,把需要Decommission的Datanode的機器名加入到dfs.hosts.exclude(該配置項在hdfs-site.xml)所指定文件中,也就是告訴Namenode哪些Datanode要被Decommission。
如果hdfs-site.xml沒有找到dfs.hosts.exclude,那么就手動把下面內容加入到hdfs-site.xml中,然后把需要Decommission的機器寫到文件/etc/hadoop/conf/dfs.exclude中去。

<property>
<name>dfs.hosts.exclude</name>
<value>/etc/hadoop/conf/dfs.exclude</value>
</property>

exclude 例子: pslave1 pslave2 pslave3

2 . 用如下命令啟動Decommission:

hdfs dfsadmin -refreshNodes

刷新后在hfs頁面可以看見 Decommission In Progress 的節點

hadoop dfsadmin -report:也可以查看

note:如果加速下線 可以把塊的復制個數減少


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2021 ITdaan.com