HDFS中的file與block塊之間的對應關系舉例


linux中的jdk-6u24-linux-i586.bin是81M

[root@hadoop local]# du -sh *
211M hadoop
60M hadoop-1.1.2.tar.gz
250M jdk
81M jdk-6u24-linux-i586.bin
8.0K mydata
4.0K word2.txt
4.0K word.txt

將jdk-6u24-linux-i586.bin上傳到HDFS中

[root@hadoop local]# hadoop fs -put jdk-6u24-linux-i586.bin /

通過hadoop fsck查看HDFS中jdk-6u24-linux-i586.bin文件對應的block塊以及block塊的分布情況

[root@hadoop local]# hadoop fsck /jdk-6u24-linux-i586.bin -files -blocks -locations -racks
FSCK started by root from /192.168.80.100 for path /jdk-6u24-linux-i586.bin at Mon Oct 10 05:37:20 PDT 2016
/jdk-6u24-linux-i586.bin 84927175 bytes, 2 block(s): OK
0. blk_-8238180044705517797_5753 len=67108864 repl=1 [/default-rack/192.168.80.100:50010]
1. blk_136889878628398312_5753 len=17818311 repl=1 [/default-rack/192.168.80.100:50010]

我們到DataNode存放數據的目錄下查看一下:

[root@hadoop current]# ll
total 83592
-rw-r--r--. 1 root root 17818311 Oct 10 05:34 blk_136889878628398312
-rw-r--r--. 1 root root 139215 Oct 10 05:34 blk_136889878628398312_5753.meta
-rw-r--r--. 1 root root 67108864 Oct 10 05:34 blk_-8238180044705517797
-rw-r--r--. 1 root root 524295 Oct 10 05:34 blk_-8238180044705517797_5753.meta

或者

[root@hadoop current]# du -sh *
17M blk_136889878628398312
136K blk_136889878628398312_5753.meta
64M blk_-8238180044705517797
516K blk_-8238180044705517797_5753.meta

通過查看,我們發現文件的存儲和我們的預想是相同的,說明HDFS中的文件歸根到底是要存儲到Linux文件系統中的。


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2021 ITdaan.com