在ubuntu下搭建hadoop環境(單機配置)


電腦系統版本:windows7(32位) VMware版本:VMware10 1、安裝ubuntu 版本:16.04.1-desktop-i386 安裝完之后,需要重啟系統,重啟時可能會出現 piix4_smbus : Host SMBus controller not enabled!的提示,這是因為裝入i2c-piix4模塊所導致,解決方法就是在 /etc/modprobe.d/blacklist.conf的末尾添加blacklist i2c_piix4 重啟時還有可能出現 intel_rapl:not valid rapl domains found in package 0 !的提示,解決方法是在/etc/modprob.e/blacklist.conf的末尾添加blacklist intel_rapl 2、安裝jdk jdk版本:jdk-8u121-linux-i586(后綴名是 tar.gz) 在/usr中新建java目錄 進入到java目錄中(jdk的tar包也放到這里),使用tar命令解壓縮到當前目錄 使用vi ~/.bashrc來配置環境變量
注意:上面這張圖片中的路徑根據實際情況來編輯配置好環境變量之后,使用source ~/.bashrc 來讓配置的內容生效然后,輸入 java -version,如果出現下圖中的內容,則說明已經安裝好了
3、安裝hadoop   1)創建hadoop用戶組        addgroup hadoop
    2)創建hadoop用戶,並將其加入到hadoop用戶組當中
        adduser -ingroup hadoop hadoop
        回車后會提示輸入新的UNIX密碼,這是新建用戶hadoop的密碼
    3)為hadoop用戶添加權限
        使用 vi /etc/sudoers 來為hadoop用戶添加和root用戶一樣的權限
4)安裝hadoop
        版本:hadoop-2.5.2(后綴名是tar.gz)
        在/usr中新建hadoop目錄        進入到hadoop目錄中(hadoop的tar包也放到這里),使用tar命令解壓縮到當前目錄        使用vi ~/.bashrc來配置               在文件末尾追加下面內容,然后保存,關閉編輯窗口。                   #HADOOP VARIABLES START                   export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64                   export HADOOP_INSTALL=/usr/local/hadoop                   export PATH=$PATH:$HADOOP_INSTALL/bin                   export PATH=$PATH:$HADOOP_INSTALL/sbin                   export HADOOP_MAPRED_HOME=$HADOOP_INSTALL                   export HADOOP_COMMON_HOME=$HADOOP_INSTALL                   export HADOOP_HDFS_HOME=$HADOOP_INSTALL                   export YARN_HOME=$HADOOP_INSTALL                   export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native                   export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"                   #HADOOP VARIABLES END        使用source ~/.bashrc 來讓配置的內容生效
    5)編輯usr/hadoop/hadoop/etc/hadoop/hadoop-env.sh
        修改該文件中的JAVA_HOME
    6)WordCount測試        單機模式安裝完成,下面通過執行hadoop自帶實例WordCount驗證是否安裝成功        /usr/hadoop/hadoop路徑下創建input文件夾    

       mkdir input

       拷貝README.txt到input    

       cp README.txt input

       執行WordCount

       bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output


執行結果:

執行 cat output/*,查看字符統計結果



注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2021 ITdaan.com