hadoop偽分布式環境搭建


  最近開始學習hadoop,邊學邊記錄學習中遇到的問題。因為是心得不是教程,所以閱讀的人應具備基本的Linux知識和vim使用,學習過程不寫具體工具的使用,請自行百度。

基於centos7和jdk1.7,hadoop2.4.1的環境搭建(建議64位機子用我提供的2.3.0搭建,我用2.4.1遇到了些問題和警告)。

所有用到的資源已經分享出來,https://yunpan.cn/cYDuxbTUBYGSZ  訪問密碼 357a,學習視頻我是參考的傳智播客7天的,如有需要自行查找。

  第一步:准備linux環境:

    1、安裝虛擬機、注冊。如果網線連接可以設置橋接模式,沒有的話設置主機模式。  我是用的橋接模式(相當於在局域網多了一台電腦)

    2、安裝centos-everthing,安裝過程跳過。

    3、修改主機名(非必須,建議)   命令   sudo hostnamectl --static set-hostname taoyu01  (taoyu01是我設置的主機名)

    4、關閉firewall防火牆 ,7默認的是firewall防火牆

      命令 systemctl stop firewalld.service   停止

        systemctl disable firewalld.service  去除開機啟動

        firewall-cmd --state  查看狀態是否是not running

    5、配置主機對應關系(非必須,建議,本機windows機器可以通過主機名訪問)

      vim /etc/hosts     結尾增加 192.168.20.23   taoyu01     (前面是當前ip可以通過ifconfig查看,后面是剛才設置的主機名)    

  第二步:安裝jdk和hadoop

    1、下載jdk-7u79-linux-x64.tar.gz

    2、打開SecureCRTSecureFX中文32-64中壓縮包對應你的系統的CRT,連接linux。

    3、命令 mkdir /usr/java  mkdir /usr/hadoop  在usr目錄下建立java和hadoop目錄

    4、用CRT的附帶工具分別發送jdk和hadoop對應的tar.gz文件到分別建立的目錄下

    5、命令 tar -zxvf  /usr/java/jdk-7u79-linux-x64.tar.gz   

        tar -zxvf  /usr/hadoop/hadoop-2.4.1.tar.gz  完成jdk和hadoop的安裝

  第三步:配置環境變量

  1、命令 vim /etc/profile  摁i進入插入模式,在最底部加入如下配置 

    export JAVA_HOME=/usr/java/jdk1.7.0_79
    export HADOOP_HOME=/user/hadoop/hadoop-2.4.1

    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    下面兩個環境變量一般是hadoop不是和系統相對應版本時候要配置的,最好我建議比如64系統jdk和hadoop都裝64的

    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

     摁ESC輸入  :wq保存退出

   2、 命令 source /etc/profile 刷新文件

   3、輸入java -version測試是否安裝成功

  第四步、修改hadoop配置文件

    1、命令 cd  /usr/hadoop/hadoop-2.4.1/etc/hadoop  進入到配置目錄

    2、vim hadoop-env.sh  

       更改export JAVA_HOME=/usr/java/jdk1.7.0_79  (其實原來是export JAVA_HOME=${JAVA_HOME}  我覺得不用改,不確定- -)

    3、  vim core-site.xml 

    <configuration>   

      <!-- 配置NameNode的地址 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://taoyu01:8888</value>
        </property>
      <!-- hadoop運行時產生文件的存儲目錄:不是臨時文件 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/taoyu01/hadoop-2.4.1/tmp</value>
        </property>

     </configuration>

    4、vim hdfs-site.xml 

    <configuration>

        <!-- 指定HDFS副本的數量 -->
      <property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
    </configuration>

    5、 mv mapred-site.xml.template mapred-site.xml 改名

      vim mapred-site.xml   

    <configuration>

        <!-- 指定mr運行在yarn上 -->
      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
    </configuration>

    6、vim yarn-site.xml   

      <configuration>

      <!-- ResourceManager的地址 -->
        <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>taoyu01</value>
        </property>
      <!-- reducer獲取數據的方式 -->
        <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
        </property>
      </configuration>

 

    7、 格式化hadoop 的namenode  

      命令cd  /usr/hadoop/hadoop-2.4.1/bin

                 命令 ./hdfs namenode -format

  第五步、ssh免登陸

       cd ~/.ssh    如果沒有先建立一個 mkdir ~/.ssh

       ssh-keygen -t rsa   一直回車

       ssh-copy-id localhost                       摁yes  輸密碼

  第六步、驗證完成並開啟C:\WINDOWS\system32\drivers\etc

      cd  /usr/hadoop/hadoop-2.4.1/sbin  

      ./start-all.sh 開啟所有  會提示過時不建議,建議單獨開啟

      查看jps類似如下

      27408 NameNode
      28218 Jps
      27643 SecondaryNameNode
      28066 NodeManager
      27803 ResourceManager
      27512 DataNode

 

      谷歌瀏覽器  http://taoyu01:50070/    如果采用主機名訪問需要在windows下配置hosts映射C:\Windows\System32\drivers\etc  的hosts添加如下192.168.20.23 taoyu01

            http://taoyu01:8088/   訪問MR


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2020 ITdaan.com