系統知識網 系統知識 Win10安裝Hadoop3.1.2教程圖文

Win10安裝Hadoop3.1.2教程圖文

发布: 2024-03-08 9阅读

由於工作學習需要很多用戶需要在Win10系統下安裝Hadoop，今天小編就詳細分享下Win10中安裝Hadoop的教程圖文詳細資料。安裝環境：JDK 1.8Windows10Hadoop3.1.2需要註意的是jdk版本不要過高，否則可。

由於工作學習需要很多用戶需要在Win10系統下安裝Hadoop，今天小編就詳細分享下Win10中安裝Hadoop的教程圖文詳細資料。

安裝環境：

JDK 1.8
Windows10
Hadoop3.1.2

需要註意的是jdk版本不要過高，否則可能會帶來問題

一、安裝Hadoop步驟

  1. 官網下載Hadoop3.1.2 ：下載地址
  2. 解壓到自定義的文件夾，我這裡選擇我的路徑
F:\Environment\hadoop-3.1.2\hadoop

  1. 配置環境變量
JAVA_HOME : F:\Environment\java\jdk1.8.0_181
HADOOP_HOME ： F:\Environment\hadoop-3.1.2\hadoop

path添加 ：
    %JAVA_HOME%\bin
    %JAVA_HOME%\jre\bin
    %HADOOP_HOME%\bin

  1. 檢測是否安裝成功
java -version
hadoop - version

出現以上信息說明安裝成功 ！

二、修改配置文件

1、需要修改的文件在解壓後的目錄下，F:\Environment\hadoop-3.1.2\hadoop\etc\hadoop

hadoop-env.cmd

用Notepad++ 打開hadoop-env.cmd文件
找到**set JAVA_HOME=%JAVA_HOME%**一行，將其值修改為jdk所在目錄
如果目錄帶有空格，可以通過下面兩種方式處理：
這裡以安裝目錄為C:\Program Files\Java\jdk1.8.0_181為例
因為Program Files中存在空格，若是直接使用會出現錯誤，可以下面兩種方式之一進行處理：
隻需要用PROGRA~1 代替Program Files，即改為C:\PROGRA~1\Java\jdk1.8.0_18
或是使用雙引號改為 “C:\Program Files”\Java\jdk1.8.0_181

core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

mapred-site.xml
<configuration>
     <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
    </property>
 </configuration>

yarn-site.xml
<configuration>
         <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hahoop.mapred.ShuffleHandler</value>
        </property>
 </configuration>

hdfs-site.xml

需要再hadoop解壓的根目錄下創建一個data文件夾，並在data下創建namenode和datanode兩個子文件夾；

然後添加配置文件 ：

<configuration>
    <!-- 這個參數設置為1，因為是單機版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property> 
     <name>dfs.permissions</name> 
     <value>false</value> 
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/F:/Environment/hadoop-3.1.2/hadoop/data/namenode</value>
   </property>
   <property>
        <name>fs.checkpoint.dir</name>
        <value>/F:/Environment/hadoop-3.1.2/hadoop/data/snn</value>
    </property>
    <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>/F:/Environment/hadoop-3.1.2/hadoop/data/snn</value>
    </property>
       <property>
       <name>dfs.datanode.data.dir</name>
       <value>/F:/Environment/hadoop-3.1.2/hadoop/data/datanode</value>
   </property>
</configuration>

配置文件修改完畢 ！

三、替換bin文件

下載的Hadoop不支持Windows系統，需要替換bin目錄下的文件方便在Windows上運行。這也是掉坑來的地方瞭！！！！
在網上下載到的hadooponwindows-master.zip 以及winutils中應該是隻適合hadoop 3.0.0及其以下，嘗試過hadooponwindows-master.zip以及winutils中最高的版本3.0.0，啟動hadoop都會出現下面的錯誤：Error starting NodeManager、UnsatisfiedError

折騰瞭好久（低版本的hadoop還沒下載完畢），終於找到3.1.0版本winutils,下載後直接替換掉hadoop目錄下bin文件即可：

復制yarn的jar包

可以看到resourcemanager.ResourceManager: Error starting ResourceManager啟動失敗的日志
報瞭類TimelineCollectorManager找不到的錯誤。

解決方法:
F:\Environment\hadoop-3.1.2\hadoop\share\hadoop\yarn\timelineservice
將這個文件夾下的hadoop-yarn-server-timelineservice-3.1.2.jar 包
復制到這個路徑下 F:\Environment\hadoop-3.1.2\hadoop\share\hadoop\yarn 即可解決。

四、格式化HDFS文件系統

hdfs namenode -format

如果這一步沒有什麼異常基本沒有問題瞭。

啟動

進入hadoop的sbin目錄
我這裡在 ： F:\Environment\hadoop-3.1.2\hadoop\sbin

# 啟動
# 會自動開啟四個新的命令行窗口，窗口沒打印異常即啟動成功
start-all

# 停止
stop-all

# 查看正在運行的實例進程及端口
jps

這四個窗口不能關閉 ， 否則進程會結束

五、訪問管理GUI

啟動成功後，可以訪問GUI頁面

http://localhost:8088

http://localhost:9870

最後我們停止一下所有進程

寫在最後：

運行結束後你會發現hadoop安裝的磁盤根目錄下多瞭一個tmp臨時文件目錄

裡面有一些 Hadoop的緩存文件 ，不需要的話可以清理一下的。

以上就是這次Winwin7小編關於在Win10系統下安裝Hadoop詳細部分分享瞭，希望大傢能喜歡哦。

返回顶部