Amaze UI Logo

码动指尖



Windows下安装hadoop

首先环境是必不可少的。

hadoop基于java,所以我们需要jdk。安全起见,建议下载jdk1.8。


下载:

这里附上下载链接,想要哪个版本自行下载。

http://hadoop.apache.org/releases.html#Download

下载完毕之后,解压到你要放置的位置即可。


配置环境变量:

这一步十分重要,因为hadoop程序访问和hadoop的指令,在命令行操作的时候都需要访问对应的目录,否则就要进入目录才能执行。

同时一些程序也需要访问一些包,也需要通过环境变量来访问。


新建HADOOP_HOME变量 地址为C:\xxxx\hadoop-2.7.3,如下图: 


image.png


新建HADOOP_CONF_DIR变量 地址为 %HADOOP_PREFIX%\etc\hadoop,如下图:


image.png


新建YARN_CONF_DIR 变量 地址为%HADOOP_CONF_DIR%,如下图: 


image.png


最后PATH添加%HADOOP_HOME%/bin


下载winutils相关,hadoop在windows上运行需要winutils支持和hadoop.dll等文件。

附上下载链接:

https://github.com/steveloughran/winutils

然后把winutils.exe和hadoop.dll复制到hadoop的bin目录下即可。


最后进行配置文件的配置

配置文件在hadoop根目录的etc\hadoop文件夹里


修改core-site.xml文件:

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost</value>

</property>

</configuration>


修改hdfs-site.xml文件:

<configuration>

<property>

       <name>dfs.replication</name>

       <value>1</value>

   </property>

   <property>

       <name>dfs.namenode.name.dir</name>

       <value>/f:/hadoop-2.7.7/data/namenode</value>

   </property>

   <property>

       <name>dfs.datanode.data.dir</name>

     <value>/f:/hadoop-2.7.7/data/datanode</value>

   </property>

</configuration>


修改mapred-site.xml文件:

(这里需要提一下,本来是没有mapred-site.xml文件的,所以我们需要把mapred-site.xml.template文件复制一份,改名为mapred-site.xml即可)

<configuration>

<property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

   </property>

</configuration>


修改yarn-site.xml文件:

<configuration>


<!-- Site specific YARN configuration properties -->

<property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

   </property>

   <property>

       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

       <value>org.apache.hadoop.mapred.ShuffleHandler</value>

   </property>

</configuration>


最后修改hadoop-env.cmd文件:

在末尾添加

set HADOOP_PREFIX=F:\hadoop-2.7.7(这个是我的,你需要填自己的)

set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop

set YARN_CONF_DIR=%HADOOP_CONF_DIR%

set PATH=%PATH%;%HADOOP_PREFIX%\bin



以上都确认无误后,开始启动hadoop:

打开cmd命令行,输入hdfs namenode -format

如果没有报错,则成功。否则失败,检查异常。


创建了节点后,进入hadoop  bin目录,执行start-dfs.cmd 或者 start-all.cmd即可启动hadoop。


若有不足或者问题,请留言,作者会抽出时间更正。谢谢支持。

 Hadoop

作者  :  奕弈

喵喵喵,你在心上



评论


About ME

about me

奕弈

为了最初的心,努力奋斗,从不懈怠的学习。

我不想成为一个庸俗的人。十年百年后,当我们死去,质疑我们的人同样死去,后人看到的是裹足不前、原地打转的你,还是一直奔跑、走到远方的我?

Contact ME