Windows下安装hadoop
首先环境是必不可少的。
hadoop基于java,所以我们需要jdk。安全起见,建议下载jdk1.8。
下载:
这里附上下载链接,想要哪个版本自行下载。
http://hadoop.apache.org/releases.html#Download
下载完毕之后,解压到你要放置的位置即可。
配置环境变量:
这一步十分重要,因为hadoop程序访问和hadoop的指令,在命令行操作的时候都需要访问对应的目录,否则就要进入目录才能执行。
同时一些程序也需要访问一些包,也需要通过环境变量来访问。
新建HADOOP_HOME变量 地址为C:\xxxx\hadoop-2.7.3,如下图:

新建HADOOP_CONF_DIR变量 地址为 %HADOOP_PREFIX%\etc\hadoop,如下图:

新建YARN_CONF_DIR 变量 地址为%HADOOP_CONF_DIR%,如下图:

最后PATH添加%HADOOP_HOME%/bin
下载winutils相关,hadoop在windows上运行需要winutils支持和hadoop.dll等文件。
附上下载链接:
https://github.com/steveloughran/winutils
然后把winutils.exe和hadoop.dll复制到hadoop的bin目录下即可。
最后进行配置文件的配置
配置文件在hadoop根目录的etc\hadoop文件夹里
修改core-site.xml文件:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost</value>
</property>
</configuration>
修改hdfs-site.xml文件:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/f:/hadoop-2.7.7/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/f:/hadoop-2.7.7/data/datanode</value>
</property>
</configuration>
修改mapred-site.xml文件:
(这里需要提一下,本来是没有mapred-site.xml文件的,所以我们需要把mapred-site.xml.template文件复制一份,改名为mapred-site.xml即可)
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
修改yarn-site.xml文件:
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
最后修改hadoop-env.cmd文件:
在末尾添加
set HADOOP_PREFIX=F:\hadoop-2.7.7(这个是我的,你需要填自己的)
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin
以上都确认无误后,开始启动hadoop:
打开cmd命令行,输入hdfs namenode -format
如果没有报错,则成功。否则失败,检查异常。
创建了节点后,进入hadoop bin目录,执行start-dfs.cmd 或者 start-all.cmd即可启动hadoop。
若有不足或者问题,请留言,作者会抽出时间更正。谢谢支持。