admin管理员组

文章数量:1438156

如果你不想在linux上搭建，又不想安装cygwin。那就继续往下看啦~

目前大数据生态主要部分是Hadoop软件框架和Spark内存级计算引擎。Hadoop包含四个项目：Hadoop common，HDFS，YARN和MapReduce。

说到Hadoop都知道spark：这里有：spark安装教程   并且还有：spark原理详解，需要的朋友自行查看，这里就不多废话。

很多人说道Hadoop肯定是想到Hadoop集群，所以基本Hadoop部署都是Linux上教程，但是Windows上部署Hadoop的还是很少，我网上也找了不少教程，但是都不行，弄了好久还浪费了不少时间。对于新手更是分不清真假，最后大部分可能在部署上就导致放弃了，按照一些教程搞了半天发现不行确实很郁闷。

需求： 

1. JDK1.8安装（不会的戳这） 


2. 下载hadoop2.7.5.tar.gz，或者自行去百度下载。 


3. 下载 hadooponwindows-master.zip（后面有用）


安装Hadoop：
下载好Hadoop2.7.5的压缩包之后，解压到目录，我放在D:\hadoop-2.7.5


配置Hadoop环境变量：
1.Windows环境变量配置

鼠标右键点击‘计算机’-‘属性’-‘高级系统设置’-‘环境变量’-单击新建如图：


2.接着找到环境变量path，将hadoop的bin目录加入到后面:



修改hadoop配置文件

1.编辑“D:\hadoop-2.7.5\etc\hadoop”下的core-site.xml文件，将下列文本粘贴进去，并保存；
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/hadoop-2.7.5/workplace/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/D:/hadoop-2.7.5/workplace/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2.编辑“D:\hadoop-2.7.5\etc\hadoop”目录下的mapred-site.xml(没有就将mapred-site.xml.template重命名为mapred-site.xml)文件，粘贴一下内容并保存:
<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

3.编辑“D:\hadoop-2.7.5\etc\hadoop”目录下的hdfs-site.xml文件，粘贴以下内容并保存。请自行创建data目录，在这里我是在HADOOP_HOME目录下创建了workplace/data目录:
<configuration>
    <!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/D:/hadoop-2.7.5/workplace/data</value>
    </property>
</configuration>

4.编辑“D:\hadoop-2.7.5\etc\hadoop”目录下的yarn-site.xml文件，粘贴以下内容并保存；
<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

5.编辑“D:\hadoop-2.7.5\etc\hadoop”目录下的hadoop-env.cmd文件，将JAVA_HOME用 @rem注释掉，编辑为JAVA_HOME的路径，然后保存:
@rem set JAVA_HOME=%JAVA_HOME%

set JAVA_HOME=D:\java\jdk

替换文件
将下载好的hadooponwindows-master.zip（笔记第一步有下载地址，不知道可以去笔记开头的需求栏目查看）解压，将解压后的bin目录下的所有文件直接覆盖Hadoop的bin目录。


运行环境

1.运行cmd窗口，执行“hdfs namenode -format”后继续输入'y',如图：


2.运行cmd窗口， 切换到hadoop的sbin目录，执行“ start-all.cmd”，它将会启动以下进程。
成功后，如图： 


目前Hadoop已经搭建完毕。

测试：

根据你core-site.xml的配置，接下来你就可以通过：hdfs://localhost:9000来对hdfs进行操作了。创建输入目录:
C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/

C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput

然后输入一下命令测试：


OK，恭喜你到这一步就成功了。


hadoop自带的web控制台GUI

1.资源管理GUI:http://localhost:8088/； 


2.节点管理GUI:http://localhost:50070/；


本文标签： 不需要步骤详细Hadoopcygwin

版权声明：本文标题：Windows7-8-10安装部署hadoop-2.7.5（最详细的步骤，不需要cygwin） 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.betaflare.com/biancheng/1747556245a2707703.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。