windows之家1.怎么在windows上搭建hadoop环境
1、下载安装JDK，以及Eclipse
具体看此链接：/weixuehao/article/details/17715793
2、新建JAVA Project
3、去cloudera网站下载hadoop的CDH3u6版本。将起解压到win7的某个目录
4、选中OperateHDFS，右击，选择“property”，弹出右侧的窗口；
选择“Java Build Path” —— “Libraries” —— Add External Jars
5、到上面的画面后，下面就是选择开发hadoop程序时，用到的一些jar包
将lib文件夹下的所有的jar包，添加进去；将红框内的jar包，安装进去。
6、创建配置文件夹
7、将core-site.xml,hdfs-site.xml,mapred-site.xml放入到此文件夹中。
8、右键->；属性 进行如下操作，添加刚刚创建conf文件夹
配置搞定！
写代码的过程中要写入的namenode和jobtracker地址（修改为你自己的）
在你的代码中，加入如下代码就可以了
Configuration conf = new Configuration();
conf.set("fs.default.name","192.1.1.2:9000");
conf.set("mapred.job.tracker","192.1.1.2:9001");
2.如何在windows下安装hadoop
Hadoop三种安装模式：单机模式，伪分布式，真正分布式一 单机模式standalone单机模式是Hadoop的默认模式。
当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。
当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。
该模式主要用于开发调试MapReduce程序的应用逻辑。二 伪分布模式安装tar xzvf hadoop-0.20.2.tar.gzHadoop的配置文件：conf/hadoop-env.sh 配置JAVA_HOMEcore-site.xml 配置HDFS节点名称和地址hdfs-site.xml 配置HDFS存储目录，复制数量mapred-site.xml 配置mapreduce的jobtracker地址配置ssh，生成密匙，使到ssh可以免密码连接（RSA算法，基于因数不对称加密：公钥加密私钥才能解密，私钥加密公钥才能解密）cd /rootssh -keygen -t rsacd .sshcp id_rsa.pub authorized_keys覆盖公钥，就能免密码连接启动Hadoop bin/start-all.sh停止Hadoop bin/stop-all.sh三 完全分布式模式1. 配置etc/hosts文件，使主机名解析为IP 或者使用DNS服务解析主机名2. 建立hadoop运行用户： useradd grid>passwd grid3. 配置ssh密码连入： 每个节点用grid登录，进入主工作目录，ssh -keygen -t rsa生产公钥，然后将每个节点的公钥复制到同一个文件中，再将这个包含所有节点公钥的文件复制到每个节点authorized_keys目录，这个每个节点之间彼此可以免密码连接4. 下载并解压hadoop安装包5. 配置namenode，修改site文件6. 配置hadoop-env.sh7. 配置masters和slaves文件8. 向各个节点复制hadoop9. 格式化namenode10.启动hadoop11.用jps检验各后台进程是否成功启动。
3.如何在windows下安装hadoop
Hadoop三种安装模式：单机模式，伪分布式，真正分布式
一 单机模式standalone
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。
二 伪分布模式安装
tar xzvf hadoop-0.20.2.tar.gz
Hadoop的配置文件：
conf/hadoop-env.sh 配置JAVA_HOME
core-site.xml 配置HDFS节点名称和地址
hdfs-site.xml 配置HDFS存储目录，复制数量
mapred-site.xml 配置mapreduce的jobtracker地址
配置ssh，生成密匙，使到ssh可以免密码连接
(RSA算法，基于因数不对称加密：公钥加密私钥才能解密，私钥加密公钥才能解密)
cd /root
ssh -keygen -t rsa
cd .ssh
cp id_rsa.pub authorized_keys覆盖公钥，就能免密码连接
启动Hadoop bin/start-all.sh
停止Hadoop bin/stop-all.sh
三 完全分布式模式
1. 配置etc/hosts文件，使主机名解析为IP 或者使用DNS服务解析主机名
2. 建立hadoop运行用户： useradd grid>passwd grid
3. 配置ssh密码连入： 每个节点用grid登录，进入主工作目录，ssh -keygen -t rsa生产公钥，然后将每个节点的公钥复制到同一个文件中，再将这个包含所有节点公钥的文件复制到每个节点authorized_keys目录，这个每个节点之间彼此可以免密码连接
4. 下载并解压hadoop安装包
5. 配置namenode，修改site文件
6. 配置hadoop-env.sh
7. 配置masters和slaves文件
8. 向各个节点复制hadoop
9. 格式化namenode
10.启动hadoop
11.用jps检验各后台进程是否成功启动。
转载请注明出处windows之家 » 怎么在Win10用Hadoop