win10如何编译hadoop

1.window下怎么编译hadoop的源码

a） 进入windows命令行模式，进入到D:\soft\hadoop-2.6.4-src\hadoop-maven-plugins目录，执行"mvn install"命令，如果命令行界面提示：build success"时表示成功：b） 进入到hadoop-2.5.2-src 目录，执行"mvn eclipse:eclipse -DskipTests"命令，如果出现"BUILD SUCCESS"说明hadoop源码编译成功。

c） 打开eclipse开发工具，将D:\soft\hadoop-2.6.4-src导入到workspace中，就可以查看源码。

2.window下怎么编译hadoop的源码

a） 进入windows命令行模式，进入到D:\soft\hadoop-2.6.4-src\hadoop-maven-plugins目录，执行"mvn install"命令，如果命令行界面提示：build success"时表示成功：

b） 进入到hadoop-2.5.2-src 目录，执行"mvn eclipse:eclipse -DskipTests"命令，如果出现"BUILD SUCCESS"说明hadoop源码编译成功。

c） 打开eclipse开发工具，将D:\soft\hadoop-2.6.4-src导入到workspace中，就可以查看源码。

3.如何在Windows下面运行hadoop的MapReduce程序

1. 首先登入hadoop 集群里面的一个节点， 创建一个java源文件， 偷懒起见， 基本盗用官方的word count （因为本文的目的是教会你如何快编写和运行一个MapReduce程序， 而不是如何写好一个功能齐全的MapReduce程序） 内容如下：import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; public class myword { public static class TokenizerMapper extends Mapper{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable values,Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length != 2) { System.err.println('Usage: wordcount '); System.exit(2); } Job job = new Job(conf, 'word count'); job.setJarByClass(myword.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); System.exit(job.waitForCompletion(true) ? 0 : 1）； } } 与官方版本相比， 主要做了两处修改1） 为了简单起见，去掉了开头的 package org.apache.hadoop.examples;2） 将类名从 WordCount 改为 myword， 以体现是我们自己的工作成果 ：）2. 拿到hadoop 运行的class path， 主要为编译所用 运行命令 hadoop classpath 保存打出的结果，本文用的hadoop 版本是Pivotal 公司的Pivotal hadoop， 例子：/etc/gphd/hadoop/conf:/usr/lib/gphd/hadoop/lib/*:/usr/lib/gphd/hadoop/.//*:/usr/lib/gphd/hadoop-hdfs/./:/usr/lib/gphd/hadoop-hdfs/lib/*:/usr/lib/gphd/hadoop-hdfs/.//*:/usr/lib/gphd/hadoop-yarn/lib/*:/usr/lib/gphd/hadoop-yarn/.//*:/usr/lib/gphd/hadoop-mapreduce/lib/*:/usr/lib/gphd/hadoop-mapreduce/.//*::/etc/gphd/pxf/conf::/usr/lib/gphd/pxf/pxf-core.jar:/usr/lib/gphd/pxf/pxf-api.jar:/usr/lib/gphd/publicstage:/usr/lib/gphd/gfxd/lib/gemfirexd.jar::/usr/lib/gphd/zookeeper/zookeeper.jar:/usr/lib/gphd/hbase/lib/hbase-common.jar:/usr/lib/gphd/hbase/lib/hbase-protocol.jar:/usr/lib/gphd/hbase/lib/hbase-client.jar:/usr/lib/gphd/hbase/lib/hbase-thrift.jar:/usr/lib/gphd/hbase/lib/htrace-core-2.01.jar:/etc/gphd/hbase/conf::/usr/lib/gphd/hive/lib/hive-service.jar:/usr/lib/gphd/hive/lib/libthrift-0.9.0.jar:/usr/lib/gphd/hive/lib/hive-metastore.jar:/usr/lib/gphd/hive/lib/libfb303-0.9.0.jar:/usr/lib/gphd/hive/lib/hive-common.jar:/usr/lib/gphd/hive/lib/hive-exec.jar:/usr/lib/gphd/hive/lib/postgresql-jdbc.jar:/etc/gphd/hive/conf::/usr/lib/gphd/sm-plugins/*:3. 编译 运行命令 javac -classpath xxx ./myword.java xxx部分就是上一步里面取到的class path 运行完此命令后， 当前目录下会生成一些.class 文件， 例如：myword.class myword$IntSumReducer.class myword$TokenizerMapper.class4. 将class文件打包成.jar文件 运行命令 jar -cvf myword.jar ./*.class 至此， 目标jar 文件成功生成5. 准备一些文本文件， 上传到hdfs， 以做word count的input 例子：随意创建一些文本文件， 保存到mapred_test 文件夹 运行命令 hadoop fs -put ./mapred_test/ 确保此文件夹成功上传到hdfs 当前用户根目录下6. 运行我们的程序 运行命令 hadoop jar ./myword.jar myword mapred_test output 顺利的话， 此命令会正常进行， 一个MapReduce job 会开始工作， 输出的结果会保存在 hdfs 当前用户根目录下的output 文件夹里面。

至此大功告成！如果还需要更多的功能， 我们可以修改前面的源文件以达到一个真正有用的MapReduce job。但是原理大同小异， 练手的话， 基本够了。

一个抛砖引玉的简单例子， 欢迎板砖。

4.如何编译hadoop

1.编译hadoop2.6.0的eclipse插件

编译源码：

cd src/contrib/eclipse-plugin

ant jar -Dversion=2.6.0 -Declipse.home=/opt/eclipse -Dhadoop.home=/opt/hadoop-2.6.0

eclipse.home 和 hadoop.home 设置成你自己的环境路径

命令行执行编译，产生了8个警告信息，直接忽略。

compile:

[echo] contrib: eclipse-plugin

[javac] /software/hadoop2x-eclipse-plugin/src/contrib/eclipse-plugin/build.xml:76: warning: 'includeantruntime' was not set, defaulting to build.sysclasspath=last; set to false for repeatable builds

[javac] Compiling 45 source files to /software/hadoop2x-eclipse-plugin/build/contrib/eclipse-plugin/classes

[javac] /opt/hadoop-2.6.0/share/hadoop/common/hadoop-common-2.6.0.jar(org/apache/hadoop/fs/Path.class): warning: Cannot find annotation method 'value()' in type 'LimitedPrivate': class file for org.apache.hadoop.classification.InterfaceAudience not found

[javac] /opt/hadoop-2.6.0/share/hadoop/hdfs/hadoop-hdfs-

转载请注明出处windows之家 » win10如何编译hadoop