1.hadoop2.2在windows下面如何安装啊
Hadoop三种安装模式:单机模式,伪分布式,真正分布式
一 单机模式standalone
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。
二 伪分布模式安装
tar xzvf hadoop-0.20.2.tar.gz
Hadoop的配置文件:
conf/hadoop-env.sh 配置JAVA_HOME
core-site.xml 配置HDFS节点名称和地址
hdfs-site.xml 配置HDFS存储目录,复制数量
mapred-site.xml 配置mapreduce的jobtracker地址
配置ssh,生成密匙,使到ssh可以免密码连接
(RSA算法,基于因数不对称加密:公钥加密私钥才能解密,私钥加密公钥才能解密)
cd /root
ssh -keygen -t rsa
cd .ssh
cp id_rsa.pub authorized_keys覆盖公钥,就能免密码连接
启动Hadoop bin/start-all.sh
停止Hadoop bin/stop-all.sh
三 完全分布式模式
1. 配置etc/hosts文件,使主机名解析为IP 或者使用DNS服务解析主机名
2. 建立hadoop运行用户: useradd grid>passwd grid
3. 配置ssh密码连入: 每个节点用grid登录,进入主工作目录,ssh -keygen -t rsa生产公钥,然后将每个节点的公钥复制到同一个文件中,再将这个包含所有节点公钥的文件复制到每个节点authorized_keys目录,这个每个节点之间彼此可以免密码连接
4. 下载并解压hadoop安装包
5. 配置namenode,修改site文件
6. 配置hadoop-env.sh
7. 配置masters和slaves文件
8. 向各个节点复制hadoop
9. 格式化namenode
10.启动hadoop
11.用jps检验各后台进程是否成功启动。
2.win10的问题
方法一:右击任务栏,从弹出的右键菜单中选择“任务管理器”项,或者直接按“Ctrl” “Alt” “Del”组合键打开“任务管理器”界面。
从打开的“任务管理器”窗口中,切换到“进程”选项卡,选中“桌面窗口管理器”项,点击“结束进程”按钮以结果此进程。 此时将弹出如图所示的“任务管理器”警告窗口,在此直接勾选“放弃未保存的数据并关闭”项,点击“关闭”按钮。
此时“桌面窗口管理器”将自动重启,之后就可以正常使用“开始”菜单啦。 方法二(终极方法):通过修改“组策略”来修复“开始”菜单打不开的故障。
直接按“Windows R”打开“运行”窗口,或者点击“开始”菜单,从其右键菜单中选择“运行”项来打开。 打开的“组策略”窗口中,依次展开“计算机管理”-“Windows设备”-“安全设置”-“本地策略”-“安全选项”项,在右侧找到“用户账户控制:用于内置管理员账户的管理员批准模式”项并右击,从其右键菜单中选择“属性”项。
此时将打开“用户账户控制:用于内置管理员账户的管理员批准模式”属性窗口,勾选”已启用“项,点击”确定“按钮。如图所示: 接下来只需要重启一下计算机,就可以正常使用“开始”菜单啦。
右击“开始”菜单,从其右侧菜单中选择“关机或注销”-“重启”项即可重启计算机。 接下来只需要重启一下计算机,就可以正常使用“开始”菜单啦。
右击“开始”菜单,从其右侧菜单中选择“关机或注销”-“重启”项即可重启计算机。 从打开的“系统配置”窗口中,切换到“引导”选项卡,勾选“安全引导”项,点击“确定”按钮,并重启一下计算机进入安全模式。
在“安全模式”界面中,依次进入“设置”-“更新和安全”界面中,切换到“恢复”选项卡,点击“重置此电脑”下方的“开始”按钮以重置系统,实现重启安装Win10操作。 当然,如果能进入“疑难解答”界面时,直接点击“重置此电脑”项以实现重装安装Win10正式版系统操作。
3.Win10安装教程有哪些呢?
1、一键Win10系统教程(零基础可装系统)。
2、硬盘安装Win10系统教程(无需U盘和光盘)。 3、U盘安装微软原版Win10系统教程。
4、U盘安装Win10系统教程(适用于电脑无法启动)。 5、硬盘安装Win10系统教程 之 GHO文件安装教程、Win10永久激活:Win10 1803数字激活工具HWIDGen v10.24(推荐)Win10 1803永久激活方法步骤_附带激活密钥以上内容就是相关windows10 32位专业版系统下载了,该系统智能优化最常用的办公,娱乐,维护和美化工具软件并一站到位,真的非常优秀,欢迎您到本站下载win10 32专业版系统,还能够把你的体验感受分享给更多的人哦。
4.Win10官网专业选择版W1064位系统如何安装?
Win10官网专业选择版W1064位系统硬件要求:微软官方对Win10正式版的最低硬件要求为:1GHz及以上处理器、1GB(32位)或2GB(64位)RAM、至少16GB的硬盘可用空间,所以老PC也能够轻松升级。
另外,系统不能运行在RT及Windows N设备上;C:盘分区须至少60GB,安装完成后C:盘占用10GB左右。 本系统系统已自动激活 Win10官网专业选择版W1064位系统安装指引: 1、光盘安装(推荐)请用刻录软件,选择 映像刻录 方式来刻录ISO文件,刻录之前请先校验一下文件的准确性,刻录速度推荐24X或以下A。
自动安装安装前请在BIOS中设置从光盘启动,然后进入光盘启动菜单,选择菜单第1项就可以自动安装!B。 手动安装把光盘下GHOST目录下的Windows10。
GHO文件复制到硬盘,然后重启设置光盘启动,再选择手动运行GHOST11,选择之前复制出来的GHO进行恢复! 2、硬盘安装直接复制光盘GHOST目录下的Windows10。GHO和安装系统。
EXE 文件到硬盘下,点击安装系统。EXE 文件安装即可自动完成。
注意:由于应用商店系统装完后需要联网进一步升级,部分用户商店可能会出现闪退现象,请耐心等待计算机自动重启安装完毕后恢复! 三种激活途径: 1、利用Win10正版密钥激活;/wenzhang/KEY/ 2、已激活过Win10专业版的电脑,安装后会自动激活; 3、通过提供的激活工具激活:/tiandi/wangluo/jhgj/Win10官网最新Win10专业版下载_选择版W1064位系统可以一键无人值守安装、自动识别硬件并安装驱动程序,大大缩短了装机时间,10分钟内即可安装完成,而且系统稳定,快速,安全!高效的装机过程,让你重装系统更省心。
5.如何将c盘win10系统移植到固态硬盘中
如果想将c盘的win10系统移植到固态硬盘中,最简单的方法就是将固态硬盘安装到电脑上,使用分区助手等分区工具的ssd系统迁移工具,就可以轻松将电脑c盘的系统移植到固态硬盘上。
使用分区助手专业版的迁移OS到SSD/HDD功能,很容易将c盘系统迁移到固态硬盘如果考虑将系统由c盘转移到固态硬盘,可以首先将固态硬盘安装到电脑中,下载并安装分区助手专业版,使用迁移OS到SSD/HDD功能迁移系统。 一般按照提示,就可以将c盘的系统迁移到固态硬盘上,在系统迁移完成后,电脑会自动重启,这时需要在BIOS中设置固态硬盘为第一启动项,就可以正常进入迁移到固态硬盘的系统了。
如不是必要,建议重新安装原版系统虽然通过系统迁移可以很容易将老系统迁移到新硬盘上,但还是容易存在一些兼容性的问题,如不是必须使用老系统,可以考虑安装原版系统,以保证整机最佳的兼容性、稳定性和性能。 一般考虑将电脑的系统从磁盘迁移到新固态硬盘,可以优先考虑使用分区助手专业版的系统迁移工具,一般按照提示很容易迁移,一般迁移成功后需重启电脑,将固态硬盘设为第一启动项,就可以正常进入电脑系统了。
如果不是必须使用老系统,可以优先考虑重新安装原版电脑系统。 。
6.关于分布式Hadoop在WINDOWS上操作问题
若在windows的Eclipse工程中直接启动mapreduc程序,需要先把hadoop集群的配置目录下的xml都拷贝到src目录下,让程序自动读取集群的地址后去进行分布式运行(您也可以自己写java代码去设置job的configuration属性)。
若不拷贝,工程中bin目录没有完整的xml配置文件,则windows执行的mapreduce程序全部通过本机的jvm执行,作业名也是带有“local"字眼的作业,如 job_local2062122004_0001。 这不是真正的分布式运行mapreduce程序。
估计得研究org.apache.hadoop.conf.Configuration的源码,反正xml配置文件会影响执行mapreduce使用的文件系统是本机的windows文件系统还是远程的hdfs系统; 还有影响执行mapreduce的mapper和reducer的是本机的jvm还是集群里面机器的jvm 二、本文的结论 第一点就是: windows上执行mapreduce,必须打jar包到所有slave节点才能正确分布式运行mapreduce程序。(我有个需求是要windows上触发一个mapreduce分布式运行) 第二点就是: Linux上,只需拷贝jar文件到集群master上,执行命令hadoop jarPackage.jar MainClassName即可分布式运行mapreduce程序。
第三点就是: 推荐使用附一,实现了自动打jar包并上传,分布式执行的mapreduce程序。 附一、推荐使用此方法:实现了自动打jar包并上传,分布式执行的mapreduce程序: 请先参考博文五篇: Hadoop作业提交分析(一)~~(五) 引用博文的附件中EJob.java到你的工程中,然后main中添加如下方法和代码。
public static File createPack() throws IOException { File jarFile = EJob.createTempJar("bin"); ClassLoader classLoader = EJob.getClassLoader(); Thread.currentThread().setContextClassLoader(classLoader); return jarFile; } 在作业启动代码中使用打包: Job job = Job.getInstance(conf, "testAnaAction"); 添加: String jarPath = createPack().getPath(); job.setJar(jarPath); 即可实现直接run as java application 在windows跑分布式的mapreduce程序,不用手工上传jar文件。 附二、得出结论的测试过程 (未有空看书,只能通过愚笨的测试方法得出结论了) 一. 直接通过windows上Eclipse右击main程序的java文件,然后"run as application"或选择hadoop插件"run on hadoop"来触发执行MapReduce程序的测试。
1,如果不打jar包到进集群任意linux机器上,它报错如下: [work] 2012-06-25 15:42:47,360 - org.apache.hadoop.mapreduce.Job -10244 [main] INFO org.apache.hadoop.mapreduce.Job - map 0% reduce 0% [work] 2012-06-25 15:42:52,223 - org.apache.hadoop.mapreduce.Job -15107 [main] INFO org.apache.hadoop.mapreduce.Job - Task Id : attempt_1403517983686_0056_m_000000_0, Status : FAILED Error: java.lang.RuntimeException: java.lang.: Class bookCount.BookCount$BookCountMapper not found at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1720) at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:186) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:721) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:339) at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:162) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:157) Caused by: java.lang.: Class bookCount.BookCount$BookCountMapper not found at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1626) at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1718) 。 8 more # Error:后重复三次 2012-06-25 15:44:53,234 - org.apache.hadoop.mapreduce.Job -37813 [main] INFO org.apache.hadoop.mapreduce.Job - map 100% reduce 100% 现象就是:报错,无进度,无运行结果。
2,拷贝jar包到“只是”集群master的$HADOOP_HOME/share/hadoop/mapreduce/目录上,直接通过windows的eclipse "run as application"和通过hadoop插件"run on hadoop"来触发执行,它报错同上。 现象就是:报错,无进度,无运行结果。
3,拷贝jar包到集群某些slave的$HADOOP_HOME/share/hadoop/mapreduce/目录上,直接通过windows的eclipse "run as application"和通过hadoop插件"run on hadoop"来触发执行 和报错: Error: java.lang.RuntimeException: java.lang.: Class bookCount.BookCount$BookCountMapper not found at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1720) at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:186) 和报错: Error: java。.。
转载请注明出处windows之家 » Win10安装Hadoop3.2.0