win10安装spark

1.如何在windows安装部署spark 求大神们的告知

本节介绍在Windows系统上安装Spark的过程。在Windows环境下需要安装Cygwin模拟Linux的命令行环境来安装Spark。(1)安装JDK

相对于Linux、Windows的JDK安装更加自动化，用户可以下载安装Oracle JDK或者OpenJDK。只安装JRE是不够的，用户应该下载整个JDK。

安装过程十分简单，运行二进制可执行文件即可，程序会自动配置环境变量。

(2)安装Cygwin

Cygwin是在Windows平台下模拟Linux环境的一个非常有用的工具，只有通过它才可以在Windows环境下安装Hadoop和Spark。具体安装步骤如下。

1）运行安装程序，选择install from internet。

2）选择网络最好的下载源进行下载。

3）进入Select Packages界面，然后进入Net，选择openssl及openssh。因为之后还是会用到ssh无密钥登录的。

另外应该安装“Editors Category”下面的“vim”。这样就可以在Cygwin上方便地修改配置文件。

最后需要配置环境变量，依次选择“我的电脑”→“属性”→“高级系统设置”→“环境变量”命令，更新环境变量中的path设置，在其后添加Cygwin的bin目录和Cygwin的usr\bin两个目录。

(3)安装sshd并配置免密码登录

1）双击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config -y命令，出现如图2-3所示的界面。

2）执行后，提示输入密码，否则会退出该配置，此时输入密码和确认密码，按回车键。最后出现Host configuration finished.Have fun！表示安装成功。

3）输入net start sshd，启动服务。或者在系统的服务中找到并启动Cygwin sshd服务。

注意，如果是Windows 8操作系统，启动Cygwin时，需要以管理员身份运行（右击图标，选择以管理员身份运行），否则会因为权限问题，提示“发生系统错误5”。

(4)配置SSH免密码登录

1）执行ssh-keygen命令生成密钥文件

2）执行此命令后，在你的Cygwin\home\用户名路径下面会生成.ssh文件夹，可以通过命令ls -a /home/用户名 查看，通过ssh -version命令查看版本。

3）执行完ssh-keygen命令后，再执行下面命令，生成authorized_keys文件。

cd ~/.ssh/ cp id_dsa.pub authorized_keys

这样就配置好了sshd服务。

(5)配置Hadoop

修改和配置相关文件与Linux的配置一致，读者可以参照上文Linux中的配置方式，这里不再赘述。

(6)配置Spark

修改和配置相关文件与Linux的配置一致，读者可以参照上文Linux中的配置方式，这里不再赘述。

(7)运行Spark

1)Spark的启动与关闭

①在Spark根目录启动Spark。

./sbin/start-all.sh

②关闭Spark。

./sbin/stop-all.sh

2)Hadoop的启动与关闭

①在Hadoop根目录启动Hadoop。

./sbin/start-all.sh

②关闭Hadoop。

./sbin/stop-all.sh

3）检测是否安装成功

正常状态下会出现如下内容。

-bash-4.1# jps 23526 Jps 2127 Master 7396 NameNode 7594 SecondaryNameNode 7681 ResourceManager 1053 DataNode 31935 NodeManager 1405 Worker

如缺少进程请到logs文件夹下查看相应日志，针对具体问题进行解决。

2.ecplise怎么用spark win10

在Eclipse项目中添加spark-assembly-1.4.1-hadoop2.4.0.jar，这里添加你需要的版本。

注意，不要使用spark的分散抄的jar包，这一点主要是maven时需要注意，因为maven时它会下载好多jar，这里会引进第二个问知题，序列化问题，应该是scala的问题。

3

设置环境变量SPARK_CLASSPATH，这个环境变量不是必须的，你看一下你的服务器是不是设置了。

其实这一步和下面的一步本质作用是一样的，都是告诉spark依赖的jar，而告诉spark依赖jar请留言，嘴拙道）

3.如何在windows下安装配置pyspark notebook

试一下命令行启动，确保ipython从anaconda启动第二步：安装spark（需要提前安装JDK）到官网下载spark安装包我下的是这个版本：解压缩之后，不要忘记添加环境变量配置如下系统变量接着需要在命令行键入（spark安装目录下：如D:/spark） > sbt package 进行编译这一步很重要 拷贝 E:/spark/python/pyspark 到 D:/anaconda/Lib/site-packages 目录下第三步：修改spark/conf下的spark-env文件（不知道是否必要）加入如下三行export PYSPARK_PYTHON=/D:/anacondaexport PYSPARK_DRIVER_PYTHON=/D:/anacondaexport PYSPARK_SUBMIT_ARGS='--master local[*]'第四步：启动pyspark发现已启动成功，一般网页会自动打开第五步：测试sc成功。

4.怎么测试spark是否成功安装

启动Spark集群，启动后的WebUI如下

启动Spark Shell

Web控制台查看shell的情况

把Spark安装目录“README.md”拷贝到HDFS系统上在Master节点上新启动一个命令终端，并进入到Spark安装目录下

把文件拷贝到HDFS的root文件夹下

观察一下Web控制台，会发现该文件已经成功上传到HDFS上

在Spark shell之下操作编写代码，操作我们上传的“README.md”

5.icon 4nano 在win10上怎么完美安装

点击开始菜单。

点击所有应用。 找到Windows系统按钮。

在下拉菜单中点击运行按钮。也可以直接使用Win+R组合快捷键快速打开运行命令框。

键入gpedit.msc命令，并点击底部的确定按钮。 在本地组策略编辑器左部，依次“计算机配置->管理模板->Windows组件。

在Windows组件中找到Windows Installer，点击一下。 然后点击右侧的“禁止用户安装”选项。

双击该选项，弹出禁止用户安装对话框。 勾选“已启用”，点击应用--确认即可。

通过以上设置，我们就可以禁止Win10安装软件了。 用户在禁止Win10安装软件的同时自己也没法安装软件，因此建议大家把常用的软件安装完毕后再去设置。

如果需要取消限制，可以将禁止用户安装配置选项中的“已启用”改为“未配置”就可以了。

6.WIN10系统如何安装CASS软件

首先安装CAD,CAD2007不区分64和32位，CAD2008区分。安装成功后，需要破解的，用相应的注册机软件破解，这一步不麻烦，一般都能成功安装。

2

第二步，运行CASS安装环境清理工具，安装CASS9.1(9.0或9.2一样)程序，完成后装软件驱动及锁驱动。软件锁驱动要装64位版。

3

第三步，至此软件就已经安装完成了，现在就可以插上软件狗，打开CASS9.1，顺利的话就一切OK了。如果提示“无法找到软件狗”可通过重启电脑来解决。

注意事项

安装前要把电脑的杀毒软件和安全软件退出，防止将安装程序误报为病毒。

安装时各个安装程序都要设置成“以win8或win7模式运行这个程序”和“以管理员身份运行此程序”，右键-属性-兼容性。

若插狗无法打开CASS9.1，可检查系统程序有没有安装Microsoft Visual C++ 2005 Redistributable(X64和X86两个版本都要有)，如果没有安装，则到微软官网下载。

若软件无法正常使用，可检查软件狗灯是否常亮 ，不亮表示狗驱动没有安装好，可重新安装，原目录安装即可。

CASS地物编辑菜单显示不正常（不显示）：这是系统分辨率问题（这一般是因为您是高分屏），可右键属性-兼容性-更改所有用户的设置-去掉设置里用640X480屏幕分辨率运行项前面的勾，点击应用-确定。

打开DWG文件时提示“向程序发送命令时出现错误”：右键CAD和CASS图标-属性-兼容性-更改所有用户的设置-去掉以管理员身份运行此程序前面的勾-点击应用-确定。即可解决，

转载请注明出处windows之家 » win10安装spark