windows之家1.如何在eclipse中使用scrapy
步骤如下： 一、创建项目 如果安装了最新的pydev，创建一个新项目会有三个选项，这里直接选择一个普通的python项目即可，此时查看项目目录，目录项只有两个工程文件。
此时，需要使用scrapy命令创建一个scrapy项目到这个目录下，当然也可以把一个现有的工程拷贝到这里。 这里使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。
此时如果运行这个项目会报错如图： 二、配置Debug Configurations 1、进入run——>Debug Configurations-——>Main name中输入这个配置的名称； Projecct选择Scrapy项目 Main Module 中填入scrapy库下的cmdline.py文件 2、进入run——>Debug Configurations-——>Arguments 在Program arguments中输入 crawl example，需要注意这个example是爬虫的名称 这个名字并不是项目名称，而是在所写的类似于xxxSpider（)类中的name的值。 在Working directory中选择other 选择你的爬虫工作目录 如图： 配置完成，点击Debug按钮，如果能正常显示类似于下面的信息则说明配置成功。
2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished) 2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats： 至此eclipse + pydev开发环境debug Scrapy就全部完成了。
2.如何在eclipse中使用scrapy
一、创建项目
如果安装了最新的pydev，创建一个新项目会有三个选项，这里直接选择一个普通的Python项目即可，此时查看项目目录，目录项只有两个工程文件。
此时，需要使用scrapy命令创建一个scrapy项目到这个目录下，当然也可以把一个现有的工程拷贝到这里。
我这里使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。
二、配置Debug Configurations
1、进入run——>Debug Configurations-——>Main
name中输入这个配置的名称；
Projecct选择你的Scrapy项目
Main Module 中填入scrapy库下的cmdline.py文件
2、进入run——>Debug Configurations-——>Arguments
在Program arguments中输入 crawl example，需要注意这个example是你的爬虫的名称
这个名字并不是你的项目名称，而是在你所写的类似于xxxSpider（)类中的name的值。
在Working directory中选择other 选择你的爬虫工作目录
如图：
配置完成，点击Debug按钮，如果能正常显示类似于下面的信息则说明配置成功。
2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished)
2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats:
唯一麻烦一点的就是每次debug都需要通过run进行，而不能使用鼠标右键运行。
至此eclipse + pydev开发环境debug Scrapy就全部完成了。
3.windows下 如何定时运行scrapy crawl XXX 爬虫,或者怎么在.bat文件
可以呀。这个先写个bat，里面的内容就是python的路径+空格+爬虫的路径
例如我的python在c:\python\python.exe，爬虫就是d:\SpiderTest.py，则在bat里可以这样写
c:\python\python.exe d:\SpiderTest.py定时启动有几个办法，一个是用命令行，win10以前用at就行，win10好像取消了at命令，改用schtasks，如果命令行用起来觉得麻烦，你可以用图形化工具，在运行或者命令行里输入taskschd.msc就可以打开了，里面应该都能看懂。
4.怎么在windows下定时执行scrapy crawl dmoz
cmd下定时执行命令可以使用 at 命令 或者 schtasks命令。
at 语法：at +时间+运行程序
schtasks语法：schtasks /creat /tn 设定定时运行的名字 /tr “运行程序” /sc daily /st时间
例：
1、at 12:30 notepad(12:30时运行记事本)
2、at 19:30 calc(19:30时运行计算器)
3、schtasks /create /tn 定时运行 /tr "notepad" /sc daily /st 12:30(12:30时运行记事本)
4、schtasks /create /tn 定时运行 /tr "calc" /sc daily /st 19:30(19:30时运行计算器)
5.win10安装scrapy出现错误
先下载ez_setup.py，打开cmd命令行 运行：python ez_setup.py 这步完zhidao成之后，在python安装目录下的/Scripts目录应该有easy_install.exe将/Scripts目录添加到环境变量（注意在个人账户的Path中也要添加）。
版安装pip：打开cmd命令行，运行：easy_install pip 这步完成之后，可以安装whl文件了（大部分库文件是*.whl格式，需要先搭建easy_install环境）。安装命令格式： pip install …权 .whl。
转载请注明出处windows之家 » win10怎么用scrapy