正在阅读:

[python]Win7 X64安装python Scrapy

28,541

最近想研究一下python的爬虫,网上查找了一下资料,scrapy是python爬虫中比较牛b的存在,经过确认,确实是比较"牛B",安装这个scrapy库实在是"牛B"的可以了,前后折腾过不下10次去研究安装方法,终于搞定了,共享一下,免得兄弟们走弯路。

首先说说安装过程中遇到过的问题吧:

1、error: Unable to find vcvarsall.bat

这个错误是因为python需要Vs2008的编译环境,如果你的电脑里没有安装的话就会报这个错误。

针对这个问题,网上的方法大多都是安装vs2008/2010等或者是使用MinGW来代替默认的编译环境,改用gcc,这个我已经实验过,反正我是没有成功,尤其是MinGW的那个下载速度让我受不了,为了这个我折腾了近1下午。

2、msvc9compiler.py: ValueError: [u'path']

关于这个错误是因为默认情况下vs2008 express版本没有x64位的编译环境导致的,需要安装x64位编译环境。

解决办法是使用vs2008的pro版,并且安装的时候选择64位编译工具。。

下面给出我经过多次实验可成功安装的方法,以下步骤在win7 64位和python 2.7.8中测试成功。

详细安装步骤:

1、安装python 2.7X MSI安装包,目前2.7系列最新版为2.7.8

32位系统:

https://www.python.org/ftp/python/2.7.8/python-2.7.8.msi

64位系统:

https://www.python.org/ftp/python/2.7.8/python-2.7.8.amd64.msi

2、把python安装目录下的Scripts目录加入到环境变量path中

3、安装setuptools,python的自动安装工具

https://bootstrap.pypa.io/ez_setup.py

然后使用easy_install安装pip安装工具:

easy_install pip

安装pycrypto,pywin32这个请使用下面的编译版本:

http://www.voidspace.org.uk/downloads/pycrypto26/pycrypto-2.6.win32-py2.7.exe

http://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/pywin32-219.win32-py2.7.exe/download

http://www.voidspace.org.uk/downloads/pycrypto26/pycrypto-2.6.win-amd64-py2.7.exe

http://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/pywin32-219.win-amd64-py2.7.exe/download

4、下载Visual C++ 2008 Express Edition版并安装

关于vs2008的版本选择,我这里纠结了很久,最后选择了Expression版本,这个版本的特点是安装包相对比较小一点,比起pro版本来说安装速度快了不少,而且安装的程序也相对较少。关于上文提到的没有64位编译环境,我没有处理,我使用了一种取巧的方式安装成功了。

这个版本安装完成后建议大家去微软注册一下,这是免费注册的,填一个表即可。

安装文件大家请在360软件管理中搜索Visual C++ 2008 Express或者下载本文附件中的文档,我有打包给大家。

python安装scrapy

5、使用easy_install安装如下包

easy_install cssselect lxml queuelib six twisted w3lib zope.interface

这些包主要是安装scrapy时的一些依赖包。。

6、使用pip安装如下包

pip install pyOpenSSL cryptography cffi pycparser

为什么不用easy_install安装这4个包呢?因为会报[u'path']错误,所以请严格按我的来。

7、使用easy_install安装scrapy

easy_install scrapy

上面依赖关系已经解决了,所以这个时候你就可以随便的安装了。。。

8、如需卸载scrapy,请执行如下命令:

pip uninstall cffi cryptography cssselect lxml pycparser pyopenssl queuelib six twisted w3lib zope.interface scrapy

9、最近推荐老外写的一个python安装scrapy指导文档

这个文档给了我很多的答案,总结了安装scrapy中遇到的各种问题。

文件所有工具打包下载:

点我下载

参考网址:

http://f.dataguru.cn/thread-160932-1-1.html

http://www.crifan.com/while_install_scrapy_error_unable_to_find_vcvarsall_bat/

http://www.biaodianfu.com/install-scrapy-on-windows.html

http://www.cnblogs.com/zhxhdean/p/3580224.html

http://mozillazg.com/2013/06/python-Windows-x64-compile-c-valueerror-path.html

http://www.feedbackward.com/content/scrapy_install.pdf

目前有:8条访客评论,博主回复5

  1. Lizzy
    2015-11-06 15:52

    从不留言,但是你的介绍完美的帮助了我。我之前已经花了两个小时在安装scrapy上了。真的十分感谢。

  2. thanks
    2016-04-07 16:13

    thanks 3.4的版本飘过

  3. 游
    2016-04-14 17:52

    楼主你好,我正在安装scrapy。我有个地方没看懂,请问楼主是不是先装的 vs2008 express,然后 发现依然出现错误提示;之后又装上vs2008 pro?
    谢谢阅读!望回复。

    • 独自等待
      2016-04-19 17:15

      vs2008 pro 我没有安装的。你按我的步骤来就能安装成功。

  4. 老骨头
    2016-08-16 16:05

    谢谢,一百遍。看得明白,操作中有问题再请教!

  5. 米兔
    2017-07-25 16:43

    亲, 为什么我执行easy_install cssselect lxml queuelib six twisted w3lib zope.interface
    会报错 报错最后是 【u’pth’】

    • 独自等待
      2017-07-25 16:50

      这个方法太麻烦了,使用更简单的方法吧,你装一个Anaconda3-4.3.1-Windows-x86_64.exe文件,然后直接pip安装scrapy就行了。

  6. 米兔
    2017-07-25 16:55

    哇撒 ,还回复了。嘿 你有群嘛,方便交流

  7. Duang
    2017-07-25 21:08

    我安装完了 我并没有看出多出什么文件夹之类的 , 是直接运行 scrapy命令么? 求解

  8. 冰河
    2018-05-20 16:17

    安装Scrapy的方法
    出现错误: Could not find suitable distribution for Requirement.parse(‘incremental>=16.10.1’)

    Pip install scrapy
    Pip install incremental

    出现错误 ”building ‘twisted.test.raiser’ extension“的解决方法
    building ‘twisted.test.raiser’ extension
    error: Microsoft Visual C++ 10.0 is required. Get it with “Microsoft Windows SDK 7.1”: http://www.microsoft.com/download/details.aspx?id=8279

    去网站下载一个最新的3.4版本的Twisted 对应的whl 文件。 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
    下载完成后使用cmd打开windows的命令行窗口,进入whl包所在的文件夹执行如下命令
    pip install [whl]
    [whl]是whl包的名字,即:Twisted-18.4.0-cp34-cp34m-win_amd64.whl

    最后实在不行,别用python了吧,安一个包装好的python
    这个方法太麻烦了,使用更简单的方法吧,你装一个Anaconda3-4.3.1-Windows-x86_64.exe文件,然后直接pip安装scrapy就行了。

    • 独自等待
      2018-05-21 10:01

      Anaconda3-4.3.1-Windows-x86_64.exe 是我后来才测试过的工具。

留下脚印,证明你来过。

*

*

流汗坏笑撇嘴大兵流泪发呆抠鼻吓到偷笑得意呲牙亲亲疑问调皮可爱白眼难过愤怒惊讶鼓掌