0°

高级爬虫(一):Scrapy爬虫框架的安装

内容预览:

    原文始发于微信公众号(Python绿色通道):高级爬虫(一):Scrapy爬虫框架的安装

    高级爬虫(一):Scrapy爬虫框架的安装
    戳上面的蓝字关注我们哦!

    Hi 小伙伴们差不多有半个月没有更新干货了,一直有点忙,而且这中间还有曲折过程,也就没有更新文章. 但今天无论如何也要更新一篇文章,接下来是爬虫高级篇重点讲解的地方!

    最近会连载Scrapy由浅入深讲解.欢迎关注,持续连载!

    1. 介绍Scrapy,以及安装Scrapy

    2. Scrapy初级使用

    3. Scrapy 高级使用

    4. Scrapy 爬虫实战

    为什么要学习Scrapy

    Scrapy是一个爬虫框架,通过这个爬虫框架,我们能很快的构建出一个强大的爬虫工具!  一般大型爬虫服务都会使用Scrapy 进行爬虫,我们甚至在这个框架基础上进行一些修改,来定制自己的爬虫框架!

    Scrapy学前准备

    • 前期的基础,Python基础

    • Python抓取数据的三种方式:Re, Xpath,Bs4

    • 保存数据:数据库,本地

    安装Scrapy

    首先说明一下,这个网站 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 需要的一些资源都已经无效了,这也导致网上大部分安装Scrapy的方法都失效了

    接下来说一下我是怎么安装的:

    win环境安装,这里我是用 Python 3.6.4 32位版本 这个一定要注意对应版本,防止出错

    1. 安装pywin32 ,安装地址:http://sourceforge.net/projects/pywin32/  选择File 然后查找你对应的python版本 win32环境. 这里一定要注意你的python版本.安装成功后,在Python命令行下输入 import win32com 如果报错则说明安装成功.

    2. 安装pyOpenSSL :pip install pyOpenSSL

    3. 安装lxml:使用pip install lxml

    4. 安装Scrapy : 使用pip install Scrapy

    重来来了

    我是在安装第四步的时候出现了Twisted安装失败,提示需要VS C++ 14 ,miscrosoft build tool   打开这个网站下载vs 2017 生成工具.

    https://www.visualstudio.com/zh-hans/downloads/?rr=http%3A%2F%2Flandinghub.visualstudio.com%2Fvisual-cpp-build-tools

    高级爬虫(一):Scrapy爬虫框架的安装

    下载完成后,双击下载的文件,然后会提示勾选高级爬虫(一):Scrapy爬虫框架的安装

    然后就是漫长的下载vs build tools工具了. 我大概花了一个小时时间来安装吧,最后把这个vs 2017 build tools工具安装完毕后,提示重启,我重启完后,再打开cmd 然后输入 pip install Scrapy 运行,最后提示安装成功,终于搞定了!

    高级爬虫(一):Scrapy爬虫框架的安装

    推荐阅读

    用Python爬视频超级简单的!

    使用Python开发你的第一个服务器程序

    用Xpath,bs4,正则三种方式爬51job

    用Python打造属于自己的搜索引擎

    一起来Python项目实战,约吗?

    用Python来找你喜欢的妹子(二)

    用Python来找合适的妹子(一)

    使用Python自动化发布文章(二)

    使用Python自动化发布文章:(一)

    Python爬虫:使用Python动态爬取冯大辉老师微博,再用词云分析

    Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况

    Python爬虫:学习Selenium并使用Selenium模拟登录知乎

    Python爬取大量数据时,如何防止IP被封

    Python爬虫:现学现用xpath爬取豆瓣音乐


    的Python之旅

    高级爬虫(一):Scrapy爬虫框架的安装

    长按,识别二维码,关注公众号



    目前10000+人已关注加入我们

    高级爬虫(一):Scrapy爬虫框架的安装 高级爬虫(一):Scrapy爬虫框架的安装 高级爬虫(一):Scrapy爬虫框架的安装 高级爬虫(一):Scrapy爬虫框架的安装 高级爬虫(一):Scrapy爬虫框架的安装 高级爬虫(一):Scrapy爬虫框架的安装 高级爬虫(一):Scrapy爬虫框架的安装 高级爬虫(一):Scrapy爬虫框架的安装

    高级爬虫(一):Scrapy爬虫框架的安装 高级爬虫(一):Scrapy爬虫框架的安装 高级爬虫(一):Scrapy爬虫框架的安装 高级爬虫(一):Scrapy爬虫框架的安装 高级爬虫(一):Scrapy爬虫框架的安装 高级爬虫(一):Scrapy爬虫框架的安装 高级爬虫(一):Scrapy爬虫框架的安装 高级爬虫(一):Scrapy爬虫框架的安装


    公众号回复:Flask 可以获取一本Flask Web开发电子书


    最后 :大家也可以公众号主页上回复 加群 拉你进群学习,一个纯粹的Python学习环境!


    和大佬一起学习网络安全知识

    以上就是:高级爬虫(一):Scrapy爬虫框架的安装 的全部内容

    本站部分内容来源于互联网和用户投稿,如有侵权请联系我们删除,谢谢^^
    Email:[email protected]


    0 条回复 A 作者 M 管理员
      所有的伟大,都源于一个勇敢的开始!
    欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论