Python 环境、requests、urllib、Scrapy、Selenium、ChromeDriver 和爬虫实战。
核心文章：这篇文章适合作为 Python 爬虫专题的路线入口，先建立 Scrapy 项目结构、Spider、Item 和 Pipeline 的基础认识。
一、简单实例，了解基本。 1、安装Scrapy框架 这里如果直接pip3 install scrapy可能会出错。 所以你可以先安装lxml：pip3 install lxml(已安装请忽略)。 安装pyOpenSSL：在官网下载wheel文件。 安装Twisted：在官网下载wheel文件。 安装PyWin32：在官网下载wheel文件。 下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/ 配置环境变量：将scrapy所在目录添加到系统环境变量即可。 ctrl+f搜索即可。 最后安装scrapy，pip3 install scrapy 2、创建一个scrapy项目 新创建一个目录，按住shift-右键-在此处打开命令窗口 输入：scrapy startproject tutorial即可创建一个tutorial文件夹 文件夹目录如下： |-tutorial |-scrapy.cfg |-init.py |-items.py |-middlewares.py |-pipelin....
一、获取cookie 手动获取：手工登录获取cookie，登录成功后可以不断更新cookie到文件中存储。 参考：https://www.jianshu.com/p/5ef0c7bb1ed2 #导入requests包 import requests targetURL = '目标网站地址' #设置头UA headers = {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"} #开启一个session会话 session = requests.session() #设置请求头信息 session.headers = headers #申明一个用于存储手动cookies的字典 manual_cookies={} ##打开手动设置的cookies文件 #部分网站需要滑动验证，这里通过浏览器登录成功后获取cookies手动存到文本来绕过验证，后续cookies自动更新 w....
Turtle库是Python语言中一个很流行的绘制图像的函数库，想象一个小乌龟，在一个横轴为x、纵轴为y的坐标系原点，(0,0)位置开始，它根据一组函数指令的控制，在这个平面坐标系中移动，从而在它爬行的路径上绘制了图形。 turtle绘图的基础知识： 1. 画布(canvas) 画布就是turtle为我们展开用于绘图区域，我们可以设置它的大小和初始位置。 设置画布大小 turtle.screensize(canvwidth=None, canvheight=None, bg=None)，参数分别为画布的宽(单位像素), 高, 背景颜色。 如：turtle.screensize(800,600, "green") turtle.screensize....
1.标准头 # 导入selenium的浏览器驱动接口 from selenium import webdriver # 要想调用键盘按键操作需要引入keys包 from selenium.webdriver.common.keys import Keys # 导入chrome选项 from selenium.webdriver.chrome.options import Options chromeOptions.add_argument('--headless') #浏览器无窗口加载 chromeOptions.add_argument('--disable-gpu') #不开启GPU加速 ##解决报错: selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally (unknown error: DevToolsActivePort file doesn't exist) """ chromeOptions.add_ar....
1.安装浏览器 指定yum 源 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 安装 curl https://intoli.com/install-google-chrome.sh | bash ldd /opt/google/chrome/chrome | grep "not found" 安装后，执行： google-chrome-stable --no-sandbox --headless --disable-gpu --screenshot https://www.baidu.com/ 成功之后会生成一个图片 查看 版本 很重要 google-chrome --version #Google Chrome 78.0.3904.108 #所以下载我们也只能下载对应的版本 2. 安装chromedriver 下载：https://npm.taobao.org/mirrors/chromedriver/ 索引 挑选自己系统匹配的 wget https:....
1.首先卸载一下python3.5的包 sudo apt-get remove python3.5 2.卸载python3.5以及它的依赖包 sudo apt-get remove --auto-remove python3.5 3.手动删除usr/bin 下面的包 如果前两步还不能删除完，自己去usr/bin/下删除python3.5相关的文件 4.安装python3.6 sudo apt-get install software-properties-common sudo add-apt-repository ppa:jonathonf/python-3.6 sudo apt-get update sudo apt-get install python3.6 5.安装python3.6 pip apt-get install python3-pip python3.6 -m pip install --upgrade pip 6.安装python3.6 pip 查询安装版本 python3 -V python -V pip -V
python-selenium官方文档可详细看用法 1.浏览器chromeDriver获取信息 1.driver.current_url：用于获得当前页面的URL 2.driver.title：用于获取当前页面的标题 3.driver.page_source:用于获取页面html源代码 4.driver.current_window_handle:用于获取当前窗口句柄 5.driver.window_handles:用于获取所有窗口句柄 6.driver.find_element_by***** 定位元素，有18种 7.driver.get(url):浏览器加载url。 8.driver.forward()：浏览器向前（点击向前按钮）。 9.driver.back()：浏览器向后（点击向后按钮）。 10.driver.refresh()：浏览器刷新（点击刷新按钮）。 11driver.close()：关闭当前窗口，或最后打开的窗口。 12.driver.quit():关闭所有关联窗口，并且安全关闭session。 13.driver.maximize_window():最大化浏览器窗口....
一.背景 最近玩爬虫，各种想爬，scrapy又非常好用。想多爬一点东西，决定爬一爬各大网站的热点新闻。 想到就开始做了哈 项目已经爬取： 豆瓣， 微博， 百度贴吧， 虎扑， github，百度今日热点 二.上代码 1.开始搭建项目 scrapy startproject crawl_everything #起了个叼叼的名字 2.修改配置文件 settings.py设置文件: ROBOTSTXT_OBEY = False # 下载延时 DOWNLOAD_DELAY = 0.5 #增加user-agent 这个可以拿自己浏览器的。也可以网上搜一些其他的。东西很多的 USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5' 初步设想，我只需要存取文章的标题和内容链接和抓取时间 修改items.py 那么定义的item如下： class CrawlEverythingItem(....
WechatSogou https://github.com/Chyroc/WechatSogou 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。 DouBanSpider https://github.com/lanbing510/DouBanSpider 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存储到Excel不同的Sheet ，采用User Agent伪装为浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封。 zhihu_spider https://github.com/LiuRoy/zhihu_spider 知乎爬虫。此项目的功能是爬取知乎用户信息以及人际拓扑关系，爬虫框架使用scrapy，数据存储使用mongo bilibili-user https://github.com/airingursb/bilibili-user Bilibili用户爬虫....
1.目标网址https://maoyan.com/board/4?offset=0 一、引入相应的模块并编写获取源码的函数 import requests, re, json from lxml import etree from multiprocessing import Pool # 获取源码 def get_html(url): headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'} response = requests.get(url=url, headers=headers) return response.text 二、使用肉眼大法观察源码并且编写解析信息函数： 代码如下 ( 这里使用两种方式进行解析：XPath 和 正则 )： # 获取内容信息 def parse_html(html): selector = etree.HTML(htm....
创建爬虫项目: scrapy startproject 项目名 scrapy startproject tencent 查看当前可以使用的爬虫模板: scrapy genspider -l 基于任意模板生成一个爬虫文件: scrapy genspider -t 模板 自定义爬虫名 域名 scrapy genspider -t basic tencentSpider careers.tencent.com 执行爬虫文件(后面有：--nolog 表示不打印日记): scrapy crawl 爬虫名 --nolog 我们打开腾讯招聘网页，并观察切换页面时候的变化以及我们需要爬取的信息字段的效果图如下： 修改了实体文件之后，我们在观察需要提取数据的标签特点，效果图如下： 从途中可以看到，我们需要的数据都在 tr 标签中，但是细心的同学会发现，由于这些列表是斑马线的颜色，因此他们有两个不同的 class 属性类型，好了，我们现在Spisers 文件夹下创建一个基于 basic 模板的爬虫文件并处理爬取操作： # -- coding: utf-8 -- import scrapy from....
由于 JavaScript 动态渲染的页面不止 Ajax 这一种，有些网站获取数据并不包含Ajax请求，有些网站是对 Ajax 进行加密处理；为了解决这写问题，我们可以直接使用模拟浏览器运行的方式来实现，这样就可以做到在浏览器中看到是什么样，抓取的源码就是什么样，也就可见即可抓。 Python提供了许多模拟浏览器运行的库，如 Selenium、Splash、PyV8、Ghost 等；我们接下来以 Selenium为例，那么要使用的话我们就必须要做相应的安装，这里要注意一点的是由于我们操作的是 谷歌浏览器，因此再使用这个库之前必须要先安装好 谷歌浏览器以及操作浏览器的驱动执行文件。 一、操作前准备 安装谷歌浏览器 通过命令安装库：pip install selenium 下载谷歌浏览器驱动并配置环境变量 http://npm.taobao.org/mirrors/chromedriver/ 二、基本操作 自动打开百度首页并休眠几秒钟后自动关闭 from selenium import webdriver import time driver = webdriver.Chrome() # ....
一、爬取表情包思路（http://www.doutula.com） 1、打开网站，点击最新套图 2、之后我们可以看到没有套图，我们需要提取每个套图的连接 3、获取连接之后，进入页面提取图片就好了 4、我们可以发现该网站还穿插有广告，我们需要过滤点广告 二、实战 关于新建项目我们就不再多说了。 1、首先我们提取第一页的url 通过上图我们可以发现我们想要的url全在class名为col-sm-9的div下， 红色框的部分为广告。不是a标签，所以我们就不用过滤了。我们直接选取col-sm-9下的直接子节点即可 写下如下代码： 值得注意的是在settings.py中需要添加头信息和将robots.txt协议修改为False 我们打上断点调试一下： 我们发现我们想要的信息已经提取出来了。 注意：在Request中的mate参数，是用来传递参数的，传递给下一个方法使用。使用方法和字典相似。 2、完善item 我们只需要三个字段，什么系列，图片url，图片名称。 3、提取item中我们需要的字段 4、下一页 5、保存 因为对scrapy保存图片没有研究，所以就自己写保存图片的方法。 ....
1，目标： 爬取贴吧每一贴，楼主图，并保存。 由于图片大多是楼主发的，如果全部查找会浪费很多时间。 2，分析 我选择爬取的贴吧为图吧，你们可以选择自己想要爬取的贴吧。 2.1，获取页面 我们将爬取页面的代码写成一个get_html()方法,给他传入url参数 代码如图： 获取正常，没问题。 我们用chrome的开发者模式来分析每个贴的连接，用定位定位一个帖子，这样方便我们快速的去查找我们想要的信息。 如图： 2.2利用正则表达式找出我们想要的连接 通过查找，我们发现每个贴都是在class=“col2_right j_threalist_li/_right”下 我们可以让他成为一个标志位，通过它继续往下找，他有两个类名，我们选择后者即可。 <div.?j_threadlist_li_right.?>.?<a.?href="(.?)".?>(.*?) 返回的是一个数组，为了好看我们以字典的方式返回，用yield我们可以理解为返回值，在python基础里会讲，我们将获取的页面作为参数传进去，实现get_url方法。 如图： 我们来打印一下，看一下获取的是什么？ ....
1，XPath的使用 在使用前，需要安装lxml库。 安装代码：pip3 install lxml 1.1XPath的常用规则: / 表示选取直接子节点 // 表示选取所有子孙节点 . 选取当前节点 .. 选取当前结点的父节点 @ 选取属性 看完这些？你是不是还是一脸懵逼？下面我们来实际运用一下。 1.2实例引用 如图： 导入etree模块 etree.HTML()是构造一个XPath对象 etree.tostring()是对代码进行修正，如果有缺失的部分，会自动修复 方法比较简单，就不截取效果图了。 如果我们相对本地的文件进行解析怎么办？我们可以这样写 etree.parse()第一个参数为html的路径，第二（etree.HTMLParser()）和上面etree.HTML()的性质是一样的，为了方便，接下里我使用对本地文件进行解析。 html文本如下： 1.3获取所有的节点 结果： 开头用//表示选取所有符合的节点，*表示获取所有的节点， 上面两句话一看这不是一个意思吗？会不懂！ 我们可以分为两步理解: 第一步//是选取所有符合要求的节点，没有指明是什么要求！，不知道你要....
首先你要安装requests库 安装代码：pip3 install requests 如果你没有安装pip3 请自行百度安装，本公众号已和百度达成合作不会的都可以去百度哦，不收费。 进入正题，我们来看一下requests的强大之处吧 1，get请求 是不是简单粗暴？相比上一篇舒服多了。 有什么属性？我也不知道哎，dir()一下？ 简单介绍几个属性： status_code：状态码 url：url text：内容 cookies：就是cookies 我们试着用get请求添加一些参数，用params参数就好 返回的结果： 添加headers: 以知乎为例：知乎不加头信息会500报错。 返回结果： 2，post请求以及添加参数 返回结果： 3，尝试用cookies登录知乎 其实urllib中也有有对cookies的操作，不过很麻烦，相比起来requests简单许多 登录知乎时打开开发者模式， 如图： 复制下cookie值，在headers中添加cookie值： 你会发现你已经可以看到登录后的结果了！ 此时要思考一个问题，每次爬取页面不会只有一个请求，那么每次请求都要添加c....
首先什么是库？ 简单的说就是别人写好的东西，你拿来调用就可以实现基本的操作。比如电视你只用看，不用知道他是如何成像的。 urllib库之request（用来模拟HTTP请求）模块 request的第一个方法urlopen() 我们以淘宝为例写上这样一段代码： read()是返回得到的内容，decode('utf8')是编码格式。 返回的结果如下： 如果我们不想获取页面，只想获取请求的状态码或者头信息只需要 print(html.status)获取状态码,print(html.getheaders())获取头信息，可能你会说那莫多方法我怎么知道他有什么方法，此时只需要print(dir(html))一下，所有的方法，属性尽收眼底。那我怎么知道他是干什么的呢？help()一下就知道。 接下来我们来说一下urlopen()方法的参数： 我们利用上面说的去看一下有什么参数： 得到如下结果： 卧槽？怎么全英文？？？无奈，苦逼的我只好打开谷歌翻译。。。 data参数： data参数是干什么的？我们知道我们在登录的时候的会填写账号密码，那么我们模拟登录的时候也要填写，这个参数就是做这个的！值....
pytho2 各种环境安装 Python2 安装MySQLdb库 python2.exe -m pip install mysqlclient==1.3.12 各种报错，搜索搜索，找到 https://www.lfd.uci.edu/~gohlke/pythonlibs/#mysql-python 去下载对应环境版本插件。下载重新安装 python2.exe -m pip install ext\MySQL_python-1.2.5-cp27-none-win_amd64.whl Python2 安装 redis pip install redis Python2 安装 requests pip install requests Python2 安装 QyQt5 pip install python-qt5 Python2 安装beautifulsoap pip install beautifulsoup4==4.3.2 Pytho2 安装lxml pip install lxml
windows 下安装python 环境使python2和python3 共存 环境 win10 64 位 1.开搞 去 pyhon 官网 https://www.python.org/downloads/windows/ 找到python的两个版本分别下载到本地 2.因为要安装两个版本，所以将2和3 安装在一个父文件夹下了 D:\python\python2.7 D:\python\python3.7 3.配置环境变量 打开系统属性->高级->环境变量->系统变量->Path 编辑 增加 D:\python\python2.7 D:\python\python2.7\Scripts D:\python\python3.7 D:\python\python3.7\Scripts 到环境变量中 4.因为要共存所以去 D:\python\python2.7 中将 python.exe 改为-->python2.exe ，pythonw.exe 改为 -->pythonw2.exe D:\python\python3.7 中将 python.exe 改为-....
Python生成requirements.txt方法 pip freeze > requirements.txt 安装requirements.txt依赖 pip install -r requirements.txt 常用模块 socket模块 常用于通讯，任何通讯工具中都含有socket，比如qq，微信。 udp实例： 导入模块 import socket def main(): # 创建套接字 # 参数一：ip协议，socket.AF_INET表示ipv4协议。 # 参数二：使用udp协议还是tcp协议 socket.SOCK_DGRAM表示udp协议。 udp_socket = socket.socket(socket.AF_INET,socket.SOCK_DGRAM) # 绑定信息，里面是一个元组，第一个参数为ip，""表示自己的ip # 第二个表示端口号 udp_socket.bind(("",7890)) # 接收对方的ip地址 dest_ip = input("请输入对方的ip：") # 接收对方的端口(port) dest_port = int(input("....
