跳至主要內容

Python - jackssybin 的个人博客

 Python (24)

Python3下request处理cookie的两种方法

一、获取cookie 手动获取：手工登录获取cookie，登录成功后可以不断更新cookie到文件中存储。 参考：https://www.jianshu.com/p/5ef0c7bb1ed2 #导入requests包 import requests targetURL = '目标网站地址' #设置头UA headers = {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"} #开启一个session会话 session = requests.session() #设置请求头信息 session.headers = headers #申明一个用于存储手动cookies的字典 manual_cookies={} ##打开手动设置的cookies文件 #部分网站需要滑动验证，这里通过浏览器登录成功后获取cookies手动存到文本来绕过验证，后续cookies自动更新 w....

Python3绘图Turtle库详解

Turtle库是Python语言中一个很流行的绘制图像的函数库，想象一个小乌龟，在一个横轴为x、纵轴为y的坐标系原点，(0,0)位置开始，它根据一组函数指令的控制，在这个平面坐标系中移动，从而在它爬行的路径上绘制了图形。 turtle绘图的基础知识： 1. 画布(canvas)         画布就是turtle为我们展开用于绘图区域，我们可以设置它的大小和初始位置。         设置画布大小          turtle.screensize(canvwidth=None, canvheight=None, bg=None)，参数分别为画布的宽(单位像素), 高, 背景颜色。         如：turtle.screensize(800,600, "green")                turtle.screensize....

python3下chromedriver + headless + proxy+场景

1.标准头 # 导入selenium的浏览器驱动接口 from selenium import webdriver # 要想调用键盘按键操作需要引入keys包 from selenium.webdriver.common.keys import Keys # 导入chrome选项 from selenium.webdriver.chrome.options import Options chromeOptions.add_argument('--headless') #浏览器无窗口加载 chromeOptions.add_argument('--disable-gpu') #不开启GPU加速 ##解决报错: selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally (unknown error: DevToolsActivePort file doesn't exist) """ chromeOptions.add_ar....

centos7 安装chromedriver 有更新！

1.安装浏览器 指定yum 源 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 安装 curl https://intoli.com/install-google-chrome.sh | bash ldd /opt/google/chrome/chrome | grep "not found" 安装后，执行： google-chrome-stable --no-sandbox --headless --disable-gpu --screenshot https://www.baidu.com/ 成功之后会生成一个图片 查看 版本 很重要 google-chrome --version #Google Chrome 78.0.3904.108 #所以下载我们也只能下载对应的版本 2. 安装chromedriver 下载：https://npm.taobao.org/mirrors/chromedriver/ 索引 挑选自己系统匹配的 wget https:....

Centos7安装Python3.7

1.安装编译相关工具 yum -y groupinstall "Development tools" yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel yum install libffi-devel -y 2.下载安装包解压 cd #回到用户目录 wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tar.xz tar -xvJf Python-3.7.0.tar.xz 3.编译安装 mkdir /usr/local/python3 #创建编译安装目录 cd Python-3.7.0 ./configure --prefix=/usr/local/python3 make && make install 4.创建软连接 ln -s /usr/local/pyt....

python3线程池/进程池应用ThreadPoolExecutor

多种方法实现 python 线程池 一、 既然多线程可以缩短程序运行时间，那么，是不是线程数量越多越好呢？ 显然，并不是，每一个线程的从生成到消亡也是需要时间和资源的，太多的线程会占用过多的系统资源（内存开销，cpu开销），而且生成太多的线程时间也是可观的，很可能会得不偿失，这里给出一个最佳线程数量的计算方式： 最佳线程数的获取： 1、通过用户慢慢递增来进行性能压测，观察QPS（即每秒的响应请求数，也即是最大吞吐能力。），响应时间 2、根据公式计算:服务器端最佳线程数量=((线程等待时间+线程cpu时间)/线程cpu时间) * cpu数量 3、单用户压测，查看CPU的消耗，然后直接乘以百分比，再进行压测，一般这个值的附近应该就是最佳线程数量。 二、如何实现线程池？ 1、使用threadpool模块，这是个python的第三方模块，支持python2和python3 #! /usr/bin/env python # -- coding: utf-8 -- import threadpool import time def sayhello (a): print("hello: "+a....

pycharm永久激活使用（亲测可用，采用探针修改） 有更新！

一、 下载 Pycharm 2019版本： https://download.jetbrains.8686c.com/python/pycharm-professional-2018.3.3.exe。 二、 下载破解补丁和配置文件 链接：https://pan.baidu.com/s/1K2SLEeczQuMGl_4PC4dkqw 提取码：z7j6 三、 将破解文件放到pycharm的bin目录下 四、 修改自己pycharm里的真实路径 修改pycharm64.exe.vmoptions ，pycharm.exe.vmoptions 两个文件中的aggent目录地址 -Xms128m -Xmx750m -XX:ReservedCodeCacheSize=240m -XX:+UseConcMarkSweepGC -XX:SoftRefLRUPolicyMSPerMB=50 -ea -Dsun.io.useCanonCaches=false -Djava.net.preferIPv4Stack=true -Djdk.http.auth.tunneling.disabledSchemes=....

ubutun安装chrome浏览器 有更新！

一、安装Chrome浏览器 1、安装依赖 sudo apt-get install libxss1 libappindicator1 libindicator7 2、下载Chrome安装包 wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb 3、安装 sudo dpkg -i google-chrome*.deb sudo apt-get install -f 4、ubuntu如何安装lsb_release工具? sudo apt-get install lsb-core -y 二、安装ChromeDriver 1、安装xvfb以便我们可以无头奔跑地运行Chrome sudo apt-get install xvfb 2、安装依赖 sudo apt-get install unzip 3、下载安装包 wget -N http://chromedriver.storage.googleapis.com/2.26/chromedriver_linux....

阿里云ubutun python3.5.2卸载更新到3.6方法亲测有效

1.首先卸载一下python3.5的包 sudo apt-get remove python3.5 2.卸载python3.5以及它的依赖包 sudo apt-get remove --auto-remove python3.5 3.手动删除usr/bin 下面的包 如果前两步还不能删除完，自己去usr/bin/下删除python3.5相关的文件 4.安装python3.6 sudo apt-get install software-properties-common sudo add-apt-repository ppa:jonathonf/python-3.6 sudo apt-get update sudo apt-get install python3.6 5.安装python3.6 pip apt-get install python3-pip python3.6 -m pip install --upgrade pip 6.安装python3.6 pip 查询安装版本 python3 -V python -V pip -V

selenium经常使用api 有更新！

python-selenium官方文档可详细看用法 1.浏览器chromeDriver获取信息 1.driver.current_url：用于获得当前页面的URL 2.driver.title：用于获取当前页面的标题 3.driver.page_source:用于获取页面html源代码 4.driver.current_window_handle:用于获取当前窗口句柄 5.driver.window_handles:用于获取所有窗口句柄 6.driver.find_element_by***** 定位元素，有18种 7.driver.get(url):浏览器加载url。 8.driver.forward()：浏览器向前（点击向前按钮）。 9.driver.back()：浏览器向后（点击向后按钮）。 10.driver.refresh()：浏览器刷新（点击刷新按钮）。 11driver.close()：关闭当前窗口，或最后打开的窗口。 12.driver.quit():关闭所有关联窗口，并且安全关闭session。 13.driver.maximize_window():最大化浏览器窗口....

来来scrapy爬取各大网站每日热点新闻 有更新！

一.背景 最近玩爬虫，各种想爬，scrapy又非常好用。想多爬一点东西，决定爬一爬各大网站的热点新闻。 想到就开始做了哈 项目已经爬取： 豆瓣， 微博， 百度贴吧， 虎扑， github，百度今日热点 二.上代码 1.开始搭建项目 scrapy startproject crawl_everything #起了个叼叼的名字 2.修改配置文件 settings.py设置文件: ROBOTSTXT_OBEY = False # 下载延时 DOWNLOAD_DELAY = 0.5 #增加user-agent 这个可以拿自己浏览器的。也可以网上搜一些其他的。东西很多的 USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5' 初步设想，我只需要存取文章的标题和内容链接和抓取时间 修改items.py 那么定义的item如下： class CrawlEverythingItem(....

爬虫项目集合

WechatSogou https://github.com/Chyroc/WechatSogou 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。 DouBanSpider https://github.com/lanbing510/DouBanSpider 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存储到Excel不同的Sheet ，采用User Agent伪装为浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封。 zhihu_spider https://github.com/LiuRoy/zhihu_spider 知乎爬虫。此项目的功能是爬取知乎用户信息以及人际拓扑关系，爬虫框架使用scrapy，数据存储使用mongo bilibili-user https://github.com/airingursb/bilibili-user Bilibili用户爬虫....

实战5抓取猫眼电影榜单信息（requests+多进程）

1.目标网址https://maoyan.com/board/4?offset=0 一、引入相应的模块并编写获取源码的函数 import requests, re, json from lxml import etree from multiprocessing import Pool # 获取源码 def get_html(url): headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'} response = requests.get(url=url, headers=headers) return response.text 二、使用肉眼大法观察源码并且编写解析信息函数： 代码如下 ( 这里使用两种方式进行解析：XPath 和 正则 )： # 获取内容信息 def parse_html(html): selector = etree.HTML(htm....

实战2之爬取表情包

一、爬取表情包思路（http://www.doutula.com） 1、打开网站，点击最新套图 2、之后我们可以看到没有套图，我们需要提取每个套图的连接 3、获取连接之后，进入页面提取图片就好了 4、我们可以发现该网站还穿插有广告，我们需要过滤点广告 二、实战 关于新建项目我们就不再多说了。 1、首先我们提取第一页的url 通过上图我们可以发现我们想要的url全在class名为col-sm-9的div下， 红色框的部分为广告。不是a标签，所以我们就不用过滤了。我们直接选取col-sm-9下的直接子节点即可 写下如下代码： 值得注意的是在settings.py中需要添加头信息和将robots.txt协议修改为False 我们打上断点调试一下： 我们发现我们想要的信息已经提取出来了。 注意：在Request中的mate参数，是用来传递参数的，传递给下一个方法使用。使用方法和字典相似。 2、完善item 我们只需要三个字段，什么系列，图片url，图片名称。 3、提取item中我们需要的字段 4、下一页 5、保存 因为对scrapy保存图片没有研究，所以就自己写保存图片的方法。 ....

实战1爬取百度贴吧图片

1，目标： 爬取贴吧每一贴，楼主图，并保存。 由于图片大多是楼主发的，如果全部查找会浪费很多时间。 2，分析 我选择爬取的贴吧为图吧，你们可以选择自己想要爬取的贴吧。 2.1，获取页面 我们将爬取页面的代码写成一个get_html()方法,给他传入url参数 代码如图： 获取正常，没问题。 我们用chrome的开发者模式来分析每个贴的连接，用定位定位一个帖子，这样方便我们快速的去查找我们想要的信息。 如图： 2.2利用正则表达式找出我们想要的连接 通过查找，我们发现每个贴都是在class=“col2_right j_threalist_li/_right”下 我们可以让他成为一个标志位，通过它继续往下找，他有两个类名，我们选择后者即可。 <div.?j_threadlist_li_right.?>.?<a.?href="(.?)".?>(.*?) 返回的是一个数组，为了好看我们以字典的方式返回，用yield我们可以理解为返回值，在python基础里会讲，我们将获取的页面作为参数传进去，实现get_url方法。 如图： 我们来打印一下，看一下获取的是什么？ ....

核心 爬虫框架Scrapy的安装与基本使用

一、简单实例，了解基本。 1、安装Scrapy框架 这里如果直接pip3 install scrapy可能会出错。 所以你可以先安装lxml：pip3 install lxml(已安装请忽略)。 安装pyOpenSSL：在官网下载wheel文件。 安装Twisted：在官网下载wheel文件。 安装PyWin32：在官网下载wheel文件。 下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/ 配置环境变量：将scrapy所在目录添加到系统环境变量即可。 ctrl+f搜索即可。 最后安装scrapy，pip3 install scrapy 2、创建一个scrapy项目 新创建一个目录，按住shift-右键-在此处打开命令窗口 输入：scrapy startproject tutorial即可创建一个tutorial文件夹 文件夹目录如下： |-tutorial |-scrapy.cfg   |-init.py   |-items.py   |-middlewares.py   |-pipelin....

三大解析库的使用

1，XPath的使用 在使用前，需要安装lxml库。 安装代码：pip3 install lxml 1.1XPath的常用规则: / 表示选取直接子节点 // 表示选取所有子孙节点 . 选取当前节点 .. 选取当前结点的父节点 @ 选取属性 看完这些？你是不是还是一脸懵逼？下面我们来实际运用一下。 1.2实例引用 如图： 导入etree模块 etree.HTML()是构造一个XPath对象 etree.tostring()是对代码进行修正，如果有缺失的部分，会自动修复 方法比较简单，就不截取效果图了。 如果我们相对本地的文件进行解析怎么办？我们可以这样写 etree.parse()第一个参数为html的路径，第二（etree.HTMLParser()）和上面etree.HTML()的性质是一样的，为了方便，接下里我使用对本地文件进行解析。 html文本如下： 1.3获取所有的节点 结果： 开头用//表示选取所有符合的节点，*表示获取所有的节点， 上面两句话一看这不是一个意思吗？会不懂！ 我们可以分为两步理解: 第一步//是选取所有符合要求的节点，没有指明是什么要求！，不知道你要....

python第二大神器requests

首先你要安装requests库 安装代码：pip3 install requests 如果你没有安装pip3 请自行百度安装，本公众号已和百度达成合作不会的都可以去百度哦，不收费。 进入正题，我们来看一下requests的强大之处吧 1，get请求 是不是简单粗暴？相比上一篇舒服多了。 有什么属性？我也不知道哎，dir()一下？ 简单介绍几个属性： status_code：状态码 url：url text：内容 cookies：就是cookies 我们试着用get请求添加一些参数，用params参数就好 返回的结果： 添加headers: 以知乎为例：知乎不加头信息会500报错。 返回结果： 2，post请求以及添加参数 返回结果： 3，尝试用cookies登录知乎 其实urllib中也有有对cookies的操作，不过很麻烦，相比起来requests简单许多 登录知乎时打开开发者模式， 如图： 复制下cookie值，在headers中添加cookie值： 你会发现你已经可以看到登录后的结果了！ 此时要思考一个问题，每次爬取页面不会只有一个请求，那么每次请求都要添加c....

爬虫之urllib库的使用

首先什么是库？ 简单的说就是别人写好的东西，你拿来调用就可以实现基本的操作。比如电视你只用看，不用知道他是如何成像的。 urllib库之request（用来模拟HTTP请求）模块 request的第一个方法urlopen() 我们以淘宝为例写上这样一段代码： read()是返回得到的内容，decode('utf8')是编码格式。 返回的结果如下： 如果我们不想获取页面，只想获取请求的状态码或者头信息只需要 print(html.status)获取状态码,print(html.getheaders())获取头信息，可能你会说那莫多方法我怎么知道他有什么方法，此时只需要print(dir(html))一下，所有的方法，属性尽收眼底。那我怎么知道他是干什么的呢？help()一下就知道。 接下来我们来说一下urlopen()方法的参数： 我们利用上面说的去看一下有什么参数： 得到如下结果： 卧槽？怎么全英文？？？无奈，苦逼的我只好打开谷歌翻译。。。 data参数： data参数是干什么的？我们知道我们在登录的时候的会填写账号密码，那么我们模拟登录的时候也要填写，这个参数就是做这个的！值....

3.win10下python3爬虫美女图片逐步优化（多线程版本） 有更新！

coding: utf-8 import re import os import time import threading from multiprocessing import Pool, cpu_count import requests from bs4 import BeautifulSoup HEADERS = { 'X-Requested-With': 'XMLHttpRequest', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 ' '(KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36', 'Referer': 'http://www.mzitu.com' } save_path='D:\data\crawl\meizitujk\' base_url = 'http://m.772586.com' lock = threading.Lock() # 全局资源锁 def urls_crawler_index(url....

2.win10下python2爬虫美女图片逐步优化 有更新！

-- coding: utf-8 - #完成通用爬虫，抓取一个页面队列中所有图片 import requests import re import time from bs4 import BeautifulSoup import uuid import urllib import os import sys reload(sys) sys.setdefaultencoding("utf-8") headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36' } base_url='http://m.17786.com' base_img_url='https://wcyouxi.sc601.com/file/p/20190803/21/ordurlsatqe.jpg' save_path='C:\Users\jackssy\Pictures\Camera Roll\crawl....

2.pytho2 各种环境安装 有更新！

pytho2 各种环境安装 Python2 安装MySQLdb库 python2.exe -m pip install mysqlclient==1.3.12 各种报错，搜索搜索，找到 https://www.lfd.uci.edu/~gohlke/pythonlibs/#mysql-python 去下载对应环境版本插件。下载重新安装 python2.exe -m pip install ext\MySQL_python-1.2.5-cp27-none-win_amd64.whl Python2 安装 redis pip install redis Python2 安装 requests pip install requests Python2 安装 QyQt5 pip install python-qt5 Python2 安装beautifulsoap pip install beautifulsoup4==4.3.2 Pytho2 安装lxml pip install lxml

1.win10下python2和python3共存 有更新！

windows 下安装python 环境使python2和python3 共存 环境 win10 64 位 1.开搞 去 pyhon 官网 https://www.python.org/downloads/windows/ 找到python的两个版本分别下载到本地 2.因为要安装两个版本，所以将2和3 安装在一个父文件夹下了 D:\python\python2.7 D:\python\python3.7 3.配置环境变量 打开系统属性->高级->环境变量->系统变量->Path 编辑 增加 D:\python\python2.7 D:\python\python2.7\Scripts D:\python\python3.7 D:\python\python3.7\Scripts 到环境变量中 4.因为要共存所以去 D:\python\python2.7 中将 python.exe 改为-->python2.exe ，pythonw.exe 改为 -->pythonw2.exe D:\python\python3.7 中将 python.exe 改为-....

python基础之常用模块 有更新！

Python生成requirements.txt方法 pip freeze > requirements.txt 安装requirements.txt依赖 pip install -r requirements.txt 常用模块 socket模块 常用于通讯，任何通讯工具中都含有socket，比如qq，微信。 udp实例： 导入模块 import socket def main(): # 创建套接字 # 参数一：ip协议，socket.AF_INET表示ipv4协议。 # 参数二：使用udp协议还是tcp协议 socket.SOCK_DGRAM表示udp协议。 udp_socket = socket.socket(socket.AF_INET,socket.SOCK_DGRAM) # 绑定信息，里面是一个元组，第一个参数为ip，""表示自己的ip # 第二个表示端口号 udp_socket.bind(("",7890)) # 接收对方的ip地址 dest_ip = input("请输入对方的ip：") # 接收对方的端口(port) dest_port = int(input("....