实战2之爬取表情包
一、爬取表情包思路（http://www.doutula.com） 1、打开网站，点击最新套图 2、之后我们可以看到没有套图，我们需要提取每个套图的连接 3、获取连接之后，进入页面提取图片就好了 4、我们可以发现该网站还穿插有广告，我们需要过滤点广告 二、实战 关于新建项目我们就不再多说了。 1、首先我们提取第一页的url 通过上图我们可以发现我们想要的url全在class名为col-sm-9的div下， 红色框的部分为广告。不是a标签，所以我们就不用过滤 ......
python学习
scrapy
|
2019-09-03
0 评论
4,202 浏览
实战1爬取百度贴吧图片
1，目标： 爬取贴吧每一贴，楼主图，并保存。 由于图片大多是楼主发的，如果全部查找会浪费很多时间。 2，分析 我选择爬取的贴吧为图吧，你们可以选择自己想要爬取的贴吧。 2.1，获取页面 我们将爬取页面的代码写成一个get_html()方法,给他传入url参数 代码如图： 获取正常，没问题。 我们用chrome的开发者模式来分析每个贴的连接，用定位定位一个帖子，这样方便我们快速的去查找我们想要的信息。 如图： 2.2利用正则表达式找出我们想要的连接 通过查 ......
python学习
python实战
|
2019-09-02
0 评论
4,396 浏览
爬虫框架Scrapy的安装与基本使用
一、简单实例，了解基本。 1、安装Scrapy框架 这里如果直接pip3 install scrapy可能会出错。 所以你可以先安装lxml：pip3 install lxml(已安装请忽略)。 安装pyOpenSSL：在官网下载wheel文件。 安装Twisted：在官网下载wheel文件。 安装PyWin32：在官网下载wheel文件。 下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/ 配置环境变量：将sc ......
scrapy
python学习
|
2019-09-01
0 评论
4,219 浏览
三大解析库的使用
1，XPath的使用 在使用前，需要安装lxml库。 安装代码：pip3 install lxml 1.1XPath的常用规则: / 表示选取直接子节点 // 表示选取所有子孙节点 . 选取当前节点 .. 选取当前结点的父节点 @ 选取属性 看完这些？你是不是还是一脸懵逼？下面我们来实际运用一下。 1.2实例引用 如图： 导入etree模块 etree.HTML()是构造一个XPath对象 etree.tostring()是对代码进行修正，如果有缺失的部分 ......
python学习
scrapy
|
2019-08-30
0 评论
4,204 浏览
python第二大神器requests
首先你要安装requests库 安装代码：pip3 install requests 如果你没有安装pip3 请自行百度安装，本公众号已和百度达成合作不会的都可以去百度哦，不收费。 进入正题，我们来看一下requests的强大之处吧 1，get请求 是不是简单粗暴？相比上一篇舒服多了。 有什么属性？我也不知道哎，dir()一下？ 简单介绍几个属性： status_code：状态码 url：url text：内容 cookies：就是cookies 我们试 ......
python学习
|
2019-08-29
0 评论
4,266 浏览
爬虫之urllib库的使用
首先什么是库？ 简单的说就是别人写好的东西，你拿来调用就可以实现基本的操作。比如电视你只用看，不用知道他是如何成像的。 urllib库之request（用来模拟HTTP请求）模块 request的第一个方法urlopen() 我们以淘宝为例写上这样一段代码： read()是返回得到的内容，decode('utf8')是编码格式。 返回的结果如下： 如果我们不想获取页面，只想获取请求的状态码或者头信息只需要 print(html.status)获取状态码, ......
python学习
|
2019-08-28
0 评论
4,176 浏览
3.win10下python3爬虫美女图片逐步优化（多线程版本）
# coding: utf-8 import re import os import time import threading from multiprocessing import Pool, cpu_count import requests from bs4 import BeautifulSoup HEADERS = { 'X-Requested-With': 'XMLHttpRequest', 'User-Agent': 'Mozilla/5.0 ......
python学习
|
2019-08-13
1 评论
5,701 浏览
1.springboot+mybatisplus+generate 自动生成
1.官网生成springboot https://start.spring.io/ 2.mybatis-plus官网生成 mybatis-plus官网快速开始 3.spring boot 增加mysql，druid 相关 4.0.0 org.springframework.boot spring-boot-starter-parent 2.1.6.RELEASE com.jackssy.boot JFullStack 0.0.1-S ......
java
|
2019-08-15
0 评论
4,478 浏览
2.win10下python2爬虫美女图片逐步优化
# -*- coding: utf-8 -* #完成通用爬虫，抓取一个页面队列中所有图片 import requests import re import time from bs4 import BeautifulSoup import uuid import urllib import os import sys reload(sys) sys.setdefaultencoding("utf-8") headers={ 'User-Agent':'Moz ......
python学习
|
2019-08-05
0 评论
5,453 浏览
2.pytho2 各种环境安装
pytho2 各种环境安装 Python2 安装MySQLdb库 python2.exe -m pip install mysqlclient==1.3.12 各种报错，搜索搜索，找到 https://www.lfd.uci.edu/~gohlke/pythonlibs/#mysql-python 去下载对应环境版本插件。下载重新安装 python2.exe -m pip install ext\MySQL_python-1.2.5-cp27-none ......
python学习
|
2019-08-04
0 评论
4,323 浏览
1.win10下python2和python3共存
windows 下安装python 环境使python2和python3 共存 环境 win10 64 位 1.开搞 去 pyhon 官网 https://www.python.org/downloads/windows/ 找到python的两个版本分别下载到本地 2.因为要安装两个版本，所以将2和3 安装在一个父文件夹下了 D:\python\python2.7 D:\python\python3.7 3.配置环境变量 打开系统属性->高级-> ......
python学习
|
2019-08-04
0 评论
4,454 浏览
Lists.transform的使用和采坑
Lists.transform的使用 Lists.transform：能够轻松的从一种类型的list转换为另一种类型的list。 Map<String,String> map = Maps.newHashMap(); map.put("a","testa"); map.put("b","test2"); map.put("c","test3"); Map<String,String> map = Maps.newHashMap(); ......
guava
|
2019-07-31
1 评论
8,719 浏览
我在 GitHub 上的开源项目
boot_base_all Java ?2 ⭐️2 ?1 2. work_base Java ?1 ⭐️0 ?0 3. test-jackssy Java ?1 ⭐️0 ?0 4. kaisagroup_plateform Java ?1 ⭐️0 ?0 5. kaisagroup_mi ......
开源
GitHub
|
2019-07-31
0 评论
6,296 浏览