第三章简单静态网页爬取

Imagemap
第三章简单静态网页爬取实现HTTP请求Http请求过程生成请求->（请求头处理，超时设置，请求重试）->查看状态码等urllib3urllib3网址https://pypi.org/project/urllib3/ 重要特性:8个线程安全*管理连接池客户端SSL/TLS验证使用分部编码上传文件协助处理重复请求的HTTP重定位支持压缩编码支持HTTP和 SOCKS代理测试覆盖率达到100%生成请求urllib3.request(method,url,fields,header ...method:请求类型,如GET,HEAD,DELETE等，必填url:网址,必填fields:请求参数，默认Noneheaders:请求头参数,默认Nonetimeout：超时时间(秒)如: timeout=3.0如:urllib3.Timeout(connect=1.0,read=3.0)retries:请求重试(次)如:retries=10如:retries=5,redirect=4如:retries=5如:redirect=Falseurllib3请求实例SY_3_5_URLLIB_HTTP.pyrequestsrequests网址http://www.python-requests.org/en/master ...特性:15个Keep-Alive&连接池基本/摘要式的身份认证文件分块上传国际化域名和URL优雅的 key/value Cookie流下载带持久Cookie的会话自动解压连接超时浏览器式的SSL认证Unicode响应体分块请求自动内容解码HTTP(S)代理支持支持.netrc生成请求requests常用方法requests.getrqg=requests.get(url)rqg.status_code:返回状态码rqg.encoding:查看编码rqg.headers:查看响应头rqg.text:查看网页内容chardet.detect(rqg.content)['encoding']编 ...rqg=requests.get(url,headers,timeout)timeout:超时(秒)headers:请求头requests.headrequests.postrequests.requestmethodurlparamsdatajsonheaderscookiesauthtimeoutproxiesallow_redirectsstreamverifycertrequests请求实例SY_3_11_REQUESTS_GET.py解析网页Chrome开发者开发者工具多种方式打开(F12,Ctrl+Shift+I等)工具面板9个*元素面板*控制台面板*源代码面板*网络面板性能面板内存面板应用面板安全面板审查面板常用面板元素面板HTML,CSS.DOM可以查看元素在页面对应的位置控制台面板可以查看警告或错误可以JS交互源代码面板可以进行JS调试可以查看HTML源码网络面板*查看资源，HTTP请求头,响应内容,Cookies,Timing正则表达式正则表达式学习站点https://www.runoob.com/regexp/regexp-syn ...https://www.runoob.com/python/python-reg ...常用表达式.*? re模块使用步骤先将正则表达式的字符串形式编译为Pattern实例然后使用Pattern实例处理文本并获得匹配结果（一个Match实例）最后使用Match实例获得信息，进行其他的操作常用方法compile,match,search,split,findall,f ...re.compile(pattern,flags=0)flag参数可选值 re.M多行模式rs.S将'.'置为匹配任意字符,常见.*?rs.I忽略大小写re.search(pattern,string,flags=0)re.findall(pattern,string,flags=0)re获取网页标题实例SY_3_14_RE_TITLE.pyXpath解析网页基本语法构造对象： html=lxml.etree.HTML(text,parser,* ...text:需要转换为HTML的字符串paser:HTML解析器如:etree.HTMLParser(encoding='utf-8')base_url:原始URLXpath匹配内容常用表达式nodename:选取nodename节点的所有子节点/:从当前节点选取直接子节点//:从当前节点选取所有子孙节点.:选取当前节点..:选取当前节点的父节点@:选取属性如: result=html.xpath('head')谓语谓语用来查找 某个特定的节点或包含某个指定的值 的节点谓语被嵌在路径后的方括号中谓语常用表达式/html/body/div[1]:选取body子节点的第一个div节点/html/body/div[last()]:选取 body子节点的最后一个 d .../html/body/div[last()-1]:选取 body子节点的倒数第二 .../html/body/div[position()<3]:选取属于body子节点 .../html/body/div[@id]:选取属于 body子节点的带有id属性的 .../html/body/div[@id="content"]:选取属于body子节 .../html/body/div[xx>10.00]:选取属于body子节点的xx元 ...如:result=html.xpath('//header[@class]')功能函数模糊搜索功能，只需部分特征就可搜索常用的功能函数starts-with//div[starts-with(@id,"co")]contains//div[contains(@id,"co")]and//div[contains(@id,"co") and contains(@i ...text//li[contains(text(),"first")]如:title=html.xpath('//title/text()')xpath提取header节点下全部标题文本及对应链接实例SY_3_20_LXML_XPATH_4.pyBeautiful Soup解析网页解析器html.parsetlxmllxml-xml或xmlhtml5lib默认创建对象BeautifulSoup("..."):通过字符串创建BeautifulSoup(open("index.html")):通过HTML ...BeautifulSoup(html,'lxml):指定lxml解析器创建BS4 ...格式化输出BeautifulSoup.prettify(self, encoding=No ...对象类型Tagsoup.headsoup.body.asoup.find_all('a')tag属性tag.name:获取tag的nametag.attrs:获取tag对象的全部属性tag['class']:获取tab的class属性NavigableStringsoup.title.string:获取tag对象中包含的字符串BeautifulSouptype(soup)Comment是文档的注释使用soup.tag.string获得是个可以直接输出 的字符串搜索节点rlt=find_all(name,attrs,recursive,string ...name:名为name的tag对象attrs:css类名的tag对象recursive:是否检索所有子孙节点，默认truestring:匹配字符串的内容搜索子节点rlt2 = rlt.find_all("a")for i in rlt2: print i.string选择子节点select#通过tag标签逐层查找 soup.select("html head titl ...#寻找直接子标签 soup.select("head > title")#选择所有紧接着id为link1元素之后的class为sister的元素 sou ...#选择p元素之后的每一个ul元素 soup.select("p + ul")#同时用多种CSS选择器查询元素 soup.select("#link1,#li ...#通过查询元素属性 soup.select('a[href="http://ex ...#通过语言查找 soup.select('p[lang|=en]')select_one#查找第一个元素 soup.select_one(".sister") 查找父节点find_parent()#查找a的父节点中的P标签 a_string.find_parent("p")查兄弟节点find_next_sibling()BS4搜索目标并提取文本内容实例SY_3_28_BS4_PRETTIFY_8.py存储数据存为JSON文件编码与解码编码过程为将Python对象转换为Json对象的过程Python对象html.xpathJson对象{key:value,key2:value2}解码过程为将 Json对象转换为Python对象的过程json.dump：将JSON对象写入文件内json.load()用于从json文件中读取数据json.dumps：生成一个字符串json.loads(str):str类型的数据转成dictdump&dumps参数skipkeys:是否跳过非python基本类型的keyensure_ascii:非 ASCII字符显示成\uXXX格式,设为False ...indent:是否缩进格式化,若值>=0,则按该值缩排,否则若为None,则一行 ...separators:分隔符,{key:value,key2:value2}(' ...encoding:编码,默认utf-8sort_keys:根据keys的值 进行排序dump导出Json文件实例SY_3_29_JSON_FILE.py存储到MySQL创建test库1,打开mysql workbench客户端2,左侧树图空白处->右击->创建schema3,输入schema名称,选择字符集utf8,utf8_bin ->apply应 ...4,如何修改schema和表字符集,如视频修改schema和表字符集视频连接方法pymysql.connect(host,port,user,passwd,db ...host,port:主机和端口(3306)本地localhost127.0.0.1它机home.hddly.cn192.168.31.11user,passwd:用户和密码db:数据库名charset:编码,建议utf8connect_timeout:连接超时,默认10秒use_unicode:以unicode格式返回,默认None连接对象connectcommit:提交事务rollback:事务回滚cursor:创建游标close:关闭游标execute:执行sql，可以增加、删除、修改记录executemany:执行多条sqlfetchone:获取一条记录fetchall:获取全部记录scroll:游标滚动存储到MySQL实例SY_3_31_PYMYSQL.py常见问题1,入库时脚本运行提示错误:Incorrect String value...错误信处如图更改数据库和表的字符集为utf8，如视频修改schema和表字符集视频实训内容实训一实训要求熟练使用urllib3库urllib3请求实例SY_3_5_URLLIB_HTTP.py熟练使用 requests库requests请求实例SY_3_11_REQUESTS_GET.pytaobao商品采集:SY_4_3_TAOBAO.py,超星随堂实训二实训要求 熟练使用Chrome开发者工具取元素的Xpath路径和选择器路径取Cookies熟练使用正则表达式re获取网页标题实例SY_3_14_RE_TITLE.py熟练使用Xpathxpath提取header节点下全部标题文本及对应链接实例SY_3_20_LXML_XPATH_4.py熟练使用BeautifulSoupBS4搜索目标并提取文本内容实例SY_3_28_BS4_PRETTIFY_8.py实训三实训要求熟练使用JSON库dump导出Json文件实例SY_3_29_JSON_FILE.py熟练使用PyMySQL库存储到MySQL实例SY_3_31_PYMYSQL.py
hide
第三章简单静态网页爬取
hide
实现HTTP请求 User Link
hidemessagebox_warning
Http请求过程
leaf
生成请求->（请求头处理，超时设置，请求重试）->查看状态码等
hide
urllib3
hide
urllib3网址
leaf
https://pypi.org/project/urllib3/
hide
重要特性:8个
leaf
线程安全
leaf
*管理连接池
leaf
客户端SSL/TLS验证
leaf
使用分部编码上传文件
leaf
协助处理重复请求的HTTP重定位
leaf
支持压缩编码
leaf
支持HTTP和 SOCKS代理
leaf
测试覆盖率达到100%
hide
生成请求
hide
urllib3.request(method,url,fields,headersurlopen_kw)
leaf
method:请求类型,如GET,HEAD,DELETE等，必填
leaf
url:网址,必填
leaf
fields:请求参数，默认None
leaf
headers:请求头参数,默认None
hide
timeout：超时时间(秒)
Arrow Link
leaf
如: timeout=3.0
leaf
如:urllib3.Timeout(connect=1.0,read=3.0)
hide
retries:请求重试(次)
leaf
如:retries=10
leaf
如:retries=5,redirect=4
leaf
如:retries=5
leaf
如:redirect=False
hide
urllib3请求实例
leaf
SY_3_5_URLLIB_HTTP.py User Link
hide
requests
hide
requests网址
leaf
http://www.python-requests.org/en/master/
hide
特性:15个
leaf
Keep-Alive&连接池
leaf
基本/摘要式的身份认证
leaf
文件分块上传
leaf
国际化域名和URL
leaf
优雅的 key/value Cookie
leaf
流下载
leaf
带持久Cookie的会话
leaf
自动解压
leaf
连接超时
leaf
浏览器式的SSL认证
leaf
Unicode响应体
leaf
分块请求
leaf
自动内容解码
leaf
HTTP(S)代理支持
leaf
支持.netrc
hide
生成请求
hide
requests常用方法
hidemessagebox_warning
requests.get
hide
rqg=requests.get(url)
leaf
rqg.status_code:返回状态码
leaf
rqg.encoding:查看编码
leaf
rqg.headers:查看响应头
leaf
rqg.text:查看网页内容
leaf
chardet.detect(rqg.content)['encoding']编码更准
hide
rqg=requests.get(url,headers,timeout)
leaf
timeout:超时(秒)
leaf
headers:请求头
leaf
requests.head
leaf
requests.post
hide
requests.request
leaf
method
leaf
url
leaf
params
leaf
data
leaf
json
leaf
headers
leaf
cookies
leaf
auth
leaf
timeout
leaf
proxies
leaf
allow_redirects
leaf
stream
leaf
verify
leaf
cert
hide
requests请求实例
leaf
SY_3_11_REQUESTS_GET.py User Link
hide
解析网页 User Link
hide
Chrome开发者
hide
开发者工具
leaf
多种方式打开(F12,Ctrl+Shift+I等)
hide
工具面板9个
leaf
*元素面板
leaf
*控制台面板
leaf
*源代码面板
leaf
*网络面板
leaf
性能面板
leaf
内存面板
leaf
应用面板
leaf
安全面板
leaf
审查面板
hidemessagebox_warning
常用面板
hide
元素面板
leaf
HTML,CSS.DOM
leaf
可以查看元素在页面对应的位置
hide
控制台面板
leaf
可以查看警告或错误
leaf
可以JS交互
hide
源代码面板
leaf
可以进行JS调试
leaf
可以查看HTML源码
hide
网络面板*
leaf
查看资源，HTTP请求头,响应内容,Cookies,Timing
hide
正则表达式
hide
正则表达式
hide
学习站点
leaf
https://www.runoob.com/regexp/regexp-syntax.html User Link
leaf
https://www.runoob.com/python/python-reg-expressions.html User Link
hide
常用表达式
leaf
.*?
hide
re模块
hide
使用步骤
leaffull-1
先将正则表达式的字符串形式编译为Pattern实例
leaffull-2
然后使用Pattern实例处理文本并获得匹配结果（一个Match实例）
leaffull-3
最后使用Match实例获得信息，进行其他的操作
leaf
常用方法compile,match,search,split,findall,finditer,sub
hide
re.compile(pattern,flags=0)
hide
flag参数可选值
leaf
re.M多行模式
leaf
rs.S将'.'置为匹配任意字符,常见.*?
leaf
rs.I忽略大小写
leaf
re.search(pattern,string,flags=0)
leaf
re.findall(pattern,string,flags=0)
hide
re获取网页标题实例
leaf
SY_3_14_RE_TITLE.py User Link
hide
Xpath解析网页
hide
基本语法
hide
构造对象：
html=lxml.etree.HTML(text,parser,*,base_url)
leaf
text:需要转换为HTML的字符串
hide
paser:HTML解析器
leaf
如:etree.HTMLParser(encoding='utf-8')
leaf
base_url:原始URL
hide
Xpath匹配内容
hide
常用表达式
leaf
nodename:选取nodename节点的所有子节点
leaf
/:从当前节点选取直接子节点
leaf
//:从当前节点选取所有子孙节点
leaf
.:选取当前节点
leaf
..:选取当前节点的父节点
leaf
@:选取属性
leaf
如: result=html.xpath('head')
hide
谓语
leaf
谓语用来查找 某个特定的节点或包含某个指定的值 的节点
leaf
谓语被嵌在路径后的方括号中
hide
谓语常用表达式
leaf
/html/body/div[1]:选取body子节点的第一个div节点
leafmessagebox_warning
/html/body/div[last()]:选取 body子节点的最后一个 div节点
leaf
/html/body/div[last()-1]:选取 body子节点的倒数第二个div节点
leaf
/html/body/div[position()<3]:选取属于body子节点的前两个div节点
leaf
/html/body/div[@id]:选取属于 body子节点的带有id属性的div节点
leaf
/html/body/div[@id="content"]:选取属于body子节点的id属性值为content的div节点
leaf
/html/body/div[xx>10.00]:选取属于body子节点的xx元素值大于10的节点
leaf
如:result=html.xpath('//header[@class]')
hide
功能函数
leaf
模糊搜索功能，只需部分特征就可搜索
hidemessagebox_warning
常用的功能函数
hide
starts-with
leaf
//div[starts-with(@id,"co")]
hide
contains
leaf
//div[contains(@id,"co")]
hide
and
leaf
//div[contains(@id,"co") and contains(@id,"en")]
hide
text
leaf
//li[contains(text(),"first")]
leaf
如:title=html.xpath('//title/text()')
hide
xpath提取header节点下全部标题文本及对应链接实例
leaf
SY_3_20_LXML_XPATH_4.py User Link
hide
Beautiful Soup解析网页
hide
解析器
leaf
html.parset
leaf
lxml
leaf
lxml-xml或xml
leaf
html5lib
leaf
默认
hide
创建对象
leaf
BeautifulSoup("..."):通过字符串创建
leaf
BeautifulSoup(open("index.html")):通过HTML文件创建
leaf
BeautifulSoup(html,'lxml):指定lxml解析器创建BS4对象
hide
格式化输出
leaf
BeautifulSoup.prettify(self, encoding=None, formatter='minimal')
hide
对象类型
hide
Tag
leaf
soup.head
leaf
soup.body.a
leaf
soup.find_all('a')
hide
tag属性
leaf
tag.name:获取tag的name
leaf
tag.attrs:获取tag对象的全部属性
leaf
tag['class']:获取tab的class属性
hide
NavigableString
leaf
soup.title.string:获取tag对象中包含的字符串
hide
BeautifulSoup
leaf
type(soup)
hide
Comment
leaf
是文档的注释
leaf
使用soup.tag.string获得
leaf
是个可以直接输出 的字符串
hide
搜索节点
hide
rlt=find_all(name,attrs,recursive,string,**kwargs)
leaf
name:名为name的tag对象
leaf
attrs:css类名的tag对象
leaf
recursive:是否检索所有子孙节点，默认true
leaf
string:匹配字符串的内容
hide
搜索子节点
hide
rlt2 = rlt.find_all("a")
leaf
for i in rlt2: print i.string
hide
选择子节点
hide
select
leaf
#通过tag标签逐层查找 soup.select("html head title")
leaf
#寻找直接子标签 soup.select("head > title")
leaf
#选择所有紧接着id为link1元素之后的class为sister的元素 soup.select("#link1 + .sister")
leaf
#选择p元素之后的每一个ul元素 soup.select("p + ul")
leaf
#同时用多种CSS选择器查询元素 soup.select("#link1,#link2")
leaf
#通过查询元素属性 soup.select('a[href="http://example.com/elsie"]')
leaf
#通过语言查找 soup.select('p[lang|=en]')
hide
select_one
leaf
#查找第一个元素 soup.select_one(".sister")
hide
查找父节点
hide
find_parent()
Arrow Link
leaf
#查找a的父节点中的P标签 a_string.find_parent("p")
hide
查兄弟节点
leaf
find_next_sibling()
hide
BS4搜索目标并提取文本内容实例
leaf
SY_3_28_BS4_PRETTIFY_8.py User Link
hide
存储数据 User Link
hide
存为JSON文件
hide
编码与解码
hide
编码过程为将Python对象转换为Json对象的过程
hide
Python对象
leaf
html.xpath
hide
Json对象
leaf
{key:value,key2:value2}
leaf
解码过程为将 Json对象转换为Python对象的过程
hide
json.dump：将JSON对象写入文件内
leaf
json.load()用于从json文件中读取数据
hide
json.dumps：生成一个字符串
leaf
json.loads(str):str类型的数据转成dict
hide
dump&dumps参数
leaf
skipkeys:是否跳过非python基本类型的key
leaf
ensure_ascii:非 ASCII字符显示成\uXXX格式,设为False正常显示
leaf
indent:是否缩进格式化,若值>=0,则按该值缩排,否则若为None,则一行显示,默认None
leaf
separators:分隔符,{key:value,key2:value2}(',',':')
leaf
encoding:编码,默认utf-8
leaf
sort_keys:根据keys的值 进行排序
hide
dump导出Json文件实例
leaf
SY_3_29_JSON_FILE.py User Link
hide
存储到MySQL
hide
创建test库
leaf
1,打开mysql workbench客户端
leaf
2,左侧树图空白处->右击->创建schema
leaf
3,输入schema名称,选择字符集utf8,utf8_bin ->apply应用
hide
4,如何修改schema和表字符集,如视频
leaf
修改schema和表字符集视频 User Link
hidemessagebox_warning
连接方法
hide
pymysql.connect(host,port,user,passwd,db,charset,connect_timeout,use_unicode)
hide
host,port:主机和端口(3306)
hide
本地
leaf
localhost
leaf
127.0.0.1
hide
它机
leaf
home.hddly.cn
leaf
192.168.31.11
leaf
user,passwd:用户和密码
leaf
db:数据库名
leaf
charset:编码,建议utf8
leaf
connect_timeout:连接超时,默认10秒
leaf
use_unicode:以unicode格式返回,默认None
hide
连接对象connect
leaf
commit:提交事务
leaf
rollback:事务回滚
hide
cursor:创建游标
leaf
close:关闭游标
leafmessagebox_warning
execute:执行sql，可以增加、删除、修改记录
leaf
executemany:执行多条sql
leaf
fetchone:获取一条记录
leafmessagebox_warning
fetchall:获取全部记录
leaf
scroll:游标滚动
hide
存储到MySQL实例
leaf
SY_3_31_PYMYSQL.py User Link
hide
常见问题
hide
1,入库时脚本运行提示错误:Incorrect String value...
leaf
错误信处如图 User Link
leaf
更改数据库和表的字符集为utf8，如视频
leaf
修改schema和表字符集视频 User Link
hide
实训内容
hide
实训一
hide
实训要求
hide
熟练使用urllib3库
hide
urllib3请求实例
leaf
SY_3_5_URLLIB_HTTP.py User Link
hide
熟练使用 requests库
hide
requests请求实例
leaf
SY_3_11_REQUESTS_GET.py User Link
leaf
taobao商品采集:SY_4_3_TAOBAO.py,超星随堂
hide
实训二
hide
实训要求
hide
熟练使用Chrome开发者工具
leaf
取元素的Xpath路径和选择器路径
leaf
取Cookies
hide
熟练使用正则表达式
hide
re获取网页标题实例
leaf
SY_3_14_RE_TITLE.py User Link
hide
熟练使用Xpath
hide
xpath提取header节点下全部标题文本及对应链接实例
leaf
SY_3_20_LXML_XPATH_4.py User Link
hide
熟练使用BeautifulSoup
hide
BS4搜索目标并提取文本内容实例
leaf
SY_3_28_BS4_PRETTIFY_8.py User Link
hide
实训三
hide
实训要求
hide
熟练使用JSON库
hide
dump导出Json文件实例
leaf
SY_3_29_JSON_FILE.py User Link
hide
熟练使用PyMySQL库
hide
存储到MySQL实例
leaf
SY_3_31_PYMYSQL.py User Link