第4章常规动态网页爬取

Imagemap
第4章常规动态网页爬取逆向分析爬取动态网页静态网页和动态网页静态网页需要爬取的内容直接从HTML源代码中就能获取到静态网页源码中没有程序代码，一般只有HTML静态网页不管任何人任何时间打开的页面的内容都是不变的一般后缀为.html,.htm静态网页也包括一些能动的部分，这些主要是一些GIF动画等早期网站:dreamweaver,所见即所得静态网站实例Selenium官网:http://www.selenium.org.cn/中国学校:http://www.chinaschool.com/Nginx:CentOS:http://i.hddly.cn/网络爬虫:http://i.hddly.cn/b50506/本站采用:bootstrap3框架静态与伪静态在浏览器里右键打开审查元素，控制台（console),输入代码或粘贴js代码 ...alert(document.lastModified);动态网页除了HTML标记以外，还包括浏览器和服务器交互的代码页面代码虽然没有变，但是显示的内容却是可以随着时间、环境或者数据库操作的结果而发 ...动态网页也可以是纯文字内容的，也可以是包含各种动画的内容只要是采用了动态网站技术（如PHP、ASP、JSP等）生成的网页都可以称为动态网 ...在浏览器中查看页面相应的内容，如果找不到内容则基本确定使用动态技术一般有查看更多或者需要下拉加载出内容的网页基本是动态网页动态网站实例京东首页:https://www.jd.comCSDN首页:http://csdn.cn微博首页:https://weibo.com/新浪首页:https://www.sina.com.cn/淘宝首页:https://www.taobao.com阳光学院:https://www.ygu.edu.cn/两者区别更新和维护如果要修改网页的内容，就必须修改其源代码动态网页一般以数据库技术为基础，无须改源码，可以降低网站维护的工作量交互性静态网页由于很多内容都是固定的，在功能方面有很大的限制，所以交互性较差动态网页则可以实现更多的功能，如用户的登录、注册、查询等响应速度静态网页内容相对固定，容易被搜索引擎检索，且不需要连接数据库，因此响应速度较快动态网页实际上并不是独立存在于服务器上的网页文件，只有当用户请求时服务器才返回一 ...访问特点静态网页的每个网页都有一个固定的URL，且网页URL以.htm、.html、.s ...动态网页中的“?”对搜索引擎检索存在一定的问题，搜索引擎一般不可能从一个网站的数 ...逆向分析爬取动态网页1,F12打开网页 http://www.ptpress.com.cn2,从元素面板找到新书推荐div,及相应的js脚本/recommendBook/getRecommendBookListForPo ...3,打开网络面板->Fetch/XHR,从Name列表选中:getRecomme ...4,在右侧的Headers标签中，找到Requests URL的地址5,在浏览器中打开Requests URL网址,可获取需要爬取的新书信息6,编写脚本获取新书信息SY_4_1_20210922.py使用Selenium库爬取动态网页1下载浏览器补丁1,查询本机的Chrome浏览器版本找到帮助->关于 google chrome本机如:版本 93.0.4577.82（正式版本） （64 位)下载Chrome浏览器官网:https://www.google.cn/intl/zh-CN/chro ...离线版:https://www.google.com/intl/zh-CN/ch ...国内镜像:http://npm.taobao.org/mirrors/chrom ...2,下载Chrome的补丁文件 chromedrive国内镜像：http://npm.taobao.org/mirrors/chrom ...官网:https://sites.google.com/a/chromium.o ...官网更新:https://sites.google.com/chromium.o ...找到最接近93.0.4577.82的ChromeDriver 93.0.4577 ...选择需要的操作系统版本,win10选择chromedriver_win32版本由于chromedrive与chrome强配套，为避免chrome自动升级带来的 ...3,从压缩包解压出chromedriver.exe,放至python安装目录下, ...4,如何禁止Chrome自动升级1禁用google更新服务1右击“计算机”，选择“管理”2点击“服务和应用程序”3点击“服务”4找到“Google更新服务(gupdate)”和“Google更新服务(gup ...2,删除google升级服务windows powershell(管理员)PS C:\Users\yuxm> sc delete gupdatePS C:\Users\yuxm> sc delete gupdatemPS C:\Users\yuxm> sc delete GoogleChrome ...3,删除google升级定时任务1,win+r，输入命令taskschd.msc2,删除GoogleUpdateTaskMachineCore任务3,删除GoogleUpdateTaskMachineUA任务4删除安装根目录下的update文件夹3,删除目录C:\Program Files (x86)\Google\Upda ...2安装与使用Selenium库0,官方资源:https://github.com/seleniumhq/sel ...0,官方api_for_python:https://www.selenium. ...1,pip install selenium2,引用:from selenium import webdriver3,编写脚本调用seleniumSY_4_2_SELENIUM.py3如何让页面等待显式与隐式等待显式的等待使网络驱动程序在继续执行之前等待某个条件的发生隐式的等待使WebDriver在尝试定位一个元素时，在一定的时间内轮询DOMWebDriverWait(driver,time)driver:表示打开的网页time:等待时间,单位秒显式等待实例SY_4_3_SELE_WAIT.py4如何进行页面操作填充表单选择选项标签实例driver.switch_to.windowSY_4_4_SELE_SWITCH_TAB.py自动单击"提交"按钮实例confirm_btn=wait.util(....)->confirm_btn ...SY_4_5_SELE_SEARCH.py执行JavaScript执行JavaScript实例driver.execute_script:执行javascriptSY_4_6_SELE_SCRIPT.py5如何选取元素定位元素常用方法定位单元素find_element_by_idfind_element_by_namefind_element_by_css_selectorfind_element_by_xpathfind_element+By类定位find_element(By.ID,"searchVal")定位多元素find_elements_by_idfind_elements_by_namefind_elements_by_css_selectorfind_elements+By类定位find_elements(By.CSS_SELECTOR,'#nav')定位一个元素定位一个元素实例driver.find_element_by_id("searchVal")driver.find_element_by_css_selector("#se ...driver.find_element_by_xpath('//*[@id="s ...SY_4_7_SELE_FIND.py通过By类定位实例driver.find_element(By.ID,"searchVal")SY_4_8_SELE_BY.py定位多个元素定位多个元素实例driver.find_elements_by_css_selector('#n ...SY_4_9_SELE_FINDS.py通过By类定位多个元素实例driver.find_elements(By.CSS_SELECTOR,'#n ...SY_4_10_SELE_BYS.py6预期条件判断常用判断方法title_is:标题是某内容title_contains:标题包含某内容presence_of_element_located(By.Id,'元素Id' ...element_to_be_clieckable：元素可单击element_to_be_selected:元素可选择预期条件判断实例EC.element_to_be_clickable((By.CSS_SELEC ...SY_4_11_SELE_KEYWORD.py7常见问题每次运行完selenium程序后，chromedriver.exe进程总是不能彻 ...webdriver中关浏览器：close方法关闭一个tab，quit方法才是完全 ...存储数据至MongoDB数据库MongoDB与MySQL区别1MongoDB是非结构化数据库,MySql是结构化数据库2MongoDB稳定性不如MySQL3存储表格超过5GB后,MongoDB性能表现较好4MongoDB在海量数据存储上有明显的优势5概念对比(MongoDB->MySQL)数据库:database->database数据表:collection->table数据行:document->row数据字段:field->column索引:index->index主键:primary key->primary key6操作命令对比(MongoDB->MySQL)显示库:show dbs->show databases;进入库:use dbname->use dbname显示表: show collections ->show tables创建库:insert -> create database name创建表:insert -> create table tname(id int)删除库:client.drop_database(dbname)->drop d ...删除表:db.drop_collection(tname)->drop tabl ...插入表:db.tname.insert_one({id:1})->insert ...删记录:db.tname.remove({id:1})->delete from ...查记录:db.tname.find()->select * from tnam ...条件查:db.tname.find({id:2})->select * from ...条件查:db.tname.find($or:[{id:2},{name:'pyt ...查一条:db.tname.findOne()->select * from tn ...记录数:db.tname.count()->select count(id) f ...入库MongoDB1,建立连接pip install pymongo不能安装第三方bson连接串: 数据库产品名://主机IP:主机端口如: mongodb://localhost:27017/2.获取数据库属性方式无安全认证:client=pymongo.MongoClient('mongod ...有安全认证：client = MongoClient('mongodb://用户 ...db=client.pythondb字典方式本机默认:client=pymongo.MongoClient()指定IP:client = MongoClient('localhost')指定IP及端口:client = MongoClient('localhost' ...db=client['python-db']为什么是'python-db'python-db是库,没有的话自动创建其它'pythondb'可以吗？都是可以的,没有的话自动创建3.获取一个集合集合是存储在MongoDB中的一组文档集合类似于关系数据库中的表获取集合方式:属性方式collection=db.test字典方式collection=db['test']4.插入文档插入单条:insert_one组装json实例a={'bookName':n['bookName'],'aut ...入库: collection.insert_one(a)5,入库MongoDB实例SY_4_17_MONGO_INS.pyMongoDB命令行进入命令方式1,Win+R ,cmd2,进入mongodb目录,如: cd D:\app\mongodb\bin3,运行客户端: .\mongo.exe4,使用帮助:help5,常用命令显示库: show dbs> show dbsadmin 0.000GBconfig 0.000GBlocal 0.000GBpythondb 0.000GB进入库: use pythondb> use pythondbswitched to db pythondb显示表:show collections> show collectionstest查记录:db.test.findOne()> db.test.findOne(){"_id" : ObjectId("614e862354067f30887b12 ..."bookName" : "和秋叶一起学——秒懂Excel","picPath" : "https://cdn.ptpress.cn/uplo ..."bookId" : "56ae2fc9-3bdb-41ad-9b4b-1399 ...}统计表:db.test.totalSize()> db.test.totalSize()73728表记录:db.test.find().count()> db.test.find().count()86查记录:db.test.find({})> db.test.find({collecter: 'goodym'}){ "_id" : ObjectId("6152b4ccfad67628c656 ...退出:exit6.高级命令查连接数db.serverStatus().connections;{ "current" : 80, "avail ...查询结果 current 是当前连接数，available 是可用连接数，总共的 ...查操作db.currentOp()查topmongotop 查状态mongostatCompass使用document页查询条件在filter内输入过滤条件在project内输入显示哪些字段在sort内输入按哪个字段排序在collation内输入显示结果数量，skip数值表标跳过前面多少个结果，li ...实训练习爬取网页推荐图书信息要点了解静态网页和动态网页的区别掌握爬取动态网页信息的方法说明1,F12打开网页 http://www.ptpress.com.cn2,从元素面板找到新书推荐div,及相应的js脚本/recommendBook/getRecommendBookListForPo ...3,打开网络面板->Fetch/XHR,从Name列表选中:getRecomme ...4,在右侧的Headers标签中，找到Requests URL的地址5,在浏览器中打开Requests URL网址,可获取需要爬取的新书信息6,编写脚本获取新书信息脚本SY_4_20_GET_NEW_BOOKS.py爬取京东首页每日特价商品(拓展)脚本SY_4_20_GET_JD_GOODS.py爬取网页Java图书信息要点掌握Selenium库的使用方法掌握使用Selenium库爬取动态网页的方法说明1,F12打开网页 http://www.ptpress.com.cn/sear ...2,从元素面板找到搜索框和查询按钮搜索框id:searchVal查询按按钮选择路径:#app > div:nth-child(1) > div ...3,编写脚本获取图书信息1,导入库2,打开模拟器: driver= webdriver.Chrome()3,页面等待:wait = WebDriverWait(driver, 10)4,打开页面:driver.get("http://www.ptpress.co ...5,模拟输入关键字:search_btn.send_keys('Java')输入文本内容 (WebElement.sendKeys(String))6,模拟点击查询:confirm_btn.click()7,获取网页并格式化8,获取需要的内容脚本SY_4_21_SELE_KEYWORD.py将数据存储到MongoDB要点掌握MongoDB数据库的基本使用方法掌握将爬取的数据存储到MongoDB数据库中说明1,导入库import pymongo2,获取连接:client= pymongo.MongoClient('loca ...3,选择库:db = client['pythondb'] 4,选择集合:collection = db.test5,拼接Json串:book_info6,入库:collection.insert_one(book_info)7,关闭连接:client.close()作业使用compass查询入库数据对刚入库数据列表进行截图脚本SY_4_22_MONGO_INBOOKS.py
hide
第4章常规动态网页爬取
hide
逆向分析爬取动态网页
hide
静态网页和动态网页
hide
静态网页
leaf
需要爬取的内容直接从HTML源代码中就能获取到
leaf
静态网页源码中没有程序代码，一般只有HTML
leaf
静态网页不管任何人任何时间打开的页面的内容都是不变的
leaf
一般后缀为.html,.htm
hide
静态网页也包括一些能动的部分，这些主要是一些GIF动画等
leaf
早期网站:dreamweaver,所见即所得
hide
静态网站实例
leaf
Selenium官网:http://www.selenium.org.cn/
leaf
中国学校:http://www.chinaschool.com/
leaf
Nginx:CentOS:http://i.hddly.cn/
hide
网络爬虫:http://i.hddly.cn/b50506/
leaf
本站采用:bootstrap3框架
hide
静态与伪静态
leaf
在浏览器里右键打开审查元素，控制台（console),输入代码或粘贴js代码 alert(document.lastModified); 回车执行，会弹出一个弹窗。 重新刷新网页，再用相同的方法在控制台里输入查询代码，再查看文件的最后修改时间，如果发现时间不同则可以判断它是伪静态
leaf
alert(document.lastModified);
hide
动态网页
leaf
除了HTML标记以外，还包括浏览器和服务器交互的代码
leaf
页面代码虽然没有变，但是显示的内容却是可以随着时间、环境或者数据库操作的结果而发生改变的
leaf
动态网页也可以是纯文字内容的，也可以是包含各种动画的内容
leaf
只要是采用了动态网站技术（如PHP、ASP、JSP等）生成的网页都可以称为动态网页
leaf
在浏览器中查看页面相应的内容，如果找不到内容则基本确定使用动态技术
leaf
一般有查看更多或者需要下拉加载出内容的网页基本是动态网页
hide
动态网站实例
leaf
京东首页:https://www.jd.com
leaf
CSDN首页:http://csdn.cn
leaf
微博首页:https://weibo.com/
leaf
新浪首页:https://www.sina.com.cn/
leaf
淘宝首页:https://www.taobao.com
leaf
阳光学院:https://www.ygu.edu.cn/
hide
两者区别
hide
更新和维护
leaf
如果要修改网页的内容，就必须修改其源代码
leaf
动态网页一般以数据库技术为基础，无须改源码，可以降低网站维护的工作量
hide
交互性
leaf
静态网页由于很多内容都是固定的，在功能方面有很大的限制，所以交互性较差
leaf
动态网页则可以实现更多的功能，如用户的登录、注册、查询等
hide
响应速度
leaf
静态网页内容相对固定，容易被搜索引擎检索，且不需要连接数据库，因此响应速度较快
leaf
动态网页实际上并不是独立存在于服务器上的网页文件，只有当用户请求时服务器才返回一个完整的网页，其中涉及到数据的连接访问和查询等一系列过程，所以响应速度相对较慢
hide
访问特点
leaf
静态网页的每个网页都有一个固定的URL，且网页URL以.htm、.html、.shtml等常见形式为后缀，而不含有“?”
leaf
动态网页中的“?”对搜索引擎检索存在一定的问题，搜索引擎一般不可能从一个网站的数据库中访问全部网页
hide
逆向分析爬取动态网页
leaf
1,F12打开网页 http://www.ptpress.com.cn
hide
2,从元素面板找到新书推荐div,及相应的js脚本
leaf
/recommendBook/getRecommendBookListForPortal
leaf
3,打开网络面板->Fetch/XHR,从Name列表选中:getRecommendBookListForPortal
leaf
4,在右侧的Headers标签中，找到Requests URL的地址
leaf
5,在浏览器中打开Requests URL网址,可获取需要爬取的新书信息
hide
6,编写脚本获取新书信息
leaf
SY_4_1_20210922.py User Link
hide
使用Selenium库爬取动态网页
hide
1下载浏览器补丁
hide
1,查询本机的Chrome浏览器版本
leaf
找到帮助->关于 google chrome
leaf
本机如:版本 93.0.4577.82（正式版本） （64 位)
hide
下载Chrome浏览器
leaf
官网:https://www.google.cn/intl/zh-CN/chrome/browser-tools/
leaf
离线版:https://www.google.com/intl/zh-CN/chrome/thank-you.html User Link
Arrow Link
leaf
国内镜像:http://npm.taobao.org/mirrors/chromium-browser-snapshots/
hide
2,下载Chrome的补丁文件 chromedrive
leaf
国内镜像：http://npm.taobao.org/mirrors/chromedriver/ User Link
leaf
官网:https://sites.google.com/a/chromium.org/chromedriver/downloads User Link
leaf
官网更新:https://sites.google.com/chromium.org/driver/ User Link
leaf
找到最接近93.0.4577.82的ChromeDriver 93.0.4577.63 User Link
leaf
选择需要的操作系统版本,win10选择chromedriver_win32版本 User Link
leaf
由于chromedrive与chrome强配套，为避免chrome自动升级带来的影响，禁止升级
leaf
3,从压缩包解压出chromedriver.exe,放至python安装目录下,与python.exe同目录
hide
4,如何禁止Chrome自动升级
hide
1禁用google更新服务
leaf
1右击“计算机”，选择“管理”
leaf
2点击“服务和应用程序”
leaf
3点击“服务”
leaf
4找到“Google更新服务(gupdate)”和“Google更新服务(gupdatem)”，将启动类型改为禁止
hide
2,删除google升级服务
leaf
windows powershell(管理员)
leaf
PS C:\Users\yuxm> sc delete gupdate
leaf
PS C:\Users\yuxm> sc delete gupdatem
leaf
PS C:\Users\yuxm> sc delete GoogleChromeElevationService
hide
3,删除google升级定时任务
leaf
1,win+r，输入命令taskschd.msc
leaf
2,删除GoogleUpdateTaskMachineCore任务
leaf
3,删除GoogleUpdateTaskMachineUA任务
hide
4删除安装根目录下的update文件夹
leaf
3,删除目录C:\Program Files (x86)\Google\Update
hide
2安装与使用Selenium库
leaf
0,官方资源:https://github.com/seleniumhq/selenium
leaf
0,官方api_for_python:https://www.selenium.dev/selenium/docs/api/py/
leaf
1,pip install selenium
leaf
2,引用:from selenium import webdriver
hide
3,编写脚本调用selenium
leaf
SY_4_2_SELENIUM.py User Link
hide
3如何让页面等待
hide
显式与隐式等待
leaf
显式的等待使网络驱动程序在继续执行之前等待某个条件的发生
leaf
隐式的等待使WebDriver在尝试定位一个元素时，在一定的时间内轮询DOM
hide
WebDriverWait(driver,time)
leaf
driver:表示打开的网页
leaf
time:等待时间,单位秒
hide
显式等待实例
leaf
SY_4_3_SELE_WAIT.py User Link
hide
4如何进行页面操作
hide
填充表单
hide
选择选项标签实例
leaf
driver.switch_to.window
leaf
SY_4_4_SELE_SWITCH_TAB.py User Link
hide
自动单击"提交"按钮实例
leaf
confirm_btn=wait.util(....)->confirm_btn.click()
leaf
SY_4_5_SELE_SEARCH.py User Link
hide
执行JavaScript
hide
执行JavaScript实例
leaf
driver.execute_script:执行javascript
leaf
SY_4_6_SELE_SCRIPT.py User Link
hide
5如何选取元素
hidemessagebox_warning
定位元素常用方法
hide
定位单元素
leaf
find_element_by_id
leaf
find_element_by_name
leaf
find_element_by_css_selector
leaf
find_element_by_xpath
hide
find_element+By类定位
leaf
find_element(By.ID,"searchVal")
hidemessagebox_warning
定位多元素
leaf
find_elements_by_id
leaf
find_elements_by_name
leaf
find_elements_by_css_selector
hide
find_elements+By类定位
leaf
find_elements(By.CSS_SELECTOR,'#nav')
hide
定位一个元素
hide
定位一个元素实例
leaf
driver.find_element_by_id("searchVal")
leaf
driver.find_element_by_css_selector("#searchVal")
leaf
driver.find_element_by_xpath('//*[@id="searchVal"]')
leaf
SY_4_7_SELE_FIND.py User Link
hide
通过By类定位实例
leafmessagebox_warning
driver.find_element(By.ID,"searchVal")
leaf
SY_4_8_SELE_BY.py User Link
hide
定位多个元素
hide
定位多个元素实例
leaf
driver.find_elements_by_css_selector('#nav')
leaf
SY_4_9_SELE_FINDS.py User Link
hide
通过By类定位多个元素实例
leafmessagebox_warning
driver.find_elements(By.CSS_SELECTOR,'#nav')
leaf
SY_4_10_SELE_BYS.py User Link
hide
6预期条件判断
hide
常用判断方法
leaf
title_is:标题是某内容
leaf
title_contains:标题包含某内容
leaf
presence_of_element_located(By.Id,'元素Id'):元素是否已加载出
leaf
element_to_be_clieckable：元素可单击
leaf
element_to_be_selected:元素可选择
hide
预期条件判断实例
leaf
EC.element_to_be_clickable((By.CSS_SELECTOR, '#app > div:nth-child(1) > div > div > div > button > i'))
leaf
SY_4_11_SELE_KEYWORD.py User Link
hide
7常见问题
hide
每次运行完selenium程序后，chromedriver.exe进程总是不能彻底关闭？
leaf
webdriver中关浏览器：close方法关闭一个tab，quit方法才是完全关闭浏览器
hide
存储数据至MongoDB数据库
hide
MongoDB与MySQL区别
leaf
1MongoDB是非结构化数据库,MySql是结构化数据库
leaf
2MongoDB稳定性不如MySQL
leaf
3存储表格超过5GB后,MongoDB性能表现较好
leaf
4MongoDB在海量数据存储上有明显的优势
hide
5概念对比(MongoDB->MySQL)
leaf
数据库:database->database
leaf
数据表:collection->table
leaf
数据行:document->row
leaf
数据字段:field->column
leaf
索引:index->index
leaf
主键:primary key->primary key
hide
6操作命令对比(MongoDB->MySQL)
leaf
显示库:show dbs->show databases;
leaf
进入库:use dbname->use dbname
leaf
显示表: show collections ->show tables
leaf
创建库:insert -> create database name
leaf
创建表:insert -> create table tname(id int)
leaf
删除库:client.drop_database(dbname)->drop database dbname
leaf
删除表:db.drop_collection(tname)->drop table tname
leaf
插入表:db.tname.insert_one({id:1})->insert into tname(id) value(1)
leaf
删记录:db.tname.remove({id:1})->delete from tname where id=1;
leaf
查记录:db.tname.find()->select * from tname
leaf
条件查:db.tname.find({id:2})->select * from tname where id=2
leaf
条件查:db.tname.find($or:[{id:2},{name:'python'}])->select * from tname where id=2 or name='python'
leaf
查一条:db.tname.findOne()->select * from tname limit 1
leaf
记录数:db.tname.count()->select count(id) from tname
hide
入库MongoDB
hide
1,建立连接
hide
pip install pymongo
leaf
不能安装第三方bson
hide
连接串: 数据库产品名://主机IP:主机端口
leaf
如: mongodb://localhost:27017/
hide
2.获取数据库
hide
属性方式
leaf
无安全认证:client=pymongo.MongoClient('mongodb://localhost:27017/')
leaf
有安全认证：client = MongoClient('mongodb://用户名:密码@localhost:27017/数据库名称')
leaf
db=client.pythondb
hide
字典方式
leaf
本机默认:client=pymongo.MongoClient()
leaf
指定IP:client = MongoClient('localhost')
leaf
指定IP及端口:client = MongoClient('localhost', 27017)
hide
db=client['python-db']
hide
为什么是'python-db'
leaf
python-db是库,没有的话自动创建
hide
其它'pythondb'可以吗？
leaf
都是可以的,没有的话自动创建
hide
3.获取一个集合
leaf
集合是存储在MongoDB中的一组文档
leaf
集合类似于关系数据库中的表
hide
获取集合方式:
hide
属性方式
leaf
collection=db.test
hide
字典方式
leaf
collection=db['test']
hide
4.插入文档
hide
插入单条:insert_one
leaf
组装json实例a={'bookName':n['bookName'],'autor':n['author']}
leaf
入库: collection.insert_one(a)
hide
5,入库MongoDB实例
leaf
SY_4_17_MONGO_INS.py User Link
hide
MongoDB命令行
hide
进入命令方式
leaf
1,Win+R ,cmd
leaf
2,进入mongodb目录,如: cd D:\app\mongodb\bin
leaf
3,运行客户端: .\mongo.exe
hide
4,使用帮助:
leaf
help
hide
5,常用命令
hide
显示库: show dbs
leaf
> show dbs
leaf
admin 0.000GB
leaf
config 0.000GB
leaf
local 0.000GB
leaf
pythondb 0.000GB
hide
进入库: use pythondb
leaf
> use pythondb
leaf
switched to db pythondb
hide
显示表:show collections
leaf
> show collections
leaf
test
hide
查记录:db.test.findOne()
leaf
> db.test.findOne()
hide
{
leaf
"_id" : ObjectId("614e862354067f30887b12f9"),
leaf
"bookName" : "和秋叶一起学——秒懂Excel",
leaf
"picPath" : "https://cdn.ptpress.cn/uploadimg/Material/978-7-115-56440-5/72jpg/56440_s300.jpg", User Link
leaf
"bookId" : "56ae2fc9-3bdb-41ad-9b4b-1399728dc631"
leaf
}
hide
统计表:db.test.totalSize()
leaf
> db.test.totalSize()
leaf
73728
hide
表记录:db.test.find().count()
leaf
> db.test.find().count()
leaf
86
hide
查记录:db.test.find({})
leaf
> db.test.find({collecter: 'goodym'})
leaf
{ "_id" : ObjectId("6152b4ccfad67628c65683a4"), "bookName" : "Java程序设计实战教程", "bookHref" : "/shopping/buy?bookId=080c68f5-d0fe-4f32-aa6f-a035c89890e0", "bookImg" : "https://cdn.ptpress.cn/uploadimg/Material/978-7-115-55182-5/72jpg/55182_s300.jpg", "collecter" : "goodym" } User Link
leaf
退出:exit
hide
6.高级命令
hide
查连接数
hide
db.serverStatus().connections;
leaf
{
"current" : 80,
"available" : 838780,
"totalCreated" : 2395292,
"active" : 17
}
leaf
查询结果 current 是当前连接数，available 是可用连接数，总共的连接数= current + available
hide
查操作
leaf
db.currentOp()
hide
查top
leaf
mongotop
hide
查状态
leaf
mongostat
hide
Compass使用
hide
document页
hide
查询条件
leaf
在filter内输入过滤条件
leaf
在project内输入显示哪些字段
leaf
在sort内输入按哪个字段排序
leaf
在collation内输入显示结果数量，skip数值表标跳过前面多少个结果，limit数据表示只显示前面多少个结果
hide
实训练习
hide
爬取网页推荐图书信息
hide
要点
leaf
了解静态网页和动态网页的区别
leaf
掌握爬取动态网页信息的方法
hide
说明
leaf
1,F12打开网页 http://www.ptpress.com.cn
hide
2,从元素面板找到新书推荐div,及相应的js脚本
leaf
/recommendBook/getRecommendBookListForPortal
leaf
3,打开网络面板->Fetch/XHR,从Name列表选中:getRecommendBookListForPortal
leaf
4,在右侧的Headers标签中，找到Requests URL的地址
leaf
5,在浏览器中打开Requests URL网址,可获取需要爬取的新书信息
leaf
6,编写脚本获取新书信息
hide
脚本
leaf
SY_4_20_GET_NEW_BOOKS.py User Link
hide
爬取京东首页每日特价商品(拓展)
hide
脚本
leaf
SY_4_20_GET_JD_GOODS.py User Link
hide
爬取网页Java图书信息
hide
要点
leaf
掌握Selenium库的使用方法
leaf
掌握使用Selenium库爬取动态网页的方法
hide
说明
leaf
1,F12打开网页 http://www.ptpress.com.cn/search/books
hide
2,从元素面板找到搜索框和查询按钮
leaf
搜索框id:searchVal
leaf
查询按按钮选择路径:#app > div:nth-child(1) > div > div > div.search_main.down_search > button > i
hide
3,编写脚本获取图书信息
leaf
1,导入库
leaf
2,打开模拟器: driver= webdriver.Chrome()
leaf
3,页面等待:wait = WebDriverWait(driver, 10)
leaf
4,打开页面:driver.get("http://www.ptpress.com.cn/search/books")
hide
5,模拟输入关键字:search_btn.send_keys('Java')
leaf
输入文本内容 (WebElement.sendKeys(String))
leaf
6,模拟点击查询:confirm_btn.click()
leaf
7,获取网页并格式化
leaf
8,获取需要的内容
hide
脚本
leaf
SY_4_21_SELE_KEYWORD.py User Link
hide
将数据存储到MongoDB
hide
要点
leaf
掌握MongoDB数据库的基本使用方法
leaf
掌握将爬取的数据存储到MongoDB数据库中
hide
说明
leaf
1,导入库import pymongo
leaf
2,获取连接:client= pymongo.MongoClient('localhost')
leaf
3,选择库:db = client['pythondb']
leaf
4,选择集合:collection = db.test
leaf
5,拼接Json串:book_info
leaf
6,入库:collection.insert_one(book_info)
leaf
7,关闭连接:client.close()
hide
作业
leaf
使用compass查询入库数据
leaf
对刚入库数据列表进行截图
hide
脚本
leaf
SY_4_22_MONGO_INBOOKS.py User Link