第六章终端协议分析

Imagemap
第六章终端协议分析6.1分析PC客户端抓包HTTP Analyzer工具https://www.ieinspector.com/httpanalyzer ...下载Standalone_v7.6.4版本 ZIP解压密码: ieinspector注册码1:icedblog 88321-6C190D3CBE3303AE注册码2:icedblog 88658-A8F3AE18E536C0C2启动Http Analyzer查看流量详细信息过滤数据进程过滤Type类型过滤Content-Type过滤采集千千音乐数据Http Analyzer过滤千千音乐进程千千音乐中查找歌手:刘若英观察Http Analyzer中动态数据URL在浏览器中验证动态数据URL开发实例：使用动态数据URL脚本开发SY_6_1_MUSIC_QING.py6.2分析APP抓包Fiddler工具安装包下载:https://www.telerik.com/download/f ...了解Fiddler工具视频:http://home.hddly.cn:8000/article/202 ...设置Fidder工具进入:Tools->Options选中Https->Decrypt HTTPS traffic选中Connections->Allow remote computers to ...端口默认:8888重启Fidder工具查看IP: cmd->ipconfig->IPv4地址设置Android手机进入:Wi-Fi设置,找到与Fillder工具相同的wifi修改Wi-Fi的网络->设置代理->手动填定Fidder工具所在的电脑的IP,端口设置为8888打开浏览器->输入电脑的URL,如:http://192.168.0.106:8 ...单击:FiddlerRoot certificate证书,下载进入:Wi-Fi设置->高级设置->安装证书->近期文件:FiddlerRoot ...在Fidder工具中抓包测试手机浏览器打开www.baidu.com在Fidder工具左侧栏中观察Host是否有百度的地址分析人民日报App在手机上应用商店下载:人民日报 App在Fidder工具左侧栏中找到人民日报的信息Host包含: peopleapp.com在Insepectors中查看详细内容请求内容Headers：Header头Raw：原始内容查找POST请求内容url:请求的URLhttps://app.peopleapp.com/Api/700/HomeAp ...headers:请求头'User-Agent':'Dalvik/2.1.0 (Linux; U; An ...cookie_str:请求Cookieacw_tc="2760827216357562334698026e8f9062 ...data:请求中Body的内容category_id=13&city=&citycode=&device=76 ...应答内容TextView：文本视图ImageView：图片视图Raw：原始内容JSON：Json数据开发实例:SY_6_2_NEWS_PEOPLEAPP.py6.3实训内容实训1抓取千千音乐PC客户端某位歌手的信息训练要点了解HTTP Analyzer工具掌握使用HTTP Analyzer工具进行抓包分析使用分析出来的请求URL编写脚本,采集音乐数据复习MongoDB使用，将采集到的音乐数据入库需求说明需要爬取客户端的信息使用HTTP Analyzer工具抓取千千音乐歌手的音乐信息实现思路及步骤1，打开千千音乐的PC客户端,搜索某位歌手的音乐2，使用HTTP Analyzer工具对歌手的音乐进行抓包分析2，3，分析 Content-type类型是application/json的URL ...4，利用生成json的URL，使用之前学过的知识抓取音乐5，将抓取的音乐信息入库到MongoDb库实例参考:SY_6_1_MUSIC_QING.py视频讲解http://i.hddly.cn/media/I42NC30Qy0.mp4实训2爬取人民日报APP的热点新闻训练要点了解Fiddler工具掌握使用Fiddler工具抓取人民日报APP的热点新闻掌握使用Python爬取人民日报APP的热点新闻内容熟练使用pymongo库将采集到的新闻入库需求说明使用Fiddler抓取人民日报App的包，爬取人民日报App的热点新闻的内容需要将获取的新闻内容入库到MongoDb库中入库的记录当中要包含采集者和采集时间实现思路及步骤1,在笔记本或PC上安装Fiddler工具2,设置Fiddler工具的Option设置Fidder工具进入:Tools->Options选中Https->Decrypt HTTPS traffic选中Connections->Allow remote computers to ...端口默认:8888重启Fidder工具查看IP: cmd->ipconfig->IPv4地址3,设置手机端的代理和证书设置Android手机进入:Wi-Fi设置,找到与Fillder工具相同的wifi修改Wi-Fi的网络->设置代理->手动填定Fidder工具所在的电脑的IP,端口设置为8888打开浏览器->输入电脑的URL,如:http://192.168.0.130:8 ...单击:FiddlerRoot certificate证书,下载进入:Wi-Fi设置->高级设置->安装证书->近期文件:FiddlerRoot ...4,打开人民日报App,然后在Fiddler工具中的左侧列表中找到Url是:/A ...5,复制getContentList记录右侧上方请求中的Raw的内容到脚本中POST的URL为请求urlCookie:为请求的Cookiecategory_id这行，为请求的data6,调试程序，成功采集数据并且入库到MongoDB后截取脚本和运行结果界面实例参考开发实例:SY_6_2_NEWS_PEOPLEAPP.py视频讲解http://i.hddly.cn/media/RZCHmrBJd7.mp4加强实训:采集天行数据训练要点数据获取方式,除已学的WEB应用采集,桌面应用采集,APP应用采集外，还有一种叫 ...天行数据tianapi.com提供了接口数据,我们利用其部分免费接口来采集新闻利用其今日头条新闻接口采集新闻:https://www.tianapi.com/ ...需求说明先注册天行数据网的账号，然后获取APIKEY通过接口URL获取新闻列表的 JSON数据，进入解析和入库要求截图脚本和运行结果，包含新闻insertid,ins_count,colle ...操作步骤1，打开接口说明URL：https://www.tianapi.com/apiv ...2，点申请接口->确定申请->立即注册,输入用户名,密码,验证码,注册3，登陆后台->数据管理-> 我的密钥KEY,将APIKEY复制下来,如KEY= ...4，回到页面:https://www.tianapi.com/apiview/9 ...5，进入个人邮箱，找到天行数据TianAPI发送的邮箱，点击链接6，再回到页面:https://www.tianapi.com/apiview/ ...7，打开chrome浏览器，http://api.tianapi.com/top ...8，编写脚本，获取该接口url返回的json，然后解析和入库实例参考SY_6_3_NEWS_TIAN_API.py
hide
第六章终端协议分析
hide
6.1分析PC客户端抓包
hide
HTTP Analyzer工具
hide
https://www.ieinspector.com/httpanalyzer/download.html User Link
leaf
下载Standalone_v7.6.4版本
leaf
ZIP解压密码: ieinspector
leaf
注册码1:icedblog 88321-6C190D3CBE3303AE
leaf
注册码2:icedblog 88658-A8F3AE18E536C0C2
leaf
启动Http Analyzer
leaf
查看流量详细信息
hide
过滤数据
leaf
进程过滤
leaf
Type类型过滤
leaf
Content-Type过滤
hide
采集千千音乐数据
Arrow Link
leaf
Http Analyzer过滤千千音乐进程
leaf
千千音乐中查找歌手:刘若英
leaf
观察Http Analyzer中动态数据URL
leaf
在浏览器中验证动态数据URL
hide
开发实例：使用动态数据URL脚本开发
leaf
SY_6_1_MUSIC_QING.py User Link
hide
6.2分析APP抓包
hide
Fiddler工具
leaf
安装包下载:https://www.telerik.com/download/fiddler User Link
hide
了解Fiddler工具
leaf
视频:http://home.hddly.cn:8000/article/2021/10/30/26.html User Link
hide
设置Fidder工具
leaf
进入:Tools->Options
leaf
选中Https->Decrypt HTTPS traffic
leaf
选中Connections->Allow remote computers to connect
leaf
端口默认:8888
leaf
重启Fidder工具
leaf
查看IP: cmd->ipconfig->IPv4地址
hide
设置Android手机
leaf
进入:Wi-Fi设置,找到与Fillder工具相同的wifi
leaf
修改Wi-Fi的网络->设置代理->手动
leaf
填定Fidder工具所在的电脑的IP,端口设置为8888
leaf
打开浏览器->输入电脑的URL,如:http://192.168.0.106:8888
leaf
单击:FiddlerRoot certificate证书,下载
leaf
进入:Wi-Fi设置->高级设置->安装证书->近期文件:FiddlerRoot.cer->证书命名->确定,成功安装证书
hide
在Fidder工具中抓包测试
leaf
手机浏览器打开www.baidu.com
leaf
在Fidder工具左侧栏中观察Host是否有百度的地址
hide
分析人民日报App
leaf
在手机上应用商店下载:人民日报 App
hide
在Fidder工具左侧栏中找到人民日报的信息
leaf
Host包含: peopleapp.com
hide
在Insepectors中查看详细内容
hide
请求内容
leaf
Headers：Header头
leaf
Raw：原始内容
hide
查找POST请求内容
hide
url:请求的URL
leaf
https://app.peopleapp.com/Api/700/HomeApi/getContentList
hide
headers:请求头
leaf
'User-Agent':'Dalvik/2.1.0 (Linux; U; Android 11; Redmi K30 5G Build/RKQ1.200826.002);DailyNewspaper/7.2.3.4', 'Content-Type':'application/x-www-form-urlencoded;charset=UTF-8', 'Connection':'Keep-Alive',
'Accept-Encoding':'gzip'
hide
cookie_str:请求Cookie
leaf
acw_tc="2760827216357562334698026e8f9062605c677a6ca33cb3bad928754b7856";$Path="/";$Domain="app.peopleapp.com"; SERVERID=0ada8651e904573396f35517addf582c|1635757162|1635757162
hide
data:请求中Body的内容
leaf
category_id=13&city=&citycode=&device=7670a808-893d-3ae9-8c87-aa0e751ab904&device_model=Redmi%20K30%205G&device_os=Android%2011&device_product=Xiaomi&device_size=1080*2175&device_type=1&district=&fake_id=167070061&id=0&image_height=2175&image_wide=1080&interface_code=7234&latitude=&longitude=&nonce=%60d%60IsV%5CtJrLoPzfI&page=1&province=%E7%A6%8F%E5%BB%BA%E7%9C%81&province_code=32907581&show_num=20&timestamp=1635757162&userId=&user_gov_id=0&version=7.2.3.4&securitykey=52ff31f87c1c65bbadd6ed01bceee112
hide
应答内容
leaf
TextView：文本视图
leaf
ImageView：图片视图
leaf
Raw：原始内容
leaf
JSON：Json数据
leaf
开发实例:SY_6_2_NEWS_PEOPLEAPP.py User Link
hide
6.3实训内容
hide
实训1抓取千千音乐PC客户端某位歌手的信息
hide
训练要点
leaf
了解HTTP Analyzer工具
leaf
掌握使用HTTP Analyzer工具进行抓包分析
leaf
使用分析出来的请求URL编写脚本,采集音乐数据
leaf
复习MongoDB使用，将采集到的音乐数据入库
hide
需求说明
leaf
需要爬取客户端的信息
leaf
使用HTTP Analyzer工具抓取千千音乐歌手的音乐信息
hide
实现思路及步骤
leaf
1，打开千千音乐的PC客户端,搜索某位歌手的音乐
leaf
2，使用HTTP Analyzer工具对歌手的音乐进行抓包分析2，
leaf
3，分析 Content-type类型是application/json的URL,在浏览中验证包含音乐信息
leaf
4，利用生成json的URL，使用之前学过的知识抓取音乐
leaf
5，将抓取的音乐信息入库到MongoDb库
hide
实例参考:
leaf
SY_6_1_MUSIC_QING.py User Link
hide
视频讲解
leaf
http://i.hddly.cn/media/I42NC30Qy0.mp4 User Link
hide
实训2爬取人民日报APP的热点新闻
hide
训练要点
leaf
了解Fiddler工具
leaf
掌握使用Fiddler工具抓取人民日报APP的热点新闻
leaf
掌握使用Python爬取人民日报APP的热点新闻内容
leaf
熟练使用pymongo库将采集到的新闻入库
hide
需求说明
leaf
使用Fiddler抓取人民日报App的包，爬取人民日报App的热点新闻的内容
leaf
需要将获取的新闻内容入库到MongoDb库中
leaf
入库的记录当中要包含采集者和采集时间
hide
实现思路及步骤
leaf
1,在笔记本或PC上安装Fiddler工具
hide
2,设置Fiddler工具的Option
hide
设置Fidder工具
leaf
进入:Tools->Options
leaf
选中Https->Decrypt HTTPS traffic
leaf
选中Connections->Allow remote computers to connect
leaf
端口默认:8888
leaf
重启Fidder工具
leaf
查看IP: cmd->ipconfig->IPv4地址
hide
3,设置手机端的代理和证书
hide
设置Android手机
leaf
进入:Wi-Fi设置,找到与Fillder工具相同的wifi
leaf
修改Wi-Fi的网络->设置代理->手动
leaf
填定Fidder工具所在的电脑的IP,端口设置为8888
leaf
打开浏览器->输入电脑的URL,如:http://192.168.0.130:8888
leaf
单击:FiddlerRoot certificate证书,下载
leaf
进入:Wi-Fi设置->高级设置->安装证书->近期文件:FiddlerRoot.cer->证书命名->确定,成功安装证书
leaf
4,打开人民日报App,然后在Fiddler工具中的左侧列表中找到Url是:/Api/700/HomeApi/getContentList的记录
hide
5,复制getContentList记录右侧上方请求中的Raw的内容到脚本中
leaf
POST的URL为请求url
leaf
Cookie:为请求的Cookie
leaf
category_id这行，为请求的data
leaf
6,调试程序，成功采集数据并且入库到MongoDB后截取脚本和运行结果界面
hide
实例参考
leaf
开发实例:SY_6_2_NEWS_PEOPLEAPP.py User Link
hide
视频讲解
leaf
http://i.hddly.cn/media/RZCHmrBJd7.mp4 User Link
hide
加强实训:采集天行数据
hide
训练要点
leaf
数据获取方式,除已学的WEB应用采集,桌面应用采集,APP应用采集外，还有一种叫接口数据采集
leaf
天行数据tianapi.com提供了接口数据,我们利用其部分免费接口来采集新闻
leaf
利用其今日头条新闻接口采集新闻:https://www.tianapi.com/apiview/99 User Link
hide
需求说明
leaf
先注册天行数据网的账号，然后获取APIKEY
leaf
通过接口URL获取新闻列表的 JSON数据，进入解析和入库
leaf
要求截图脚本和运行结果，包含新闻insertid,ins_count,collecter,每位同学的每条新闻insertid应该都不同
hide
操作步骤
leaf
1，打开接口说明URL：https://www.tianapi.com/apiview/99
leaf
2，点申请接口->确定申请->立即注册,输入用户名,密码,验证码,注册
leaf
3，登陆后台->数据管理-> 我的密钥KEY,将APIKEY复制下来,如KEY=c87b66ee4d73f2fb2b60b3894cd555e4
leaf
4，回到页面:https://www.tianapi.com/apiview/99,再次点击申请，提示进入邮箱验证
leaf
5，进入个人邮箱，找到天行数据TianAPI发送的邮箱，点击链接
leaf
6，再回到页面:https://www.tianapi.com/apiview/99,再次点击申请，提示接口申请成功
leaf
7，打开chrome浏览器，http://api.tianapi.com/topnews/index?key=APIKEY，将APIKEY替换为刚复制的值,如:
https://api.tianapi.com/topnews/index?key=c87b66ee4d73f2fb2b60b3894cd555e4
leaf
8，编写脚本，获取该接口url返回的json，然后解析和入库
hide
实例参考
leaf
SY_6_3_NEWS_TIAN_API.py User Link