① 爬取某笔公考app公基题库的操作
最近在准备上岸，备考中需做大量的练习，手机APP让练习无处不在，但有个缺点，就是每次只能练习10-20道题目，不能用题海战术，海量做题。能不能把网站的题库及解析都弄下来，在本地电脑上做题呢？以下是我的思路：1、分析并爬取手机软件的题库；2、调整好格式存入xls文件中；3、导入PC版可自定义的考试系统中（如教之初考试系统免费版）；4、自行设置考试模式，海量练习。
倒腾了两天，终于搞定，后续再更新文章！
涉及到几个点。
1、关于手机网络数据的分析，我是用Fiddler 4进行的分析。
2、关于excel表格的操控，之前想用xlwings模块，后因没装office，用的是wps2013政府阉割版，无法操控，后改用xlrd、xlutils、shutil、os模块自己写了一个excel操纵类对象，发现还是有问题，后卸载阉割版wps，换了wps2016最新版的，就可以操作了。后来也没换xlwings模块了，将就着用自写模块。 大坑：xlrd模块好像不支持中文路径，全部换用英文路径，最后再把文件夹及文纤颤和件名转换成中文的。
3、题库分类保存。
1、Fiddler抓包手机APP的网络请求
Fiddler是一款非常流行并且实用的http抓包工具，它的原理是在本机开启了一个http的代理服务器，然后它会转发所有的http请求和响应，不仅如此，它还洞竖可以支持请求重放等一些高级功能。显然它是可以支持对手机应用进行http抓包的。
设置在同一局域网下电脑端Fiddler抓取手机APP应用网络请求的步骤：
（1）电脑端启动Fiddler，打开菜单栏中的 Tools > Fiddler Options，打开“Fiddler Options”对话框。
（2）在Fiddler Options”对话框切换到“Connections”选项卡，然后勾选“Allow romote computers to connect”后面毁盯的复选框，然后点击“OK”按钮。（ 小技巧： HTTPS标签中可以设置下拉框为...from remote clients only ， 貌似 就只接收远程端的网络请求了）
（3）在电脑端的命令行输入：ipconfig，找到本机的ip地址。（我的局域网IP：192.168.1.10）
（4）在手机端，打开android设备的“设置”->“WLAN”，找到你要连接的网络，在上面长按，然后选择“修改网络”，弹出网络设置对话框，然后勾选“显示高级选项”。 （其实苹果手机也是类似的）
（5）在“代理”后面的输入框选择“手动”，在“代理服务器主机名”后面的输入框输入电脑的ip地址，在“代理服务器端口”后面的输入框输入8888，然后点击“保存”按钮。
（6）然后启动android设备中的APP应用，在fiddler中可以看到完整的请求和响应数据。
2、手机APP应用网络数据分析
手机上打开某笔公考软件后，从Fiddler左侧栏中可以看到大量的请求链接。
点击上图黄色区域的链接，可看到右侧详细数据。
在右侧详细数据栏中，我们可以看到请求的网址：POST http:// xxx bi.com/android/sydw/exercises?&platform=android22&version=6.4.3&vendor=Tencent&app=gwy&deviceId=F4J/K8kXx6+C24yqFuzAiA==&av=8&kav=3 HTTP/1.1
post请求的参数keypointId=621638&type=3&limit=15
返回的数据为Json格式，从返回数据中我们可以找出questionIds对应的题目编号，如2084744.
点击上上图（Fiddler网络请求响应）中红色框中的链接地址，我们可以看到右侧详细数据栏的数据
从上图中我们可以找到ID号为2084744的题目的题干、选项、题型、答案等有用数据。
分析基本结束，此手机APP应用的模式基本是这样：先请求15道题的ids，再根据meiti的ids请求题目相关数据。后续测试发现，请求questionIds时，修改参数，能一次最多请求到100道题的ids。
另外，从左侧请求链接可以找出对应的章节分类请求链接，根据分类号再查找对应的questionids，就可以把所有的题目抓取出来。
3、xls操控
将就着基于xlrd模块编写自用模块。
源码在此，可能格式错乱。需整理。
'''python
#！/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on 2018-05-14 12:48:07
@author: wangzheng
Sys_Env : Windows_AMD64 Python3.5.2
Wechat : hrcl2015(微信)
Filename: MyXls.py
Description : xls文件操控类MyXls
注意：文件路径中不能有中文名，否则出错
"""
from xlrd import open_workbook
from xlutils. import
import os,shutil
class MyXls:
def __init__(self,fpath=None,modelfpath=None,sheetindex=None,protectrow=None,overwrite=True):
self.openxlspath=''#已打开的xls文件
self.sheetindex=None#当前工作表索引
self.rb=None#
self.wb=None#workbook工作簿
self.ws=None#worksheet工作表
self.headrow=0#开头保护行数
if (fpath is not None) and (modelfpath is not None):
self.open__xls(modelfpath,fpath,True)
elif fpath is not None:self.open_xls(fpath)
if sheetindex is not None:self.get_sheet(sheetindex)
if protectrow is not None:self.headrow=protectrow
def open_xls(self,fpath):
path=fpath
try:
rb = open_workbook(path)
except Exception as err:
print("File not exists: "+str(err))
return False
#通过sheet_by_index()获取的sheet没有write()方法
#rs = rb.sheet_by_index(0)
#rs = rb.sheet_by_name('sheet 1')
self.wb = (rb)
self.openxlspath=path
return True
def get_sheet(self,sheet_index=0):
sheets=sheet_index
#通过get_sheet()获取的sheet有write()方法
self.ws = self.wb.get_sheet(sheets)
self.sheetindex=sheets
def write_xls(self,row_index,column_index,data_str):
row,col,data=row_index,column_index,data_str
#写入数据
self.ws.write(row,col,data)#write(行,列,内容)，索引从0开始
def write_xls_bycolname(self,row_index,column_name,data_str):
column_index=self.colname_to_num(column_name)
row,col,data=row_index,column_index,data_str
#写入数据
self.ws.write(row,col,data)#write(行,列,内容)，索引从0开始
def write_xls_bysheet(self,sheetindex,row_index,column_name,data_str):
'''在指定工作表的指定行列表格中写入数据'''
if self.sheetindex != sheetindex :self.get_sheet(sheetindex)
self.write_xls_bycolname(row_index,column_name,data_str)
def save_xls(self,fpath=None):
if fpath is None:
self.wb.save(self.openxlspath)
print('saved '+self.openxlspath)
else:
path=fpath
self.wb.save(path)#保存xls文件
print('saved '+path)
return True
def open__xls(self,model_fpath,new_fpath,overwrite=True):
'''参照模板文件，复制并打开xls文件'''
if os.path.exists(model_fpath) :
new_fpath=self.auto_mkdir(new_fpath)
if (not os.path.exists(new_fpath)) or overwrite:
#print('[%s]to[%s]'%(model_fpath,new_fpath))
shutil.(model_fpath,new_fpath)
return self.open_xls(new_fpath)
else:print('新文件已存在，请修改新文件名！');return False
else:print('模板文件不存在，不能复制到新文件！');return False
def num_to_colname(self,col_index,start=0):
#列索引转列名，基数start从0开始,0-->A
if type(col_index) != int:
return col_index
if start==0:
x=col_index+1
elif start==1:
x=col_index
s=''
flag=False#借位标志
while x>26:
y=x%26#取余0-25
if y==0:y=26;flag=True;
d=chr(y+64)#低位
s=d+s
x=x//26#整除取商
if flag:x=x-1;flag=False;#如果借位，商要先-1
g=chr(x+64)#高位
s=g+s
return s
def colname_to_num(self,colname,start=0):
#列名转列索引 A-->0，B->1,开始基数start为0
if type(colname) is not str:
return colname
colname=colname.upper()#转成大写
col = 0
power = 1
#print(len(colname))#位数
for i in range(len(colname) - 1, -1, -1):#range(start=0,stop,step=1)
ch = colname[i] #倒序取字母
#print(ch)#所在位上的字母
col += (ord(ch) - ord('A') + 1 ) * power
power *= 26
#print(col-1)
if start==0:return col-1
if start==1:return col
def auto_mkdir(self,fpath):
'''自动补全目录，目录不存在就创建目录'''
#fpath='D:\\MyPython\\粉笔公考题库提取\\678\\980\\test.txt'
fpath=fpath.replace('\\','/')
if not os.path.exists(fpath):
plst=fpath.split(sep='/')
path=''
if not fpath.endswith('/'):plst=plst[:-1]
for p in plst:
path=path+p+'/'
if not os.path.exists(path):os.mkdir(path)
return fpath
if __name__=='__main__':
model_fpath='D:\\MyPython\\model.xls'
new_fpath='D:\\MyPython\\abc\\123/out.xls'
# myxls=MyXls()
# myxls.open__xls(model_fpath,new_fpath)
# myxls.get_sheet(0)
myxls=MyXls(new_fpath,model_fpath,2,3)
myxls.write_xls_bycolname(6,'K','K列6行数据')
# myxls.save_xls(new_fpath)
myxls.save_xls()
pass
'''
4、文件保存
保存成xls文件，和txt文件，txt文件再转换成word文档打印出来。大概有7个大类，100+小类，12737道题。
5、导入题库软件
xls文件导入题库中。
6、大功告成
PS：某笔app更新后，加入了防抓取数据的功能，貌似安卓5.1以上的都不能抓取了。
据资深网友反应，使用安卓模拟器（系统版本4.4）还可以抓到明文数据，有兴趣的读者可以试一试。
② python 怎么爬取app端数据
可以，但是不提倡这种行为 1，在手机上设置代理，代理到你的电脑上 2，再在电脑上用tcpmp或者其他图形化的抓包工具获得数据包，分析这些数据包找到你要的数据 3，根据前两步的结果，写代码模拟app的操作获得你需要的数据
③ 4种Python爬虫（4. 手机APP，如，乐刻运动）
目录:
1. PC网页爬虫
2. H5网页爬虫
3. 微信小程序爬虫
4. 手机APP爬虫
爬取乐刻运动手机APP的课表数据。Android和iOS都可以。坦渣
要制定具体方案，还是要从抓包分析开羡信碧始。
如果你在前一章《三、微信小程序爬虫》中已经搭建好了Charles+iPhone的抓包环境，可以直接启动“乐刻APP”再来抓一波。
LefitAppium.py
LefitMitmAddon.py
接下来就是见证奇迹的时刻了！
可以看到左侧的手机已经自动跑起来了！
所有流过的数据都尽在掌握！
这个方案的适应能力非常强，兄举不怕各种反爬虫机制。
但是如果要去爬取淘宝、携程等海量数据时，肯定也是力不从心。
④ 爬虫可以爬取手机上app应用中的内容吗例如新闻、商品信息、用户信息等等。
搜索引缓羡擎爬虫不能抓取app应用中的内容。
搜索引擎爬虫只可以抓扰让拍取pc或者一定网页内容。网络爬虫是一种自动获取网页内容的程序，是搜索引擎的重要滑森组成部分。
⑤ App中的数据可以用网络爬虫抓取么
可以，你可以用抓包，然后通过代理ip的方式，让你的手机和电脑处在唯笑一个网指州含络，然后通过发送请求的方式迹扒去获取
⑥ 不用root手机直接查看APP数据库文件
1.首先进入shell，打开命令行终端，输入：
2.进入指定app的正雀余举滚data目录:
3.进入到目录后，可以运行“ls”命令查看文件列表，如果想要将某个文件拷贝到电脑上岁正可以使用以下命令:
4.退出adb shell或重新打开一个命令行窗口：
5.拷贝到电脑后可以通过命令行的方式"sqlite3"查看也可以通过工具查看，往下就不写具体的了。
⑦ 如何爬取京东手机上万的商品数据，这个神器可以帮你
Charles是一个网络抓包工具，我们可以用它来做App的抓包分析，得到App运行过程中发生的所有网络请求和响应内容，这就和Web端浏览器的开发者工具Network部分看到的结果一致。
相比Fiddler来说，Charles的功能更强大，而且跨平台支持更好。所以我们选用Charles作为主要的移动端抓包工具，用于分析移动App的数据包，辅助完成App数据抓碧档取工作。
一、本节目标
本节我们以京东App为例，通过Charles抓取App运行过程中的网络数据包，然后查看具体的Request和Response内容，以此来了解Charles的用法。
二、准备工作
请确保已经正确安装Charles并开启了代理服务，手机和Charles处于同一个局域网下，Charles代理和CharlesCA证书设置好。
三、原理
首先Charles运行在自己的PC上，Charles运行的时候会在PC的8888端口开启一个代理服务，这个服务实际上是一个HTTP/HTTPS的代理。
确保手机和PC在同一个局域网内，我们可以使用手机模拟器通过虚拟网络连接，也可以使用手机真机和PC通过无线网络连接。
设置手机代理为Charles的代理地址，这样手机访问互联网的数据包就会流经Charles，Charles再转发这些数据包到真实的服务器，服务器返回的数据包再由Charles转发回手机，Charles就起到中间人的作用，所有流量包都可以捕捉到，因此所有HTTP请求和响应都可以捕获到。同时Charles还有权力对请求和响应进行修改。
四、抓包
初始状态下Charles的运行界面如下图所示。
Charles会一直监听PC和手机发生的网络数据包，捕获到的数据包就会显示在左侧，随着时间的推移，捕获的数据包越来越多，左侧列表的内容也会越来越多。
可以看到，图中左侧显示了Charles抓取到的请求站点，我们点击任意一个条目便可以查看对应请求的详细信息，其中包括Request、Response等内容。
接下来清空Charles的抓取结果，点击左侧的扫帚按钮即可清空当前捕获到的所有请求。然后点击第二个监听按钮，确保监听按钮是打开的，这表示Charles正在监听App的网络数据流，如下图所示。
这时打开手机京东，注意一定要提前设置好Charles的代理并配置好CA证书，否则没有效果。
打开任意一个商品，如iPhone，然后打开它的商品评论页面，如下图示。
不断上拉加载评论，可以看到Charles捕获到这个过程中京东App内发生的所有网络请求，如下图所示。
左侧列表中会出现一个api.m.jd.com链接，而且它在不停闪动，很可能就是当前App发出的获取评论数据的请求被Charles捕获到了。我们点击将其展开，继续上拉刷新评论。随着上拉的进行，此处又会出现一个个网络请求记录，这时新出现的数据包请求确定就是获取评论的请求。
为了验证其正确性，我们点击查看其中一个条目的详情信息。切换到Contents选项卡，这时我们发现一些JSON数据，核对一下结果，结果有commentData字段，其内容和我们在App中看到的评论内容一致，如下图所示。
这时可以确定，此请求对应的接口就是获取商品评论的接口。这样我们就成功捕获到了在上拉刷新的过程中发生的请求和响应内容。
五、分析
现在分析一下这个请求和响应的详细信息。首先可以回到Overview选项卡，上方显示了请求的接口URL，接着是响应状态Status Code、请求方式Method等，悔裂乱如下图所示。
这个结果和原本在源伏Web端用浏览器开发者工具内捕获到的结果形式是类似的。
接下来点击Contents选项卡，查看该请求和响应的详情信息。
上半部分显示的是Request的信息，下半部分显示的是Response的信息。比如针对Reqeust，我们切换到Headers选项卡即可看到该Request的Headers信息，针对Response，我们切换到JSON TEXT选项卡即可看到该Response的Body信息，并且该内容已经被格式化，如下图所示。
由于这个请求是POST请求，我们还需要关心POST的表单信息，切换到Form选项卡即可查看，如下图所示。
这样我们就成功抓取App中的评论接口的请求和响应，并且可以查看Response返回的JSON数据。
至于其他App，我们同样可以使用这样的方式来分析。如果我们可以直接分析得到请求的URL和参数的规律，直接用程序模拟即可批量抓取。
六、重发
Charles还有一个强大功能，它可以将捕获到的请求加以修改并发送修改后的请求。点击上方的修改按钮，左侧列表就多了一个以编辑图标为开头的链接，这就代表此链接对应的请求正在被我们修改，如下图所示。
我们可以将Form中的某个字段移除，比如这里将partner字段移除，然后点击Remove。这时我们已经对原来请求携带的Form Data做了修改，然后点击下方的Execute按钮即可执行修改后的请求，如下图所示。
可以发现左侧列表再次出现了接口的请求结果，内容仍然不变，如下图所示。
删除Form表单中的partner字段并没有带来什么影响，所以这个字段是无关紧要的。
有了这个功能，我们就可以方便地使用Charles来做调试，可以通过修改参数、接口等来测试不同请求的响应状态，就可以知道哪些参数是必要的哪些是不必要的，以及参数分别有什么规律，最后得到一个最简单的接口和参数形式以供程序模拟调用使用。
七、结语
以上内容便是通过Charles抓包分析App请求的过程。通过Charles，我们成功抓取App中流经的网络数据包，捕获原始的数据，还可以修改原始请求和重新发起修改后的请求进行接口测试。
知道了请求和响应的具体信息，如果我们可以分析得到请求的URL和参数的规律，直接用程序模拟即可批量抓取！
手机爬虫非常有意思，而且可以爬取的数据非常多，当然还有很多东西要学。以后我也会写一些实战的有趣案例给大家。