① 网上的舆情信息数据要要怎么监测和搜集
需要用数据采集软件啊，也是人们常说的爬虫。先确定采集的目标网站，使用爬虫爬取数据；其次对采集到的数据进行清洗、挖掘得到有效的数据，然后利用数据分析工具生成图表，好一点的工具可以直接生成舆情报告，图文都有的那种。如果想省点事儿的话可以用“ 前 嗅 ”他们家都有，主要是服务态度好。
② 如何爬取全网1200本Python书
前面写了一篇文章关于爬取市面上所有的Python书思路，这也算是我们数据分析系列讲座里面的一个小的实战项目。上次代码没有写完，正好周末有时间把代码全部完成并且存入了数据库中，今天就给大家一步步分析一下是我是如何爬取数据，清洗数据和绕过反爬虫的一些策略和点滴记录。
1
目标网站分析-主页面爬取
1).市面上所有的Python书，都在京东，淘宝和豆瓣上，于是我选择了豆瓣来爬取
2).分析网站的结构，其实还是比较简单的，首先有一个主的页面，里面有所有python的链接，一共1388本(其中有100多本其实是重复的),网页底部分页显示一共93页
3).这个页面是静态页面，url页比较有规律，所以很容易构造出所有的url的地址
4).爬虫每个分页里面的所有的Python书和对应的url,比如第一页里面有"笨办法这本书",我们只需要提取书名和对应的url
2
单个页面分析爬取
1).上面我们已经提取了93个页面的所有的Python书和对应的url,一共是93*15大概1300多本书,首先先去重，然后我们可以把它存到内存里面用一个字典保存，或者存到一个csv文件中去(有同学可能奇怪为啥要存到文件里面呢，用字典存取不是方便吗,先不说最后揭晓)
2).我们接着分析每本书页面的特征:
上一片文章说过我们需要分析：
作者/出版社/译者/出版年/页数/定价/ISBN/评分/评价人数
看一下网站的源码,发现主要的信息在div id="info" 和div class="rating_self clearfix"
3).这一部分的数据清洗是比较麻烦的，因为不是每一本书都是有点评和评分系统的,而且不是每一本书都有作者，页面，价格的，所以提取的时候一定要做好异常处理,比如有的页面长的这样:
原始数据采集的过程中有很多不一致的数据：
书的日期表示格式，各种各样都有:
有的书的日期是:'September 2007'，'October 22, 2007'，'2017-9','2017-8-25'
有的书的价格是货币单位不统一，有美金,日元，欧元和人民币
比如:CNY 49.00，135,19 €，JPY 4320， $ 176.00
3
多线程爬取
1).有的同学后台问我，你是用scrapy框架还是自己动手写的，我这个项目是自己动手写的,其实scrapy是一个非常棒的框架，如果爬取几十万的数据，我一定会用这个超级武器.
2).我用的是多线程爬取，把所有的url都扔到一个队列里面，然后设置几个线程去队列里面不断的爬取，然后循环往复，直到队列里的url全部处理完毕
3).数据存储的时候，有两种思路：
一种是直接把爬取完的数据存到SQL数据库里面，然后每次新的url来了之后，直接查询数据库里面有没有，有的话，就跳过，没有就爬取处理
另一种是存入CSV文件，因为是多线程存取，所以一定要加保护，不然几个线程同时写一个文件的会有问题的，写成CSV文件也能转换成数据库，而且保存成CSV文件还有一个好处，可以转成pandas非常方便的处理分析.
4
反爬虫策略
1).一般大型的网站都有反爬虫策略，虽然我们这次爬的数量只有1000本书，但是一样会碰到反爬虫问题
2).关于反爬虫策略，绕过反爬虫有很多种方法。有的时候加时延(特别是多线程处理的时候)，有的时候用cookie,有的会代理，特别是大规模的爬取肯定是要用代理池的,我这里用的是cookie加时延,比较土的方法.
3).断点续传，虽然我的数据量不是很大，千条规模，但是建议要加断点续传功能,因为你不知道在爬的时候会出现什么问题，虽然你可以递归爬取，但是如果你爬了800多条，程序挂了，你的东西还没用存下来，下次爬取又要重头开始爬，会吐血的(聪明的同学肯定猜到，我上面第二步留的伏笔，就是这样原因)
5
代码概述篇
1).整个的代码架构我还没有完全优化，目前是6个py文件，后面我会进一步优化和封装的
spider_main:主要是爬取93个分页的所有书的链接和书面，并且多线程处理
book_html_parser:主要是爬取每一本书的信息
url_manager:主要是管理所有的url链接
db_manager:主要是数据库的存取和查询
util:是一个存放一些全局的变量
verify:是我内部测试代码的一个小程序
2).主要的爬取结果的存放
all_books_link.csv:主要存放1200多本书的url和书名
python_books.csv:主要存放具体每一本书的信息
3).用到的库
爬虫部分：用了requests,beautifulSoup
数据清洗：用了大量的正则表达式，collection模块，对书的出版日期用了datetime和calendar模块
多线程:用了threading模块和queue
结论:
好，今天的全网分析Python书，爬虫篇，就讲道这里，基本上我们整个这个项目的技术点都讲了一遍，爬虫还是很有意思的，但是要成为一个爬虫高手还有很多地方要学习，想把爬虫写的爬取速度快，又稳健，还能绕过反爬虫系统,并不是一件容易的事情. 有兴趣的小伙伴，也可以自己动手写一下哦。源码等后面的数据分析篇讲完后，我会放github上,若有什么问题，也欢迎留言讨论一下.
③ Python爬虫数据应该怎么处理
一、首先理解下面几个函数
设置变量 length()函数 char_length() replace() 函数 max() 函数
1.1、设置变量 set @变量名=值
set @address='中国-山东省-聊城市-莘县';select @address
1.2 、length()函数 char_length()函数区别
select length('a')
,char_length('a')
,length('中')
,char_length('中')
1.3、 replace() 函数 和length()函数组合
set @address='中国-山东省-聊城市-莘县';select @address
,replace(@address,'-','') as address_1
,length(@address) as len_add1
,length(replace(@address,'-','')) as len_add2
,length(@address)-length(replace(@address,'-','')) as _count
etl清洗字段时候有明显分割符的如何确定新的数据表增加几个分割出的字段
计算出com_instry中最多有几个 - 符 以便确定增加几个字段 最大值+1 为可以拆分成的字段数 此表为3 因此可以拆分出4个行业字段 也就是4个行业等级
select max(length(com_instry)-length(replace(com_instry,'-',''))) as _max_count
from etl1_socom_data
1.4、设置变量 substring_index()字符串截取函数用法
set @address='中国-山东省-聊城市-莘县';
select
substring_index(@address,'-',1) as china,
substring_index(substring_index(@address,'-',2),'-',-1) as province,
substring_index(substring_index(@address,'-',3),'-',-1) as city,
substring_index(@address,'-',-1) as district
1.5、条件判断函数 case when
case when then when then else 值 end as 字段名
select case when 89>101 then '大于' else '小于' end as betl1_socom_data
二、kettle转换etl1清洗
首先建表 步骤在视频里
字段索引 没有提 索引算法建议用BTREE算法增强查询效率
2.1.kettle文件名：trans_etl1_socom_data
2.2.包括控件：表输入>>>表输出
2.3.数据流方向：s_socom_data>>>>etl1_socom_data
网站页面数据
etl2_socom_data表数据
清洗工作完成。
④ python怎么做大数据分析
数据获取：公开数据、Python爬虫外部数据的获取方式主要有以下两种。（推荐学习：Python视频教程）
第一种是获取外部的公开数据集，一些科研机构、企业、政府会开放一些数据，你需要到特定的网站去下载这些数据。这些数据集通常比较完善、质量相对较高。
另一种获取外部数据的方式就是爬虫。
比如你可以通过爬虫获取招聘网站某一职位的招聘信息，爬取租房网站上某城市的租房信息，爬取豆瓣评分评分最高的电影列表，获取知乎点赞排行、网易云音乐评论排行列表。基于互联网爬取的数据，你可以对某个行业、某种人群进行分析。
在爬虫之前你需要先了解一些 Python 的基础知识：元素（列表、字典、元组等）、变量、循环、函数………
以及，如何用 Python 库（urlpb、BeautifulSoup、requests、scrapy）实现网页爬虫。
掌握基础的爬虫之后，你还需要一些高级技巧，比如正则表达式、使用cookie信息、模拟用户登录、抓包分析、搭建代理池等等，来应对不同网站的反爬虫限制。
数据存取：SQL语言
在应对万以内的数据的时候，Excel对于一般的分析没有问题，一旦数据量大，就会力不从心，数据库就能够很好地解决这个问题。而且大多数的企业，都会以SQL的形式来存储数据。
SQL作为最经典的数据库工具，为海量数据的存储与管理提供可能，并且使数据的提取的效率大大提升。你需要掌握以下技能：
提取特定情况下的数据
数据库的增、删、查、改
数据的分组聚合、如何建立多个表之间的联系
数据预处理：Python（pandas）
很多时候我们拿到的数据是不干净的，数据的重复、缺失、异常值等等，这时候就需要进行数据的清洗，把这些影响分析的数据处理好，才能获得更加精确地分析结果。
对于数据预处理，学会 pandas （Python包）的用法，应对一般的数据清洗就完全没问题了。需要掌握的知识点如下：
选择：数据访问
缺失值处理：对缺失数据行进行删除或填充
重复值处理：重复值的判断与删除
异常值处理：清除不必要的空格和极端、异常数据
相关操作：描述性统计、Apply、直方图等
合并：符合各种逻辑关系的合并操作
分组：数据划分、分别执行函数、数据重组
Reshaping：快速生成数据透视表
概率论及统计学知识
需要掌握的知识点如下：
基本统计量：均值、中位数、众数、百分位数、极值等
其他描述性统计量：偏度、方差、标准差、显着性等
其他统计知识：总体和样本、参数和统计量、ErrorBar
概率分布与假设检验：各种分布、假设检验流程
其他概率论知识：条件概率、贝叶斯等
有了统计学的基本知识，你就可以用这些统计量做基本的分析了。你可以使用 Seaborn、matplotpb 等（python包）做一些可视化的分析，通过各种可视化统计图，并得出具有指导意义的结果。
Python 数据分析
掌握回归分析的方法，通过线性回归和逻辑回归，其实你就可以对大多数的数据进行回归分析，并得出相对精确地结论。这部分需要掌握的知识点如下：
回归分析：线性回归、逻辑回归
基本的分类算法：决策树、随机森林……
基本的聚类算法：k-means……
特征工程基础：如何用特征选择优化模型
调参方法：如何调节参数优化模型
Python 数据分析包：scipy、numpy、scikit-learn等
在数据分析的这个阶段，重点了解回归分析的方法，大多数的问题可以得以解决，利用描述性的统计分析和回归分析，你完全可以得到一个不错的分析结论。
当然，随着你实践量的增多，可能会遇到一些复杂的问题，你就可能需要去了解一些更高级的算法：分类、聚类。
然后你会知道面对不同类型的问题的时候更适合用哪种算法模型，对于模型的优化，你需要去了解如何通过特征提取、参数调节来提升预测的精度。
你可以通过 Python 中的 scikit-learn 库来实现数据分析、数据挖掘建模和分析的全过程。
更多Python相关技术文章，请访问Python教程栏目进行学习！以上就是小编分享的关于python怎么做大数据分析的详细内容希望对大家有所帮助，更多有关python教程请关注环球青藤其它相关文章！
⑤ 工作两年，想转行做数据分析，不知道路怎样走
如何转行数据分析师
近年来，各大平台开始炒起了“数据分析”热，导致有不少小伙伴来问我：做数据分析师有那么好吗？如何转行做数据分析师？学数据分析难不难？
我想首先澄清一个概念：“转行”。对于从未接触数据分析领域或者大数据领域的童鞋而言，“转行”这个词其实是不够准确的，大部分的童鞋还是符合“入行”这个词。就我看来，字面意义的“转行”更像是平行概念，似乎是在同一个水平面，走到街转角，然后右转，便到了另一番天地。
但是实际的“转行”是远比这残酷的。
“转行”的第一个动作一定是放弃和下沉。放弃你现在所拥有技能带给你现在的地位和薪资，是走下现在的台阶，到达更低的台阶，然后再往上攀登的过程。也就是说：没有放弃和下沉，你谈不上是在转行。如果你要转行，一定要意识到转行的残酷性。
很好，你已经意识到转行的残酷了。你放弃了现有的，也心态和身体都下沉做好了起跑的准备了。下一步，就是精准地找到那扇门：进入数据分析师世界的大门。
注意“精准”这个词。那一定是旁边那些形形色色的门你都不选，而选了唯一的这一扇门。为了找到这扇门，你经过了无数次的网络搜索，论坛搜知识点，然后在判别上去伪存真，最终找到了进入数据分析师这条正确的大门。
那如何找到这扇门呢？
高度概括就两件事：工具+方法论。工具从初级到高级的排序是：Excel, MySQL, BI, Python, 算法等。
你需要做以下几件事：
1. 掌握数据分析工具
A. 基础工具：excel
excel能够帮助你实现数据透视并可视化，只需用到其中部分功能即可完成日常量数据的计算工作。
B. 提取数据工具：MySQL
MySQL数据库中包含基本的增、删、改、查等语法，你可以利用它对数据进行清洗和规范化。
C. 分析工具：python
爬取数据，并对数据进行分析和挖掘收集，python有非常丰富的库去访问网页文档的api以及后期网页文档的快速处理。
D. 可视化工具：excel、PPT、FineBI
可视化就是将原本比较抽象的数据用图表的方式呈现出来，使数据变得更加清晰，便于理解。excel和PPT就是相当常用的可视化工具。
E. 机器学习或神经网络等算法
算法的作用就是把事物的已有特征跟这件事的结果，这个“特征x”和“结果y”之间建立一个数学公式之间的联系。从无数个已知的x，y之中找到x,y最优的关系的数学公式，最终找到一个数学公式能在已知很多x的情况下，预测它的y值。这个听起来或许没那么直观。但是它的应用是极其广泛的。比如：如果已知各个森林的各种实时数据，就能够知道哪个森林更容易着山火，下次就避免这种山火。
2. 掌握数据分析方法论
这个就是结合到公司的业务要找到最符合公司的数据分析模型。通常每一个特定行业都有业务分析习惯使用的模型，例如电商中常使用的分解因子分析，漏斗分析等；零售行业常用RFM模型；教育行业常用时间趋势分析，描述性统计分析，人物画像分析等。每个行业所对应的数据运营模型甚至是算法，都会是定制化的，个性化的，但是这背后都会有通用逻辑。掌握这些通用逻辑，是数据分析师在业务模型上变通的基础。也就像是学习篮球，你先得学会基本运球技巧，熟练左右手上篮，然后再在实战中练习传球，走位等等。掌握通用技能就是练习左右手上篮以及运球技巧，在实际业务中运用模型也就是练习走位和传球。对于想入行的零基础学员来说，掌握数据分析通用方法论是极其重要的。
然而，没有人是能够一蹴而就就掌握好这么多工具和方法论的。所有的远航都得有一个开始的远点，入门数据分析师也一样。
一开始，你可能只是学习成为初级数据专员。这要求你熟练掌握excel、PPT，会做VBA、会做透视表、会使用基本公式，这样你已经能做很多传统公司的数据专员了。第二阶段是要会SQL、懂业务，能够做一些基本的数据处理，再加上上一阶段的那些技能，你就能做大部分公司的数据运营和数据产品。然后是专业的数据分析师，你要非常熟悉统计学，回归、假设检验、时间序列等等，还要会做数据可视化，掌握了这些技术，就足以应付大多数的互联网业务。最高阶的就是数据科学家，到了这个阶段，已经成为了数据分析师中的王者，要求你精通统计学，会使用机器学习，比如调参数和优化，而取数、数据仓库、可视化什么的，对你来说就是小菜一碟。
其实，数据分析已经逐渐成为了职场中的必备技能，无论你是不是想要成为一名数据分析师，数据分析都应用在我们生活中的方方面面。学习数据分析能够充分发挥你在工作中的超强能力，如果你想要有更系统的学习方案和职业规划，欢迎加入【聚数学院】~
⑥ 请教各位高手，我是用的网络爬虫程序采集的网页数据，如何进行数据清洗
采集过程中不太好清洗，除非你能精确分析出广告信息的特征，再加上语义判断规则才可以精确清洗。建议先把数据采集下来，后期在mysql中用sql语句进行清洗。
⑦ Python爬虫：如何在一个月内学会爬取大规模数
爬虫是入门Python最好的方式，没有之一。Python有很多应用的方向，比如后台开发、web开发、科学计算等等，但爬虫对于初学者而言更友好，原理简单，几行代码就能实现基本的爬虫，学习的过程更加平滑，你能体会更大的成就感。
掌握基本的爬虫后，你再去学习Python数据分析、web开发甚至机器学习，都会更得心应手。因为这个过程中，Python基本语法、库的使用，以及如何查找文档你都非常熟悉了。
对于小白来说，爬虫可能是一件非常复杂、技术门槛很高的事情。比如有人认为学爬虫必须精通 Python，然后哼哧哼哧系统学习 Python 的每个知识点，很久之后发现仍然爬不了数据；有的人则认为先要掌握网页的知识，遂开始 HTMLCSS，结果入了前端的坑，瘁……
但掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现，但建议你从一开始就要有一个具体的目标。
在目标的驱动下，你的学习才会更加精准和高效。那些所有你认为必须的前置知识，都是可以在完成目标的过程中学到的。这里给你一条平滑的、零基础快速入门的学习路径。
1.学习 Python 包并实现基本的爬虫过程
2.了解非结构化数据的存储
3.学习scrapy，搭建工程化爬虫
4.学习数据库知识，应对大规模数据存储与提取
5.掌握各种技巧，应对特殊网站的反爬措施
6.分布式爬虫，实现大规模并发采集，提升效率
- -
学习 Python 包并实现基本的爬虫过程
大部分Python爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。
Python爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，建议从requests+Xpath 开始，requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。
如果你用过 BeautifulSoup，会发现 Xpath 要省事不少，一层一层检查元素代码的工作，全都省略了。这样下来基本套路都差不多，一般的静态网站根本不在话下，豆瓣、糗事网络、腾讯新闻等基本上都可以上手了。
当然如果你需要爬取异步加载的网站，可以学习浏览器抓包分析真实请求或者学习Selenium来实现自动化，这样，知乎、时光网、猫途鹰这些动态的网站也可以迎刃而解。
- -
了解非结构化数据的存储
爬回来的数据可以直接用文档形式存在本地，也可以存入数据库中。
开始数据量不大的时候，你可以直接通过 Python 的语法或 pandas 的方法将数据存为csv这样的文件。
当然你可能发现爬回来的数据并不是干净的，可能会有缺失、错误等等，你还需要对数据进行清洗，可以学习 pandas 包的基本用法来做数据的预处理，得到更干净的数据。
- -
学习 scrapy，搭建工程化的爬虫
掌握前面的技术一般量级的数据和代码基本没有问题了，但是在遇到非常复杂的情况，可能仍然会力不从心，这个时候，强大的 scrapy 框架就非常有用了。
scrapy 是一个功能非常强大的爬虫框架，它不仅能便捷地构建request，还有强大的 selector 能够方便地解析 response，然而它最让人惊喜的还是它超高的性能，让你可以将爬虫工程化、模块化。
学会 scrapy，你可以自己去搭建一些爬虫框架，你就基本具备爬虫工程师的思维了。
- -
学习数据库基础，应对大规模数据存储
爬回来的数据量小的时候，你可以用文档的形式来存储，一旦数据量大了，这就有点行不通了。所以掌握一种数据库是必须的，学习目前比较主流的 MongoDB 就OK。
MongoDB 可以方便你去存储一些非结构化的数据，比如各种评论的文本，图片的链接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。
因为这里要用到的数据库知识其实非常简单，主要是数据如何入库、如何进行提取，在需要的时候再学习就行。
- -
掌握各种技巧，应对特殊网站的反爬措施
当然，爬虫过程中也会经历一些绝望啊，比如被网站封IP、比如各种奇怪的验证码、userAgent访问限制、各种动态加载等等。
遇到这些反爬虫的手段，当然还需要一些高级的技巧来应对，常规的比如访问频率控制、使用代理IP池、抓包、验证码的OCR处理等等。
往往网站在高效开发和反爬虫之间会偏向前者，这也为爬虫提供了空间，掌握这些应对反爬虫的技巧，绝大部分的网站已经难不到你了。
- -
分布式Python爬虫，实现大规模并发采集
爬取基本数据已经不是问题了，你的瓶颈会集中到爬取海量数据的效率。这个时候，相信你会很自然地接触到一个很厉害的名字：分布式爬虫。
分布式这个东西，听起来很恐怖，但其实就是利用多线程的原理让多个爬虫同时工作，需要你掌握 Scrapy + MongoDB + Redis 这三种工具。
Scrapy 前面我们说过了，用于做基本的