① 網上的輿情信息數據要要怎麼監測和搜集
需要用數據採集軟體啊，也是人們常說的爬蟲。先確定採集的目標網站，使用爬蟲爬取數據；其次對採集到的數據進行清洗、挖掘得到有效的數據，然後利用數據分析工具生成圖表，好一點的工具可以直接生成輿情報告，圖文都有的那種。如果想省點事兒的話可以用「 前 嗅 」他們家都有，主要是服務態度好。
② 如何爬取全網1200本Python書
前面寫了一篇文章關於爬取市面上所有的Python書思路，這也算是我們數據分析系列講座裡面的一個小的實戰項目。上次代碼沒有寫完，正好周末有時間把代碼全部完成並且存入了資料庫中，今天就給大家一步步分析一下是我是如何爬取數據，清洗數據和繞過反爬蟲的一些策略和點滴記錄。
1
目標網站分析-主頁面爬取
1).市面上所有的Python書，都在京東，淘寶和豆瓣上，於是我選擇了豆瓣來爬取
2).分析網站的結構，其實還是比較簡單的，首先有一個主的頁面，裡面有所有python的鏈接，一共1388本(其中有100多本其實是重復的),網頁底部分頁顯示一共93頁
3).這個頁面是靜態頁面，url頁比較有規律，所以很容易構造出所有的url的地址
4).爬蟲每個分頁裡面的所有的Python書和對應的url,比如第一頁裡面有"笨辦法這本書",我們只需要提取書名和對應的url
2
單個頁面分析爬取
1).上面我們已經提取了93個頁面的所有的Python書和對應的url,一共是93*15大概1300多本書,首先先去重，然後我們可以把它存到內存裡面用一個字典保存，或者存到一個csv文件中去(有同學可能奇怪為啥要存到文件裡面呢，用字典存取不是方便嗎,先不說最後揭曉)
2).我們接著分析每本書頁面的特徵:
上一片文章說過我們需要分析：
作者/出版社/譯者/出版年/頁數/定價/ISBN/評分/評價人數
看一下網站的源碼,發現主要的信息在div id="info" 和div class="rating_self clearfix"
3).這一部分的數據清洗是比較麻煩的，因為不是每一本書都是有點評和評分系統的,而且不是每一本書都有作者，頁面，價格的，所以提取的時候一定要做好異常處理,比如有的頁面長的這樣:
原始數據採集的過程中有很多不一致的數據：
書的日期表示格式，各種各樣都有:
有的書的日期是:'September 2007'，'October 22, 2007'，'2017-9','2017-8-25'
有的書的價格是貨幣單位不統一，有美金,日元，歐元和人民幣
比如:CNY 49.00，135,19 €，JPY 4320， $ 176.00
3
多線程爬取
1).有的同學後台問我，你是用scrapy框架還是自己動手寫的，我這個項目是自己動手寫的,其實scrapy是一個非常棒的框架，如果爬取幾十萬的數據，我一定會用這個超級武器.
2).我用的是多線程爬取，把所有的url都扔到一個隊列裡面，然後設置幾個線程去隊列裡面不斷的爬取，然後循環往復，直到隊列里的url全部處理完畢
3).數據存儲的時候，有兩種思路：
一種是直接把爬取完的數據存到SQL資料庫裡面，然後每次新的url來了之後，直接查詢資料庫裡面有沒有，有的話，就跳過，沒有就爬取處理
另一種是存入CSV文件，因為是多線程存取，所以一定要加保護，不然幾個線程同時寫一個文件的會有問題的，寫成CSV文件也能轉換成資料庫，而且保存成CSV文件還有一個好處，可以轉成pandas非常方便的處理分析.
4
反爬蟲策略
1).一般大型的網站都有反爬蟲策略，雖然我們這次爬的數量只有1000本書，但是一樣會碰到反爬蟲問題
2).關於反爬蟲策略，繞過反爬蟲有很多種方法。有的時候加時延(特別是多線程處理的時候)，有的時候用cookie,有的會代理，特別是大規模的爬取肯定是要用代理池的,我這里用的是cookie加時延,比較土的方法.
3).斷點續傳，雖然我的數據量不是很大，千條規模，但是建議要加斷點續傳功能,因為你不知道在爬的時候會出現什麼問題，雖然你可以遞歸爬取，但是如果你爬了800多條，程序掛了，你的東西還沒用存下來，下次爬取又要重頭開始爬，會吐血的(聰明的同學肯定猜到，我上面第二步留的伏筆，就是這樣原因)
5
代碼概述篇
1).整個的代碼架構我還沒有完全優化，目前是6個py文件，後面我會進一步優化和封裝的
spider_main:主要是爬取93個分頁的所有書的鏈接和書面，並且多線程處理
book_html_parser:主要是爬取每一本書的信息
url_manager:主要是管理所有的url鏈接
db_manager:主要是資料庫的存取和查詢
util:是一個存放一些全局的變數
verify:是我內部測試代碼的一個小程序
2).主要的爬取結果的存放
all_books_link.csv:主要存放1200多本書的url和書名
python_books.csv:主要存放具體每一本書的信息
3).用到的庫
爬蟲部分：用了requests,beautifulSoup
數據清洗：用了大量的正則表達式，collection模塊，對書的出版日期用了datetime和calendar模塊
多線程:用了threading模塊和queue
結論:
好，今天的全網分析Python書，爬蟲篇，就講道這里，基本上我們整個這個項目的技術點都講了一遍，爬蟲還是很有意思的，但是要成為一個爬蟲高手還有很多地方要學習，想把爬蟲寫的爬取速度快，又穩健，還能繞過反爬蟲系統,並不是一件容易的事情. 有興趣的小夥伴，也可以自己動手寫一下哦。源碼等後面的數據分析篇講完後，我會放github上,若有什麼問題，也歡迎留言討論一下.
③ Python爬蟲數據應該怎麼處理
一、首先理解下面幾個函數
設置變數 length()函數 char_length() replace() 函數 max() 函數
1.1、設置變數 set @變數名=值
set @address='中國-山東省-聊城市-莘縣';select @address
1.2 、length()函數 char_length()函數區別
select length('a')
,char_length('a')
,length('中')
,char_length('中')
1.3、 replace() 函數 和length()函數組合
set @address='中國-山東省-聊城市-莘縣';select @address
,replace(@address,'-','') as address_1
,length(@address) as len_add1
,length(replace(@address,'-','')) as len_add2
,length(@address)-length(replace(@address,'-','')) as _count
etl清洗欄位時候有明顯分割符的如何確定新的數據表增加幾個分割出的欄位
計算出com_instry中最多有幾個 - 符 以便確定增加幾個欄位 最大值+1 為可以拆分成的欄位數 此表為3 因此可以拆分出4個行業欄位 也就是4個行業等級
select max(length(com_instry)-length(replace(com_instry,'-',''))) as _max_count
from etl1_socom_data
1.4、設置變數 substring_index()字元串截取函數用法
set @address='中國-山東省-聊城市-莘縣';
select
substring_index(@address,'-',1) as china,
substring_index(substring_index(@address,'-',2),'-',-1) as province,
substring_index(substring_index(@address,'-',3),'-',-1) as city,
substring_index(@address,'-',-1) as district
1.5、條件判斷函數 case when
case when then when then else 值 end as 欄位名
select case when 89>101 then '大於' else '小於' end as betl1_socom_data
二、kettle轉換etl1清洗
首先建表 步驟在視頻里
欄位索引 沒有提 索引演算法建議用BTREE演算法增強查詢效率
2.1.kettle文件名：trans_etl1_socom_data
2.2.包括控制項：表輸入>>>表輸出
2.3.數據流方向：s_socom_data>>>>etl1_socom_data
網站頁面數據
etl2_socom_data表數據
清洗工作完成。
④ python怎麼做大數據分析
數據獲取：公開數據、Python爬蟲外部數據的獲取方式主要有以下兩種。（推薦學習：Python視頻教程）
第一種是獲取外部的公開數據集，一些科研機構、企業、政府會開放一些數據，你需要到特定的網站去下載這些數據。這些數據集通常比較完善、質量相對較高。
另一種獲取外部數據的方式就是爬蟲。
比如你可以通過爬蟲獲取招聘網站某一職位的招聘信息，爬取租房網站上某城市的租房信息，爬取豆瓣評分評分最高的電影列表，獲取知乎點贊排行、網易雲音樂評論排行列表。基於互聯網爬取的數據，你可以對某個行業、某種人群進行分析。
在爬蟲之前你需要先了解一些 Python 的基礎知識：元素（列表、字典、元組等）、變數、循環、函數………
以及，如何用 Python 庫（urlpb、BeautifulSoup、requests、scrapy）實現網頁爬蟲。
掌握基礎的爬蟲之後，你還需要一些高級技巧，比如正則表達式、使用cookie信息、模擬用戶登錄、抓包分析、搭建代理池等等，來應對不同網站的反爬蟲限制。
數據存取：SQL語言
在應對萬以內的數據的時候，Excel對於一般的分析沒有問題，一旦數據量大，就會力不從心，資料庫就能夠很好地解決這個問題。而且大多數的企業，都會以SQL的形式來存儲數據。
SQL作為最經典的資料庫工具，為海量數據的存儲與管理提供可能，並且使數據的提取的效率大大提升。你需要掌握以下技能：
提取特定情況下的數據
資料庫的增、刪、查、改
數據的分組聚合、如何建立多個表之間的聯系
數據預處理：Python（pandas）
很多時候我們拿到的數據是不幹凈的，數據的重復、缺失、異常值等等，這時候就需要進行數據的清洗，把這些影響分析的數據處理好，才能獲得更加精確地分析結果。
對於數據預處理，學會 pandas （Python包）的用法，應對一般的數據清洗就完全沒問題了。需要掌握的知識點如下：
選擇：數據訪問
缺失值處理：對缺失數據行進行刪除或填充
重復值處理：重復值的判斷與刪除
異常值處理：清除不必要的空格和極端、異常數據
相關操作：描述性統計、Apply、直方圖等
合並：符合各種邏輯關系的合並操作
分組：數據劃分、分別執行函數、數據重組
Reshaping：快速生成數據透視表
概率論及統計學知識
需要掌握的知識點如下：
基本統計量：均值、中位數、眾數、百分位數、極值等
其他描述性統計量：偏度、方差、標准差、顯著性等
其他統計知識：總體和樣本、參數和統計量、ErrorBar
概率分布與假設檢驗：各種分布、假設檢驗流程
其他概率論知識：條件概率、貝葉斯等
有了統計學的基本知識，你就可以用這些統計量做基本的分析了。你可以使用 Seaborn、matplotpb 等（python包）做一些可視化的分析，通過各種可視化統計圖，並得出具有指導意義的結果。
Python 數據分析
掌握回歸分析的方法，通過線性回歸和邏輯回歸，其實你就可以對大多數的數據進行回歸分析，並得出相對精確地結論。這部分需要掌握的知識點如下：
回歸分析：線性回歸、邏輯回歸
基本的分類演算法：決策樹、隨機森林……
基本的聚類演算法：k-means……
特徵工程基礎：如何用特徵選擇優化模型
調參方法：如何調節參數優化模型
Python 數據分析包：scipy、numpy、scikit-learn等
在數據分析的這個階段，重點了解回歸分析的方法，大多數的問題可以得以解決，利用描述性的統計分析和回歸分析，你完全可以得到一個不錯的分析結論。
當然，隨著你實踐量的增多，可能會遇到一些復雜的問題，你就可能需要去了解一些更高級的演算法：分類、聚類。
然後你會知道面對不同類型的問題的時候更適合用哪種演算法模型，對於模型的優化，你需要去了解如何通過特徵提取、參數調節來提升預測的精度。
你可以通過 Python 中的 scikit-learn 庫來實現數據分析、數據挖掘建模和分析的全過程。
更多Python相關技術文章，請訪問Python教程欄目進行學習！以上就是小編分享的關於python怎麼做大數據分析的詳細內容希望對大家有所幫助，更多有關python教程請關注環球青藤其它相關文章！
⑤ 工作兩年，想轉行做數據分析，不知道路怎樣走
如何轉行數據分析師
近年來，各大平台開始炒起了「數據分析」熱，導致有不少小夥伴來問我：做數據分析師有那麼好嗎？如何轉行做數據分析師？學數據分析難不難？
我想首先澄清一個概念：「轉行」。對於從未接觸數據分析領域或者大數據領域的童鞋而言，「轉行」這個詞其實是不夠准確的，大部分的童鞋還是符合「入行」這個詞。就我看來，字面意義的「轉行」更像是平行概念，似乎是在同一個水平面，走到街轉角，然後右轉，便到了另一番天地。
但是實際的「轉行」是遠比這殘酷的。
「轉行」的第一個動作一定是放棄和下沉。放棄你現在所擁有技能帶給你現在的地位和薪資，是走下現在的台階，到達更低的台階，然後再往上攀登的過程。也就是說：沒有放棄和下沉，你談不上是在轉行。如果你要轉行，一定要意識到轉行的殘酷性。
很好，你已經意識到轉行的殘酷了。你放棄了現有的，也心態和身體都下沉做好了起跑的准備了。下一步，就是精準地找到那扇門：進入數據分析師世界的大門。
注意「精準」這個詞。那一定是旁邊那些形形色色的門你都不選，而選了唯一的這一扇門。為了找到這扇門，你經過了無數次的網路搜索，論壇搜知識點，然後在判別上去偽存真，最終找到了進入數據分析師這條正確的大門。
那如何找到這扇門呢？
高度概括就兩件事：工具+方法論。工具從初級到高級的排序是：Excel, MySQL, BI, Python, 演算法等。
你需要做以下幾件事：
1. 掌握數據分析工具
A. 基礎工具：excel
excel能夠幫助你實現數據透視並可視化，只需用到其中部分功能即可完成日常量數據的計算工作。
B. 提取數據工具：MySQL
MySQL資料庫中包含基本的增、刪、改、查等語法，你可以利用它對數據進行清洗和規范化。
C. 分析工具：python
爬取數據，並對數據進行分析和挖掘收集，python有非常豐富的庫去訪問網頁文檔的api以及後期網頁文檔的快速處理。
D. 可視化工具：excel、PPT、FineBI
可視化就是將原本比較抽象的數據用圖表的方式呈現出來，使數據變得更加清晰，便於理解。excel和PPT就是相當常用的可視化工具。
E. 機器學習或神經網路等演算法
演算法的作用就是把事物的已有特徵跟這件事的結果，這個「特徵x」和「結果y」之間建立一個數學公式之間的聯系。從無數個已知的x，y之中找到x,y最優的關系的數學公式，最終找到一個數學公式能在已知很多x的情況下，預測它的y值。這個聽起來或許沒那麼直觀。但是它的應用是極其廣泛的。比如：如果已知各個森林的各種實時數據，就能夠知道哪個森林更容易著山火，下次就避免這種山火。
2. 掌握數據分析方法論
這個就是結合到公司的業務要找到最符合公司的數據分析模型。通常每一個特定行業都有業務分析習慣使用的模型，例如電商中常使用的分解因子分析，漏斗分析等；零售行業常用RFM模型；教育行業常用時間趨勢分析，描述性統計分析，人物畫像分析等。每個行業所對應的數據運營模型甚至是演算法，都會是定製化的，個性化的，但是這背後都會有通用邏輯。掌握這些通用邏輯，是數據分析師在業務模型上變通的基礎。也就像是學習籃球，你先得學會基本運球技巧，熟練左右手上籃，然後再在實戰中練習傳球，走位等等。掌握通用技能就是練習左右手上籃以及運球技巧，在實際業務中運用模型也就是練習走位和傳球。對於想入行的零基礎學員來說，掌握數據分析通用方法論是極其重要的。
然而，沒有人是能夠一蹴而就就掌握好這么多工具和方法論的。所有的遠航都得有一個開始的遠點，入門數據分析師也一樣。
一開始，你可能只是學習成為初級數據專員。這要求你熟練掌握excel、PPT，會做VBA、會做透視表、會使用基本公式，這樣你已經能做很多傳統公司的數據專員了。第二階段是要會SQL、懂業務，能夠做一些基本的數據處理，再加上上一階段的那些技能，你就能做大部分公司的數據運營和數據產品。然後是專業的數據分析師，你要非常熟悉統計學，回歸、假設檢驗、時間序列等等，還要會做數據可視化，掌握了這些技術，就足以應付大多數的互聯網業務。最高階的就是數據科學家，到了這個階段，已經成為了數據分析師中的王者，要求你精通統計學，會使用機器學習，比如調參數和優化，而取數、數據倉庫、可視化什麼的，對你來說就是小菜一碟。
其實，數據分析已經逐漸成為了職場中的必備技能，無論你是不是想要成為一名數據分析師，數據分析都應用在我們生活中的方方面面。學習數據分析能夠充分發揮你在工作中的超強能力，如果你想要有更系統的學習方案和職業規劃，歡迎加入【聚數學院】~
⑥ 請教各位高手，我是用的網路爬蟲程序採集的網頁數據，如何進行數據清洗
採集過程中不太好清洗，除非你能精確分析出廣告信息的特徵，再加上語義判斷規則才可以精確清洗。建議先把數據採集下來，後期在mysql中用sql語句進行清洗。
⑦ Python爬蟲：如何在一個月內學會爬取大規模數
爬蟲是入門Python最好的方式，沒有之一。Python有很多應用的方向，比如後台開發、web開發、科學計算等等，但爬蟲對於初學者而言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。
掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的使用，以及如何查找文檔你都非常熟悉了。
對於小白來說，爬蟲可能是一件非常復雜、技術門檻很高的事情。比如有人認為學爬蟲必須精通 Python，然後哼哧哼哧系統學習 Python 的每個知識點，很久之後發現仍然爬不了數據；有的人則認為先要掌握網頁的知識，遂開始 HTMLCSS，結果入了前端的坑，瘁……
但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從一開始就要有一個具體的目標。
在目標的驅動下，你的學習才會更加精準和高效。那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。這里給你一條平滑的、零基礎快速入門的學習路徑。
1.學習 Python 包並實現基本的爬蟲過程
2.了解非結構化數據的存儲
3.學習scrapy，搭建工程化爬蟲
4.學習資料庫知識，應對大規模數據存儲與提取
5.掌握各種技巧，應對特殊網站的反爬措施
6.分布式爬蟲，實現大規模並發採集，提升效率
- -
學習 Python 包並實現基本的爬蟲過程
大部分Python爬蟲都是按「發送請求——獲得頁面——解析頁面——抽取並儲存內容」這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程。
Python爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議從requests+Xpath 開始，requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。
如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多，一般的靜態網站根本不在話下，豆瓣、糗事網路、騰訊新聞等基本上都可以上手了。
當然如果你需要爬取非同步載入的網站，可以學習瀏覽器抓包分析真實請求或者學習Selenium來實現自動化，這樣，知乎、時光網、貓途鷹這些動態的網站也可以迎刃而解。
- -
了解非結構化數據的存儲
爬回來的數據可以直接用文檔形式存在本地，也可以存入資料庫中。
開始數據量不大的時候，你可以直接通過 Python 的語法或 pandas 的方法將數據存為csv這樣的文件。
當然你可能發現爬回來的數據並不是干凈的，可能會有缺失、錯誤等等，你還需要對數據進行清洗，可以學習 pandas 包的基本用法來做數據的預處理，得到更干凈的數據。
- -
學習 scrapy，搭建工程化的爬蟲
掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常復雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy 框架就非常有用了。
scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。
學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。
- -
學習資料庫基礎，應對大規模數據存儲
爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種資料庫是必須的，學習目前比較主流的 MongoDB 就OK。
MongoDB 可以方便你去存儲一些非結構化的數據，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。
因為這里要用到的資料庫知識其實非常簡單，主要是數據如何入庫、如何進行提取，在需要的時候再學習就行。
- -
掌握各種技巧，應對特殊網站的反爬措施
當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態載入等等。
遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規的比如訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等。
往往網站在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了。
- -
分布式Python爬蟲，實現大規模並發採集
爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分布式爬蟲。
分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具。
Scrapy 前面我們說過了，用於做基本的