一、認(rèn)識(shí)網(wǎng)頁(yè)
成都創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù),包含不限于成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)、建湖網(wǎng)絡(luò)推廣、微信小程序、建湖網(wǎng)絡(luò)營(yíng)銷、建湖企業(yè)策劃、建湖品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等,從售前售中售后,我們都將竭誠(chéng)為您服務(wù),您的肯定,是我們最大的嘉獎(jiǎng);成都創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供建湖建站搭建服務(wù),24小時(shí)服務(wù)熱線:028-86922220,官方網(wǎng)址:m.kartarina.com
網(wǎng)頁(yè)分為三個(gè)部分:HTML(結(jié)構(gòu))、CSS(樣式)、JavaScript(功能)。
二、爬取網(wǎng)站信息入門(mén)
1、Soup = BeautifulSoup (html, 'lxml'),使用beautifulsoup來(lái)解析網(wǎng)頁(yè)。
2、使用copy CSS selector來(lái)復(fù)制網(wǎng)頁(yè)元素的位置。
三、爬取房天下網(wǎng)站信息?
1、導(dǎo)入requests和beautifulsoup
2、定義函數(shù)spider_ftx,把所需要爬取的信息都定義出來(lái)
3、調(diào)用函數(shù)spider_ftx
4、翻頁(yè)爬取二手房信息
由于每頁(yè)最多只能顯示40條信息,觀察每一頁(yè)網(wǎng)址的變化規(guī)律,寫(xiě)一個(gè)循環(huán)調(diào)用的語(yǔ)句,把全部100頁(yè)的信息全都爬取下來(lái)。
四、小結(jié):
目前只能爬取到網(wǎng)站的100頁(yè)信息,網(wǎng)站為了反爬,設(shè)置了可瀏覽的頁(yè)面量100。要想爬取網(wǎng)站的所有信息,可以通過(guò)分類去獲取,但是如何用python實(shí)現(xiàn)呢,請(qǐng)看下集。
在我們?nèi)粘I暇W(wǎng)瀏覽網(wǎng)頁(yè)的時(shí)候,經(jīng)常會(huì)看到一些好看的圖片,我們就希望把這些圖片保存下載,或者用戶用來(lái)做桌面壁紙,或者用來(lái)做設(shè)計(jì)的素材。
我們最常規(guī)的做法就是通過(guò)鼠標(biāo)右鍵,選擇另存為。但有些圖片鼠標(biāo)右鍵的時(shí)候并沒(méi)有另存為選項(xiàng),還有辦法就通過(guò)就是通過(guò)截圖工具截取下來(lái),但這樣就降低圖片的清晰度。好吧其實(shí)你很厲害的,右鍵查看頁(yè)面源代碼。
我們可以通過(guò)python?來(lái)實(shí)現(xiàn)這樣一個(gè)簡(jiǎn)單的爬蟲(chóng)功能,把我們想要的代碼爬取到本地。下面就看看如何使用python來(lái)實(shí)現(xiàn)這樣一個(gè)功能。
具體步驟
獲取整個(gè)頁(yè)面數(shù)據(jù)首先我們可以先獲取要下載圖片的整個(gè)頁(yè)面信息。
getjpg.py
#coding=utf-8import urllibdef getHtml(url):
page = urllib.urlopen(url)
html = page.read() ? ?return html
html = getHtml("")print html
Urllib?模塊提供了讀取web頁(yè)面數(shù)據(jù)的接口,我們可以像讀取本地文件一樣讀取www和ftp上的數(shù)據(jù)。首先,我們定義了一個(gè)getHtml()函數(shù):
urllib.urlopen()方法用于打開(kāi)一個(gè)URL地址。
read()方法用于讀取URL上的數(shù)據(jù),向getHtml()函數(shù)傳遞一個(gè)網(wǎng)址,并把整個(gè)頁(yè)面下載下來(lái)。執(zhí)行程序就會(huì)把整個(gè)網(wǎng)頁(yè)打印輸出。
2.篩選頁(yè)面中想要的數(shù)據(jù)
Python?提供了非常強(qiáng)大的正則表達(dá)式,我們需要先要了解一點(diǎn)python?正則表達(dá)式的知識(shí)才行。
假如我們百度貼吧找到了幾張漂亮的壁紙,通過(guò)到前段查看工具。找到了圖片的地址,如:src=””pic_ext=”jpeg”
修改代碼如下:
import reimport urllibdef getHtml(url):
page = urllib.urlopen(url)
html = page.read() ? ?return htmldef getImg(html):
reg = r'src="(.+?\.jpg)" pic_ext'
imgre = re.compile(reg)
imglist = re.findall(imgre,html) ? ?return imglist ? ? ?
html = getHtml("")print getImg(html)
我們又創(chuàng)建了getImg()函數(shù),用于在獲取的整個(gè)頁(yè)面中篩選需要的圖片連接。re模塊主要包含了正則表達(dá)式:
re.compile()?可以把正則表達(dá)式編譯成一個(gè)正則表達(dá)式對(duì)象.
re.findall()?方法讀取html?中包含?imgre(正則表達(dá)式)的數(shù)據(jù)。
運(yùn)行腳本將得到整個(gè)頁(yè)面中包含圖片的URL地址。
3.將頁(yè)面篩選的數(shù)據(jù)保存到本地
把篩選的圖片地址通過(guò)for循環(huán)遍歷并保存到本地,代碼如下:
#coding=utf-8import urllibimport redef getHtml(url):
page = urllib.urlopen(url)
html = page.read() ? ?return htmldef getImg(html):
reg = r'src="(.+?\.jpg)" pic_ext'
imgre = re.compile(reg)
imglist = re.findall(imgre,html)
x = 0 ? ?for imgurl in imglist:
urllib.urlretrieve(imgurl,'%s.jpg' % x)
x+=1html = getHtml("")print getImg(html)
這里的核心是用到了urllib.urlretrieve()方法,直接將遠(yuǎn)程數(shù)據(jù)下載到本地。
通過(guò)一個(gè)for循環(huán)對(duì)獲取的圖片連接進(jìn)行遍歷,為了使圖片的文件名看上去更規(guī)范,對(duì)其進(jìn)行重命名,命名規(guī)則通過(guò)x變量加1。保存的位置默認(rèn)為程序的存放目錄。
程序運(yùn)行完成,將在目錄下看到下載到本地的文件。
Python 中可以進(jìn)行網(wǎng)頁(yè)解析的庫(kù)有很多,常見(jiàn)的有 BeautifulSoup 和 lxml 等。在網(wǎng)上玩爬蟲(chóng)的文章通常都是介紹 BeautifulSoup 這個(gè)庫(kù),我平常也是常用這個(gè)庫(kù),最近用 Xpath 用得比較多,使用 BeautifulSoup 就不大習(xí)慣,很久之前就知道 Reitz 大神出了一個(gè)叫 Requests-HTML 的庫(kù),一直沒(méi)有興趣看,這回可算歹著機(jī)會(huì)用一下了。
使用 pip install requests-html 安裝,上手和 Reitz 的其他庫(kù)一樣,輕松簡(jiǎn)單:
這個(gè)庫(kù)是在 requests 庫(kù)上實(shí)現(xiàn)的,r 得到的結(jié)果是 Response 對(duì)象下面的一個(gè)子類,多個(gè)一個(gè) html 的屬性。所以 requests 庫(kù)的響應(yīng)對(duì)象可以進(jìn)行什么操作,這個(gè) r 也都可以。如果需要解析網(wǎng)頁(yè),直接獲取響應(yīng)對(duì)象的 html 屬性:
不得不膜拜 Reitz 大神太會(huì)組裝技術(shù)了。實(shí)際上 HTMLSession 是繼承自 requests.Session 這個(gè)核心類,然后將 requests.Session 類里的 requests 方法改寫(xiě),返回自己的一個(gè) HTMLResponse 對(duì)象,這個(gè)類又是繼承自 requests.Response,只是多加了一個(gè) _from_response 的方法來(lái)構(gòu)造實(shí)例:
之后在 HTMLResponse 里定義屬性方法 html,就可以通過(guò) html 屬性訪問(wèn)了,實(shí)現(xiàn)也就是組裝 PyQuery 來(lái)干。核心的解析類也大多是使用 PyQuery 和 lxml 來(lái)做解析,簡(jiǎn)化了名稱,挺討巧的。
元素定位可以選擇兩種方式:
方法名非常簡(jiǎn)單,符合 Python 優(yōu)雅的風(fēng)格,這里不妨對(duì)這兩種方式簡(jiǎn)單的說(shuō)明:
定位到元素以后勢(shì)必要獲取元素里面的內(nèi)容和屬性相關(guān)數(shù)據(jù),獲取文本:
獲取元素的屬性:
還可以通過(guò)模式來(lái)匹配對(duì)應(yīng)的內(nèi)容:
這個(gè)功能看起來(lái)比較雞肋,可以深入研究?jī)?yōu)化一下,說(shuō)不定能在 github 上混個(gè)提交。
除了一些基礎(chǔ)操作,這個(gè)庫(kù)還提供了一些人性化的操作。比如一鍵獲取網(wǎng)頁(yè)的所有超鏈接,這對(duì)于整站爬蟲(chóng)應(yīng)該是個(gè)福音,URL 管理比較方便:
內(nèi)容頁(yè)面通常都是分頁(yè)的,一次抓取不了太多,這個(gè)庫(kù)可以獲取分頁(yè)信息:
結(jié)果如下:
通過(guò)迭代器實(shí)現(xiàn)了智能發(fā)現(xiàn)分頁(yè),這個(gè)迭代器里面會(huì)用一個(gè)叫 _next 的方法,貼一段源碼感受下:
通過(guò)查找 a 標(biāo)簽里面是否含有指定的文本來(lái)判斷是不是有下一頁(yè),通常我們的下一頁(yè)都會(huì)通過(guò) 下一頁(yè) 或者 加載更多 來(lái)引導(dǎo),他就是利用這個(gè)標(biāo)志來(lái)進(jìn)行判斷。默認(rèn)的以列表形式存在全局: ['next','more','older'] 。我個(gè)人認(rèn)為這種方式非常不靈活,幾乎沒(méi)有擴(kuò)展性。 感興趣的可以往 github 上提交代碼優(yōu)化。
也許是考慮到了現(xiàn)在 js 的一些異步加載,這個(gè)庫(kù)支持 js 運(yùn)行時(shí),官方說(shuō)明如下:
使用非常簡(jiǎn)單,直接調(diào)用以下方法:
第一次使用的時(shí)候會(huì)下載 Chromium,不過(guò)國(guó)內(nèi)你懂的,自己想辦法去下吧,就不要等它自己下載了。render 函數(shù)可以使用 js 腳本來(lái)操作頁(yè)面,滾動(dòng)操作單獨(dú)做了參數(shù)。這對(duì)于上拉加載等新式頁(yè)面是非常友好的。
本來(lái)是想爬取之后作最佳羈絆組合推算,但是遇到知識(shí)點(diǎn)無(wú)法消化(知識(shí)圖譜),所以暫時(shí)先不組合了,實(shí)力有限
庫(kù)的安裝
1.requests? #爬取棋子數(shù)據(jù)
2.json? #棋子數(shù)據(jù)為js動(dòng)態(tài),需使用json解析
3.BeautifulSoup
實(shí)戰(zhàn)前先新建個(gè)lol文件夾作為工作目錄,并創(chuàng)建子目錄data,用于存放數(shù)據(jù)。
1.爬取數(shù)據(jù),新建個(gè)py文件,用于爬取云頂數(shù)據(jù),命名為data.py
1.1定義個(gè)req函數(shù),方便讀取。//需設(shè)定編碼格式,否則會(huì)出現(xiàn)亂碼
def Re_data(url):
re = requests.get(url)
re.encoding = 'gbk'
data = json.loads(re.text)
return data['data']
1.2定義個(gè)Get函數(shù),用于讀取數(shù)據(jù)并使用保存函數(shù)進(jìn)行保存數(shù)據(jù),保存格式為json。
def Get_data():
# 獲取數(shù)據(jù)并保存至data目錄
base_url = ''
chess = Re_data(base_url + 'chess.js')
race = Re_data(base_url + 'race.js')
job = Re_data(base_url + 'job.js')
equip = Re_data(base_url + 'equip.js')
Save_data(chess,race,job,equip)
1.3定義save函數(shù)實(shí)現(xiàn)讀取的數(shù)據(jù)進(jìn)行文件保存,保存目錄為工作目錄下的data文件夾。
def Save_data(t_chess,t_race,t_job,t_equip):
with open('./data/chess.json','w') as f:
json.dump(t_chess,f,indent='\t')
with open('./data/race.json','w') as f:
json.dump(t_race,f,indent='\t')
with open('./data/job.json','w') as f:
json.dump(t_job,f,indent='\t')
with open('./data/equip.json','w') as f:
json.dump(t_equip,f,indent='\t')
1.4定義主函數(shù)main跑起來(lái)
if __name__ == '__main__':
start = time.time()
Get_data()
print('運(yùn)行時(shí)間:' + str(time.time() - start) + '秒')
至此,數(shù)據(jù)爬取完成。
2.種族和職業(yè)進(jìn)行組合。
2.1未完成 //未完成,使用窮舉方法進(jìn)行組合會(huì)出現(xiàn)內(nèi)存不夠?qū)е陆M合失敗(for循環(huán)嵌套導(dǎo)致數(shù)組內(nèi)存超限)
//待學(xué)習(xí),使用知識(shí)圖譜建立組合優(yōu)選,可參考:
期間遇到的問(wèn)題:
1.爬取棋子數(shù)據(jù)時(shí)為動(dòng)態(tài)js加載,需通過(guò)json模塊的loads方法獲取
2.3層for循環(huán)嵌套數(shù)據(jù)量大,導(dǎo)致計(jì)算失敗,需優(yōu)化計(jì)算方法。
1)首先你要明白爬蟲(chóng)怎樣工作。
想象你是一只蜘蛛,現(xiàn)在你被放到了互聯(lián)“網(wǎng)”上。那么,你需要把所有的網(wǎng)頁(yè)都看一遍。怎么辦呢?沒(méi)問(wèn)題呀,你就隨便從某個(gè)地方開(kāi)始,比如說(shuō)人民日?qǐng)?bào)的首頁(yè),這個(gè)叫initial pages,用$表示吧。
在人民日?qǐng)?bào)的首頁(yè),你看到那個(gè)頁(yè)面引向的各種鏈接。于是你很開(kāi)心地從爬到了“國(guó)內(nèi)新聞”那個(gè)頁(yè)面。太好了,這樣你就已經(jīng)爬完了倆頁(yè)面(首頁(yè)和國(guó)內(nèi)新聞)!暫且不用管爬下來(lái)的頁(yè)面怎么處理的,你就想象你把這個(gè)頁(yè)面完完整整抄成了個(gè)html放到了你身上。
突然你發(fā)現(xiàn), 在國(guó)內(nèi)新聞這個(gè)頁(yè)面上,有一個(gè)鏈接鏈回“首頁(yè)”。作為一只聰明的蜘蛛,你肯定知道你不用爬回去的吧,因?yàn)槟阋呀?jīng)看過(guò)了啊。所以,你需要用你的腦子,存下你已經(jīng)看過(guò)的頁(yè)面地址。這樣,每次看到一個(gè)可能需要爬的新鏈接,你就先查查你腦子里是不是已經(jīng)去過(guò)這個(gè)頁(yè)面地址。如果去過(guò),那就別去了。
好的,理論上如果所有的頁(yè)面可以從initial page達(dá)到的話,那么可以證明你一定可以爬完所有的網(wǎng)頁(yè)。
那么在python里怎么實(shí)現(xiàn)呢?
很簡(jiǎn)單
import Queue
initial_page = "初始化頁(yè)"
url_queue = Queue.Queue()
seen = set()
seen.insert(initial_page)
url_queue.put(initial_page)
while(True): #一直進(jìn)行直到海枯石爛
if url_queue.size()0:
current_url = url_queue.get() #拿出隊(duì)例中第一個(gè)的url
store(current_url) #把這個(gè)url代表的網(wǎng)頁(yè)存儲(chǔ)好
for next_url in extract_urls(current_url): #提取把這個(gè)url里鏈向的url
if next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break
寫(xiě)得已經(jīng)很偽代碼了。
所有的爬蟲(chóng)的backbone都在這里,下面分析一下為什么爬蟲(chóng)事實(shí)上是個(gè)非常復(fù)雜的東西——搜索引擎公司通常有一整個(gè)團(tuán)隊(duì)來(lái)維護(hù)和開(kāi)發(fā)。
2)效率
如果你直接加工一下上面的代碼直接運(yùn)行的話,你需要一整年才能爬下整個(gè)豆瓣的內(nèi)容。更別說(shuō)Google這樣的搜索引擎需要爬下全網(wǎng)的內(nèi)容了。
問(wèn)題出在哪呢?需要爬的網(wǎng)頁(yè)實(shí)在太多太多了,而上面的代碼太慢太慢了。設(shè)想全網(wǎng)有N個(gè)網(wǎng)站,那么分析一下判重的復(fù)雜度就是N*log(N),因?yàn)樗芯W(wǎng)頁(yè)要遍歷一次,而每次判重用set的話需要log(N)的復(fù)雜度。OK,OK,我知道python的set實(shí)現(xiàn)是hash——不過(guò)這樣還是太慢了,至少內(nèi)存使用效率不高。
通常的判重做法是怎樣呢?Bloom Filter. 簡(jiǎn)單講它仍然是一種hash的方法,但是它的特點(diǎn)是,它可以使用固定的內(nèi)存(不隨url的數(shù)量而增長(zhǎng))以O(shè)(1)的效率判定url是否已經(jīng)在set中。可惜天下沒(méi)有白吃的午餐,它的唯一問(wèn)題在于,如果這個(gè)url不在set中,BF可以100%確定這個(gè)url沒(méi)有看過(guò)。但是如果這個(gè)url在set中,它會(huì)告訴你:這個(gè)url應(yīng)該已經(jīng)出現(xiàn)過(guò),不過(guò)我有2%的不確定性。注意這里的不確定性在你分配的內(nèi)存足夠大的時(shí)候,可以變得很小很少。一個(gè)簡(jiǎn)單的教程:Bloom Filters by Example
注意到這個(gè)特點(diǎn),url如果被看過(guò),那么可能以小概率重復(fù)看一看(沒(méi)關(guān)系,多看看不會(huì)累死)。但是如果沒(méi)被看過(guò),一定會(huì)被看一下(這個(gè)很重要,不然我們就要漏掉一些網(wǎng)頁(yè)了!)。 [IMPORTANT: 此段有問(wèn)題,請(qǐng)暫時(shí)略過(guò)]
好,現(xiàn)在已經(jīng)接近處理判重最快的方法了。另外一個(gè)瓶頸——你只有一臺(tái)機(jī)器。不管你的帶寬有多大,只要你的機(jī)器下載網(wǎng)頁(yè)的速度是瓶頸的話,那么你只有加快這個(gè)速度。用一臺(tái)機(jī)子不夠的話——用很多臺(tái)吧!當(dāng)然,我們假設(shè)每臺(tái)機(jī)子都已經(jīng)進(jìn)了最大的效率——使用多線程(python的話,多進(jìn)程吧)。
3)集群化抓取
爬取豆瓣的時(shí)候,我總共用了100多臺(tái)機(jī)器晝夜不停地運(yùn)行了一個(gè)月。想象如果只用一臺(tái)機(jī)子你就得運(yùn)行100個(gè)月了...
那么,假設(shè)你現(xiàn)在有100臺(tái)機(jī)器可以用,怎么用python實(shí)現(xiàn)一個(gè)分布式的爬取算法呢?
我們把這100臺(tái)中的99臺(tái)運(yùn)算能力較小的機(jī)器叫作slave,另外一臺(tái)較大的機(jī)器叫作master,那么回顧上面代碼中的url_queue,如果我們能把這個(gè)queue放到這臺(tái)master機(jī)器上,所有的slave都可以通過(guò)網(wǎng)絡(luò)跟master聯(lián)通,每當(dāng)一個(gè)slave完成下載一個(gè)網(wǎng)頁(yè),就向master請(qǐng)求一個(gè)新的網(wǎng)頁(yè)來(lái)抓取。而每次slave新抓到一個(gè)網(wǎng)頁(yè),就把這個(gè)網(wǎng)頁(yè)上所有的鏈接送到master的queue里去。同樣,bloom filter也放到master上,但是現(xiàn)在master只發(fā)送確定沒(méi)有被訪問(wèn)過(guò)的url給slave。Bloom Filter放到master的內(nèi)存里,而被訪問(wèn)過(guò)的url放到運(yùn)行在master上的Redis里,這樣保證所有操作都是O(1)。(至少平攤是O(1),Redis的訪問(wèn)效率見(jiàn):LINSERT – Redis)
考慮如何用python實(shí)現(xiàn):
在各臺(tái)slave上裝好scrapy,那么各臺(tái)機(jī)子就變成了一臺(tái)有抓取能力的slave,在master上裝好Redis和rq用作分布式隊(duì)列。
代碼于是寫(xiě)成
#slave.py
current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)
store(current_url);
send_to_master(to_send)
#master.py
distributed_queue = DistributedQueue()
bf = BloomFilter()
initial_pages = ""
while(True):
if request == 'GET':
if distributed_queue.size()0:
send(distributed_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)
好的,其實(shí)你能想到,有人已經(jīng)給你寫(xiě)好了你需要的:darkrho/scrapy-redis · GitHub
4)展望及后處理
雖然上面用很多“簡(jiǎn)單”,但是真正要實(shí)現(xiàn)一個(gè)商業(yè)規(guī)模可用的爬蟲(chóng)并不是一件容易的事。上面的代碼用來(lái)爬一個(gè)整體的網(wǎng)站幾乎沒(méi)有太大的問(wèn)題。
但是如果附加上你需要這些后續(xù)處理,比如
有效地存儲(chǔ)(數(shù)據(jù)庫(kù)應(yīng)該怎樣安排)
有效地判重(這里指網(wǎng)頁(yè)判重,咱可不想把人民日?qǐng)?bào)和抄襲它的大民日?qǐng)?bào)都爬一遍)
有效地信息抽取(比如怎么樣抽取出網(wǎng)頁(yè)上所有的地址抽取出來(lái),“朝陽(yáng)區(qū)奮進(jìn)路中華道”),搜索引擎通常不需要存儲(chǔ)所有的信息,比如圖片我存來(lái)干嘛...
及時(shí)更新(預(yù)測(cè)這個(gè)網(wǎng)頁(yè)多久會(huì)更新一次)
如你所想,這里每一個(gè)點(diǎn)都可以供很多研究者十?dāng)?shù)年的研究。雖然如此,
“路漫漫其修遠(yuǎn)兮,吾將上下而求索”。
所以,不要問(wèn)怎么入門(mén),直接上路就好了:)
網(wǎng)站題目:關(guān)于python爬取函數(shù)實(shí)現(xiàn)的信息
瀏覽路徑:http://m.kartarina.com/article24/hjggje.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站導(dǎo)航、營(yíng)銷型網(wǎng)站建設(shè)、關(guān)鍵詞優(yōu)化、ChatGPT、手機(jī)網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)