網站優(yōu)化中搜索引擎蜘蛛的抓取方式

2013-12-06 分類：網站建設

在上文中小編為大家講解了網站優(yōu)化教程中搜索引擎蜘蛛的分類，下面，悅哥網站優(yōu)化小編為大家介紹搜索引擎蜘蛛的抓取方式。

對于搜索引擎來說,要抓取互聯網上所有的網頁幾乎是不可能的。從目前公布的數據來看,容量大的搜索引擎也不過抓取了整個互聯網網頁數量的40%左右。其中的原因,一方面是抓取技術的瓶頸,無法遍歷所有的網頁,許多網頁無法從其他網頁的鏈接中找到;另一方面是存儲技術和處理技術的問題。如果按照每個頁面20KB計算(包含圖片),100億個網頁的容量是100×2000GB。即使能夠存儲,下載也存在問題(按照一臺機器每秒下載20KB計算,需要240臺機器不停地下載一年,才能把所有網頁下載完畢)。

同時,由于數據量太大,在提供搜索時也會有效率方面的影響。因此,許多搜索引擎的蜘蛛程序只抓取那些重要的網頁,而在抓取時主要依據某個網頁的鏈接深度來評價其重要性。

在抓取闕頁的時候,搜索引擎蜘蛛一般有兩種策略,分別是廣度優(yōu)先和深度優(yōu)先,如圖1所示。廣度優(yōu)先是指搜索引擎蜘蛛會先抓取起始網頁中鏈接的所有網頁,然后選擇其中的一個鏈接網頁,繼續(xù)抓取在此網頁中鏈接的所有網頁。這是最常用的方法,因為這個方法可以讓搜索引擎蜘蛛并行處理,以提高其抓取速度。深度優(yōu)先是指搜索引擎蜘蛛會從起始頁開始,一個鏈接一個鏈接跟蹤下去,處理完條線路之后再轉入下一個起始頁,繼續(xù)跟蹤鏈接。這個方法有個優(yōu)點是搜索引擎蜘蛛的設計比較簡單。

由于不可能抓取所有的網頁,所以有些搜索引擎蜘蛛對一些不太重要的網站設置了訪問的層數。如圖1所示,A為起始網頁,屬于第0層,B、C、D、E、F屬于第1層,G、H屬于第2層,I屬于第3層。如果搜索引擎蜘蛛設置的訪問層數為2,網頁I將不會被訪問。這也導致有些網站的一部分網頁能夠在搜索引擎上搜索到,而另外一部分無法搜索到。對于網站設計者來說,扁平化的網站結構設計有助于搜索引擎抓取其更多的網頁。

搜索引擎蜘蛛在訪問網站網頁的時候,經常會遇到加密數據和網頁權限的問題,有些網頁是需要會員權限才能訪問的。當然,網站的所有者可以通過協議讓搜索引擎蜘蛛不去抓取,但對于一些出售報告的網站,它們希望搜索引擎能搜索到它們的報告,但又不想讓搜索者完全免費地查看,這樣就需要給搜索引擎蜘蛛提供相應的用戶名和密碼。搜索引擎蜘蛛可以通過所給的權限對這些網頁進行抓取,從而提供搜索。而當搜索者查看該網頁的時候,同樣需要進行相應的權限驗證。

以上就是本次小編為大家分享的關于網站優(yōu)化教程中搜索引擎蜘蛛的抓取方式的內容，本文主要內容來源于網絡，由小編整理發(fā)布，如有侵權請聯系本網站，謝謝!

網站欄目：網站優(yōu)化中搜索引擎蜘蛛的抓取方式
網站地址：http://m.kartarina.com/news17/4817.html

成都網站建設公司_創(chuàng)新互聯，為您提供網站排名、定制網站、企業(yè)建站、網站設計、商城網站、電子商務

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源：創(chuàng)新互聯

猜你還喜歡下面的內容

網站優(yōu)化中引導流量的方法都有什么？ 2013-12-06
網站優(yōu)化中圖片優(yōu)化的重要性 2013-12-05
網站優(yōu)化中幾種常見的企業(yè)網絡推廣技巧分享 2013-12-05
網站優(yōu)化不好的原因的原因是什么 2013-12-05
網站優(yōu)化SEO文章如何增加可讀性 2013-12-05
網站優(yōu)化，要做就做完整的 2013-12-05
網站代碼優(yōu)化的策略 2013-12-05