影響頁面抓取的幾個重要原因

影響蜘蛛爬行并最終影響到頁面收錄結果主要有幾個方面的原因：

1、網站的更新情況

一般來說,網站更新很快,蜘蛛就會更快地抓取網站的內容。如果網站的內容很長時間都沒有任何的更新,蜘蛛也會相應調整對網站的爬行頻率。更新頻率對新聞等網站來說很關鍵。因此,保持每天定的更新數量,對吸引蜘蛛是非常重要的。

2、網站內容的質量

對于低質量的頁面,搜索引擎一直是打擊的,因此,創建高質量的內容,對于吸引蜘蛛是非常關鍵的,從這個角度來說,“內容制勝”是完全正確的。如果網頁是低質量的,比如大量采集相同內容,頁面核心內容空泛,就無法獲得蜘蛛的青睞。

3、網站是否可以正常訪問

網站是否可以正常訪問對搜索引擎來說就是連通度。連通度要求網站不能經常訪問不了,或者訪問速度特別慢。從蜘蛛角度來看,希望能提供給檢索客戶的網頁都是可以正常訪冋的頁面,對于服務器反應速度慢或者經常死機的服務器,相關網站肯定會有負面的印象,嚴重的就是逐漸減少爬行,甚至剔除已經收錄的頁面。

在現實中,因為國內的服務器服務比較貴,另外,基于監管的要求,國內網站的建立需要有備案制度,需要經歷網上上傳備案信息等流程,部分中小網站的站長可能會租用國外的服務器服務,比如Godaddy(一家提供域名注冊和互聯網主機服務的美國公司)服務等。不過從國內訪問國外服務器,距離較遠的原因,訪問慢或者死機情況不可避免,從長遠來說,對網站的SEO效果是一個制約。如果要用心經營一個網站,還是盡量采用國內的服務器服務,可以選擇一些服務比較好、界面比較友好的服務器供應商,當前多家公司推出的云服務器就是不錯的選擇。

在抓取頻次方面,搜索引擎一般都提供可以調整抓取頻次設置的工具,SEO人員可以依據實際情況進行調整。對于服務請求比較多的大型網站,可以通過調整頻次的工具來減輕網站的壓力在實際抓取過程中,如果遇到無法訪問的抓取異常情況,會導致搜索引擎對網站的評級大大降低,相應影響抓取、索引排序等一系SEO效果。

抓取異常的原因有很多,比如服務器不穩定,服務器一直超負荷運行,或者協議出現了錯誤。因此,需要網站運維人員對網站的運行進行持續跟蹤,確保網站穩定運行。在協議配置上,需要避免一些低級的錯誤,比如 Robots的 Disallow設置錯誤。曾經有一次,一個公司管理人咨詢SEO人員,問他們委托外部開發人員做好網站后,在搜索引擎怎么都無法搜索到,是什么原因。SEO人員直接在URL地址欄輸入他的網站 Robots地址,赫然發現里面禁止了( Disallow命令)蜘蛛的爬行。

關于網站無法訪問,還存在其他可能,比如網絡運營商異常,即蜘蛛無法通過電信或者網通等服務商訪問到網站;DNS異常,即蜘蛛無法正常解析網站P,可能是地址錯誤,也可能是域名商封禁,遇到這種情況需要和域名商聯系。還有的可能是網頁的死鏈,比如當前頁面已經失效或者出錯等,可能部分網頁已經批量下線,遇到這種情況好的方法是提交死鏈說明;如果是URL變更導致的舊的URL失效無法訪問,好設置301跳轉,把舊的URL和相關權重過渡到新的頁面。

當然,也可能是搜索引擎本身負荷過大,臨時封禁。針對已經抓取回來的數據,接著就是蜘蛛進行建庫的環節。在這個環節里,搜索引擎會依據一些原則對鏈接的重要性進行判斷。一般來說,判斷的原則如下:內容是否原創,如果是,會獲得加權;主體內容是否是鮮明的,即核心內容是否突出,如果是,會獲得加權;內容是否豐富,如果內容非常豐富,會獲得加權;用戶體驗是否好,比如頁面比較流暢、廣告加載少等,如果是,會獲得加權等。

當前名稱：影響頁面抓取的幾個重要原因
URL分享：http://m.kartarina.com/news31/223381.html

成都網站建設公司_創新互聯，為您提供網站排名、網站設計、網站設計公司、網站策劃、手機網站建設、品牌網站制作

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯