移動端如何做好網站被動抓取？

當做好了PC站點與移動站點的適配之后,接下來就是等待百度的抓取收錄了。重慶SEO公司可以通過以下幾點來加速網站被搜索引擎抓取。

(1)不要通過 robots agent封禁的方式調配PC或移動蜘蛛如果發現你的網站 robots文件中出現了 User-agent:*和 Disallow:/的寫法,就代表封禁了所有搜索引擎抓取網站的網頁。

(2)不要將重要的頁面添加nofo|oM標簽

(3)不要在服務器端輕易設置屏蔽某P段的訪問,很有可能該IP就是搜索引擎能夠識別的百度移動ua。

之前通過htt://baidu.com/search/spider.htm進行識別的網站請注意!您需要修改識別方式,新的正確地識別爬蟲移動ua的方法如下。

①通過關鍵詞“ Android或者“ Mobile"進行識別,判斷為移動訪問或者抓取。

②通過關鍵詞“ Baiduspider2.0”進行識別,判斷為百度爬蟲。

另外需要強調的是,對于 robots封禁,如果封禁的 agent是爬蟲會對PC和移動同時生效。即無論是PC還是移動爬蟲,都不會對封禁對象進行抓取。之所以要強調這一點,是發現有些代碼適配站點(同個URL,用PCua打開時是PC頁,用移動ua打開時是移動頁),想通過設置 Robots的 agent封禁達到只讓移動爬蟲抓取的目的,但由于PC和移動爬蟲的agen嘟都是爬蟲,這種方法是非常不可取的。

(4)通過百度站長工具中的鏈接提交工具進行實時提交。

(5)制作好移動站點的 sitemap文件,并通過百度站長工具的sitemap方式提交。

(6)通過分析移動站點的og日志,找到響應代碼異常的排查原因并解決。

(7)服務器錯誤:爬蟲發起抓取,httpcode返回碼是5××。

(8)訪問被拒絕:爬蟲發起抓取,httpcode返回碼是403。

(9)找不到頁面:爬蟲發起抓取,httpcode返回碼是404。

(10)其他錯誤:爬蟲發起抓取,httpcode返回碼是4xx,不包括403和404。

網頁名稱：移動端如何做好網站被動抓取？
URL分享：http://m.kartarina.com/news19/226019.html

成都網站建設公司_創新互聯，為您提供建站公司、響應式網站、企業網站制作、網站收錄、定制網站、網站設計公司

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯