網站robots文件常見問題解答

大家好，本篇文章講解如何使用Robots工具及如何正確設置蜘蛛的抓取范圍。

一、了解什么是robots文件

1、什么是robots文件？
robots文件主要用于聲明搜索引擎蜘蛛Spider在網站里的抓取內容的范圍，告訴蜘蛛哪些內容不可以抓取哪些資源可以抓；

2、robots.txt文件寫法
robots.txt文件可以包含一條或多條記錄，以空行分開，通常以User-agent開始，后面再加上Disallow或者Allow命令行，不需要的命令行也可以使用#進行注解，如下詳情所示：

User-agent：用于描述允許哪些搜索引擎抓取該網站，例如“*”號代表所有搜索引擎都可以抓取，“Baiduspeder”只允許百度蜘蛛抓取，“Googlebot”只允許谷歌蜘蛛抓取，“Bingbot”只允許必應蜘蛛抓取。
Disallow：用于描述不希望搜索蜘蛛抓取的URL鏈接或結構目錄，可以是一條完整的URL鏈接，也可以是一個URL結構目錄，但不能是空格，空格表示此網站禁止所有搜索引擎抓取，以Disallow開頭的URL鏈接或結構目錄是不會被蜘蛛抓取的。
Allow：正好與Disallow相反，該條robots命令表達的意思是允許搜索蜘蛛抓取URL鏈接或目錄，因此以Allow開頭的URL鏈接或結構目錄是允許蜘蛛抓取的。
如果網站根目錄沒有robots.txt文件或者為空，那么，表達的意思是就是此網站所有鏈接和目錄，對所有搜索引擎都是開放的。
注意：大家在撰寫robots.txt文件時，要注意URL鏈接或結構目錄名稱的大小寫，否則robots協議不會生效。

3、robots.txt文件放置位置：通常放于網站根目錄下

二、如何使用Robots工具

1、Robots工具的作用？
可使用百度站長平臺Robots工具，對網站robots.txt文件進行校驗、更新等操作，查看網站robots.txt文件是否生效或是否有錯誤；

2、使用Robots工具的注意事項？
百度站長平臺Robots工具目前只能檢測48K以內的文件，所以站長們要注意，網站robots.txt文件不要過大，新的robots文件創建更新后，蜘蛛不會馬上調整抓取方向，是逐步對網站robots.txt文件抓取規則進行更新的。

3、網站robots.txt文件中已經設置了禁止蜘蛛抓取的內容，為什么還會出現在網站索引數據中。

可能有以下兩個方面的原因：
1）網站robots.txt文件不能正常訪問，這種情況，我們可以使用站長平臺Robots工具進行檢測，檢測robots文件是否可以正常訪問；
2）新創建或新更新的robots.txt文件還沒有生效，蜘蛛執行的抓取原則還是未更新前robots.txt文件，新的robots文件生效周期為1~2周。

4、Robots工具校驗提示
網站Robots文件，出現以上錯誤，則有可能是以下原因：

錯誤碼500，表示網站robots頁面訪問失敗；
錯誤碼301，表示網站robots文件存在跳轉關系；
錯誤碼404，表示網站robots文件不能正常訪問；
如果你網站的Robots文件也有出現以上錯誤代碼，建議根據以上情況進行自查，重新提交校驗。

5、robots文件禁止了蜘蛛訪問，如何處理？
1）馬上修改網站robots文件，將封禁改為允許；
2）使用站長平臺robots工具更新robots文件，顯示抓取失敗，多抓取幾次，觸發蜘蛛來抓取你的網站；
3）注意下抓取頻次情況，如果抓取頻次過低，可申請調整下抓取頻次；
4）使用百度站長平臺里的“資源提交-普通收錄”工具，主動向搜索引擎提交網站鏈接。

網頁名稱：網站robots文件常見問題解答
本文網址：http://m.kartarina.com/news2/321852.html

成都網站建設公司_創新互聯，為您提供面包屑導航、ChatGPT、搜索引擎優化、自適應網站、軟件開發、網站維護

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯