如何設置robots.txt禁止或只允許搜索引擎抓取特定目錄

2021-11-23 分類：網站建設

搜索引擎來網站抓取內容的時候，首先會訪問你網站根目錄下的一個文本文件robots.txt，搜索引擎機器人通過robots.txt里的說明，來理解該網站是否可以全部抓取，或只允許部分抓取。
注意：網站的robots.txt文件一定要存放在網站的根目錄。
搜索引擎來網站抓取內容的時候，首先會訪問你網站根目錄下的一個文本文件robots.txt，搜索引擎機器人通過robots.txt里的說明，來理解該網站是否可以全部抓取，或只允許部分抓取。

注意：網站的robots.txt文件一定要存放在網站的根目錄。

robots.txt文件舉例說明
禁止所有搜索引擎訪問網站的任何內容
User-agent: *
Disallow: /

禁止所有搜索引擎抓取某些特定目錄
User-agent: *
Disallow: /目錄名1/
Disallow: /目錄名2/
Disallow: /目錄名3/

允許訪問特定目錄中的部分url
User-agent: *
allow: /158
allow: /joke

禁止訪問網站中所有的動態頁面

User-agent: *
Disallow: /**

僅允許百度抓取網頁和gif格式圖片，不允許抓取其他格式圖片
User-agent: Baiduspider
allow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.png$
Disallow: /*.bmp$

1.屏蔽404頁面
Disallow: /404.html

2.屏蔽死鏈
原來在目錄為/158下的所有鏈接，因為目錄地址的改變，現在都變成死鏈接了，那么我們可以用robots.txt把他屏蔽掉。
Disallow： /158/

3.屏蔽動態的相似頁面
假設以下這兩個鏈接，內容其實差不多。
/XXX123
/123.html
我們要屏掉/XXX123 頁面，代碼如下：
Disallow： /XXX

4.告訴搜索引擎你的sitemap.xml地址
具體代碼如下：
Sitemap：你的sitemap地址ap：你的sitemap地址

當前題目：如何設置robots.txt禁止或只允許搜索引擎抓取特定目錄
文章轉載：http://m.kartarina.com/news33/137133.html

成都網站建設公司_創新互聯，為您提供網站設計、網站維護、網站導航、網站收錄、品牌網站設計、自適應網站

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源：創新互聯