【robots.txt怎么寫】Robots.txt寫法和放在哪里詳解

2020-07-24 分類：網站建設

1、什么是Robots，熟練掌握Robots的基礎語法是一個合格的成都seoer的基礎技能，寫出你對本節課的理解

Robots是指網站與搜索引擎之間的協議，下列三小點是需要自己記住的：

1.Robots是存放在網站根目錄

2.Robots.txt是放在網站根目錄

3.robots.txt文件名是不可修改的

4.Robots也是百度蜘蛛第一先抓取的

2、robots形式及定義：

User-agent:Baiduspider(定義所有的百度蜘蛛)

Disallow:/

User-agent：定義所有的蜘蛛

Baiduspider：百度蜘蛛

Googlebot：谷歌機器人

MSNBot：msn機器

Baiduspider-image：百度圖片

Disallow:定義那些文件可以抓取，那些文件不可以抓取

Allow:允許

小結：網站優化必須要有robots，robots格式區分大小的，區分大小寫格式為：Disallow首字母必須是大寫的，在本地新建記事本編輯時需要注意的是：輸入法中文要切換成英文，例如：

同時需要注意的是：在編輯時Disallow:/要空一格如下圖所示

*：定義所有的蜘蛛通配符

/：通配符拒絕百度蜘蛛訪問訪問網站根目錄的文件，就是全部的意思

Robots生效時間是多少，是由百度決定的，有可能是1個月或者2個月

附注：放行也是需要生效時間的

$：結束符

附注：同時也需要注意的是，網站動態的路徑也要用robots進行屏蔽，在這個前提需要做的是，要了解每個文件下的數據是用來做什么用的，代表什么意思，自己下面也知道如何運用robots進行操作。

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源：創新互聯

猜你還喜歡下面的內容