網站優化中robots文件一定要放在根目錄嗎？

近段時間分享網站優化相關的教程越來越少了，主要還是忙其他項目，導致每天沒有過多的時間。今天抽時間給大家聊聊網站優化中關于robots文件的一些常見的疑問。

一、什么是robots，robots有什么用？

在講解robots之前先給大家介紹一下什么是robots。借用百度百科的解釋robots是網站跟爬蟲間的協議，用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限，也就是說robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。

用一句話來解釋：robots就是蜘蛛與網站的一種協議。

至于robots有什么用，相信認真看上文的小伙伴還是有一定的收獲。冬鏡認為合理的robots還是有以下幾方面的好處：

1、可以避免蜘蛛爬取收錄我們不想展現給別人看的頁面。例如網站后臺地址，個人隱私日志等。

2、可以減輕服務器壓力。我們通過robots協議可以讓蜘蛛只抓取一部分頁面，避免蜘蛛胡亂抓取一些沒用的頁面，占用服務器資源。

3、正確的robots協議會提升整站質量，促使快速收錄排名，從而提高網站權重。

二、robots協議格式應該怎么寫？

先給大家看一個最簡單的robots文件的寫法：

User-agent: *

Disallow: /inc/

Allow: /uqseo

Sitemap: 域名/sitemapxq7jely9mgz.xml

上文中User-agent代表的是搜索引擎蜘蛛的名字，一般常用的是*，代表通配，換句話說就是該協議對所有搜索引擎蜘蛛都有用；Disallow指不允許訪問的對象，比如某一個css、js、圖片、視頻、文件夾等，Disallow: /inc/代表的就是不允許搜索引擎蜘蛛爬行抓取inc文件夾下的所有文件；Allow指允許搜索引擎蜘蛛訪問的路徑，Allow: /uqseo代表的是帶有uqseo的文件或文件夾 ；Sitemap指本站的地圖，一般為.xml或.txt格式的地址，值得注意的是這里一定要寫絕對地址。

小提示：每個屬性的冒號是用英文冒號，冒號后面一定要空一格。

三、robots只能放在根目錄嗎？

冬鏡可以明確地告訴robots文件只能放在網站根目錄，關于這一點也是很好理解的，前文提過robots文件就是針對搜索引擎蜘蛛的一種協議（有些蜘蛛不一定會遵守），搜索引擎蜘蛛進入網站都是先從網站根目錄，所以robots協議也只有在根目錄的時候才有效，而且需要注意的是robots文件的命名必須是robots.txt,只能用小寫字母。

四、robots協議的高級玩法

此玩法需要php+偽靜態或者php+路由來實現。前面講到robots里面除了禁止和運行之外，還有一個十分重要的就是sitemap地圖，有時候我們網站的sitemap地圖很多時，如果全部寫到robots里面就會顯得十分臃腫，此時我們采用php控制輸出就能實現每次訪問robots顯示不同的地址，具體的就不為大家過多的演示了。

文章名稱：網站優化中robots文件一定要放在根目錄嗎？
文章起源：http://m.kartarina.com/news39/221739.html

成都網站建設公司_創新互聯，為您提供品牌網站制作、自適應網站、企業建站、營銷型網站建設、小程序開發、網站維護

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯