Robot.txt用法！

在進行SEO操作的時候，我們需要告訴搜索引擎哪些頁面重要哪些頁面不重要，重要的頁面讓蜘蛛進行抓取，不重要的頁面進行屏蔽可以減少網站服務器的負擔。

本日小編要分享的內容便是文件優化。做網站優化的人應當都曉得Robots.txt吧，咱們能夠經由過程它間接與搜刮引擎蜘蛛對話，奉告蜘蛛哪些內容能夠抓取，哪些內容不克不及抓取。這和咱們本日要說的文件優化相干。

一、站內優化

Robot.txt用法詳解及robot.txt題目匯總

(1)為何配置Robots.txt?

在舉行搜索引擎優化操縱的時間，咱們需求奉告搜刮引擎哪些頁面首要哪些頁面不重要，首要的頁面讓蜘蛛舉行抓取，不重要的頁面舉行屏障能夠縮小網站服務器的擔負。

(2)一些罕見的題目和知識點

蜘蛛在發明一個網站的時間，是抓取網站的Robots.txt文件(當然民間上是這么說的，有時候也會涌現不遵照的情形);

倡議所有的網站都要配置Robots.txt文件，假如你覺得網站上所有內容都是首要的，你能夠創建一個空的robots.txt文件;

(3)在robots.txt文件中配置網站輿圖

你能夠在robots.txt中增添網站的輿圖，奉告蜘蛛網站輿圖地點的地點。

(4)Robots.txt的次第

在蜘蛛和談中，Disallow與Allow是有次第的，這是一個異常首要的題目，假如配置謬誤可能會致使抓取謬誤。

引擎蜘蛛步伐會依據個立室勝利的Allow或Disallow行肯定是不是造訪某個URL，一個例子能夠讓你更清晰分明：

User-agent:*2.Allow:/seojc/bbs3.Disallow:/seojc/這個情況下，蜘蛛/seojc/bbs目次能夠失常抓取，但/seojc/目次的文件無奈抓取。經由過程這類體式格局能夠同意蜘蛛造訪特定目次中的部份url。

咱們對換下地位視察一下。

User-agent:*2.Disallow:/根目錄下的文件夾/3.Allow:/seojc/bbs/seojc/目次涌現外行，阻止抓取目錄下的所有文件，那末第二行的Allow就有效，由于行中曾經阻止抓取seojc目錄下的所有文件，而bbs目次恰好位于seowhy目錄下。是以立室不成功。

(5)Robots.txt門路題目

在蜘蛛和談中，Allow和Disallow背面能夠跟兩種門路方式，即鏈接、相對于鏈接。鏈接便是殘缺的URL方式，而相對于鏈接只針對根目錄。這是記著。

(6)斜杠題目

Disallow:/seojc暗示阻止抓取seoic這個目錄下的所有文件，如:seojc.1.html、seojc/rmjc.php都不同意抓取;

Disallow:/seojc/暗示阻止抓取seojc這個目錄下的文件，即同意抓取seojc.1.html，然則不允許抓取seojc/rmjc.php。

分享文章：Robot.txt用法！
網站地址：http://m.kartarina.com/news/256538.html

成都網站建設公司_創新互聯，為您提供品牌網站設計、用戶體驗、移動網站建設、品牌網站建設、網站排名、網站建設

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯