如何使用Robots避免蜘蛛黑洞？

2023-02-24    分類： 網站建設

蜘蛛黑洞：

蜘蛛黑洞指的是網站通過極低的成本運營，制造出大量和內容相識但參數不同的動態URL ，像一個無限循環的“黑洞”將蜘蛛困住，蜘蛛花費太多的時間在網站，浪費了大量資源抓取的網頁為無效網頁。

如果你的網站存在蜘蛛黑洞現象，盡快的處理好，蜘蛛黑洞不利于網站的收錄，也會影響搜索引擎對網站的評分。

如何使用Robots避免蜘蛛黑洞？

如何利用Robots避免蜘蛛黑洞操作：

普通的篩選結果頁基本都是使用靜態鏈接，比如：

http:// bj.XXXXX. com/category/zizhucan/weigongcun

當用戶選擇不同排序后，會自動生成帶有不同參數的動態鏈接，即使選擇是同一種排序條件，生成的參數也有不同的，比如：

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

把帶有不同參數的結果排序頁面使用robots規則拒絕，告知搜索引擎，讓搜索引擎只抓取篩選結果頁，為用戶和搜索引擎節省時間。

Robots文件寫法中Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址，通過這種方式，如果網站的無效頁面不希望被搜索引擎收錄，可以屏蔽掉低質量的頁面，告訴搜索引擎哪些頁面可以抓取，有效的避免黑洞的形成。

網站題目：如何使用Robots避免蜘蛛黑洞？
本文網址：http://m.kartarina.com/news32/239332.html

成都網站建設公司_創新互聯，為您提供網站策劃、網站設計、全網營銷推廣、服務器托管、網站導航、微信小程序

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯

外貿網站建設
主站蜘蛛池模板： 无码av免费网站| 国产网红无码精品视频| 久久久无码一区二区三区| 亚洲精品无码久久久影院相关影片| 久久人妻内射无码一区三区| 亚洲成在人线在线播放无码| 中文字幕无码av激情不卡 | 无码AV岛国片在线播放| 免费无码又爽又刺激毛片| 亚洲热妇无码AV在线播放| 国产怡春院无码一区二区| 亚洲av日韩av无码| 精品无码三级在线观看视频| 中文字幕无码日韩欧毛| 亚洲成a人片在线观看无码| 久久久久久av无码免费看大片| 亚洲午夜成人精品无码色欲| 国产午夜精品无码| 国产AV无码专区亚洲AV男同| 在线无码午夜福利高潮视频 | 无码一区二区三区在线| 蜜桃成人无码区免费视频网站 | 午夜无码一区二区三区在线观看| 无码中文字幕日韩专区视频| 寂寞少妇做spa按摩无码 | 国产精品99精品无码视亚| 69成人免费视频无码专区| 一本色道久久综合无码人妻| 亚洲综合无码一区二区三区| 精品日韩亚洲AV无码一区二区三区| 一本色道无码道在线观看| 精品无码人妻一区二区三区不卡| 精品无码中文视频在线观看| 18禁无遮挡无码网站免费| 无码人妻精品一区二区三区久久久 | 无码精品蜜桃一区二区三区WW | 无码人妻精品一区二区蜜桃网站| 国产成年无码久久久久毛片| 国产精品无码成人午夜电影| 最新国产精品无码| 日韩人妻无码精品久久久不卡|