用戶代理UA中BLEXBot是什么蜘蛛，需要屏蔽這個爬蟲嗎

2024-04-07    分類： 網站建設

BLEXBot這個蜘蛛也是最近爬的比較厲害的一個，屬于一家美國的反向鏈接查詢網站（WebMeUp）的蜘蛛程序，它會大量的抓取我們的網站鏈接，所以一旦我們發現有他的抓取的蹤跡，就會發現他真的是大量的抓取你的鏈接。

這個蜘蛛理論上除了耗費我們的服務器資源之外，也沒什么壞處，但對在國內建站只面向國內用戶的站長來說，屏蔽是比較好的選擇。

實測這個BLEXBot蜘蛛比較自覺，使用robot協議禁止以后它就不再爬了，值得表揚。
User-agent: BLEXBot
Disallow:/

還是為了防止哪天不講武德搞偷襲，徹底在服務器規則禁止更好：
if($http_user_agent ~*"BLEXBot")
{return403;}

畢竟robot只是個協議，屬于約定，尊不遵守還是看這些公司自己的設定。

本文題目：用戶代理UA中BLEXBot是什么蜘蛛，需要屏蔽這個爬蟲嗎
本文地址：http://m.kartarina.com/news29/322579.html

成都網站建設公司_創新互聯，為您提供App開發、網站導航、商城網站、網站制作、網站營銷、App設計

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯

外貿網站建設
主站蜘蛛池模板： 一夲道dvd高清无码| 国产精品视频一区二区三区无码| 中文字幕乱妇无码AV在线| 中文字幕无码免费久久9一区9| 国产爆乳无码一区二区麻豆| 亚洲αⅴ无码乱码在线观看性色| 精品一区二区三区无码免费直播| 国产拍拍拍无码视频免费| 人妻少妇精品无码专区漫画| 中文字幕无码第1页| 国产成人无码AV在线播放无广告| 国产精品99久久久精品无码| 国产成人无码午夜视频在线观看| 无码精品A∨在线观看| 无码日韩人妻AV一区二区三区 | 无码国产精品一区二区免费式影视 | 久久久亚洲精品无码| 丰满亚洲大尺度无码无码专线| 亚洲av无码专区国产乱码在线观看 | 无码日韩AV一区二区三区| 无码人妻精品一区二区三区在线| 亚洲av永久无码| 激情无码人妻又粗又大中国人| 久久亚洲精品中文字幕无码| 中日精品无码一本二本三本| 无码综合天天久久综合网| 蜜芽亚洲av无码一区二区三区| 久久精品亚洲AV久久久无码| 久久久久亚洲Av片无码v | 亚洲av中文无码乱人伦在线咪咕 | 四虎影视无码永久免费| 亚洲精品无码专区久久同性男| 精品无码专区亚洲| 永久免费无码网站在线观看| 无码国产精品一区二区免费式直播| 亚洲精品无码专区2| 亚洲一级特黄大片无码毛片| 无码精品人妻一区| 一本之道高清无码视频| 日韩专区无码人妻| 国产亚洲精品无码拍拍拍色欲 |