網(wǎng)站抓取異常的常見(jiàn)原因是什么？

為了更好的監(jiān)測(cè)網(wǎng)站優(yōu)化的情況，站長(zhǎng)們幾乎都會(huì)統(tǒng)計(jì)一些日常的數(shù)據(jù)更新。網(wǎng)站是否出現(xiàn)抓取異常的情況也在數(shù)據(jù)統(tǒng)計(jì)的行列，根據(jù)記錄的情況，站長(zhǎng)們還要因地制宜做一些分析和優(yōu)化措施。

1.服務(wù)器的問(wèn)題

服務(wù)器不穩(wěn)定的情況下會(huì)造成網(wǎng)站終端訪問(wèn)不了，無(wú)法鏈接。或者出現(xiàn)一直連接不上的情況，針對(duì)這種情況就只能換好的服務(wù)器了，千萬(wàn)不貪圖小便宜，最終害了網(wǎng)站。

2.運(yùn)營(yíng)商的問(wèn)題

國(guó)內(nèi)正常情況下都使用的是電信和聯(lián)通這兩種，一般用的是雙線服務(wù)，如果使用了單線服務(wù)造成的網(wǎng)站無(wú)法訪問(wèn)，那么最好升級(jí)國(guó)雙線服務(wù)或者使用CND服務(wù)等方法解決。

3.DNS異常

當(dāng)蜘蛛無(wú)法解析你網(wǎng)站的IP的時(shí)候，就會(huì)出現(xiàn)DNS異常或者DNS錯(cuò)誤問(wèn)題，可能是服務(wù)商把蜘蛛設(shè)置封禁了，或者網(wǎng)站IP的地址不正確造成的。可使用工具檢查域名是否解析正確，如果不正確或者無(wú)法解析，那么聯(lián)系域名商更新IP解決即可。

4.禁止蜘蛛抓取

這個(gè)就要看查看相關(guān)的代碼設(shè)置，是否有禁止Baiduspider抓取設(shè)置，或者robots協(xié)議的設(shè)置問(wèn)題等。

5.UA封禁

UA是用戶(hù)代理(User-Agent)，服務(wù)器通過(guò)UA識(shí)別訪問(wèn)者的身份，返回異常頁(yè)面(如403，500)或跳轉(zhuǎn)到其他頁(yè)面的情況，即為UA封禁。

當(dāng)網(wǎng)站不希望Baiduspider訪問(wèn)的時(shí)候，需要設(shè)置對(duì)應(yīng)的訪問(wèn)權(quán)限。

6.死鏈

死鏈?zhǔn)蔷W(wǎng)站中的無(wú)效頁(yè)面，沒(méi)有任何價(jià)值并且出現(xiàn)訪問(wèn)無(wú)效的情況。有協(xié)議死鏈和內(nèi)容死鏈。

對(duì)于死鏈問(wèn)題，通過(guò)采用404頁(yè)面制作或統(tǒng)計(jì)好404頁(yè)面向百度站長(zhǎng)平臺(tái)提交數(shù)據(jù)即可。

7.異常跳轉(zhuǎn)

異常跳轉(zhuǎn)也就是當(dāng)前的無(wú)效頁(yè)面比如死鏈、已經(jīng)刪除的頁(yè)面通過(guò)301直接跳轉(zhuǎn)到首頁(yè)或相關(guān)目錄頁(yè)面的情況。

或者是跳轉(zhuǎn)到出錯(cuò)、無(wú)效的頁(yè)面上。

這些情況都需要重視。主要還是301協(xié)議的問(wèn)題，沒(méi)有必要的建議不要設(shè)置即可。

8.其它情況

a.JS代碼問(wèn)題，JS代碼與搜索引擎并不友好，也不是重點(diǎn)識(shí)別的對(duì)象，如果JS代碼蜘蛛識(shí)別不了，那么也會(huì)現(xiàn)問(wèn)題異常。

b.百度會(huì)根據(jù)網(wǎng)站的內(nèi)容、規(guī)模、訪問(wèn)情況等自動(dòng)設(shè)定一個(gè)合理的抓取壓力。但是異常情況下，壓力控制失常的話，會(huì)導(dǎo)致服務(wù)器負(fù)荷作出自我保護(hù)的突發(fā)性封禁情況。

c.壓力過(guò)大引起的偶然封禁：百度會(huì)根據(jù)站點(diǎn)的規(guī)模、訪問(wèn)量等信息，自動(dòng)設(shè)定一個(gè)合理的抓取壓力。但是在異常情況下，如壓力控制失常時(shí)，服務(wù)器會(huì)根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。這種情況下，請(qǐng)?jiān)诜祷卮a中返回503(其含義是“ServiceUnavailable”)，這樣搜索引擎蜘蛛會(huì)過(guò)段時(shí)間再來(lái)嘗試抓取這個(gè)鏈接，如果網(wǎng)站已空閑，則會(huì)被成功抓取。

文章標(biāo)題：網(wǎng)站抓取異常的常見(jiàn)原因是什么？
瀏覽地址：http://m.kartarina.com/news/29664.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動(dòng)網(wǎng)站建設(shè)、定制開(kāi)發(fā)、網(wǎng)站改版、網(wǎng)站制作、動(dòng)態(tài)網(wǎng)站、關(guān)鍵詞優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)