Python爬蟲爬取商品失敗怎么辦

這篇文章主要介紹Python爬蟲爬取商品失敗怎么辦，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

創新互聯建站專注為客戶提供全方位的互聯網綜合服務，包含不限于成都做網站、網站設計、西安網絡推廣、小程序開發、西安網絡營銷、西安企業策劃、西安品牌公關、搜索引擎seo、人物專訪、企業宣傳片、企業代運營等，從售前售中售后，我們都將竭誠為您服務，您的肯定，是我們最大的嘉獎；創新互聯建站為所有大學生創業者提供西安建站搭建服務，24小時服務熱線：13518219792，官方網址：m.kartarina.com

1.登陸網站，開啟開發者模式。

可以在瀏覽器中點擊右鍵檢查或者F12打開開發者模式。

2.點選 NetWork，DOC，然后刷新頁面。

在 network 中選擇 doc，在請求的 headers 中搜索 cookie。

3.獲取對應的 cookie 以及 user-agent。

4.在代碼中添加到 headers 里面。

def getHTMLText(url):
  kv = {
    'cookie': 'adsgadfafegadsgadsfaefasdfaewfadsfag'
    'uaer-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
  }
    try:
    r = requests.get(url, headers=kv, timeout=30)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    return r.text
  except:
    return "gg"

當然如果出現ip高頻率訪問限制的問題，還是需要通過更換ip來解決

以上是“Python爬蟲爬取商品失敗怎么辦”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注創新互聯行業資訊頻道！

網站欄目：Python爬蟲爬取商品失敗怎么辦
本文URL：http://m.kartarina.com/article28/jedcjp.html

成都網站建設公司_創新互聯，為您提供品牌網站設計、網站設計公司、外貿建站、全網營銷推廣、網站內鏈、商城網站

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯