【Python爬蟲技巧】快速格式化請求頭Request Headers

你好，我是 @馬哥python說 。
我們在寫爬蟲時，經(jīng)常遇到這種問題，從目標網(wǎng)站把請求頭復制下來，粘貼到爬蟲代碼里，需要一點一點修改格式，因為復制的是字符串string格式，請求頭需要用字典dict格式：

下面介紹一種簡單的方法。
首先，把復制到的請求頭放到一個字符串里：

伊通ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應用場景，ssl證書未來市場廣闊！成為創(chuàng)新互聯(lián)建站的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書合作）期待與您的合作！

# 請求頭
headers = """
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7
Cache-Control: max-age=0
Connection: keep-alive
Cookie: cookie值
Host: movie.douban.com
Referer: https://movie.douban.com/top250
sec-ch-ua: ".Not/A)Brand";v="99", "Google Chrome";v="103", "Chromium";v="103"
sec-ch-ua-mobile: ?0
sec-ch-ua-platform: "macOS"
Sec-Fetch-Dest: document
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: same-origin
Sec-Fetch-User: ?1
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36
"""

然后，導入lxpy庫：

from lxpy import copy_headers_dict

把剛才的字符串轉換為字典：

# 轉換請求頭為字典格式
headers = copy_headers_dict(headers)

再看一眼現(xiàn)在的請求頭，已經(jīng)轉成了字典格式：

非常好用有沒有！
下面，就可以繼續(xù)開心的擼爬蟲代碼了~

同步講解視頻：
https://www.zhihu.com/zvideo/

---

我是 @馬哥python說 ，持續(xù)分享Python干貨！

當前名稱：【Python爬蟲技巧】快速格式化請求頭Request Headers
鏈接URL：http://m.kartarina.com/article38/dsoggsp.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供標簽優(yōu)化、外貿建站、服務器托管、靜態(tài)網(wǎng)站、網(wǎng)站設計公司、虛擬主機

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)