python3使用cookie免登錄爬取附件并下載-創新互聯

前言

由于一些論壇不登錄驗證，就不能查看帖子的內容和附件，所以需要登錄驗證，如果在代碼中添加登錄驗證，那就增加了代碼的復雜度，所以可以結合cookie來登錄然后爬取需要的資料

成都創新互聯公司，為您提供成都網站建設、網站制作公司、網站營銷推廣、網站開發設計，對服務衛生間隔斷等多個行業擁有豐富的網站建設及推廣經驗。成都創新互聯公司網站建設公司成立于2013年,提供專業網站制作報價服務,我們深知市場的競爭激烈，認真對待每位客戶，為客戶提供賞心悅目的作品。與客戶共同發展進步，是我們永遠的責任！

cookie的獲取

使用chrome,登錄后在開發工具里查取

#!/usr/bin/env python
# -*- coding:utf-8 -*-
"""
@author:Aiker Zhao
@file:jianli.py
@time:下午10:50
"""
import os
import re

import requests
from bs4 import BeautifulSoup
from requests.exceptions import RequestException
from hashlib import md5

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',
    'Cookie': 'PHPSESSID=ui7unwxc3yf4glbdaqmat2ee00; __cfduid=de4fa38a23ad640f0bcdb4313560af62e1543723208; ape__Session=ui7uxxxxdfd4glbdaqmat2ee00; _ga=GA1.2.176343230234.1552443854'

}

def get_content():
    url = 'http://ask.xxxx.com/question/xxxx'   # url
    response = requests.get(url, headers=headers).text.replace('<i class="fa fa-paperclip"></i>', '')
    soup = BeautifulSoup(response, 'lxml')
    # div = soup.select('#aw-mod-body ueditor-p-reset')
    pattern = re.compile('<a\shref="(http://ask.apelearn.com/file.*?)".*?>(.*?)</a>', re.S)
    p = soup.find_all('a')
    for item in p:
        # print(str(item))
        result = re.findall(pattern, str(item))
        if result:
            # print(result)
            for i in result:
                url, name = i
                # print(i)
                yield {
                    'url': url,
                    'name': name
                }

def download_doc(url, name):
    print('正在下載', name, url)
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            save_doc(response.content, name)
        return None
    except RequestException:
        print('請求文檔出錯', url)
        return None

def save_doc(content, name):
    try:
        if name:
            name_1 = re.sub('[:?！!：？【】]', '', name).split('.')[0]  # 替換title中的特殊字符，避免建立文件出錯
            name_2 = name.split('.')[-1]
            dir = 'z:\\jianli2\\'
            if os.path.exists(dir):
                pass
            else:
                os.mkdir(dir)
            file_path = '{0}/{1}.{2}'.format(dir, name_1 + md5(content).hexdigest(), name_2)
            # file_path = '{0}/{1}'.format(dir, name)
            if not os.path.exists(file_path):
                with open(file_path, 'wb') as f:
                    f.write(content)
                    f.close()
    except OSError:
        pass

def main():
    # get_content()
    for f in get_content():
        url = f.get('url')
        name = f.get('name')
        download_doc(url, name)

if __name__ == '__main__':
    main()

運行腳本

python3使用cookie免登錄爬取附件并下載

另外有需要云服務器可以了解下創新互聯cdcxhl.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

文章題目：python3使用cookie免登錄爬取附件并下載-創新互聯
URL鏈接：http://m.kartarina.com/article42/egeec.html

成都網站建設公司_創新互聯，為您提供云服務器、商城網站、品牌網站建設、做網站、企業網站制作、App開發

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源：創新互聯

猜你還喜歡下面的內容