這篇文章主要介紹“Python爬蟲Selenium庫的詳細用法”,在日常操作中,相信很多人在Python爬蟲Selenium庫的詳細用法問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”Python爬蟲Selenium庫的詳細用法”的疑惑有所幫助!接下來,請跟著小編一起來學習吧!
創新互聯建站服務項目包括會寧網站建設、會寧網站制作、會寧網頁制作以及會寧網絡營銷策劃等。多年來,我們專注于互聯網行業,利用自身積累的技術優勢、行業經驗、深度合作伙伴關系等,向廣大中小型企業、政府機構等提供互聯網行業的解決方案,會寧網站推廣取得了明顯的社會效益與經濟效益。目前,我們服務的客戶以成都為中心已經輻射到會寧省份的部分城市,未來相信會繼續擴大服務區域并繼續獲得客戶的支持與信任!
在我們爬取網頁過程中,經常發現我們想要獲得的數據并不能簡單的通過解析HTML代碼獲取,這些數據是通過AJAX異步加載方式或經過JS渲染后才呈現在頁面上顯示出來。
selenuim是一種自動化測試工具,它支持多種瀏覽器。而在爬蟲中,我們可以使用它來模擬瀏覽器瀏覽頁面,進而解決JavaScript渲染的問題。
2.1 聲明瀏覽器對象
即告訴程序,應該使用哪個瀏覽器進行操作
2.3 查找元素
成功訪問網頁后,我們可能需要進行一些操作,比如找到搜索框然后輸入關鍵字再敲擊回車鍵。
因此,就需要在selenium中查找元素。
2.3.1 單個元素
selenium查找元素有兩種方法。
第一種,是指定使用哪種方法去查找元素,比如指定依照CSS選擇或者依照xpath去進行查找
下面是詳細的元素查找方法
find_element_by_name find_element_by_xpath find_element_by_link_text find_element_by_partial_link_text find_element_by_tag_name find_element_by_class_name find_element_by_css_selector
第二種,是直接使用find_element(),傳入的第一個參數為需要使用的元素查找方法
2.3.2 多個元素
查找多個元素和查找單個元素的方法基本一致(只需要將查找單個元素的func里加一個s)。
查找多個元素返回的是一個list。
2.5 交互動作
交互動作是將動作附加到交互鏈中串行執行,需要使用到ActionChains。
2.6 執行JavaScript
比如拖拽下拉
2.8 Frame
如果定位到父frame,是無法查找到子frame的信息的,因此需要切換到子frame再進行查找。同理,在子frame也無法查找到父frame的信息
2.9.2 顯式等待
顯示等待包含了等待條件和等待時間。
首先判定等待條件是否成立,如果成立,則直接返回;如果條件不成立,則等待最長時間為等待時間,如果超過等待時間后仍然沒有滿足等待等待條件,則拋出異常。
顯式等待是對指定的元素進行等待。
2.11 對Cookies進行操作
到此,關于“Python爬蟲Selenium庫的詳細用法”的學習就結束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習,快去試試吧!若想繼續學習更多相關知識,請繼續關注創新互聯網站,小編會繼續努力為大家帶來更多實用的文章!
文章名稱:Python爬蟲Selenium庫的詳細用法
鏈接分享:http://m.kartarina.com/article48/geccep.html
成都網站建設公司_創新互聯,為您提供微信公眾號、網站改版、域名注冊、網站設計、靜態網站、營銷型網站建設
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯