2024 一天掌握python爬蟲【基礎(chǔ)篇】 涵蓋 requests、beautifulsoup、selenium：
selenium可以模擬用戶點(diǎn)擊事件，以及控制瀏覽器前進(jìn)，后退等操作。
下面是一個(gè)模擬百度搜索，點(diǎn)擊下一頁，控制瀏覽器后退，前進(jìn)的案例。
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
browser = webdriver.Chrome()
url = "https://www.baidu.com"
browser.get(url)
time.sleep(2)
input = browser.find_element(By.ID, "kw")
input.send_keys('python')
time.sleep(2)
button = browser.find_element(By.ID, 'su')
button.click()
time.sleep(2)
js_bottom = 'document.documentElement.scrollTop=10000'
js_top = 'document.documentElement.scrollTop=0'
browser.execute_script(js_bottom)
time.sleep(2)
browser.execute_script(js_top)
time.sleep(2)
next_button = browser.find_element(By.XPATH, '//a[@class="n"]')
next_button.click()
time.sleep(2)
browser.execute_script(js_bottom)
time.sleep(2)
browser.back()
time.sleep(2)
browser.forward()
browser.execute_script(js_bottom)
time.sleep(2)
browser.quit()