6.1 动态网页爬取（Selenium、Pyppeteer）

#### 6.1.1 安装Selenium

Selenium是一个自动化Web浏览器操作的工具，非常适合爬取动态网页。

bash复制

```bash
pip install selenium
```

#### 6.1.2 使用Selenium爬取动态网页

Selenium通过WebDriver控制浏览器，可以模拟用户操作，如点击、输入等。

Python复制

```python
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time

# 启动Chrome浏览器
driver = webdriver.Chrome()

# 打开目标网页
driver.get("https://www.example.com")

# 等待页面加载
time.sleep(2)

# 查找元素并操作
search_box = driver.find_element(By.NAME, "q")
search_box.send_keys("Python爬虫" + Keys.RETURN)

# 等待搜索结果加载
time.sleep(2)

# 提取数据
results = driver.find_elements(By.CSS_SELECTOR, "h3")
for result in results:
    print(result.text)

# 关闭浏览器
driver.quit()
```

#### 6.1.3 安装Pyppeteer

Pyppeteer是一个基于Chromium的无头浏览器，适合爬取复杂的动态网页。

bash复制

```bash
pip install pyppeteer
```

#### 6.1.4 使用Pyppeteer爬取动态网页

Pyppeteer通过异步方式控制浏览器，性能更高。

Python复制

```python
import asyncio
from pyppeteer import launch

async def main():
    # 启动浏览器
    browser = await launch()
    page = await browser.newPage()
    
    # 打开目标网页
    await page.goto("https://www.example.com")
    
    # 等待页面加载
    await page.waitForNavigation()
    
    # 提取数据
    content = await page.content()
    print(content)
    
    # 关闭浏览器
    await browser.close()

# 运行异步函数
asyncio.run(main())
```

###