7.5 Scrapy的分布式爬虫

#### 7.5.1 分布式爬虫简介

分布式爬虫可以将爬取任务分配到多个节点上，提高爬取效率。Scrapy支持与分布式任务队列（如Celery）结合使用。

#### 7.5.2 使用Scrapy-Redis实现分布式爬虫

Scrapy-Redis是一个扩展，支持将Scrapy与Redis结合，实现分布式爬虫。

1. 安装Scrapy-Redis：

bash复制

```bash
   pip install scrapy-redis
   ```

2. 配置`settings.py`：

Python复制

```python
   # 启用Redis调度器
   SCHEDULER = "scrapy_redis.scheduler.Scheduler"
   
   # 启用Redis去重
   DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
   
   # 启用Redis管道
   ITEM_PIPELINES = {
       'scrapy_redis.pipelines.RedisPipeline': 300,
   }
   
   # Redis连接设置
   REDIS_URL = 'redis://localhost:6379'
   ```

3. 创建分布式爬虫：

Python复制

```python
   # myproject/spiders/spider1.py
   import scrapy
   from scrapy_redis.spiders import RedisSpider
   
   class MySpider(RedisSpider):
       name = 'my_spider'
       allowed_domains = ['example.com']
       redis_key = 'my_spider:start_urls'
   
       def parse(self, response):
           title = response.css('h1::text').get()
           yield {'title': title}
   ```

4. 启动Redis服务器：

bash复制

```bash
   redis-server
   ```

5. 启动Scrapy爬虫：

bash复制

```bash
   scrapy crawl my_spider
   ```

------

通过本章的学习，你将掌握Scrapy框架的基本概念、项目结构、核心组件及其使用方法。这些知识将帮助你快速上手Scrapy开发，提升爬虫的效率和稳定性。