本文共 4120 字，大约阅读时间需要 13 分钟。
最近在学习 scrapy 中，突破反爬限制的几种方法，总结一下，记录学习过程中的收获。
在以后的学习中也有可能会用到这些知识。简单介绍一下 Downloader Middleware 即下载中间件，它处于 Scrapy 的 Request 和 Response 之间的处理模块，在 scrapy 的整个架构中起作用的位置是以下两个
修改 User-Agent 、处理重定向、设置代理、失败重试、设置 Cookies 等功能都需要它来实现。
本文不去探讨那些具体方法的代码逻辑，仅以实战的方式分析用法。
新建一个项目，命令如下：
scrapy startproject scrapydownloadertest
进入项目，新建一个 Spider ，命令如下：
cd scrapydownloadertestscrapy genspider httpbin httpbin.org
在 pycharm 中打开，并修改 start_urls 为 ['。随后将 parse() 方法添加一行日志输出，将 response 变量中的 text 文本信息输出一下，看一下 scrapy 发送的 request 信息。
修改后的 spiderimport scrapyclass HttpbinSpider(scrapy.Spider): name = 'httpbin' allowed_domains = ['httpbin.org'] start_urls = ['http://httpbin.org/get'] def parse(self, response): self.logger.debug(response.text)
接下来运行一下,点击pycharm 下方 Terminal 运行命令：
scrapy crawl httpbin
找到输出的日志：
2018-09-16 13:35:09 [httpbin] DEBUG: { "args": {}, "headers": { "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "Accept-Encoding": "gzip,deflate", "Accept-Language": "en", "Connection": "close", "Host": "httpbin.org", "User-Agent": "Scrapy/1.5.0 (+https://scrapy.org)" }, "origin": "219.157.79.134", "url": "http://httpbin.org/get"} 观察一下 User-Agent ，scrapy 发送的 Request 是 Scrapy/1.5.0 (+) ，这其实是用scrapy内置的 UserAgentMiddleware 设置的，我们看一下 UserAgentMiddleware 的源码：
from scrapy import signalsclass UserAgentMiddleware(object): """This middleware allows spiders to override the user_agent""" def __init__(self, user_agent='Scrapy'): self.user_agent = user_agent @classmethod def from_crawler(cls, crawler): o = cls(crawler.settings['USER_AGENT']) crawler.signals.connect(o.spider_opened, signal=signals.spider_opened) return o def spider_opened(self, spider): self.user_agent = getattr(spider, 'user_agent', self.user_agent) def process_request(self, request, spider): if self.user_agent: request.headers.setdefault(b'User-Agent', self.user_agent)
在 from_crawler() 方法中，首先获取 settings 里面的 USER_AGENT ，然后把 USER_AGENT 传递给 init() 方法进行初始化，其参数就是 user_agent 。如果没有传递 USER_AGENT 参数就默认设置 Scrapy 字符串。我们新建项目里没有在 settings 中设置 USER_AGENT ，所以我们的代码中 user_agent 变量就是 Scrapy 。接下来，在 process_request() 方法中，将 user_agent 变量设置为 headers 变量的一个属性，这样就成功设置了 User-Agent 。
因此，修改 User-Agent 也就可以有两种方式USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
一般推荐此方法来设置。如果想要设置的更加灵活，比如设置随机的 User-Agent 。那就要用第二种方式了。
class RandomUserAgentMiddleware(object): # 随机更换 user_agent def __init__(self,srawler): super(RandomUserAgentMiddleware,self).__init__() self.ua = UserAgent() @classmethod def from_crawler(cls,crawler): return cls(crawler) def process_request(self,request,spider): def get_ua(): request.headers.setdefault('User-Agent',self.ua.random) 这里用到了一个库：
from fake_useragent import UserAgent # 用于随机生成一个user_agent
这个库用于随机生成 useragent ，具体可以查看文档。
随后我们在 settings.py 中调用 Downloader Middleware 。
DOWNLOADER_MIDDLEWARES = { 'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None, 'scrapydownloadertest.middlewares.RandomUserAgentMiddleware': 543,} 接下来重新运行 Spider ，就可以看到 User-Agent 被成功修改为随机的一个 User-Agent 了。
2018-09-16 14:49:44 [httpbin] DEBUG: { "args": {}, "headers": { "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "Accept-Encoding": "gzip,deflate", "Accept-Language": "en", "Connection": "close", "Host": "httpbin.org", "User-Agent": "Mozilla/5.0 (Windows NT 6.4; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2225.0 Safari/537.36" }, "origin": "219.157.79.110", "url": "http://httpbin.org/get"} 以上就是两种方式修改 User-Agent 。
由于篇幅长，还是分几篇来介绍吧，下一篇介绍随机设置代理 ip 。
点个赞吧。转载地址：http://pjdvl.baihongyu.com/