Scrapy 关闭过滤功能
运行scrapy爬取网络数据时提示no more duplicates will be shown (see DUPEFILTER_DEBUG to show all duplicates)。
出现这个提示的原因是scrapy的filter功能将请求自动过滤掉，从而不会出现请求到结果。
可以dont_filter=True选项，将过滤功能关闭掉。
yield scrapy.Request(url=url, callback=self.parse, dont_filter=True)