爬虫运行时一直是这样的每一分钟出现一条这样的信息,无限循环。不能爬取下来数据
这是redis服务端的显示
这样是什么问题,望有高手可以为我解惑,谢谢。
使用scrapy_redis,你要去投放url让spider去爬取,你投放了吗?比如
redis-cli lpush myspider:start_urls http://google.com
4 回答973 阅读
1 回答783 阅读
1 回答713 阅读
1 回答698 阅读
1 回答525 阅读
647 阅读
586 阅读
2 回答4.6k 阅读
1 回答2.3k 阅读✓ 已解决
1 回答1.6k 阅读
1 回答4.6k 阅读✓ 已解决
1 回答3.5k 阅读
使用scrapy_redis,你要去投放url让spider去爬取,你投放了吗?
比如