scrapy 运行单个spider的时候,是不是只能利用单核资源?
如何能使其充分利用多核资源?
由于主流Python实现CPython的GIL,导致Python多线程效率问题,如果要充分利用多核资源,还是建议使用多进程来协同工作。
可以考虑gevent ,针对爬虫这种网络IO密集型的。效率会很高
4 回答970 阅读
1 回答714 阅读
1 回答695 阅读
1 回答522 阅读
643 阅读
586 阅读
568 阅读
2 回答6k 阅读✓ 已解决
1 回答6k 阅读✓ 已解决
1 回答3.8k 阅读
2 回答6.2k 阅读✓ 已解决
2 回答8.1k 阅读
由于主流Python实现CPython的GIL,导致Python多线程效率问题,如果要充分利用多核资源,还是建议使用多进程来协同工作。