极客观点
项目管理
HarmonyOS
2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:
Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)
为什么我使用scrapy爬取的时候访问pages要比实际进入items的的多的多?
就是爬了半天items里没有几条数据入库的
有什么办法解决么？
scrapy 爬取pages比实际进入items的多得多？
python阅读 3.2k
撰写回答
你尚未登录，登录后可以
- 和开发者交流问题的细节
- 关注并接收问题和回答的更新提醒
- 参与内容的编辑和改进，让解决方法与时俱进
推荐问题
多文件上传如何设计前后端？
1、以下三种不知道哪种合适 a、每个文件请求一次接口上传一次， N个文件上传N 次， 适当控制并发数量 b、所有文件拼在一起上传，N个文件上传 一次，每个文件是一个key，value， N个文件有N个key，value c、 所有文件拼在一起上传，N个文件上传 一次，所有文件是一个key，value， N个文件有1个key，如formData的key名称是...4 回答970 阅读
win11上跑 scrapy爬虫脚本，一直报错 'gbk' codec can't decode byte 0xae in position 324:？
之前一直是好好的，代码也没变过，突然就报这个错误，并且在mac上是好的，我把win11上的代码移除重新从仓库里拉代码下拉也是一样的错误，是不是win上文件编码必须是gbk格式的。我用vscode编辑器右下角显示所有的文件都是UTF-8的，是不是都要把它转成gbk？1 回答1.6k 阅读
生产环境中使用免费代理 IP 有哪些具体风险？如何规避？
我在开发爬虫项目时，为了节约成本曾尝试使用免费代理 IP。但在实际使用中遇到了请求成功率低、响应慢等问题。更担心的是安全风险，比如代理服务器可能记录请求内容或篡改返回数据。我希望了解：1 回答713 阅读
如何用Python提取扫描件PDF中的表格并转为结构化文本？
有什么办法可以识别扫描件里的表格？我需要提取扫描出来的PDF里的表格，以一个大模型能理解的方式变成文本给到大模型，有什么好的方案吗？我调研了以下常见的 Python 库：pdfplumber — 仅支持 PDF 文字层提取，扫描件中不存在文本内容，无法使用tabula-py — 基于 PDF 文字层解析表格，扫描件场景下同样失效camelot — 依...1 回答694 阅读
采用PYQT5编写界面，在获取界面中控件qtextedit用户输入值时程序退出？
程序退出报出如下内容进程已结束，退出代码为 -1073740791 (0xC0000409)程序不能获取到textEdit控件输入内容，直接退出，不知道什么原因？1 回答521 阅读
Python 中使用代理IP轮换时，如何避免重复使用已失效的代理？
我在使用 Python 编写爬虫程序时，需要通过代理IP轮换来发起请求。目前我维护了一个代理IP列表，采用简单的轮换策略（如 itertools.cycle 或随机选择）。但遇到以下问题：642 阅读
如何在AiPy Skills市场上传自定义Skill？
如何在AiPy的skills集市上传自己做的skills？skills市集挺丰富的，也想加自己做的skills，怎么才能上传呢？586 阅读
重定向了，你看到了吧，重定向就得请求两个页面啊。还有就是看有不有页面解析发生了错误。