极客观点
项目管理
HarmonyOS
scrapy中间件已经写过了，可以每次请求换一次代理，但是跑起来很慢，一天也就十几万的样子
代理是api那种，想减少代理的请求次数。
所以想到，多少次换一次代理这种。
python
撰写回答
你尚未登录，登录后可以
- 和开发者交流问题的细节
- 关注并接收问题和回答的更新提醒
- 参与内容的编辑和改进，让解决方法与时俱进
推荐问题
多文件上传如何设计前后端？
1、以下三种不知道哪种合适 a、每个文件请求一次接口上传一次， N个文件上传N 次， 适当控制并发数量 b、所有文件拼在一起上传，N个文件上传 一次，每个文件是一个key，value， N个文件有N个key，value c、 所有文件拼在一起上传，N个文件上传 一次，所有文件是一个key，value， N个文件有1个key，如formData的key名称是...4 回答970 阅读
生产环境中使用免费代理 IP 有哪些具体风险？如何规避？
我在开发爬虫项目时，为了节约成本曾尝试使用免费代理 IP。但在实际使用中遇到了请求成功率低、响应慢等问题。更担心的是安全风险，比如代理服务器可能记录请求内容或篡改返回数据。我希望了解：1 回答714 阅读
如何用Python提取扫描件PDF中的表格并转为结构化文本？
有什么办法可以识别扫描件里的表格？我需要提取扫描出来的PDF里的表格，以一个大模型能理解的方式变成文本给到大模型，有什么好的方案吗？我调研了以下常见的 Python 库：pdfplumber — 仅支持 PDF 文字层提取，扫描件中不存在文本内容，无法使用tabula-py — 基于 PDF 文字层解析表格，扫描件场景下同样失效camelot — 依...1 回答695 阅读
采用PYQT5编写界面，在获取界面中控件qtextedit用户输入值时程序退出？
程序退出报出如下内容进程已结束，退出代码为 -1073740791 (0xC0000409)程序不能获取到textEdit控件输入内容，直接退出，不知道什么原因？1 回答522 阅读
Python 中使用代理IP轮换时，如何避免重复使用已失效的代理？
我在使用 Python 编写爬虫程序时，需要通过代理IP轮换来发起请求。目前我维护了一个代理IP列表，采用简单的轮换策略（如 itertools.cycle 或随机选择）。但遇到以下问题：643 阅读
如何系统性区分代理延迟升高是客户端还是服务端问题？
我在使用代理 IP 进行数据采集时，经常遇到代理延迟突然升高的情况。原本响应在 200-300ms 的代理，有时会飙升到 2000ms 以上甚至超时。595 阅读
如何在AiPy Skills市场上传自定义Skill？
如何在AiPy的skills集市上传自己做的skills？skills市集挺丰富的，也想加自己做的skills，怎么才能上传呢？586 阅读
可以scrapy中间件里边，start_request里边设定一个计数器，每100次就去换代理。