极客观点
项目管理
HarmonyOS
在编写爬取58同城二手手机出售的信息的时候，rules里的allow应该怎么写？
它里面给出的下一页或者第二页第三页等等的链接给出的都是缩减的链接，那么rules里的allow应该要怎么写呢？有哪位高手可以指点一二嘛？谢谢~
在编写scrapy爬虫的时候rules中allow的书写问题
python阅读 2.4k
撰写回答
你尚未登录，登录后可以
- 和开发者交流问题的细节
- 关注并接收问题和回答的更新提醒
- 参与内容的编辑和改进，让解决方法与时俱进
推荐问题
多文件上传如何设计前后端？
1、以下三种不知道哪种合适 a、每个文件请求一次接口上传一次， N个文件上传N 次， 适当控制并发数量 b、所有文件拼在一起上传，N个文件上传 一次，每个文件是一个key，value， N个文件有N个key，value c、 所有文件拼在一起上传，N个文件上传 一次，所有文件是一个key，value， N个文件有1个key，如formData的key名称是...4 回答973 阅读
生产环境中使用免费代理 IP 有哪些具体风险？如何规避？
我在开发爬虫项目时，为了节约成本曾尝试使用免费代理 IP。但在实际使用中遇到了请求成功率低、响应慢等问题。更担心的是安全风险，比如代理服务器可能记录请求内容或篡改返回数据。我希望了解：1 回答713 阅读
如何用Python提取扫描件PDF中的表格并转为结构化文本？
有什么办法可以识别扫描件里的表格？我需要提取扫描出来的PDF里的表格，以一个大模型能理解的方式变成文本给到大模型，有什么好的方案吗？我调研了以下常见的 Python 库：pdfplumber — 仅支持 PDF 文字层提取，扫描件中不存在文本内容，无法使用tabula-py — 基于 PDF 文字层解析表格，扫描件场景下同样失效camelot — 依...1 回答698 阅读
采用PYQT5编写界面，在获取界面中控件qtextedit用户输入值时程序退出？
程序退出报出如下内容进程已结束，退出代码为 -1073740791 (0xC0000409)程序不能获取到textEdit控件输入内容，直接退出，不知道什么原因？1 回答525 阅读
Python 中使用代理IP轮换时，如何避免重复使用已失效的代理？
我在使用 Python 编写爬虫程序时，需要通过代理IP轮换来发起请求。目前我维护了一个代理IP列表，采用简单的轮换策略（如 itertools.cycle 或随机选择）。但遇到以下问题：647 阅读
如何在AiPy Skills市场上传自定义Skill？
如何在AiPy的skills集市上传自己做的skills？skills市集挺丰富的，也想加自己做的skills，怎么才能上传呢？586 阅读
Ozon的TLS指纹检测如何绕过？Python requests库为何失效？
有没有人深入研究过Ozon的TLS指纹检测？我用Python requests库配住宅代理，照样被识别。是不是必须用curl_cffI或Playwright才能绕过？569 阅读
缩减的链接可以用urljoin()组合啊