我用python写了一个m3u8爬虫，批量下载ts文件的时候想用协程，但不知道开多少协程好？

发布于
2022-09-23 广东

10个视频开10个线程，每个线程内部多个协程下载ts文件

爬虫 m3u8 python爬虫

阅读 2.6k

1 个回答

发布于
2022-09-23

用了协程，为嘛还要用线程？？

用过 aiohttp，可以控制连接池并发数（参考文档）

查看全部 1 个回答

推荐问题

iOS 设备上 DPlayer 无法切换 m3u8 视频清晰度问题？
Dplayer在ios中切换清晰度卡住不动，视频格式是m3u8，安卓没有问题可以正常切换 {代码...}
2.4k 阅读
python中requests.get网址时总是提示请求错误？
在使用requests.get(url,headers=header)时同时提示如下错误：'latin-1' codec can't encode character '\u2026' in position 512: ordinal not in ？不知道是什么原因？已经在返回数据中做了字符编码设定，但是还是报相同的错误代码如下：
1 回答574 阅读
生产环境中使用免费代理 IP 有哪些具体风险？如何规避？
我在开发爬虫项目时，为了节约成本曾尝试使用免费代理 IP。但在实际使用中遇到了请求成功率低、响应慢等问题。更担心的是安全风险，比如代理服务器可能记录请求内容或篡改返回数据。我希望了解：
1 回答695 阅读
Python 中使用代理IP轮换时，如何避免重复使用已失效的代理？
我在使用 Python 编写爬虫程序时，需要通过代理IP轮换来发起请求。目前我维护了一个代理IP列表，采用简单的轮换策略（如 itertools.cycle 或随机选择）。但遇到以下问题：
640 阅读
在AiPy中进行vibe coding有哪些实用技巧？
本人代码入门中，熟悉Python爬取数据的基本操作，想问下大家在用AiPy时，有没有Vibe coding 经验和技巧，能快速做出skills和以及有基础功能的交互页面。
585 阅读
共享代理池中多个用户共用同一IP，如何避免被其他用户的违规行为“连坐”封禁？
我在使用共享代理服务时，发现同一个IP经常被目标网站封禁。经过排查，我自己的请求频率和模式都在合理范围内，但仍然频繁遇到 403/429 错误。
526 阅读

相似问题

找不到问题？创建新问题