爬数据IP被屏蔽

Question

问题描述

最近在做一个爬虫网站 爬取京东或淘宝的数据 筛选出用户想要的某个商品的排名 因为量比较大 IP被京东给屏蔽了 无法获取到数据 请问大佬们这种情况怎么解决 我现在有一个思路 就是哪个客户端发起的请求就用哪个客户端的IP 请问这个思路该怎么实现 爬虫小白请各位大佬指教 感谢

Answer 1

走代理,网上方法一大堆没有什么技术难度

Answer 2

多IP、HTTP代理、ADSL

Answer 3

一般来说，请求里面会有个代理的proxy，之前爬过西刺代理，用它的ip形成一个代理池，爬几百个就换个ip，这个方法是现在一般的解决方案.

Answer 4

频率限制、使用多个IP、使用代理一般是这几种方法，可以购买一些代理透明匿名的都可以或者是自己爬取那些免费的代理网站，自己弄个免费的代理池。