有没有用过goquery的，我想用代理去爬虫，goquery支持吗？找了一下好像没找到

Question

有没有用过goquery的，我想用代理去爬虫，goquery支持吗？找了一下好像没找到

Answer 1

转

 proxy, _ := url.Parse("http://x.x.x.x:8080")

    tr := &http.Transport{
        Proxy:           http.ProxyURL(proxy),
        TLSClientConfig: &tls.Config{InsecureSkipVerify: true},
    }

    client := &http.Client{
        Transport: tr,
        Timeout:   time.Second * 5,
    }

    resp, err := client.Get("http://www.qiushibaike.com")
    if err != nil {
        fmt.Println(err)
        return
    }

    doc, err := goquery.NewDocumentFromResponse(resp)
    if err != nil {
        fmt.Println(err)
        return
    }

Answer 2

你方向想错了（姿势错误），goquery 并不是要做万能的工具包

正确的姿势应当是调用 net/http 的方法，然后设置代理
再在 goquery 用 NewDocumentFromReader 读取 res.Body

代码形式可以参照 官方 examples
把他想成一个个组件，合在一起

Answer 3

学爬虫 就推荐俩：
https://github.com/henrylee2c...（重量级）

http://go-colly.org/（小巧）

都有用到goquery,话说学go爬虫基本都用到goquery，selector等基本是必学