Golang爬虫框架colly使用浅析

golang 是一门非常适合编写网络爬虫的语言，它有着高效的并发处理能力和丰富的网络编程库。下面是一个简单的 Golang 网络爬虫示例：

package main
import (
    "fmt"
    "net/http"
    "io/ioutil"
    "regexp"
)
func main() {
    resp, err := http.Get("https://www.example.com")
    if err != nil {
        fmt.Println("Error:编程", err)
        return
    }
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        fmt.Println("Error:", err)
        return
    }
    re := regexp.MustCompile("<title>(.*)</title>")
    title := re.FindStringSubmatch(string(body))[1]
    fmt.Println("Title:", title)
}

这个爬虫的功能是获取指定网站的标题。代码中使用了 Go 的标准库 net/http 和 regexp 来进行网络请求和正则表达式匹配。当然，这只是一个简单的示例，实际上爬虫需要考虑更多的问题，比如反爬虫、数据存储、并发控制等等。

gocolly是用go实现的网络爬虫框架，我这里用来测试的版本是：colly “github.com/gocolly/colly/v2”

gocolly的网络爬虫还是很强大，下面我们通过代码来看一下这个功能的使用

package main
import (
  "fmt"
  colly "github.com/gocolly/colly/v2"
  "github.com/gocolly/colly/v2/debug"
)
func main() {
  mUrl := "http://www.jsifeng.com/"
  //colly的主体是Collector对象，管理网络通信和负责在作业运行时执行附加的回掉函数
  c := colly.NewCollector(
    // 开启本机debug
    colly.Debugger(&debug.LogDebugger{}),
  )
  //发送请求之前的执行函数
  c.OnRequest(func(r *colly.Request) {
    fmt.Println("这里是发送之前执行的函数")
  })
  //发送请求错误被回调
  c.OnError(func(_ *colly.Response, err error) {
    fmt.Print(err)
  })
  //响应请求之后被回调
  c.OnResponse(func(r *colly.Response) {
    fmt.Println("Response body length：", len(r.Body))
  })
  //response之后会调用该函数，分析页面数据
  c.Onhtml("div#newsList h1 a", func(e *colly.HTMLElement) {
    fmt.Println(e.Text)
  })
  //在OnHTML之后被调用
  c.OnScraped(func(r *colly.Response) {
    fmt.Println("Finijavascriptshed", r.Request.URL)
  })
  //这里是执行访问url
  c.Visit(mUrl)
}

运行结果如下：

这里是发送之前执行的函数

[000001] 1 [     1 - request] map["url":"http://www.ifeng.c编程客栈om/"] (0s)

[000002] 1 [     1 - responseHeaders] map["status":"OK" "url":"http://www.ifeng.com/"] (64.9485ms)

Response body length：250326

Finished http://www.ifeng.com/

[000003] 1 [     1 - response] map["status":"OK" "url":"http://www.ifeng.com/"] (114.9949ms)

[000004] 1 [     1 - htmllMezraD] map["selector":"div#newsList h1 a" "url":"http://www.ifeng.com/"] (118.9926ms)

[000005] 1 [     1 - html] map["selector":"div#newsList h1 a" "url":"http://www.ifeng.com/"] (118.9926ms)

[000006] 1 [     1 - scraped] map["url":"http://www.ifeng.com/"] (118.9926ms)

总结一下：

回调函数的调用顺序如下：

OnRequest在发起请求前被调用

OnError请求过程中如果发生错误被调用

OnResponse收到回复后被调用

OnHTML在OnResponse之后被调用，如果收到的内容是HTML

OnScraped在OnHTML之后被调用

到此这篇关于Golang爬虫框架colly使用浅析的文章就介绍到这了,更多相关Go colly框架内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！