【資料圖】

我們在使用Go做爬蟲的時候，首先接觸的肯定是 Golang 標準庫 net/http

https://pkg.go.dev/net/http有興趣的可以去看看文檔。但是老實說 這個庫個人感覺不是特別的好用

有可能是之前就是使用了Python 所以還是感覺如果有像Python庫中的requests那樣去實現(xiàn)請求就好了。所以GoRequests 就誕生了。

官方文檔

DOC: https://pkg.go.dev/github.com/levigross/grequestsGithub: http://github.com/levigross/grequests

• 響應可以序列化為 JSON 和 XML
• 輕松上傳文件
• 輕松下載文件
• 支持以下 HTTP 謂詞GET, HEAD, POST, PUT, DELETE, PATCH, OPTIONS

安裝

go get -u github.com/levigross/grequests

導入

import "github.com/levigross/grequests"

發(fā)送請求

Get請求

ro := &RequestOptions{Params: map[string]string{"name": "hybpjx"},}// url路徑上的參數(shù)會被覆蓋resp, err := grequests.Get("http://httpbin.org/get?h=1", ro)if err != nil {panic(err)}fmt.Println(resp.String())

Post請求

option := &grequests.RequestOptions{Data: map[string]string{"url": "https://www.cnblogs.com/zichliang/p/17302343.html"}}resp, err := grequests.Post("http://httpbin.org/post", option)if err != nil {panic(err)}if resp.Ok != true {fmt.Println(resp.Ok)}

Post上傳文件

還可以支持上傳文件

// 允許您通過指定磁盤上的位置來創(chuàng)建FileUpload結(jié)構(gòu)片fd, err := grequests.FileUploadFromDisk("test/1")if err != nil {fmt.Printf("文件打開失敗:%v\n", err)}// 這將以請求的形式上傳文件resp, _ := grequests.Post("http://httpbin.org/post",&grequests.RequestOptions{Files: fd,Data:  map[string]string{"One": "Two"},})fmt.Println(resp.Ok,resp.StatusCode)

Gorequests 使用session

session := grequests.Session{RequestOptions: &grequests.RequestOptions{Headers: map[string]string{"authority":  "mp3.haoge500.com","referer":    "https://www.zz123.com/","User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36",},},}

GoRequests 使用代理

gorequest代理，非常簡單 網(wǎng)上的Demo很多 也不只這一個我展示的是阿布云的代理需要注意的是 需要把 Proxies 中的url 添加為 *url.URL 代理

package testimport ("fmt""github.com/levigross/grequests""net/url""testing""time")// 代理服務器const proxyServer = "http-pro.xxx.com:9010"http:// 代理隧道驗證信息const proxyUser = "xxxxxxxxx"const proxyPass = "xxxxxxxxx"type Proxy struct {AppID     stringAppSecret string}func (p Proxy) ProxyURL() *url.URL {proxyUrl, _ := url.Parse("http://" + p.AppID + ":" + p.AppSecret + "@" + proxyServer)return proxyUrl}func TestCommon(t *testing.T) {// 初始化 proxy http clientproxyURL := Proxy{AppID: proxyUser, AppSecret: proxyPass}.ProxyURL()fmt.Println(proxyURL)trueUrl := "http://www.xiushui.gov.cn/xxgk/bmxxgk/sthjj/sthj/xmhp/index.html"ro := &grequests.RequestOptions{Headers: map[string]string{"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36",},Proxies: map[string]*url.URL{"http": proxyURL,},}resp, err := grequests.Get(trueUrl, ro)if err != nil {panic(err.Error())}fmt.Println("", resp.StatusCode)time.Sleep(time.Second * 10)}

關鍵詞：