如何使用Golang实现网络并发请求_多协程发送HTTP请求

Go 并发 HTTP 请求需用 goroutine + channel 控制并发量,避免资源耗尽;通过带缓冲 channel(如 sem := make(chan struct{}, 10))实现轻量限流,每个 goroutine 启动前先写入 sem 获取令牌。

用 Go 实现并发 HTTP 请求,核心是利用 goroutine + channel 控制并发量、收集结果、避免资源耗尽。不加限制地起成百上千 goroutine 发请求,容易触发连接拒绝、DNS 超时或被服务端限流。

控制并发数:用带缓冲 channel 做信号量

这是最轻量、Go 风格的限流方式——把 channel 当作“令牌桶”:

  • 创建容量为 N 的空 channel(如 sem := make(chan struct{}, 10)),代表最多同时运行 10 个请求
  • 每个 goroutine 启动前先写入一个空结构体 sem ,若已满则阻塞
  • 请求结束后从 channel 读出一个值 ,释放槽位

发起请求并收集结果:goroutine + channel 返回结构体

不要在 goroutine 内直接打印或写日志,而是统一返回结构体,由主 goroutine 收集:

  • 定义结果类型:type Result struct { URL string; Status int; Err error; BodyLen int }
  • 启动 goroutine 时传入 URL 和结果 channel:go doRequest(url, results, sem)
  • 函数内部执行 http.Get,无论成功失败都发结果到 results channel

超时与错误处理:用 context.WithTimeout 包裹请求

单个请求卡住会拖慢整个并发流程,必须设超时:

  • doRequest 中创建带超时的 context:ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
  • http.DefaultClient.Do(req.WithContext(ctx)) 发送请求
  • 务必调用 cancel() 防止 context 泄漏(即使出错也要 defer cancel)
  • 注意:http.Get 不支持 context,必须用 client.Do + 手动构建 request

完整可运行示例(含并发控制、超时、结果汇总)

以下代码发 20 个请求,最大并发 5,每请求 3 秒超时,最后打印成功/失败统计:

(实际使用请替换为真实 URL 列表)
func main() {
    urls := []string{"https://httpbin.org/delay/1", "https://httpbin.org/status/404", /* ... */}
sem := make(chan struct{}, 5)
results := make(chan Result, len(urls))

for _, url := range urls {
    go func(u string) {
        sem <- struct{}{} // 获取令牌
        defer func() { <-sem }() // 释放令牌

        ctx, cancel := context.WithTimeout(context.Background(), 3*time.Second)
        defer cancel()

        req, _ := http.NewRequestWithContext(ctx, "GET", u, nil)
        resp, err := http.DefaultClient.Do(req)
        if err != nil {
            results <- Result{URL: u, Err: err}
            return
        }
        defer resp.Body.Close()

        results <- Result{URL: u, Status: resp.StatusCode, BodyLen: len(io.ReadAll(resp.Body))}
    }(url)
}

// 收集所有结果
for i := 0; i < len(urls); i++ {
    r := <-results
    if r.Err != nil {
        fmt.Printf("❌ %s → %v\n", r.URL, r.Err)
    } else {
        fmt.Printf("✅ %s → %d (%d bytes)\n", r.URL, r.Status, r.BodyLen)
    }
}

}