如何在Golang中实现模拟并发请求_Golang goroutine与HTTP测试方法

根本原因是未控制并发数且http.Client缺少超时设置,导致goroutine无限等待或资源耗尽;需用带缓冲channel限流、显式设Timeout、避免循环变量捕获、独立错误处理。

goroutine 启动并发 HTTP 请求时,为什么请求全卡住或 panic?

根本原因通常是没控制并发数,或没正确处理 http.Client 的超时与连接复用。Go 的 http.DefaultClient 默认没有设置超时,一旦后端响应慢或失败,goroutine 就会无限等待;同时大量无限制的 goroutine 会耗尽文件描述符或内存。

  • 必须显式创建带超时的 http.Client:比如 &http.Client{Timeout: 5 * time.Second}
  • semaphore(信号量)或带缓冲的 channel 控制最大并发数,例如 make(chan struct{}, 10) 限制最多 10 个并发
  • 每个 goroutine 必须独立处理错误,不能共用未加锁的 map 或 slice
  • 避免在循环里直接启动 goroutine 且引用循环变量:用局部变量传参,如 go func(url string) { ... }(u)

如何写一个可复用的并发 HTTP 测试函数?

核心是封装请求逻辑、并发控制、结果收集三部分,不依赖全局状态,方便单元测试和压测复用。

func ConcurrentGet(urls []string, maxConcurrent int) ([]int, []error) {
    sem := make(chan struct{}, maxConcurrent)
    results := make([]int, len(urls))
    errors := make([]error, len(urls))
client := &http.Client{Timeout: 3 * time.Second}

var wg sync.WaitGroup
for i, url := range urls {
    wg.Add(1)
    go func(idx int, u string) {
        defer wg.Done()
        sem <- struct{}{}
        defer func() { <-sem }()

        resp, err := client.Get(u)
        if err != nil {
            errors[idx] = err
            results[idx] = 0
            return
        }
        defer resp.Body.Close()
        results[idx] = resp.StatusCode
    }(i, url)
}
wg.Wait()
return results, errors

}

testing 包中做并发 HTTP 测试要注意什么?

Go 的测试框架本身不阻塞 goroutine,但若没等所有请求完成就结束测试,会导致 panic: test executed after test has completed 或漏掉断言。

  • 必须用 sync.WaitGroupcontext.WithTimeout 确保所有请求完成再退出
  • 测试 URL 应该用 httptest.NewServer 而非真实服务,避免网络抖动干扰测试稳定性
  • 不要在 Test 函数里 sleep 等待,而是用 WaitGroup 或 channel 同步
  • 注意 t.Parallel() 的使用场景:仅适用于互不依赖的子测试,主测试函数本身不支持并行

为什么用 httptest.Server 模拟服务比 mock HTTP client 更可靠?

因为真正走通了 Go 的 HTTP 栈:包括连接建立、TLS 握手(如果启用)、header 解析、body 读取等环节。mock http.Client 只能验证调用参数,无法暴露如 keep-alive 复用异常、chunked 编码解析错误等问题。

func TestConcurrentGet(t *testing.T) {
    ts := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
        w.WriteHeader(http.StatusOK)
        w.Write([]byte("ok"))
    }))
    defer ts.Close()
urls := make([]string, 100)
for i := range urls {
    urls[i] = ts.URL
}

status, errs := ConcurrentGet(urls, 20)
for _, err := range errs {
    if err != nil {
        t.Fatal(err)
    }
}
for _, s := range status {
    if s != http.StatusOK {
        t.Fatalf("expected 200, got %d", s)
    }
}

}

实际压测时,maxConcurrentclient.Timeout 这两个参数稍调就可能让结果从“全成功”变成“大量 timeout”,得反复试。别只看平均耗时,重点查 p95/p99 和失败率。