Go 中实现选择性重定向跟踪的完整教程

在 go 的 http 客户端中，可通过自定义 `checkredirect` 函数中断重定向链，并安全获取中途跳转前的最终有效响应（如避开付费墙 url），而无需放弃默认客户端的健壮性。

Go 标准库的 http.Client 提供了灵活的重定向控制机制——关键在于正确理解 CheckRedirect 的行为：当它返回非 nil 错误时，Client.Get() 并不会静默失败，而是返回上一次成功请求所获得的 *http.Response，同时将该错误（包装为 *url.Error）一并返回。这意味着你可以主动“中止”不期望的跳转（例如进入 registration.ft.com 等付费域名），同时保留跳转前的真实目标 URL（如原始新闻页），完美满足短链接解析、反付费墙、URL 归因等场景。

以下是一个生产就绪的实践示例，包含错误分类处理与循环防护建议：

package main

import (
    "errors"
    "fmt"
    "net/http"
    "net/url"
    "strings"
)

// 自定义错误类型，用于语义化标识“应终止重定向但非异常”
var ErrPaywalled = errors.New("redirect would lead to paywall")

// 需拦截的敏感主机列表（可扩展为正则或通配符匹配）
var blockedHosts = map[string]struct{}{
    "registration.ft.com": {},
    "subscribe.nytimes.com": {},
    "www.wsj.com/account/login": {},
}

// 安全的 CheckRedirect 实现：检测黑名单 + 防循环
func makeCheckRedirect() func(req *http.Request, via []*http.Request) error {
    return func(req *http.Request, via []*http.Request) error {
        // 【1】防重定向循环（生产必备）
        if len(via) >= 10 {
            return fmt.Errorf("stopped after 10 redirects")
        }

        // 【2】检查当前跳转目标是否命中付费墙
        host := req.URL.Host
        if _, blocked := blockedHosts[host]; blocked {
            return ErrPaywalled
        }

        // 【3】支持子域名匹配（如 *.wsj.com）
        for pattern := range blockedHosts {
            if strings.HasSuffix(host, "."+pattern) || host == pattern {
                return ErrPaywalled
            }
        }

        return nil // 允许继续重定向
    }
}

func main() {
    client := &http.Client{
        CheckRedirect: makeCheckRedirect(),
    }

    resp, err := client.Get("https://on.ft.com/14pQBYE")
    defer func() {
        if resp != nil && resp.Body != nil {
            resp.Body.Close()
        }
    }()

    // 【关键】区分业务性中断（ErrPaywalled）与真实错误
    if urlErr, ok := err.(*url.Error); ok {
        if urlErr.Err == ErrPaywalled {
            // ✅ 成功捕获“被拦截前”的最终有效 URL
            fmt.Printf("Stopped before paywall. Final accessible URL: %s\n", resp.Request.URL.String())
            return
        }
    }
    if err != nil {
        fmt.Printf("Unexpected error: %v\n", err)
        return
    }

    // 正常完成所有重定向
    fmt.Printf("Final resolved URL: %s\n", resp.Request.URL.String())
}

注意事项与最佳实践：

• 永远校验 len(via)：避免无限重定向导致资源耗尽；标准库默认限制为 10，建议显式设置并记录警告。
• 错误类型需可判定：使用导出的 var 错误变量（如 ErrPaywalled），而非 errors.New("...") 字面量，确保下游能用 == 安全比对。
• 主机匹配需严谨：示例中补充了子域名支持（strings.HasSuffix），实际项目中可引入 golang.org/x/net/publicsuffix 库进行权威域名解析。
• 响应体必须关闭：即使 err != nil，只要 resp != nil，其 Body 仍需 Close()，否则造成连接泄漏。
• 勿滥用 CheckRedirect 做重试逻辑：它仅用于决策是否继续跳转；重试、超时、认证等应交由 Transport 或中间件处理。

通过这种模式，你既能复用 Go HTTP 客户端的连接池、TLS 复用、代理支持等高级特性，又能精准掌控重定向路径，是构建可靠 URL 解析器、爬虫预检模块或内容聚合服务的理想方案。