限流

限流是一种保护 server 的措施,防止上游某个 client 流量突增导致 server 端过载。

目前 Kitex 支持限制最大连接数和最大 QPS,在初始化 server 的时候,增加一个 Option,举例:

import "github.com/cloudwego/kitex/pkg/limit"

func main() {
  svr := xxxservice.NewServer(handler, server.WithLimit(&limit.Option{MaxConnections: 10000, MaxQPS: 1000}))
    svr.Run()
}

参数说明:

  • MaxConnections 表示最大连接数

  • MaxQPS 表示最大 QPS

  • UpdateControl 提供动态修改限流阈值的能力,举例:

    import "github.com/cloudwego/kitex/pkg/limit"
    
    // define your limiter updater to update limit threshold
    type MyLimiterUpdater struct {
      updater limit.Updater
    }
    
    func (lu *MyLimiterUpdater) YourChange() {
      // your logic: set new option as needed
      newOpt := &limit.Option{
        MaxConnections: 20000,
        MaxQPS:         2000,
      }
      // update limit config
      isUpdated := lu.updater.UpdateLimit(newOpt)
      // your logic
    }
    
    func (lu *MyLimiterUpdater) UpdateControl(u limit.Updater) {
      lu.updater = u
    }
    
    //--- init server ---
    var lu  = MyLimiterUpdater{}
    svr := xxxservice.NewServer(handler, server.WithLimit(&limit.Option{MaxConnections: 10000, MaxQPS: 1000, UpdateControl: lu.UpdateControl}))
    

实现

分别使用 ConcurrencyLimiter 和 RateLimiter 对最大连接数和最大 QPS 进行限流。

  • ConcurrencyLimiter:简单的计数器;
  • RateLimiter:这里的限流算法采用了 " 令牌桶算法 “。

监控

限流定义了 LimitReporter 接口,用于限流状态监控,例如当前连接数过多、QPS 过大等。

如有需求,用户需要自行实现该接口,并通过 WithLimitReporter 注入。

// LimitReporter is the interface define to report(metric or print log) when limit happen
type LimitReporter interface {
    ConnOverloadReport()
    QPSOverloadReport()
}