努力
加油

如何调整Linux系统参数以支持更多连接数?

在 Linux 环境下,尤其是作为高并发服务端(如 Nginx、Redis、Kafka 或自定义 TCP 服务)运行时,系统默认的 TCP 连接参数往往过于保守。要提升系统的最大连接数承载能力,需要从内核网络栈、文件描述符限制以及端口资源分配三个维度进行优化。

以下是具体的调整方案和原理分析,按优先级排序:

1. 扩大文件描述符上限(最基础且关键)

Linux 中每一个网络连接都对应一个文件描述符(FD)。如果进程能打开的 FD 数量不够,连接数自然上不去。

检查当前限制:

ulimit -n
cat /proc/sys/fs/file-max

临时修改(当前会话有效):

ulimit -n 655350

永久修改(推荐):
编辑 /etc/security/limits.conf 文件,添加或修改以下行:

* soft nofile 655350
* hard nofile 655350
root soft nofile 655350
root hard nofile 655350

注意:这里 `` 代表所有用户,建议根据实际业务用户调整。重启后生效,或者通过 PAM 模块确保登录时加载。*

同时,需要调整内核级别的总文件句柄限制 /etc/sysctl.conf:

fs.file-max = 1048576

执行 sysctl -p 使配置生效。

2. 调整内核网络参数(核心优化)

这是影响高并发性能的关键。主要涉及 TCP 拥塞控制、半连接队列、全连接队列以及 TIME_WAIT 状态的处理。

编辑 /etc/sysctl.conf,加入以下参数:

A. 启用 IP 地址复用与端口重用

# 允许将属于不同进程但监听同一端口的 socket 绑定在一起(谨慎使用,通常用于负载均衡器)
net.ipv4.ip_local_port_range = 1024 65535
# 提高本地端口范围,避免在高并发短连接场景下端口耗尽

B. 优化 TIME_WAIT 回收

默认情况下,TCP 连接关闭后会进入 TIME_WAIT 状态停留 60 秒,这会占用大量端口和内存。

# 缩短 TIME_WAIT 时间
net.ipv4.tcp_fin_timeout = 30
# 允许快速回收 TIME_WAIT socket
net.ipv4.tcp_tw_reuse = 1
# 禁用 tcp_tw_recycle (注:在新版内核如 4.12+ 及某些云环境中已废弃或存在 NAT 兼容性问题,建议优先使用 tw_reuse)
# net.ipv4.tcp_tw_recycle = 1 

解释:tcp_tw_reuse=1 允许在输出方向上重用处于 TIME_WAIT 状态的 socket,这对于客户端发起大量短连接非常有用。对于服务器端接收连接,主要靠调整队列长度。

C. 调整 TCP 队列长度

当 SYN 请求过多导致服务器来不及处理时,会丢弃连接。

# 半连接队列长度(SYN Queue)
# 旧版本内核用 somaxconn,新版本更关注 listen backlog
net.core.somaxconn = 65535
# 全连接队列长度(Accept Queue)
# 这个值必须小于等于 somaxconn,否则会被自动截断
net.ipv4.tcp_max_syn_backlog = 65535

注意:应用层(如 Nginx/Apache/Tomcat)也需要配置对应的 listen backlog 参数,通常设为 1024~4096 即可,无需设得过大,因为内核层面已经撑起了天花板。

D. 增加 TCP 缓冲区

默认缓冲区较小,不利于大流量吞吐。

# TCP 最小和最大窗口大小
net.ipv4.tcp_wmem = 4096 16384 16777216
net.ipv4.tcp_rmem = 4096 16384 16777216
# UDP 相关(如果需要)
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216

E. 启用 BBR 拥塞控制算法

相比传统的 CUBIC,BBR 在高带宽、高延迟的网络环境下表现更好,能更有效地利用带宽。

net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr

注意:确保内核版本支持 BBR(Linux 4.9+)。

3. 云平台特殊注意事项

如果你使用的是阿里云、腾讯云、AWS 等云服务器,除了系统内部参数,还需注意以下几点:

  1. 安全组/防火墙规则:确保没有 ACL 或安全组限制单个实例的最大连接数或并发数。
  2. SLB/ELB 配置:如果使用负载均衡器,需检查 SLB 实例本身的连接数限制和后端服务器健康检查频率。
  3. 内核版本:部分云厂商提供的镜像可能使用了定制内核,某些参数(如 tcp_tw_recycle)可能被强制禁用。建议先测试 tcp_tw_reuse。
  4. NUMA 架构:在多核服务器上,考虑启用 NUMA 平衡,避免 CPU 缓存失效导致的性能下降。可通过 numactl --interleave=all 启动服务来优化。

4. 验证与监控

修改完成后,执行 sysctl -p 加载配置。

如何验证是否生效?

# 查看关键参数
sysctl net.ipv4.tcp_max_syn_backlog
sysctl net.core.somaxconn
sysctl fs.file-max

# 实时监控连接状态
ss -s
ss -tan | awk '{print $1}' | sort | uniq -c | sort -nr

压测建议:
不要仅凭理论值判断,应使用 wrk、ab 或 hey 等工具进行压力测试,观察以下指标:

  • Connection refused 错误率(说明队列满或 FD 不足)
  • Time out 比例(说明处理不过来或网络瓶颈)
  • CPU 和内存使用情况

总结

调整 Linux 连接数的核心逻辑是:

  1. 放开 FD 限制(ulimit + fs.file-max)
  2. 增大队列容量(somaxconn + tcp_max_syn_backlog)
  3. 提速资源回收(tcp_tw_reuse + tcp_fin_timeout)
  4. 优化传输效率(tcp_wmem/rmem + BBR)

这些参数需要根据具体业务类型(长连接 vs 短连接)、硬件配置(CPU/内存/网卡)进行微调,没有“万能公式”,建议在生产环境变更前先在测试环境验证。