努力
加油

长时间运行的CentOS 7.6服务器性能下降如何排查?

CentOS 7.6 这个版本确实有点“高龄”了(EOL 已至),在现网中还能稳定跑这么久的机器,通常业务负载比较固定。长时间运行后性能下降,核心原因往往不是系统突然变笨,而是资源泄漏、碎片化、或者隐性瓶颈积累。

别一上来就重启,那是掩耳盗铃。按下面这套逻辑排查,基本能定位到 90% 的问题:

第一步:看全局,抓大放小(Top 3 指标)

先登录服务器,打开终端,依次执行以下命令,观察趋势而非单点数据:

  1. top -c

    • 重点看: %wa (iowait) 和 %st (steal time)。
    • 解读:
      • 如果 %wa 长期高于 20%-30%,说明磁盘 I/O 是瓶颈。可能是日志狂写、数据库慢查询、或者存储后端延迟高。
      • 如果 %st 很高,说明你在云厂商的宿主机上被邻居“偷”走了 CPU 时间片,这是底层硬件或超卖问题,跟你的应用无关,需要联系云厂商售后查宿主节点状态。
    • 注意: CentOS 7.6 默认内核较老,如果 %wa 高,检查是不是 ext4 文件系统在高并发小文件写入下的表现不佳。
  2. vmstat 1 5

    • 重点看: si/so (swap in/out) 和 bi/bo (block in/out)。
    • 解读:
      • so 持续有值且数值较大?说明内存不够用了,系统在频繁使用 Swap。Swap 是性能杀手,一旦启用,响应延迟会指数级上升。
      • bi 很大?同上,I/O 压力大。
  3. free -h

    • 重点看: available 而不是 free。
    • 解读: 如果 available 接近 0,但 buffer/cache 很高,可能是应用缓存了大量数据未释放,或者是系统为了预读而占用的。这时候可能需要调整 vm.swappiness。

第二步:深入细节,定位具体进程

如果 top 发现某个进程 CPU 或内存异常,继续深挖:

  1. 内存泄漏排查

    • 用 ps aux --sort=-%mem | head -n 10 找出内存占用最高的进程。
    • 如果是 Java 应用(Tomcat/Spring Boot 等),检查 JVM 堆内存是否接近 -Xmx 设置,GC 日志是否有 Full GC 频繁触发。
    • 如果是 C/C++ 程序,考虑是否有 malloc 未 free。可以用 valgrind 在非高峰时段做一次检测,但生产环境慎用,影响性能。
  2. CPU 热点分析

    • 对于 CPU 高的进程,用 pidstat -p <PID> 1 看具体线程。
    • 如果是 Web 服务(Nginx/Apache),检查连接数是否打满。ss -s 查看当前 TCP 连接状态,如果有大量 TIME_WAIT 或 CLOSE_WAIT,说明连接管理有问题。
      • TIME_WAIT 多:调整内核参数 net.ipv4.tcp_tw_reuse = 1。
      • CLOSE_WAIT 多:代码里没正确关闭 Socket,这是 Bug,必须修代码。
  3. 磁盘 I/O 瓶颈

    • iostat -xz 1 5
    • 重点看: %util 和 await。
    • 解读:
      • %util 接近 100% 且 await 很高?说明磁盘已经饱和。
      • 如果是云服务器(阿里云 ECS、腾讯云 CVM 等),检查云盘类型。机械盘(HDD)或低配 SSD 在高 IOPS 请求下极易成为瓶颈。考虑升级云盘规格或启用本地缓存策略。

第三步:系统与内核层面(容易被忽视)

  1. 文件描述符限制

    • ulimit -n
    • 如果应用报错 “Too many open files”,说明达到了上限。修改 /etc/security/limits.conf 和 /etc/sysctl.conf 中的 fs.file-max。
    • 长时间运行的服务,如果每个请求都打开新文件句柄而不关闭,会迅速耗尽资源。
  2. 网络栈拥塞

    • netstat -an | grep ESTABLISHED | wc -l
    • 检查是否有大量半开连接。
    • 查看网卡队列:ethtool -S eth0,看是否有 drop 计数增加。如果有,可能是中断处理不过来,考虑开启 RSS/RFS 或调整中断亲和性。
  3. 定时任务与后台作业

    • crontab -l
    • 检查是否有脚本在深夜或特定时间执行大规模备份、日志切割、全量扫描等操作,导致白天性能残留影响。
  4. SELinux 和防火墙规则

    • 虽然 CentOS 7.6 默认 SELinux 可能为 Enforcing,但如果策略配置不当,会导致权限检查开销巨大。临时设为 Permissive 测试性能是否恢复(仅作诊断,非长期方案)。
    • iptables-save 检查规则是否过于复杂,尤其是 DOCKER 容器环境下,NAT 规则过多会影响转发性能。

第四步:云平台特有因素(国内厂商常见坑)

如果你用的是阿里云、腾讯云、华为云等:

  1. 云监控对比

    • 登录云控制台,查看该实例过去 7 天的监控图表。
    • 对比 CPU、内存、磁盘 IOPS、网络带宽的使用曲线。
    • 关键点: 如果 CPU 不高,但响应慢,很可能是磁盘 IOPS 达到峰值或网络小包延迟。云厂商的共享型实例(如阿里云 t5/t6)在突发性能受限后,CPU 积分耗尽,性能会断崖式下跌。检查是否有“CPU 积分”告警。
  2. 邻座噪音(Noisy Neighbor)

    • 在共享宿主机上,其他租户的恶意攻击或大流量下载可能导致你的实例受到间接影响。通过 vmstat 中的 %st 判断。如果是此情况,只能联系云厂商迁移实例或升级到高安全隔离实例(如独享宿主机)。
  3. 云盘性能波动

    • 某些云厂商在夜间或维护窗口可能对存储后端进行优化,导致短暂延迟。结合 iostat 的时间戳与云控制台的事件中心对照。

第五步:终极手段——重启前的准备

如果以上都没找到明显问题,或者问题复现困难:

  1. 收集基线数据

    • 在性能下降时,立即执行 sar -A > performance_drop.log 保存历史统计。
    • 使用 perf top 或 bpftrace 捕捉内核态热点(需要 root 权限,适合高级用户)。
  2. 优雅重启

    • 如果确定是内存泄漏或僵尸进程堆积,且无法快速修复代码,计划内重启是最有效的临时解决方案。
    • 操作前务必确保数据持久化完成,应用层做好停机保护(如 Nginx 先返回 503,再停后端)。

总结建议

  • 短期: 优先检查 Swap 使用、磁盘 I/O 等待、网络连接状态。
  • 中期: 优化应用配置(JVM 参数、连接池大小)、调整内核参数(TCP、文件描述符)。
  • 长期:
    • 强烈建议迁移到 CentOS Stream 8/9 或 Ubuntu 20.04/22.04 LTS。 CentOS 7.6 的安全补丁和支持已结束,继续使用存在合规和安全风险。
    • 如果是云服务器,考虑从共享型实例升级到独享型实例,避免资源争抢。
    • 建立自动化监控告警(Prometheus + Grafana),让性能问题在发生前就被发现,而不是等用户投诉后再排查。

记住,性能下降往往是“慢性病”,需要像医生一样,一步步做体检,而不是直接吃止痛药(重启)。