CentOS 7.6 这个版本确实有点“高龄”了(EOL 已至),在现网中还能稳定跑这么久的机器,通常业务负载比较固定。长时间运行后性能下降,核心原因往往不是系统突然变笨,而是资源泄漏、碎片化、或者隐性瓶颈积累。
别一上来就重启,那是掩耳盗铃。按下面这套逻辑排查,基本能定位到 90% 的问题:
第一步:看全局,抓大放小(Top 3 指标)
先登录服务器,打开终端,依次执行以下命令,观察趋势而非单点数据:
-
top -c- 重点看:
%wa(iowait) 和%st(steal time)。 - 解读:
- 如果
%wa长期高于 20%-30%,说明磁盘 I/O 是瓶颈。可能是日志狂写、数据库慢查询、或者存储后端延迟高。 - 如果
%st很高,说明你在云厂商的宿主机上被邻居“偷”走了 CPU 时间片,这是底层硬件或超卖问题,跟你的应用无关,需要联系云厂商售后查宿主节点状态。
- 如果
- 注意: CentOS 7.6 默认内核较老,如果
%wa高,检查是不是ext4文件系统在高并发小文件写入下的表现不佳。
- 重点看:
-
vmstat 1 5- 重点看:
si/so(swap in/out) 和bi/bo(block in/out)。 - 解读:
so持续有值且数值较大?说明内存不够用了,系统在频繁使用 Swap。Swap 是性能杀手,一旦启用,响应延迟会指数级上升。bi很大?同上,I/O 压力大。
- 重点看:
-
free -h- 重点看:
available而不是free。 - 解读: 如果 available 接近 0,但 buffer/cache 很高,可能是应用缓存了大量数据未释放,或者是系统为了预读而占用的。这时候可能需要调整
vm.swappiness。
- 重点看:
第二步:深入细节,定位具体进程
如果 top 发现某个进程 CPU 或内存异常,继续深挖:
-
内存泄漏排查
- 用
ps aux --sort=-%mem | head -n 10找出内存占用最高的进程。 - 如果是 Java 应用(Tomcat/Spring Boot 等),检查 JVM 堆内存是否接近
-Xmx设置,GC 日志是否有 Full GC 频繁触发。 - 如果是 C/C++ 程序,考虑是否有
malloc未free。可以用valgrind在非高峰时段做一次检测,但生产环境慎用,影响性能。
- 用
-
CPU 热点分析
- 对于 CPU 高的进程,用
pidstat -p <PID> 1看具体线程。 - 如果是 Web 服务(Nginx/Apache),检查连接数是否打满。
ss -s查看当前 TCP 连接状态,如果有大量TIME_WAIT或CLOSE_WAIT,说明连接管理有问题。TIME_WAIT多:调整内核参数net.ipv4.tcp_tw_reuse = 1。CLOSE_WAIT多:代码里没正确关闭 Socket,这是 Bug,必须修代码。
- 对于 CPU 高的进程,用
-
磁盘 I/O 瓶颈
iostat -xz 1 5- 重点看:
%util和await。 - 解读:
%util接近 100% 且await很高?说明磁盘已经饱和。- 如果是云服务器(阿里云 ECS、腾讯云 CVM 等),检查云盘类型。机械盘(HDD)或低配 SSD 在高 IOPS 请求下极易成为瓶颈。考虑升级云盘规格或启用本地缓存策略。
第三步:系统与内核层面(容易被忽视)
-
文件描述符限制
ulimit -n- 如果应用报错 “Too many open files”,说明达到了上限。修改
/etc/security/limits.conf和/etc/sysctl.conf中的fs.file-max。 - 长时间运行的服务,如果每个请求都打开新文件句柄而不关闭,会迅速耗尽资源。
-
网络栈拥塞
netstat -an | grep ESTABLISHED | wc -l- 检查是否有大量半开连接。
- 查看网卡队列:
ethtool -S eth0,看是否有drop计数增加。如果有,可能是中断处理不过来,考虑开启 RSS/RFS 或调整中断亲和性。
-
定时任务与后台作业
crontab -l- 检查是否有脚本在深夜或特定时间执行大规模备份、日志切割、全量扫描等操作,导致白天性能残留影响。
-
SELinux 和防火墙规则
- 虽然 CentOS 7.6 默认 SELinux 可能为 Enforcing,但如果策略配置不当,会导致权限检查开销巨大。临时设为 Permissive 测试性能是否恢复(仅作诊断,非长期方案)。
iptables-save检查规则是否过于复杂,尤其是 DOCKER 容器环境下,NAT 规则过多会影响转发性能。
第四步:云平台特有因素(国内厂商常见坑)
如果你用的是阿里云、腾讯云、华为云等:
-
云监控对比
- 登录云控制台,查看该实例过去 7 天的监控图表。
- 对比 CPU、内存、磁盘 IOPS、网络带宽的使用曲线。
- 关键点: 如果 CPU 不高,但响应慢,很可能是磁盘 IOPS 达到峰值或网络小包延迟。云厂商的共享型实例(如阿里云 t5/t6)在突发性能受限后,CPU 积分耗尽,性能会断崖式下跌。检查是否有“CPU 积分”告警。
-
邻座噪音(Noisy Neighbor)
- 在共享宿主机上,其他租户的恶意攻击或大流量下载可能导致你的实例受到间接影响。通过
vmstat中的%st判断。如果是此情况,只能联系云厂商迁移实例或升级到高安全隔离实例(如独享宿主机)。
- 在共享宿主机上,其他租户的恶意攻击或大流量下载可能导致你的实例受到间接影响。通过
-
云盘性能波动
- 某些云厂商在夜间或维护窗口可能对存储后端进行优化,导致短暂延迟。结合
iostat的时间戳与云控制台的事件中心对照。
- 某些云厂商在夜间或维护窗口可能对存储后端进行优化,导致短暂延迟。结合
第五步:终极手段——重启前的准备
如果以上都没找到明显问题,或者问题复现困难:
-
收集基线数据
- 在性能下降时,立即执行
sar -A > performance_drop.log保存历史统计。 - 使用
perf top或bpftrace捕捉内核态热点(需要 root 权限,适合高级用户)。
- 在性能下降时,立即执行
-
优雅重启
- 如果确定是内存泄漏或僵尸进程堆积,且无法快速修复代码,计划内重启是最有效的临时解决方案。
- 操作前务必确保数据持久化完成,应用层做好停机保护(如 Nginx 先返回 503,再停后端)。
总结建议
- 短期: 优先检查 Swap 使用、磁盘 I/O 等待、网络连接状态。
- 中期: 优化应用配置(JVM 参数、连接池大小)、调整内核参数(TCP、文件描述符)。
- 长期:
- 强烈建议迁移到 CentOS Stream 8/9 或 Ubuntu 20.04/22.04 LTS。 CentOS 7.6 的安全补丁和支持已结束,继续使用存在合规和安全风险。
- 如果是云服务器,考虑从共享型实例升级到独享型实例,避免资源争抢。
- 建立自动化监控告警(Prometheus + Grafana),让性能问题在发生前就被发现,而不是等用户投诉后再排查。
记住,性能下降往往是“慢性病”,需要像医生一样,一步步做体检,而不是直接吃止痛药(重启)。
云技术博客