轻量服务器(CloudLens/EC2/CVM 等)CPU 飙高是运维中最常见也最让人头秃的问题之一。别慌,这通常不是硬件故障,而是“资源分配”或“代码逻辑”出了问题。
处理这个问题,核心思路就三步:定位进程 -> 分析原因 -> 对症下药。下面我按实际操作流程给你拆解,尽量避开那些虚的,直接上干货。
第一步:快速定位“罪魁祸首”
登录服务器后,不要瞎猜,直接用命令看谁在吃 CPU。
1. 全局概览
top -c
或者更简洁的:
htop # 如果没装,yum install htop / apt install htop
- 关注点:
%CPU列。如果有某个进程长期占据 90%-100%,那就是它了。记下它的 PID(进程ID)。 - 注意:如果是
systemd-journald、kthreadd或java进程占满,方向完全不同。
2. 查看具体线程(进阶)
如果主进程占用不高,但整个系统很卡,可能是多线程问题。
ps aux --sort=-%cpu | head -n 20
这会列出 CPU 占用最高的前 20 个进程。
第二步:根据进程类型排查原因
找到高占用进程后,我们需要知道它是干什么的。常见的“嫌疑人”主要有以下几类:
1. Web 服务类(Nginx/Apache/Tomcat/Nginx+PHP)
现象:并发量突然增大,或者某个接口响应极慢导致请求堆积。
- 排查:
- 检查 Nginx 访问日志:
tail -f /var/log/nginx/access.log,看是否有大量异常 IP 刷接口。 - 检查后端应用日志:看是否有死循环、频繁 GC(Java)、数据库连接超时重试。
- DDoS/CC 攻击嫌疑:如果来源 IP 分散且频率极高,考虑是不是被扫了。
- 检查 Nginx 访问日志:
- 解决:
- 配置 WAF 或云盾(国内厂商都有免费的基础防护)。
- 优化 SQL 查询,加索引。
- 调整 Nginx 的
worker_processes和keepalive_timeout。
2. Java 应用类(Spring Boot/Dubbo 等)
现象:CPU 100%,但内存可能正常或缓慢增长。
- 排查:
- 找到 Java 进程 PID。
- 生成堆dump 或线程快照:
jstack <pid> > thread_dump.txt - 打开
thread_dump.txt,搜索RUNNABLE状态的线程,看是否在死循环、等待锁、或执行复杂计算。 - 使用
jstat -gcutil <pid>看 GC 频率是否过高(Full GC 频繁会导致 CPU 飙升)。
- 解决:
- 修复代码中的死循环或低效算法。
- 调整 JVM 参数(如
-Xms,-Xmx),避免频繁 Full GC。 - 如果是微服务,检查下游依赖是否超时导致线程阻塞。
3. Python/Node.js/Go 等脚本语言
现象:爬虫任务、数据处理任务、定时脚本。
- 排查:
- 查看 crontab:
crontab -l,看是否有定时任务在跑。 - 查看后台运行的脚本:
screen或tmux会话。 - Python 常见坑:未关闭的文件句柄、无限循环读取日志、正则回溯。
- 查看 crontab:
- 解决:
- 限制并发数(如使用
multiprocessing时控制进程池大小)。 - 优化算法复杂度。
- 将耗时任务放入消息队列(RabbitMQ/Kafka),异步处理,不要阻塞主线程。
- 限制并发数(如使用
4. 系统级进程(Systemd, Docker, Kubelet)
现象:没有明显的应用进程,但 CPU 高。
- 排查:
- Docker:检查是否有容器在疯狂重启(CrashLoopBackOff),或者日志输出过多(
docker logs会消耗 I/O 和 CPU)。 - Kubernetes:检查 Pod 状态,是否有节点压力过大。
- 系统更新:检查是否有自动更新脚本在后台运行。
- Docker:检查是否有容器在疯狂重启(CrashLoopBackOff),或者日志输出过多(
- 解决:
- 清理 Docker 无用镜像和容器:
docker system prune。 - 限制容器资源:在 docker-compose 或 k8s yaml 中设置
cpu_limit。
- 清理 Docker 无用镜像和容器:
5. XX病毒/恶意程序(高危!)
现象:
- 出现陌生进程名(如
xmrig,kdevtmpfsi,kinsing)。 - 进程隐藏自己(通过修改
/proc文件系统或使用 rootkit)。 - 网络流量异常(向不明 IP 发送数据)。
- 即使你杀掉了进程,过几分钟又复活。
- 排查:
- 检查
crontab、rc.local、systemd服务是否有可疑条目。 - 检查
/etc/cron.d/、/var/spool/cron/。 - 使用
chkrootkit或rkhunter扫描。
- 检查
- 解决:
- 立即隔离:断网或封禁相关端口。
- 清除恶意文件:删除发现的恶意二进制文件和计划任务。
- 改密码:修改 root 和其他用户密码。
- 重装系统:如果不确定是否完全清除,建议备份数据后重装。这是最安全的做法。
第三步:预防与优化(治本)
-
监控告警:
- 别等 CPU 100% 才发现。用云厂商自带的监控(阿里云云监控、腾讯云云监控)设置阈值告警(比如 CPU > 80% 持续 5 分钟通知你)。
- 推荐接入 Prometheus + Grafana,可视化更强。
-
资源隔离:
- 使用 Docker 或 Kubernetes 部署应用,严格限制每个容器的 CPU 上限(如
--cpus=1.0),防止单个应用拖垮整个服务器。
- 使用 Docker 或 Kubernetes 部署应用,严格限制每个容器的 CPU 上限(如
-
架构优化:
- 动静分离:静态资源交给 CDN 或对象存储 OSS/COS,减轻服务器负担。
- 读写分离:数据库压力大时,引入 Redis 缓存热点数据。
- 水平扩展:轻量服务器毕竟性能有限。如果业务增长,考虑切换到 ECS/CVM 集群,配合 SLB 负载均衡。
-
定期维护:
- 清理日志文件(使用 logrotate)。
- 更新系统和软件包,修复已知安全漏洞。
总结
CPU 占用过高,先找进程,再分类型。
- 是 Web 请求多?→ 优化代码、加缓存、抗攻击。
- 是 Java 垃圾回收?→ 调 JVM 参数、查代码死锁。
- 是未知进程?→ 警惕XX病毒,果断查杀或重装。
- 是资源不够?→ 扩容或迁移到更高配置实例。
最后提醒一句:操作前记得备份重要数据,尤其是涉及重启或杀掉关键进程时。
云技术博客