这种情况在轻量应用服务器(Lighthouse/CloudBase 等)用户中非常典型。首先要明确一个核心逻辑:“重启能恢复”通常意味着问题出在系统层或应用层的资源耗尽、进程卡死,而不是底层硬件或网络物理链路故障。 如果是底层挂了,重启也没用。
既然重启能好,说明服务本身是活着的,只是某个时刻“僵住”了。我们需要像侦探一样,从高频到低频排查以下几个维度:
1. 内存溢出与 Swap 交换(最常见原因)
轻量服务器配置通常不高(比如 2核2G 或 4核8G),如果运行 Java、Node.js、MySQL 或者带有大量并发请求的 Web 服务,内存极易被打满。
- 现象:服务器变慢,SSH 连接超时,Web 页面无法加载。
- 原理:当物理内存耗尽,Linux 内核会尝试使用 Swap 分区。如果 Swap 空间不足或 I/O 性能瓶颈,系统会变得极度卡顿,甚至导致 SSH 守护进程(sshd)和 Nginx/Apache 无响应。此时你看到的“无法访问”,其实是服务器还在,但已经处理不过来任何请求了。
- 验证方法:
- 通过云厂商的控制台“远程连接”(VNC/Web Terminal)登录进去(注意:这是带外管理通道,不依赖网络栈,即使网络假死也能连)。
- 执行
free -h查看内存使用情况。 - 执行
vmstat 1观察si(swap in) 和so(swap out) 列是否有大量数据流动。如果有,说明正在疯狂交换内存。
- 解决方案:
- 短期:找到占用内存最高的进程(
top命令),杀掉或优化它。 - 长期:增加 Swap 分区大小(至少为物理内存的 1-2 倍,推荐 SSD 云盘做 Swap),或者升级实例规格。对于 Java 应用,务必设置合理的
-Xmx堆内存上限,防止 OOM。
- 短期:找到占用内存最高的进程(
2. CPU 被单进程占满导致调度饥饿
有些脚本死循环、加密XX病毒(虽然少见但存在)、或者未优化的数据库查询会导致 CPU 100%。
- 现象:SSH 偶尔能连上但输入命令延迟极高,网站完全白屏。
- 验证方法:同样通过控制台 VNC 登录,执行
top,按P键按 CPU 排序。看最上面的进程是谁。 - 解决方案:
- 如果是业务代码问题,优化代码或添加限流。
- 如果是未知进程且非你自己启动的,立即检查是否中毒,并考虑重装系统。
- 限制特定进程的 CPU 使用率(使用
cpulimit工具)。
3. 文件描述符(File Descriptors)耗尽
这是一个容易被忽视的点。Nginx、Redis 等高并发服务会打开大量文件句柄。
- 现象:服务还能跑,但新连接进来就报错
Too many open files,或者间歇性拒绝连接。 - 验证方法:
- 执行
ulimit -n查看当前限制。 - 执行
lsof | wc -l查看当前已打开的文件句柄数。如果接近ulimit的值,就是这个问题。
- 执行
- 解决方案:
- 修改
/etc/security/limits.conf,提高nofile的限制(例如改为 65535)。 - 确保你的应用代码中没有泄露连接(比如每次请求都新建数据库连接但不关闭)。
- 修改
4. 云厂商层面的“健康检查”与自动修复
轻量应用服务器往往内置了云厂商的健康检查机制。有时候你以为的“无法访问”,其实是云平台的负载均衡器(SLB/ALB)或 CDN 节点认为你的后端服务器不可用,从而切断了流量。
- 现象:直接 IP 访问可能正常,但域名解析后的访问失败;或者 ping 不通,但 telnet 端口通。
- 分析:
- 检查云监控中的“CPU 利用率”、“内存利用率”、“磁盘 IO”。如果在断网时间点有异常峰值,那就是上述 1-3 点导致的。
- 检查安全组规则是否被误改,或者防火墙(iptables/firewalld)规则是否冲突。
- 特别注意:部分轻量服务器默认开启了“DDoS 防护”或“高危端口封禁”。如果你的业务涉及某些敏感协议或突发流量触发阈值,可能会被云端临时屏蔽。重启后重置了状态,所以恢复正常。
- 解决:联系云厂商客服,询问该时间段是否有安全拦截记录。
5. 日志是关键证据
不要猜,要看日志。在下次出现“无法访问”时,如果能通过控制台 VNC 登录,立刻抓取以下信息:
- 系统日志:
dmesg -T | tail -n 50(看是否有 OOM Killer 杀进程的记录) - 应用日志:Nginx 的
error.log,PHP-FPM 日志,Java 应用的 stdout/stderr。 - SSH 日志:
/var/log/secure或/var/log/auth.log,看是否有大量登录失败或连接断开。
实操建议步骤
- 安装监控XX:在服务器上安装云厂商自带的监控 Agent,或者部署 Prometheus + Node Exporter。这样你能看到历史曲线,而不是只凭感觉。
- 编写自动重启脚本:作为兜底方案,写一个简单的 shell 脚本,每隔几分钟检测关键端口(如 80, 443, 22)是否可达。如果不可达,自动重启相关服务(如
systemctl restart nginx)或整个服务器。注意:这治标不治本,但能保证可用性。 - 优化资源配置:
- 如果经常内存爆满,考虑升级到更大内存的实例,或者将数据库迁移到独立的 RDS 服务。
- 静态资源尽量上 OSS/COS,减轻服务器带宽和存储压力。
- 检查定时任务:
crontab -l,看是否有备份、日志切割、数据同步等任务在特定时间运行,导致资源瞬间飙升。
总结
“重启即恢复”几乎可以排除网络物理故障和云平台大规模故障。90% 的概率是资源耗尽(内存/CPU/句柄)导致的服务假死。
请优先排查 内存泄漏 和 Swap 交换。对于轻量服务器,给足 Swap 是性价比最高的稳定性提升手段。同时,务必建立基于云控制台的 VNC 应急通道,以便在 SSH 失效时仍能进入系统救火。
云技术博客