系统盘爆满(100%)是运维和开发中最常见也最让人头大的问题之一。一旦磁盘写满,轻则应用报错、日志无法写入,重则数据库崩溃、服务宕机。
排查的核心逻辑只有两步:定位大文件/目录 -> 清理或迁移。下面按 CentOS 和 Ubuntu 两种主流场景,给出一套标准化的排查与处理流程。
第一步:快速定位“元凶”
不要盲目删文件,先看清楚是谁占了空间。
1. 查看整体磁盘使用情况
df -h
重点关注 Use% 为 100% 的那一行,确认是哪个挂载点满了(通常是 / 根分区)。
2. 逐层深入,找到占用最大的目录
从根目录开始,由大到小扫描。假设根目录 / 已满:
# 方法一:使用 du 命令(最常用)
du -sh /* | sort -hr | head -n 10
-s:汇总大小-h:人类可读格式sort -hr:按大小降序排列head -n 10:只看前10名
如果 /var 很大,继续查 /var/*;如果 /usr 很大,查 /usr/*。以此类推,直到找到具体的大文件或文件夹。
3. 进阶技巧:查找大于特定大小的文件
有时候某个隐藏文件或者单个日志文件极大,du 可能因为目录层级太深而变慢。可以直接搜索:
# 查找当前目录下大于 500M 的文件
find / -type f -size +500M -exec ls -lh {} ; 2>/dev/null | awk '{ print $9 ": " $5 }'
(注意:生产环境慎用全路径 find /,建议限定在可疑的大目录下执行,如 /var/log)
第二步:常见“吃硬盘大户”及清理方案
根据经验,以下 5 类文件最容易导致系统盘爆满:
1. 日志文件(最常见)
Linux 系统和服务的日志默认存储在 /var/log。
- 检查对象:
/var/log/syslog,/var/log/messages,/var/log/nginx/access.log,/var/log/mysql/error.log等。 - 现象:某个
.log文件大小达到几 GB 甚至几十 GB。 - 处理方式:
- 临时释放:直接清空内容(保留文件句柄,避免重启服务),严禁直接 rm 删除正在被进程占用的文件,否则空间不会立即释放。
# 安全清空方式 > /var/log/bigfile.log # 或者 cat /dev/null > /var/log/bigfile.log - 永久解决:配置
logrotate进行日志轮转,限制单个日志文件大小和保留天数。
- 临时释放:直接清空内容(保留文件句柄,避免重启服务),严禁直接 rm 删除正在被进程占用的文件,否则空间不会立即释放。
2. Docker 镜像/容器垃圾
如果你用了 Docker,它几乎是磁盘杀手。
-
检查对象:
/var/lib/docker -
查看占用:
docker system df -
清理方案:
# 清理停止的容器、悬空的镜像、构建缓存 docker system prune -a # 更彻底地清理(谨慎操作,会删除所有未使用的镜像和卷) docker image prune -a docker volume prune
3. 包管理器缓存
CentOS 用 YUM/DNF,Ubuntu 用 APT。它们下载的 RPM/DEB 包会缓存在本地。
- CentOS/RHEL:
yum clean all # 或者只清理过期包 package-cleanup --oldkernels - Ubuntu/Debian:
apt-get clean apt-get autoremove # 卸载不再需要的依赖包
4. Python/Node.js 虚拟环境或缓存
很多开发者会在服务器跑脚本,pip install 或 npm install 会产生大量缓存。
- Python:
pip cache purge # 检查 ~/.cache/pip - Node.js:
npm cache clean --force # 检查 node_modules 是否过大,考虑部署时排除
5. 核心转储文件(Core Dump)
程序崩溃时生成的 core 文件可能巨大。
- 检查位置:通常在
/tmp或程序运行目录下,文件名可能是core或core.xxx。 - 处理:确认不需要调试后,直接删除。
第三步:高级排查——为什么删了文件,空间没释放?
这是新手最容易踩的坑:文件已删除,但 df -h 显示使用率仍是 100%。
原因:Linux 中,如果一个文件被进程打开(Open),即使你 rm 删除了文件名,内核仍会保留该文件的数据块,直到进程关闭文件句柄。
排查步骤:
-
查找已删除但未释放的文件:
lsof +L1这会列出所有链接数为 0(即已被删除)但仍被进程打开的文件。
-
解决方案:
- 方案 A(推荐):找到对应的 PID,重启该服务。
systemctl restart <service_name> - 方案 B(不重启服务):通过
/proc文件系统清空文件内容。# 假设 lsof 输出显示文件路径为 /var/log/test.log (PID: 1234) echo "" > /proc/1234/fd/3 # fd 编号需根据实际情况替换更简单的写法:
: > /path/to/deleted/file.log # 如果还能通过路径访问
- 方案 A(推荐):找到对应的 PID,重启该服务。
第四步:预防与优化建议
-
设置告警:
使用 Prometheus + Node Exporter,或云厂商自带的云监控,设置磁盘使用率超过 80% 时发送钉钉/邮件/短信告警。 -
数据与系统分离:
- 最佳实践:云服务器购买时,将数据盘(如
/data)单独挂载。 - 如果已经混在一起,尽量将数据库、日志、上传文件等大体积数据迁移到独立的数据盘,并在系统中做软链接指向新位置。
# 示例:将 /var/lib/mysql 迁移到 /data/mysql mv /var/lib/mysql /data/mysql ln -s /data/mysql /var/lib/mysql
- 最佳实践:云服务器购买时,将数据盘(如
-
定期清理脚本:
编写 Cron Job,定期清理过期的日志、Docker 垃圾、临时文件。# 每天凌晨 2 点清理 Docker 垃圾 0 2 * * * docker system prune -f -
扩容:
如果是阿里云 ECS、腾讯云 CVM 等云服务器,最直接的办法是在线扩容系统盘。- 控制台调整磁盘大小。
- SSH 登录服务器,执行
growpart和resize2fs(ext4)或xfs_growfs(xfs)来扩展文件系统。 - 注:此操作有风险,建议先快照备份。
总结 Checklist
df -h看哪个盘满了。du -sh /* | sort -hr找大目录。- 重点检查:
/var/log(日志)、/var/lib/docker(Docker)、/tmp(临时文件)、/root/.cache(用户缓存)。 - 清空日志用
>而非rm。 - 删了文件没释放?用
lsof +L1找僵尸文件,重启服务。 - 长期方案:数据盘分离 + 自动化清理 + 监控告警。
遇到具体问题时,可以先贴出 df -h 和 du -sh /* | sort -hr 的结果,再针对性分析。
云技术博客