努力
加油

CentOS/Ubuntu系统盘使用率100%该如何排查和释放空间?

系统盘爆满(100%)是运维和开发中最常见也最让人头大的问题之一。一旦磁盘写满,轻则应用报错、日志无法写入,重则数据库崩溃、服务宕机。

排查的核心逻辑只有两步:定位大文件/目录 -> 清理或迁移。下面按 CentOS 和 Ubuntu 两种主流场景,给出一套标准化的排查与处理流程。


第一步:快速定位“元凶”

不要盲目删文件,先看清楚是谁占了空间。

1. 查看整体磁盘使用情况

df -h

重点关注 Use% 为 100% 的那一行,确认是哪个挂载点满了(通常是 / 根分区)。

2. 逐层深入,找到占用最大的目录

从根目录开始,由大到小扫描。假设根目录 / 已满:

# 方法一:使用 du 命令(最常用)
du -sh /* | sort -hr | head -n 10
  • -s:汇总大小
  • -h:人类可读格式
  • sort -hr:按大小降序排列
  • head -n 10:只看前10名

如果 /var 很大,继续查 /var/*;如果 /usr 很大,查 /usr/*。以此类推,直到找到具体的大文件或文件夹。

3. 进阶技巧:查找大于特定大小的文件

有时候某个隐藏文件或者单个日志文件极大,du 可能因为目录层级太深而变慢。可以直接搜索:

# 查找当前目录下大于 500M 的文件
find / -type f -size +500M -exec ls -lh {} ; 2>/dev/null | awk '{ print $9 ": " $5 }'

(注意:生产环境慎用全路径 find /,建议限定在可疑的大目录下执行,如 /var/log)


第二步:常见“吃硬盘大户”及清理方案

根据经验,以下 5 类文件最容易导致系统盘爆满:

1. 日志文件(最常见)

Linux 系统和服务的日志默认存储在 /var/log。

  • 检查对象:/var/log/syslog, /var/log/messages, /var/log/nginx/access.log, /var/log/mysql/error.log 等。
  • 现象:某个 .log 文件大小达到几 GB 甚至几十 GB。
  • 处理方式:
    • 临时释放:直接清空内容(保留文件句柄,避免重启服务),严禁直接 rm 删除正在被进程占用的文件,否则空间不会立即释放。
      # 安全清空方式
      > /var/log/bigfile.log
      # 或者
      cat /dev/null > /var/log/bigfile.log
    • 永久解决:配置 logrotate 进行日志轮转,限制单个日志文件大小和保留天数。

2. Docker 镜像/容器垃圾

如果你用了 Docker,它几乎是磁盘杀手。

  • 检查对象:/var/lib/docker

  • 查看占用:

    docker system df
  • 清理方案:

    # 清理停止的容器、悬空的镜像、构建缓存
    docker system prune -a
    
    # 更彻底地清理(谨慎操作,会删除所有未使用的镜像和卷)
    docker image prune -a
    docker volume prune

3. 包管理器缓存

CentOS 用 YUM/DNF,Ubuntu 用 APT。它们下载的 RPM/DEB 包会缓存在本地。

  • CentOS/RHEL:
    yum clean all
    # 或者只清理过期包
    package-cleanup --oldkernels
  • Ubuntu/Debian:
    apt-get clean
    apt-get autoremove  # 卸载不再需要的依赖包

4. Python/Node.js 虚拟环境或缓存

很多开发者会在服务器跑脚本,pip install 或 npm install 会产生大量缓存。

  • Python:
    pip cache purge
    # 检查 ~/.cache/pip
  • Node.js:
    npm cache clean --force
    # 检查 node_modules 是否过大,考虑部署时排除

5. 核心转储文件(Core Dump)

程序崩溃时生成的 core 文件可能巨大。

  • 检查位置:通常在 /tmp 或程序运行目录下,文件名可能是 core 或 core.xxx。
  • 处理:确认不需要调试后,直接删除。

第三步:高级排查——为什么删了文件,空间没释放?

这是新手最容易踩的坑:文件已删除,但 df -h 显示使用率仍是 100%。

原因:Linux 中,如果一个文件被进程打开(Open),即使你 rm 删除了文件名,内核仍会保留该文件的数据块,直到进程关闭文件句柄。

排查步骤:

  1. 查找已删除但未释放的文件:

    lsof +L1

    这会列出所有链接数为 0(即已被删除)但仍被进程打开的文件。

  2. 解决方案:

    • 方案 A(推荐):找到对应的 PID,重启该服务。
      systemctl restart <service_name>
    • 方案 B(不重启服务):通过 /proc 文件系统清空文件内容。
      # 假设 lsof 输出显示文件路径为 /var/log/test.log (PID: 1234)
      echo "" > /proc/1234/fd/3  # fd 编号需根据实际情况替换

      更简单的写法:

      : > /path/to/deleted/file.log  # 如果还能通过路径访问

第四步:预防与优化建议

  1. 设置告警:
    使用 Prometheus + Node Exporter,或云厂商自带的云监控,设置磁盘使用率超过 80% 时发送钉钉/邮件/短信告警。

  2. 数据与系统分离:

    • 最佳实践:云服务器购买时,将数据盘(如 /data)单独挂载。
    • 如果已经混在一起,尽量将数据库、日志、上传文件等大体积数据迁移到独立的数据盘,并在系统中做软链接指向新位置。
      # 示例:将 /var/lib/mysql 迁移到 /data/mysql
      mv /var/lib/mysql /data/mysql
      ln -s /data/mysql /var/lib/mysql
  3. 定期清理脚本:
    编写 Cron Job,定期清理过期的日志、Docker 垃圾、临时文件。

    # 每天凌晨 2 点清理 Docker 垃圾
    0 2 * * * docker system prune -f
  4. 扩容:
    如果是阿里云 ECS、腾讯云 CVM 等云服务器,最直接的办法是在线扩容系统盘。

    • 控制台调整磁盘大小。
    • SSH 登录服务器,执行 growpart 和 resize2fs(ext4)或 xfs_growfs(xfs)来扩展文件系统。
    • 注:此操作有风险,建议先快照备份。

总结 Checklist

  1. df -h 看哪个盘满了。
  2. du -sh /* | sort -hr 找大目录。
  3. 重点检查:/var/log(日志)、/var/lib/docker(Docker)、/tmp(临时文件)、/root/.cache(用户缓存)。
  4. 清空日志用 > 而非 rm。
  5. 删了文件没释放?用 lsof +L1 找僵尸文件,重启服务。
  6. 长期方案:数据盘分离 + 自动化清理 + 监控告警。

遇到具体问题时,可以先贴出 df -h 和 du -sh /* | sort -hr 的结果,再针对性分析。