先说结论:如果你现在要新部署一套跑大模型(LLM)的服务器,无脑选 Ubuntu。
CentOS 在 GPU 计算和深度学习生态里的地位,基本已经“入土”了。这不是情怀问题,是技术栈演进和厂商支持的现实问题。下面从几个核心维度给你拆解一下为什么,以及你需要注意的坑。
1. NVIDIA 驱动与 CUDA 生态的“亲儿子”待遇
大模型推理和训练,底层依赖的是 NVIDIA 的 CUDA Toolkit、cuDNN、NCCL 等库。NVIDIA 作为硬件厂商,其软件栈的开发测试重心一直 heavily skewed towards Ubuntu。
- Ubuntu:NVIDIA 官方驱动安装文档默认首选 Ubuntu。CUDA 版本更新时,Ubuntu 的
.deb包支持最快,兼容性测试最充分。很多最新的 PyTorch/TensorFlow 预编译 wheel 包,第一优先级也是适配 Ubuntu LTS。 - CentOS:虽然 CentOS 7/8 也能装 NVIDIA 驱动,但往往需要手动处理依赖关系,或者使用第三方源。更重要的是,随着 CentOS 停服(EOL),NVIDIA 对 RHEL/CentOS 系列的支持力度也在减弱,尤其是对于较新的显卡(如 A100, H100, L40S 等)和较新的 CUDA 版本(12.x+),你在 CentOS 上遇到的“玄学”报错概率远高于 Ubuntu。
2. 国内云厂商的实际交付现状
你提到熟悉国内云计算厂商,这点很关键。以阿里云、腾讯云、华为云为例:
- 镜像选择:当你购买 GPU 实例(比如阿里云的 gn7i、腾讯云的 SGI)时,控制台里可选的系统镜像,Ubuntu 20.04/22.04 LTS 是默认推荐且资源最丰富的。很多云厂商甚至提供预装了 CUDA、PyTorch、vLLM 等环境的“AI 提速镜像”,这些镜像绝大多数基于 Ubuntu 构建。
- 社区与支持:国内做 AI Infra 的团队,无论是大厂内部还是开源社区(如魔搭 ModelScope、HuggingFace 中文镜像站),提供的 Docker 镜像、一键部署脚本(如
docker run -d --gpus all ...),几乎全部是基于 Ubuntu 基础镜像构建的。如果你在 CentOS 上跑,你可能需要自己解决大量环境依赖问题,这会极大地拖慢你的业务上线速度。
3. 容器化与 Kubernetes 生态
现在跑大模型,很少直接裸机部署,更多是用 Docker 或 Kubernetes(K8s)。
- Docker 基础镜像:官方 PyTorch 镜像、NVIDIA Container Toolkit 的基础镜像,默认都是 Ubuntu。虽然也有 CentOS 基础镜像,但在社区中占比极小。
- K8s 节点管理:在 K8s 集群中,GPU 调度插件(如 NVIDIA Device Plugin)在 Ubuntu 节点上的稳定性远高于 CentOS。由于 CentOS 停止维护,新的 K8s 发行版(如 kubeadm 生成的集群)更倾向于使用 Ubuntu 或 Flatcar Linux 作为节点 OS。
4. CentOS 的现状:别碰!
这里必须强调一点:CentOS 已经是一个“历史名词”了。
- CentOS 7:已接近 EOL(End of Life),安全补丁停止,内核版本过老(3.10),不支持新特性,与新硬件和新软件兼容性问题多。
- CentOS 8:已提前终止生命周期。
- CentOS Stream:这是滚动更新的测试版,不适合生产环境,尤其不适合对稳定性要求极高的 AI 训练任务。
如果你习惯了 RHEL 系的 RPM 包管理,建议转向 Rocky Linux 或 AlmaLinux,它们是完全的二进制兼容替代品。但即便如此,在 GPU/AI 领域,它们的生态支持依然不如 Ubuntu 成熟。
5. 什么情况下可以考虑非 Ubuntu?
只有极少数情况:
- 遗留系统迁移:如果你的公司有一套运行了多年的 CentOS 7 传统运维体系,所有监控、备份、权限管理都绑定了 CentOS,那么为了平滑迁移,可能会暂时保留 CentOS。但这属于“技术债”,不建议新项目采用。
- 特定硬件限制:某些非常老旧的嵌入式 GPU 或特定工业卡,可能只提供了 CentOS 6/7 的驱动。但这与大模型无关。
实操建议
- 系统选择:Ubuntu 22.04 LTS 是当前平衡稳定性和新特性的最佳选择。如果追求最新内核支持,可考虑 24.04 LTS。
- 驱动安装:不要手动下载
.run文件安装驱动!推荐使用ubuntu-drivers autoinstall或云厂商提供的专用驱动包。避免 X Server 冲突。 - Docker + NVIDIA Container Toolkit:务必正确配置 nvidia-container-toolkit,确保容器内能访问 GPU。这是 Ubuntu 上最成熟的方案。
- 网络优化:大模型训练对带宽敏感,Ubuntu 的网络调优工具(如
ethtool,tc) 社区资源丰富,方便排查网络瓶颈。
总结
跑大模型,选 Ubuntu 不是因为它“更好”,而是因为它“更少麻烦”。
在 AI 领域,时间就是算力,算力就是金钱。把精力花在模型调优、数据清洗上,而不是花半天时间在 CentOS 上解决一个 CUDA 版本冲突的 Bug,这才是高效的做法。
如果你刚接触这个领域,直接从 Ubuntu 开始,你会少走很多弯路。
云技术博客