在 ECS 上跑机器学习模型,尤其是深度学习训练,核心痛点通常不是“能不能跑”,而是“怎么跑得稳、快、省”。很多初学者容易把 ECS 当成普通虚拟机用,结果发现显存爆了、网络慢了或者账单吓死人。
结合国内主流云厂商(阿里云、腾讯云、华为云等)的实际情况,以下是几个必须注意的关键维度:
1. 选型:CPU vs GPU,别搞混了
这是最基础的坑。
- 轻量级任务/数据预处理:选 CPU 实例(如阿里云的 g7/g8 系列,腾讯云的 CVM)。这类实例性价比高,适合做数据清洗、特征工程、传统机器学习(XGBoost/LightGBM)推理。
- 深度学习训练/大模型推理:必须选 GPU 实例。
- 注意规格命名:云厂商的 GPU 实例通常以
gn(Alibaba),GN(Tencent), 或Pi/Gi(Huawei) 开头。 - 显卡类型:确认你选的实例搭载的是 A10、A100、V100 还是 L40。不同卡对混合精度训练(FP16/BF16)、显存大小支持差异巨大。比如跑 Stable Diffusion 或 LLM 微调,显存容量比算力更重要,优先选大显存型号。
- 独占 vs 共享:训练务必选独占型 GPU 实例。不要为了省钱买共享型,多租户干扰会导致性能抖动,甚至因为邻居占用导致你的作业 OOM(内存溢出)或超时。
- 注意规格命名:云厂商的 GPU 实例通常以
2. 存储:I/O 是最大瓶颈之一
机器学习,特别是加载大型数据集时,磁盘 I/O 经常成为瓶颈。
- 系统盘 vs 数据盘:绝对不要把数据集放在系统盘里。系统盘通常是 ESSD PL0/PL1 级别,随机读写尚可,但顺序读取大文件速度有限。
- 挂载高性能云盘:使用 ESSD PL1 或 PL2 级别的云盘作为数据盘。如果预算允许,直接挂载 NAS(网络文件系统)或对象存储 OSS/COS 的挂载点。
- 本地 SSD 实例:部分 GPU 实例提供本地 NVMe SSD 盘。这种盘延迟极低,吞吐量大,非常适合临时存放训练中间件和 checkpoint。注意: 本地盘是非持久化存储,重启或迁移实例后数据会丢失,只用于缓存,不要存原始数据。
- 预取策略:代码中尽量使用
tf.data或torch.utils.data.DataLoader的多 worker 加载,并开启 prefetch。确保 DataLoader 的速度能跟上 GPU 计算的速度,否则 GPU 利用率会很低(看 NVIDIA SMI 发现 GPU Utilization 只有 30%-50% 就是典型的数据加载瓶颈)。
3. 网络:内网通信与外部访问
- 集群训练(分布式):如果你用多台机器做分布式训练(如 PyTorch DDP),必须使用内网 IP。公网带宽极贵且延迟高,容易导致节点间同步阻塞。购买实例时,选择同一 VPC、同一可用区内的实例,确保内网互通。
- 公网带宽:
- 训练阶段:不需要公网带宽,甚至可以把安全组里的公网入口全关了,既安全又省钱。
- 调试/推理阶段:如果需要 SSH 连接或 Web UI(如 TensorBoard、Gradio),建议按固定带宽购买少量公网 IP(如 1-5 Mbps),或者使用云厂商提供的“弹性公网 IP”按需分配。避免使用“按流量计费”除非你明确知道自己在做什么,否则突发流量可能产生高额费用。
- 负载均衡:如果是提供 API 推理服务,前端接 SLB/CLB,后端挂多个 ECS 实例,实现横向扩展和高可用。
4. 环境配置:驱动与容器化
- 镜像选择:
- 推荐:直接使用云厂商提供的官方 AI 镜像(如 Alibaba Cloud Deep Learning AMI, Tencent Cloud AI Image)。这些镜像已经预装了 CUDA、cuDNN、PyTorch/TensorFlow 等常用库,版本匹配好,省去大量排错时间。
- 自建基础镜像:如果用 Ubuntu/CentOS 基础镜像,你需要自己安装 NVIDIA 驱动。注意驱动版本要和 CUDA 版本严格对应。推荐使用 Docker 容器化部署,隔离性好,迁移方便。
- 权限问题:Linux 下运行深度学习任务,确保当前用户对数据盘有读写权限。常见错误是
Permission denied,检查chmod/chown。
5. 成本优化与生命周期管理
- 抢占式实例(Spot Instances):对于容错性高的训练任务(如可以断点续训),强烈建议使用抢占式实例。价格通常是按量付费的 1-10 折。
- 关键操作:必须在代码中实现 Checkpoint 机制,定期保存模型权重到 OSS/COS。一旦实例被回收,可以从最新 checkpoint 恢复。
- 关机策略:非工作时间(晚上、周末)记得关机或暂停实例。云厂商通常对“运行中”状态收费,即使没跑任务。
- 自动伸缩:对于推理服务,设置 Auto Scaling 策略。流量低时缩容到最小实例数,高峰时自动扩容。
- 预留实例券(RI)/储蓄计划:如果你有长期稳定的训练需求(比如连续跑几个月),购买 RI 或储蓄计划可以节省 30%-50% 的成本。
6. 监控与安全
- 监控指标:除了常规的 CPU、内存,务必关注 GPU 利用率、显存使用率、温度、功耗。云控制台通常提供这些监控项。如果发现 GPU 温度过高(>85°C),可能需要检查散热或降低负载。
- 安全组:默认安全组规则往往过于宽松。训练时,只开放 SSH 端口(22)和内网所需端口。推理服务时,只开放 HTTP/HTTPS 端口。禁止开放数据库端口(3306, 6379)到公网。
- 密钥管理:不要将 AWS Access Key、OSS Secret Key 等硬编码在代码里。使用云厂商提供的 RAM 角色(Role)或环境变量注入方式传递凭证。
总结 Checklist:
- 选对实例:训练选 GPU 独占型,推理看并发量选 CPU/GPU。
- 存好数据:数据盘用 ESSD,热数据考虑本地 SSD,元数据放 OSS。
- 连对内网:分布式训练走内网,公网只开必要端口。
- 用好镜像:首选官方 AI 镜像,减少环境配置麻烦。
- 做好备份:Checkpoint 定时上传对象存储,防止实例中断丢数据。
- 控制成本:善用抢占式实例、自动伸缩、按时关机。
最后提醒一点:不要在个人电脑上做完一切,再搬到云上跑。 养成在云端直接开发、调试的习惯,利用云上的强大算力和存储资源,效率会高得多。
云技术博客