这题没有标准答案,只有“场景匹配度”。在知乎或者技术社区里,如果谁上来就拍脑袋说“直通一定好”或者“虚拟一定好”,基本可以判断是刚入行或者没踩过坑。
GPU 资源的调度逻辑和 CPU、内存完全不同。CPU 虚拟化(KVM/Xen)已经非常成熟,性能损耗几乎可以忽略不计;但 GPU 涉及到底层硬件中断、显存管理以及复杂的 PCIe 拓扑,它的虚拟化一直是个“硬骨头”。
要决定选 直通(PCIe Passthrough / SR-IOV) 还是 虚拟型(vGPU / GPU Sharing),你得先搞清楚你的业务属于哪一类。我们可以从以下几个维度来拆解:
1. 核心区别:你要的是“独占”还是“共享”?
-
直通型(Passthrough):
- 原理:把物理 GPU 的驱动直接暴露给虚拟机(VM),宿主机不介入。对 VM 来说,它就是一张真实的显卡。
- 特点:性能极致接近原生,延迟极低,兼容性好(尤其是 CUDA 环境)。
- 缺点:资源利用率低。一张 A100 只能给一个 VM 用,哪怕这个 VM 只用了 10% 的计算能力,剩下的 90% 也是浪费的。且不支持热迁移(Live Migration),因为状态绑定太深。
-
虚拟型(vGPU / MIG / Time-slicing):
- 原理:通过 Hypervisor 或云厂商的控制平面,将一张物理 GPU 切分成多个虚拟实例。比如 NVIDIA vGPU 技术,或者 AMD 的 SR-IOV,以及英伟达最新的 MIG(Multi-Instance GPU)。
- 特点:资源利用率高。支持多租户隔离,支持热迁移,计费更灵活(可以按秒/分钟计费的小规格实例)。
- 缺点:有一定性能损耗(通常在 5%-15% 左右,取决于虚拟化方案),配置复杂,对驱动版本有严格要求,某些老旧框架可能兼容性不好。
2. 场景化选型指南
✅ 选【直通型】的场景
-
高性能计算(HPC)与科学模拟:
- 比如流体动力学仿真、分子动力学模拟。这类应用对延迟极其敏感,任何额外的上下文切换或虚拟化开销都是不可接受的。
- 需要直接使用底层 PCIe 带宽进行大规模数据交换的场景。
-
大型 AI 训练(Training):
- 如果你在做千亿参数模型的分布式训练,通常需要全卡通信(NVLink/InfiniBand)。直通模式能确保 GPU 之间的通信效率最大化,避免虚拟化层成为瓶颈。
- 注意:如果是推理(Inference),直通通常不是最优解,除非单实例负载极高。
-
特殊驱动依赖或旧版软件:
- 某些工业软件、CAD 渲染引擎或者非常古老的 AI 框架,对 Guest OS 中的驱动签名、内核模块加载有特殊要求,直通是最稳妥的“黑盒”方案。
-
长期稳定运行的独享实例:
- 业务负载稳定,不需要频繁伸缩,且愿意为高确定性付费。
✅ 选【虚拟型/vGPU】的场景
-
AI 推理(Inference)与微服务:
- 这是目前云计算厂商主推的方向。比如一个 NLP 模型推理服务,QPS 不高,但并发请求多。通过 vGPU 可以将一张 A100/H100 切成 7 个或更多小实例,每个实例跑不同的模型或同一个模型的不同分片。
- 成本优势巨大:你可以以 1/7 的价格买到算力,虽然单卡峰值性能略降,但整体集群吞吐量提升明显。
-
图形工作站与远程桌面(VDI/DaaS):
- 云电脑、在线设计工具、视频剪辑云平台。用户只需要基本的图形提速能力,不需要独占整张卡。vGPU 允许数百个用户共享少量物理 GPU,极大降低 TCO(总拥有成本)。
-
开发测试环境(Dev/Test):
- 开发者不需要全天候占用昂贵 GPU,只需在编译或运行测试时短暂使用。vGPU 支持按需分配,用完释放,避免资源闲置。
-
需要弹性伸缩的业务:
- 业务流量波动大,需要快速创建/销毁 GPU 实例。直通模式下,实例迁移困难;而基于虚拟化的云平台通常支持更好的生命周期管理。
3. 国内云厂商的现实考量
在国内选择 AWS、阿里云、腾讯云、华为云等时,还要考虑平台的具体实现:
-
NVIDIA vGPU vs. MIG:
- 老一代 Tesla/V100 主要靠 NVIDIA vGPU(需购买 License,成本高,现在较少新购)。
- 新一代 A100/H100 推荐用 MIG (Multi-Instance GPU)。MIG 是硬件级切片,性能损耗比传统 vGPU 更小,隔离性更好,更接近“伪直通”。目前国内主流云厂商的 GPU 实例大多基于 MIG 或类似技术优化。
-
国产 GPU(如昇腾、海光、壁仞等):
- 这些芯片的虚拟化生态还在完善中。很多情况下,为了稳定性,云厂商可能只提供直通模式,或者提供自家定制的轻量级虚拟化方案。如果你的业务栈强依赖特定国产芯片的专有库,务必先咨询厂商技术支持,确认虚拟化兼容性。
-
网络 I/O 的影响:
- 不要只看 GPU 本身。在直通模式下,如果网卡也做直通(SR-IOV VF),那么整个 VM 的 I/O 性能会非常好。但在虚拟化模式下,如果网络栈处理不当,可能会成为瓶颈。对于大规模分布式训练,RDMA 网络的支持情况往往比 GPU 虚拟化方式更关键。
4. 总结建议
| 维度 | 直通型 (Passthrough) | 虚拟型 (vGPU/MIG/Sharing) |
|---|---|---|
| 性能 | ⭐⭐⭐⭐⭐ (极限) | ⭐⭐⭐~⭐⭐⭐⭐ (有轻微损耗) |
| 利用率 | ⭐ (低,独占) | ⭐⭐⭐⭐⭐ (高,共享) |
| 灵活性 | 差 (难迁移,难扩缩容) | 好 (易管理,支持快照/迁移) |
| 成本 | 高 (按整卡计费) | 低 (可按比例拆分计费) |
| 适用人群 | HPC 科学家、AI 训练工程师 | AI 推理工程师、云桌面用户、开发者 |
最终结论:
- 如果你是搞 AI 训练,追求极致吞吐和通信效率,选直通(或者基于 MIG 的大实例,但尽量保证节点间直连)。
- 如果你是搞 AI 推理、云渲染、云桌面,或者成本控制敏感,选虚拟型(vGPU/MIG)。
- 折中方案:现在很多云厂商提供“混合模式”。例如,平时用 vGPU 做低成本推理,当检测到负载突增或需要调试时,可以手动升级为直通实例。建议在部署前,先用小批量数据在两种模式下分别压测,关注 P99 延迟 和 吞吐量 指标,数据不会骗人。
最后提醒一句:别被“虚拟化一定有损耗”吓到。 现代虚拟化技术(如 KVM + VFIO + SR-IOV)在大多数非极端场景下,损耗是可以接受的。关键在于你的业务是否真的需要那 5%-10% 的性能边际增益,还是更看重资源调度的灵活性。
云技术博客