NVIDIA Developer Blog· Elizabeth Goodman·· 3 小时前
NVIDIA CUDA 13.4 如何在 Kubernetes 中实现内存强制的 GPU 共享
Memory-Enforced GPU Sharing in Kubernetes with NVIDIA CUDA 13.4
AI 导读
NVIDIA CUDA 13.4 支持在 Kubernetes 中对 GPU 共享施加内存强制限制。许多 AI 工作负载只需一小部分 GPU,独占整卡会造成容量闲置,共享则让平台团队用现有基础设施服务更多工作负载。NVIDIA GPU 已支持多种共享方式,其中 MIG 可将 GPU 拆分为对应用透明的硬件隔离实例。
来源:NVIDIA Developer Blog · developer.nvidia.com