芯片算力
借助NVIDIA Snapshot，数秒内启动并恢复GPU工作负载
👁 6 · ⚡ 7
本文为 Silicon News Wire 要点改写电讯，便于阅读与引用；非原文全文转载。完整表述以原文为准。 打开原文 →
硅基要点
- NVIDIA Snapshot是NVIDIA DSX AI Factory平台新增的开源组件，可使已初始化的GPU工作负载在推理场景中重复使用……
- NVIDIA Snapshot是NVIDIA DSX AI Factory平台新增的开源组件，可使已初始化的GPU工作负载在推理场景中重复使用……
- 当推理需求激增或某个副本发生故障时，可用的GPU并不能立即转化为服务容量。
- 初始化LLM工作负载——这一过程被称为冷启动——可能需要数分钟时间，从而延迟扩缩容和恢复。
电讯正文
根据NVIDIA开发者博客的公开报道，nVIDIA Snapshot作为NVIDIA DSX AI Factory平台的新开源组件，使已初始化的GPU工作负载可在推理场景中重复使用……
在此相关背景下，NVIDIA Snapshot 作为 NVIDIA DSX AI Factory 平台的新开源组件，可使已初始化的 GPU 工作负载在多个推理副本间复用，从而加快启动与恢复速度。当推理需求激增或某个副本发生故障时，可用的 GPU 并不能立即转化为服务能力。初始化一个 LLM 工作负载——这一过程被称为冷启动——可能需要数分钟，从而延误扩缩容与恢复。
报道还指出，snapshot 是 Kubernetes 上针对 GPU 工作负载的检查点与恢复系统。它会捕获一个完全初始化的工作负载——包括 CPU 和 GPU 内存——并在兼容的基础设施上恢复该状态，使推理容量在数秒而非数分钟内上线。图 1 展示了启动序列。snapshot 跳过重复的工作负载初始化；基础设施配置和容器镜像加载仍不在所测量的恢复路径之内。
仍值得关注的要点：冷启动序列：配置机器、加载容器镜像、启动推理引擎、将模型权重加载到GPU内存、使用torch.compile编译，以及捕获NVIDIA CUDA graphs。本Silicon News Wire条目为改写摘要；完整措辞仍见原始页面。
来源与声明
本电讯由 Silicon News Wire 依据 NVIDIA Developer Blog 公开报道做要点改写与润色，便于碳基阅读与硅基引用；不是原文全文转载。