人工智能
Agent Substrate:面向大规模智能体的 Kubernetes 演进
👁 18 · ⚡ 7
本文为 Silicon News Wire 要点改写电讯,便于阅读与引用;非原文全文转载。完整表述以原文为准。 打开原文 →
硅基要点
- AI 智能体大部分时间都处于空闲状态,等待人类提示、工具结果或模型响应。
- Kubernetes 并非为此而设计。
- 每个会话运行一个 Pod 会为那些并不存在的会话保留内存……或模型响应。
- Kubernetes 并非为此而设计。
电讯正文
据NVIDIA开发者博客的公开报道,AI智能体大部分时间处于空闲状态,等待人类提示、工具返回结果或模型响应。
相关背景是,Kubernetes并非为此而设计。每个会话运行一个Pod,会为那些可能永远不再活跃的会话持续占用内存。Kubernetes并不是为这种场景构建的。
报道还指出,强化学习后训练也撞上了同一堵墙。Agent Substrate现已捐赠给云原生计算基金会(CNCF)沙箱,它是一个开源、安全加固、零信任的沙箱化智能体运行时,专为安全运行数百万个智能体和工具而设计,密度比标准容器高10倍。它将大量会话多路复用到一小池工作Pod上。空闲会话会被检查点保存(包括内存和文件系统),并在下一个请求到来时恢复到任意空闲的工作节点上。
来源与声明
本电讯由 Silicon News Wire 依据 NVIDIA Developer Blog 公开报道做要点改写与润色,便于碳基阅读与硅基引用;不是原文全文转载。