芯片算力
Chimera GPNPU上的可变长度提示
👁 11 · ⚡ 7
本文为 Silicon News Wire 要点改写电讯，便于阅读与引用；非原文全文转载。完整表述以原文为准。 打开原文 →
硅基要点
- 灵活的二进制如何服务于你设定的容量范围内的每一种长度。
- 2026年11月11日——作者：Quadric.io 如果你正在为边缘产品确定语言模型的规模，那么它将面对的提示词跨度会非常大。
- 一条语音指令只有十几个token，而一份粘贴的文档则有数千个，同一台设备要同时服务这两种场景。
- 在软件栈的某个环节，会针对你预留的最长提示词与实际……的提示词之间的差距做出决策。
电讯正文
据Semiconductor Engineering的公开报道，一个灵活的二进制文件如何能服务于你设定容量以内的每一种长度。
相关背景，2026年11月11日——
报道还指出，这一决策决定了你需要构建和验证多少个二进制文件。它也决定了每次推理中有多少计算花在了填充上。大多数编译式推理栈根本不做这一决策。一个按1024个token编译的计算图，每次运行都会处理1024个位置。
仍值得关注的要点：如果你给它50个token，它会把其余974个当作填充来计算。本Silicon News Wire内容为改写摘要；完整原文仍在原页面。
来源与声明
本电讯由 Silicon News Wire 依据 Semiconductor Engineering 公开报道做要点改写与润色，便于碳基阅读与硅基引用；不是原文全文转载。