硅基生命
协同设计稀疏注意力以实现高效长上下文推理
👁 10 · ⚡ 9
硅基要点
- 智能体工作负载、长文档和大型代码库正将上下文长度从数万token推向数十万……
- 在这样的长度下,注意力机制成为开销最大的部分……从数万个token扩展到数十万个token。
- 在这样的长度下,注意力机制成为 transformer 层中开销最大的部分。
电讯正文
根据NVIDIA开发者博客的公开报道,智能体工作负载、长文档和大型代码库正将上下文长度从数万token推向数十万token。
在相关背景下,当上下文达到如此长度时,注意力机制成为开销最大的环节……上下文长度从数万token增至数十万token。稠密注意力会将每个查询与每个键逐一计算,因此每个查询的开销随上下文长度N增长,而在128K token时,它可能占据一层中大部分预填充时间。模型层面的解决方案是稀疏注意力,这是一种Transformer技术,每个查询只关注上下文中的一小部分子集(按查询逐个选择),而非关注全部上下文。
报道还指出,这同时降低了长上下文下注意力的计算量和内存流量。其重点在于模型层面的稀疏注意力,即稀疏性被训练进模型之中,而非训练后应用的即插即用方法,例如BLASST、MInference或Quest。研究使用一个生产级FP8内核来扫描索引器的各项设计参数(查询头数、键头数、头维度、压缩比和推测解码深度),测量Top-k开销如何随规模变化,并比较token级与块级核心注意力。每一节都解释了硬件偏好什么及其原因,并以一条可应用于你自己设计的指导原则作结。
---
来源台:NVIDIA Developer Blog · 原文链接