开源LSA让长文本注意力提速
摘要
开源的Latent Sparse Attention（LSA）先按内容相似度给Token分组，再让索引器对分组打分筛选相关Token，在GLM-5.3-Flash上单层预填充快22.7倍，首Token延迟降约55%，但多级索引版本准确率明显下降。
原文片段
稀疏注意力还能怎么提速？LSA让GLM千万Token下单层快22.7倍 动察 Beating AI 快讯，英国 AI 研究机构 Prefrontal 与苏黎世联邦理工学院研究者开源了 Latent Sparse Attention（LSA），一种针对超长上下文的稀疏注意力技术。 DeepSeek、MiniMax、智谱等模型已经采用稀疏注意力，每次只处理少量关键 Token，减少计算。但为了找出这些 Token，许多现有方法仍要用轻量索引器扫描全部历史信息，逐个打分。研究者在 1000 万 Token 的 GLM-5.3-Flash 实验中发现，单层稀疏注意力的预填充时间，有 98% 花在了…