PagedAttention：
KV 缓存的连续预分配会造成大量显存碎片，压低并发。vLLM 借用操作系统分页：KV 切成固定大小的块、用块表映射逻辑到物理，浪费压到一个块以内，相同前缀还能写时复制共享。
推理优化4 分钟 · 1.8 千字
归档
14 篇
KV 缓存的连续预分配会造成大量显存碎片，压低并发。vLLM 借用操作系统分页：KV 切成固定大小的块、用块表映射逻辑到物理，浪费压到一个块以内，相同前缀还能写时复制共享。
Paraformer 用 CIF 预测器解决了非自回归识别的长度对齐，得以一次并行输出整句。热词版再挂一条偏置注意力分支，推理时传入词表即可让人名、术语这些低频定制词被正确召回。