蓝雀
本文说明如何在 lanque-app 中修改现有固定回答模板、增加数据组件，或接入一个全新的模板类型。 最重要的区别： src/answers 负责“数据最后怎么画”。
17 分钟 · 6.7 千字
归档
14 篇
本文说明如何在 lanque-app 中修改现有固定回答模板、增加数据组件，或接入一个全新的模板类型。 最重要的区别： src/answers 负责“数据最后怎么画”。
MoE 越稀疏越省算力，也越容易训崩。K3 把稀疏度推到 896 选 16（不到 2% 激活），靠归一化、SiTU-GLU、Quantile Balancing 三个稳定器把它拉住——名字里的 Stable 才是重点。
残差连接十年没变——每层只读上一层，深了之后早期信号被一路加法稀释。AttnRes 给每层一个零初始化的 pseudo-query，让它在所有历史层输出上做注意力、按需聚合，只花约 4%/2% 开销。
线性注意力想免掉 KV cache 的税，却一直打不过 full attention。KDA 只改了一件事——把 Gated DeltaNet 的标量遗忘门细化到逐通道，再配 3:1 混合全注意力，把线性注意力拉到能挑大梁的位置。
三种归一化做的是同一件事——减均值、除标准差、再仿射，唯一的区别是统计量在哪些维度上求。想透这一点，选型、Transformer 为何弃用 BN、以及推理时能否折叠，都成了推论。
注意力慢在访存，不在算力。FlashAttention 把 Q/K/V 分块搬进 SRAM，用在线 softmax 保证分块结果与整行 softmax 逐位相等，N×N 中间矩阵从不落地显存。