llama.cpp b11936:k-pool 稀疏选择构建不再依赖 kq_mask 形状
llama:k-pool 稀疏选择的构建不再依赖 kq_mask 形状(#31243)。qwen4exp(QSA)与 glm5-next 按索引挑选缓存单元,已不再读取 kq_mask 的取值,但选择本身仍沿用稠密 kq_mask 的形状来构造。
llama:k-pool 稀疏选择的构建不再依赖 kq_mask 形状(#31243)
qwen4exp(QSA)与 glm5-next 按索引挑选缓存单元,已不再读取 kq_mask 的取值,但选择本身仍按稠密 kq_mask 的形状来构造。现在改为直接在缓存单元上构建 [n_kv, n_tokens] 形状的选择,并在注意力计算前按 K 视图的流切分。这样,稠密掩码可以更换布局(例如按序列的行列表),而不必触碰稀疏层。
改进注释
llama:删去 build_fused_top_k_mask 中未使用的参数,并按评审意见微调
Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/60550938
发布说明另附 macOS/iOS、Linux、Android、Windows、openEuler 各平台构建产物清单与公证信息。