编辑部快讯
第 2421 号 · 2026-10-27 · 晚间版

US 美国10-27 19:11⏱ 2 分钟

llama.cpp b11927:Metal 后端新增 GGML_OP_TOP_K_MASK

llama.cpp b11927:Metal 后端新增 GGML_OP_TOP_

把 CUDA 后端的融合 top-k mask 移植到 Metal:grid-stride kernel 先以 -inf 填充输出,再由每行一个 threadgroup 覆写保留单元格的 mask 值;发布说明另附各平台构建产物清单与公证信息。

metal:新增 GGML_OP_TOP_K_MASK(#31230)

metal:新增 GGML_OP_TOP_K_MASK

把 CUDA 后端的融合 top-k mask 移植过来:一个 grid-stride kernel 先把输出填成 -inf,然后每行一个 threadgroup 把保留单元格的 mask 值覆写上去。Function constants 会去掉给定计算图用不到的 score、blocks 及额外路径。

Assisted-by: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB)

metal:整理 top-k mask kernel 的代码格式

Assisted-by: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB)

网站:https://llama.app

Attestations(构建公证):https://github.com/ggml-org/llama.cpp/attestations/60337787

发布说明另附 macOS/iOS、Linux、Android、Windows、openEuler 各平台构建产物清单与公证信息。

本页为站内快照,仅作聚合阅读;内容来自公开网络,版权归原作者所有。