快讯

US 美国10-29 15:14⏱ 2 分钟

b11980:[SYCL] 为量化 KV cache 新增 DPAS flash attention 内核(#31125)

sycl:为量化 KV cache 新增 DPAS flash attention 内核。解码与小批量(1 至 31 个 query token)场景现在直接在 q4_0 和 q8_0 KV 块上运行 flash attention,不再需要标量反量化或每次调用时把整个 cache 转成 f16。Q.K 在 XMX 上使用 s8 x s4 与 s8 x s8 DPAS,V.P 保持 f16;由于 joint_matrix 不支持 s4,dpas.s4.s8 以内联 vISA 实现。覆盖 64 至 512 的 head size、最高 32 的 GQA 以及 attention sinks。Prompt 处理仍沿用现有内核;设置 GGML_SYCL_FA_DPAS=0 可将其关闭。B580、Llama 3.1 8B Q4_K_M、q4_0 KV、tg128:16K 上下文下从 31.3 提升到 54.2 t/s。FLASH_ATTN_EXT 测试 4582/4584,2 个失败与 master 相同。Assisted-by: Claude。sycl:移除 192 head,文档中加入 Wildcat Lake。Assisted-by: Claude。sycl:按评审意见收紧检查。Assisted-by: Claude。[SYCL]:重命名 XMX 宏,新增 GGML_SYCL_SUPPORT_XMX 选项,补充 DPAS 文档。Assisted-by: Claude

sycl:为量化 KV cache 新增 DPAS flash attention 内核。解码与小批量(1 至 31 个 query token)场景现在直接在 q4_0 和 q8_0 KV 块上运行 flash attention,不再需要标量反量化或每次调用时把整个 cache 转成 f16。Q.K 在 XMX 上使用 s8 x s4 与 s8 x s8 DPAS,V.P 保持 f16;由于 joint_matrix 不支持 s4,dpas.s4.s8 以内联 vISA 实现。覆盖 64 至 512 的 head size、最高 32 的 GQA 以及 attention sinks。Prompt 处理仍沿用现有内核;设置 GGML_SYCL_FA_DPAS=0 可将其关闭。B580、Llama 3.1 8B Q4_K_M、q4_0 KV、tg128:16K 上下文下从 31.3 提升到 54.2 t/s。FLASH_ATTN_EXT 测试 4582/4584,2 个失败与 master 相同。Assisted-by: Claude。sycl:移除 192 head,文档中加入 Wildcat Lake。Assisted-by: Claude。sycl:按评审意见收紧检查。Assisted-by: Claude。[SYCL]:重命名 XMX 宏,新增 GGML_SYCL_SUPPORT_XMX 选项,补充 DPAS 文档。Assisted-by: Claude

本页为站内快照,仅作聚合阅读;内容来自公开网络,版权归原作者所有。