编辑部快讯
第 2362 号 · 2026-10-27 · 午后版

US 美国10-27 16:53⏱ 2 分钟

b11923

b11923

ggml:放宽 scale 算子以支持非连续视图(#31146)。此前 SCALE 要求 src0 为一维连续,现放宽为仅需第 0 维连续、允许任意行步长(ggml_is_contiguous_rows),与 Metal 后端一元算子处理方式一致;涉及 ggml 放宽 ggml_scale_impl 断言、CPU 按字节步长寻址 src0 各行(f32/bf16)、CUDA 步长感知内核与 fastdiv 行分解、Metal 支持 bf16 scale,SYCL 维持连续性门槛。另有 CUDA 侧改动:非连续视图上跳过 softcap 融合,此类计算图暂留步长内核。已在 CPU、Metal 和 CUDA 上验证。

ggml:放宽 scale 至非连续视图(#31146)

ggml:放宽 scale 至非连续视图

SCALE 此前要求 src0 为一维连续(1D-contiguous)。现将该要求放宽为仅需第 0 维连续、行步长可任意(ggml_is_contiguous_rows),与 Metal 后端中一元算子的处理方式一致。

  • ggml:放宽 ggml_scale_impl 中的断言
  • cpu:按字节步长寻址 src0 的各行(f32、bf16)
  • cuda:步长感知内核,fastdiv 行分解
  • metal:支持 bf16 scale(受保护的一元算子实例化)
  • sycl:维持仅连续张量的门槛,该内核按扁平 f32 处理

在 test_scale 中加入视图变体测试。已在 CPU、Metal 和 CUDA 上验证。

Assisted-by:dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF(RTX 5090 32GB,DDR5 128GB)

cuda:在非连续视图上跳过 softcap 融合

融合 softcap 内核以稠密数组方式读取 src 并写入 dst,因此在 SCALE 已接受非连续行的现在,进入 SCALE -> TANH -> SCALE 的视图会被错误读取。在融合内核具备步长感知能力之前,此类计算图继续留在按步长处理的内核上。

Co-authored-by:Pascal admin@serveurperso.com

网站:https://llama.app

Attestations:https://github.com/ggml-org/llama.cpp/attestations/60288171

macOS/iOS:

macOS Apple Silicon(arm64)

macOS Apple Silicon(arm64,启用 KleidiAI)

DISABLED macOS Intel(x64)

iOS XCFramework

Linux:

Ubuntu x64(CPU)

Ubuntu arm64(CPU)

Ubuntu s390x(CPU)

Ubuntu x64(Vulkan)

Ubuntu arm64(Vulkan)

Ubuntu x64(CUDA 12)- CUDA 12.8 库

Ubuntu x64(CUDA 13)- CUDA 13.4 库

Ubuntu arm64(CUDA 13)- CUDA 13.4 库

Ubuntu x64(ROCm 10.0)

Ubuntu x64(OpenVINO)

Ubuntu x64(SYCL FP32)

Ubuntu x64(SYCL FP16)

Linux arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU)- 安装指南

Android:

Android arm64(CPU)

Android arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU)- 安装指南

Windows:

Windows x64(CPU)

Windows arm64(CPU)

Windows arm64(OpenCL Adreno)

Windows x64(CUDA 12)- CUDA 12.4 DLL

Windows x64(CUDA 13)- CUDA 13.4 DLL

Windows arm64(CUDA 13)- CUDA 13.4 DLL

Windows x64(Vulkan)

Windows arm64(Vulkan)

Windows x64(OpenVINO)

Windows x64(SYCL)

Windows x64(ROCm 10.0)

openEuler:

DISABLED openEuler x86(310p)

openEuler x86(910b,ACL Graph)

openEuler aarch64(310p)

openEuler aarch64(910b,ACL Graph)

UI:UI

本页为站内快照,仅作聚合阅读;内容来自公开网络,版权归原作者所有。