编辑部快讯
第 2513 号 · 2026-10-28 · 晨间版

US 美国10-28 09:27⏱ 2 分钟

llama.cpp server:暴露 chat template 的推理努力程度档位(#31271)

llama.cpp server:暴露 chat template 的推理努力程

server:暴露 chat template 的推理努力程度档位(#31271) server:暴露 chat template 的推理努力程度档位 能力探测(capability probe)会为每个候选档位(minimal、low、medium、high、xhigh、max)以及一个未知档位各渲染一条用户消息(user turn)。 只要某档位渲染时不报错、且渲染结果不同于未知档位(未知档位展示的是模板的回退行为),该档位即被视为受支持。 渲染结果相同的档位互为别名,只保留其中最高的一档。 这些能力信息(caps)会序列化为 JSON;/props 中的 chat_template_caps 以 reasoning_effort_levels 字段上报该列表,按从低到高排序。 jinja:让 caps 摆脱对 json 的依赖 caps 仍以 map 形式上报各自的标志位,努力程度档位则保持为普通成员。 服务器上报的 JSON 由 common_chat_templates_get_caps() 从两者构建,因此 jinja 仅在探测输入上依赖 json。 官网:https://llama.app Attestations:https://github.com/ggml-org/llama.cpp/attestations/60638014 macOS/iOS: - macOS Apple Silicon(arm64) - macOS Apple Silicon(arm64,启用 KleidiAI) - DISABLED - macOS Intel(x64) - iOS XCFramework Linux: - Ubuntu x64(CPU) - Ubuntu arm64(CPU) - Ubuntu s390x(CPU) - Ubuntu x64(Vulkan) - Ubuntu arm64(Vulkan) - Ubuntu x64(CUDA 12,含 CUDA 12.8 运行库) - Ubuntu x64(CUDA 13,含 CUDA 13.4 运行库) - Ubuntu arm64(CUDA 13,含 CUDA 13.4 运行库) - Ubuntu x64(ROCm 10.0) - Ubuntu x64(OpenVINO) - Ubuntu x64(SYCL FP32) - Ubuntu x64(SYCL FP16) - Linux arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU,附设置指南) Android: - Android arm64(CPU) - Android arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU,附设置指南) Windows: - Windows x64(CPU) - Windows arm64(CPU) - Windows arm64(OpenCL Adreno) - Windows x64(CUDA 12,含 CUDA 12.4 DLL) - Windows x64(CUDA 13,含 CUDA 13.4 DLL) - Windows arm64(CUDA 13,含 CUDA 13.4 DLL) - Windows x64(Vulkan) - Windows arm64(Vulkan) - Windows x64(OpenVINO) - Windows x64(SYCL) - Windows x64(ROCm 10.0) openEuler:DISABLED - openEuler x86(310p) - openEuler x86(910b,ACL Graph) - openEuler aarch64(310p) - openEuler aarch64(910b,ACL Graph) UI:UI(原文至此截断)

server:暴露 chat template 的推理努力程度档位(#31271)

server:暴露 chat template 的推理努力程度档位

能力探测(capability probe)会为每个候选档位(minimal、low、medium、high、xhigh、max)以及一个未知档位各渲染一条用户消息(user turn)。

只要某档位渲染时不报错、且渲染结果不同于未知档位(未知档位展示的是模板的回退行为),该档位即被视为受支持。

渲染结果相同的档位互为别名,只保留其中最高的一档。

这些能力信息(caps)会序列化为 JSON;/props 中的 chat_template_caps 以 reasoning_effort_levels 字段上报该列表,按从低到高排序。

jinja:让 caps 摆脱对 json 的依赖

caps 仍以 map 形式上报各自的标志位,努力程度档位则保持为普通成员。

服务器上报的 JSON 由 common_chat_templates_get_caps() 从两者构建,因此 jinja 仅在探测输入上依赖 json。

官网:https://llama.app

Attestations:https://github.com/ggml-org/llama.cpp/attestations/60638014

macOS/iOS:

- macOS Apple Silicon(arm64)

- macOS Apple Silicon(arm64,启用 KleidiAI)

- DISABLED

- macOS Intel(x64)

- iOS XCFramework

Linux:

- Ubuntu x64(CPU)

- Ubuntu arm64(CPU)

- Ubuntu s390x(CPU)

- Ubuntu x64(Vulkan)

- Ubuntu arm64(Vulkan)

- Ubuntu x64(CUDA 12,含 CUDA 12.8 运行库)

- Ubuntu x64(CUDA 13,含 CUDA 13.4 运行库)

- Ubuntu arm64(CUDA 13,含 CUDA 13.4 运行库)

- Ubuntu x64(ROCm 10.0)

- Ubuntu x64(OpenVINO)

- Ubuntu x64(SYCL FP32)

- Ubuntu x64(SYCL FP16)

- Linux arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU,附设置指南)

Android:

- Android arm64(CPU)

- Android arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU,附设置指南)

Windows:

- Windows x64(CPU)

- Windows arm64(CPU)

- Windows arm64(OpenCL Adreno)

- Windows x64(CUDA 12,含 CUDA 12.4 DLL)

- Windows x64(CUDA 13,含 CUDA 13.4 DLL)

- Windows arm64(CUDA 13,含 CUDA 13.4 DLL)

- Windows x64(Vulkan)

- Windows arm64(Vulkan)

- Windows x64(OpenVINO)

- Windows x64(SYCL)

- Windows x64(ROCm 10.0)

openEuler:DISABLED

- openEuler x86(310p)

- openEuler x86(910b,ACL Graph)

- openEuler aarch64(310p)

- openEuler aarch64(910b,ACL Graph)

UI:UI(原文至此截断)

本页为站内快照,仅作聚合阅读;内容来自公开网络,版权归原作者所有。