llama.cpp server:暴露 chat template 的推理努力程度档位(#31271)
server:暴露 chat template 的推理努力程度档位(#31271) server:暴露 chat template 的推理努力程度档位 能力探测(capability probe)会为每个候选档位(minimal、low、medium、high、xhigh、max)以及一个未知档位各渲染一条用户消息(user turn)。 只要某档位渲染时不报错、且渲染结果不同于未知档位(未知档位展示的是模板的回退行为),该档位即被视为受支持。 渲染结果相同的档位互为别名,只保留其中最高的一档。 这些能力信息(caps)会序列化为 JSON;/props 中的 chat_template_caps 以 reasoning_effort_levels 字段上报该列表,按从低到高排序。 jinja:让 caps 摆脱对 json 的依赖 caps 仍以 map 形式上报各自的标志位,努力程度档位则保持为普通成员。 服务器上报的 JSON 由 common_chat_templates_get_caps() 从两者构建,因此 jinja 仅在探测输入上依赖 json。 官网:https://llama.app Attestations:https://github.com/ggml-org/llama.cpp/attestations/60638014 macOS/iOS: - macOS Apple Silicon(arm64) - macOS Apple Silicon(arm64,启用 KleidiAI) - DISABLED - macOS Intel(x64) - iOS XCFramework Linux: - Ubuntu x64(CPU) - Ubuntu arm64(CPU) - Ubuntu s390x(CPU) - Ubuntu x64(Vulkan) - Ubuntu arm64(Vulkan) - Ubuntu x64(CUDA 12,含 CUDA 12.8 运行库) - Ubuntu x64(CUDA 13,含 CUDA 13.4 运行库) - Ubuntu arm64(CUDA 13,含 CUDA 13.4 运行库) - Ubuntu x64(ROCm 10.0) - Ubuntu x64(OpenVINO) - Ubuntu x64(SYCL FP32) - Ubuntu x64(SYCL FP16) - Linux arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU,附设置指南) Android: - Android arm64(CPU) - Android arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU,附设置指南) Windows: - Windows x64(CPU) - Windows arm64(CPU) - Windows arm64(OpenCL Adreno) - Windows x64(CUDA 12,含 CUDA 12.4 DLL) - Windows x64(CUDA 13,含 CUDA 13.4 DLL) - Windows arm64(CUDA 13,含 CUDA 13.4 DLL) - Windows x64(Vulkan) - Windows arm64(Vulkan) - Windows x64(OpenVINO) - Windows x64(SYCL) - Windows x64(ROCm 10.0) openEuler:DISABLED - openEuler x86(310p) - openEuler x86(910b,ACL Graph) - openEuler aarch64(310p) - openEuler aarch64(910b,ACL Graph) UI:UI(原文至此截断)
server:暴露 chat template 的推理努力程度档位(#31271)
server:暴露 chat template 的推理努力程度档位
能力探测(capability probe)会为每个候选档位(minimal、low、medium、high、xhigh、max)以及一个未知档位各渲染一条用户消息(user turn)。
只要某档位渲染时不报错、且渲染结果不同于未知档位(未知档位展示的是模板的回退行为),该档位即被视为受支持。
渲染结果相同的档位互为别名,只保留其中最高的一档。
这些能力信息(caps)会序列化为 JSON;/props 中的 chat_template_caps 以 reasoning_effort_levels 字段上报该列表,按从低到高排序。
jinja:让 caps 摆脱对 json 的依赖
caps 仍以 map 形式上报各自的标志位,努力程度档位则保持为普通成员。
服务器上报的 JSON 由 common_chat_templates_get_caps() 从两者构建,因此 jinja 仅在探测输入上依赖 json。
官网:https://llama.app
Attestations:https://github.com/ggml-org/llama.cpp/attestations/60638014
macOS/iOS:
- macOS Apple Silicon(arm64)
- macOS Apple Silicon(arm64,启用 KleidiAI)
- DISABLED
- macOS Intel(x64)
- iOS XCFramework
Linux:
- Ubuntu x64(CPU)
- Ubuntu arm64(CPU)
- Ubuntu s390x(CPU)
- Ubuntu x64(Vulkan)
- Ubuntu arm64(Vulkan)
- Ubuntu x64(CUDA 12,含 CUDA 12.8 运行库)
- Ubuntu x64(CUDA 13,含 CUDA 13.4 运行库)
- Ubuntu arm64(CUDA 13,含 CUDA 13.4 运行库)
- Ubuntu x64(ROCm 10.0)
- Ubuntu x64(OpenVINO)
- Ubuntu x64(SYCL FP32)
- Ubuntu x64(SYCL FP16)
- Linux arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU,附设置指南)
Android:
- Android arm64(CPU)
- Android arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU,附设置指南)
Windows:
- Windows x64(CPU)
- Windows arm64(CPU)
- Windows arm64(OpenCL Adreno)
- Windows x64(CUDA 12,含 CUDA 12.4 DLL)
- Windows x64(CUDA 13,含 CUDA 13.4 DLL)
- Windows arm64(CUDA 13,含 CUDA 13.4 DLL)
- Windows x64(Vulkan)
- Windows arm64(Vulkan)
- Windows x64(OpenVINO)
- Windows x64(SYCL)
- Windows x64(ROCm 10.0)
openEuler:DISABLED
- openEuler x86(310p)
- openEuler x86(910b,ACL Graph)
- openEuler aarch64(310p)
- openEuler aarch64(910b,ACL Graph)
UI:UI(原文至此截断)