llama.cpp server：在 /v1/realtime 上新增实时对话与转写（#31269）
server：在 /v1/realtime 上新增实时对话与转写（#31269） server：在 /v1/realtime 上新增实时对话与转写 Co-authored-by: Xuan Son Nguyen son@huggingface.co Assisted-by: Claude Opus 5.5 examples：realtime 客户端默认指向服务器端口 9931 Assisted-by: Claude Opus 5.5 server：各实时响应在自己的解码完成后立即采样 多个 slot 共用一个 context 轮流应答：此前在下一步开始时才采样，读到的是最后完成解码的那个 slot 的 logits，并发会话的输出因此相互混杂。 Assisted-by: Claude Opus 5.5 将更多代码迁入 server-realtime，使其自包含 examples：修复 realtime 客户端的类型检查 Assisted-by: Claude Opus 5.5 examples：realtime 客户端改用模型卡中的提示词 Assisted-by: Claude Opus 5.5 Co-authored-by: Xuan Son Nguyen son@huggingface.co 官网：https://llama.app Attestations：https://github.com/ggml-org/llama.cpp/attestations/60644875 macOS/iOS： - macOS Apple Silicon（arm64） - macOS Apple Silicon（arm64，启用 KleidiAI） - DISABLED - macOS Intel（x64） - iOS XCFramework Linux： - Ubuntu x64（CPU） - Ubuntu arm64（CPU） - Ubuntu s390x（CPU） - Ubuntu x64（Vulkan） - Ubuntu arm64（Vulkan） - Ubuntu x64（CUDA 12，含 CUDA 12.8 运行库） - Ubuntu x64（CUDA 13，含 CUDA 13.4 运行库） - Ubuntu arm64（CUDA 13，含 CUDA 13.4 运行库） - Ubuntu x64（ROCm 10.0） - Ubuntu x64（OpenVINO） - Ubuntu x64（SYCL FP32） - Ubuntu x64（SYCL FP16） - Linux arm64（Snapdragon：CPU、Adreno GPU、Hexagon NPU，附设置指南） Android： - Android arm64（CPU） - Android arm64（Snapdragon：CPU、Adreno GPU、Hexagon NPU，附设置指南） Windows： - Windows x64（CPU） - Windows arm64（CPU） - Windows arm64（OpenCL Adreno） - Windows x64（CUDA 12，含 CUDA 12.4 DLL） - Windows x64（CUDA 13，含 CUDA 13.4 DLL） - Windows arm64（CUDA 13，含 CUDA 13.4 DLL） - Windows x64（Vulkan） - Windows arm64（Vulkan） - Windows x64（OpenVINO） - Windows x64（SYCL） - Windows x64（ROCm 10.0） openEuler：DISABLED - openEuler x86（310p） - openEuler x86（910b，ACL Graph） - openEuler aarch64（310p） - openEuler aarch64（910b，ACL Graph） UI：UI（原文至此截断）
server：在 /v1/realtime 上新增实时对话与转写（#31269）
server：在 /v1/realtime 上新增实时对话与转写
Co-authored-by: Xuan Son Nguyen son@huggingface.co
Assisted-by: Claude Opus 5.5
examples：realtime 客户端默认指向服务器端口 9931
Assisted-by: Claude Opus 5.5
server：各实时响应在自己的解码完成后立即采样
多个 slot 共用一个 context 轮流应答：此前在下一步开始时才采样，读到的是最后完成解码的那个 slot 的 logits，并发会话的输出因此相互混杂。
Assisted-by: Claude Opus 5.5
将更多代码迁入 server-realtime，使其自包含
examples：修复 realtime 客户端的类型检查
Assisted-by: Claude Opus 5.5
examples：realtime 客户端改用模型卡中的提示词
Assisted-by: Claude Opus 5.5
Co-authored-by: Xuan Son Nguyen son@huggingface.co
官网：https://llama.app
Attestations：https://github.com/ggml-org/llama.cpp/attestations/60644875
macOS/iOS：
- macOS Apple Silicon（arm64）
- macOS Apple Silicon（arm64，启用 KleidiAI）
- DISABLED
- macOS Intel（x64）
- iOS XCFramework
Linux：
- Ubuntu x64（CPU）
- Ubuntu arm64（CPU）
- Ubuntu s390x（CPU）
- Ubuntu x64（Vulkan）
- Ubuntu arm64（Vulkan）
- Ubuntu x64（CUDA 12，含 CUDA 12.8 运行库）
- Ubuntu x64（CUDA 13，含 CUDA 13.4 运行库）
- Ubuntu arm64（CUDA 13，含 CUDA 13.4 运行库）
- Ubuntu x64（ROCm 10.0）
- Ubuntu x64（OpenVINO）
- Ubuntu x64（SYCL FP32）
- Ubuntu x64（SYCL FP16）
- Linux arm64（Snapdragon：CPU、Adreno GPU、Hexagon NPU，附设置指南）
Android：
- Android arm64（CPU）
- Android arm64（Snapdragon：CPU、Adreno GPU、Hexagon NPU，附设置指南）
Windows：
- Windows x64（CPU）
- Windows arm64（CPU）
- Windows arm64（OpenCL Adreno）
- Windows x64（CUDA 12，含 CUDA 12.4 DLL）
- Windows x64（CUDA 13，含 CUDA 13.4 DLL）
- Windows arm64（CUDA 13，含 CUDA 13.4 DLL）
- Windows x64（Vulkan）
- Windows arm64（Vulkan）
- Windows x64（OpenVINO）
- Windows x64（SYCL）
- Windows x64（ROCm 10.0）
openEuler：DISABLED
- openEuler x86（310p）
- openEuler x86（910b，ACL Graph）
- openEuler aarch64（310p）
- openEuler aarch64（910b，ACL Graph）
UI：UI（原文至此截断）