Nvidia 发布一体化、可定制的 Nemotron 3.5 音频转写与翻译模型

Nvidia 公司今日发布了一个在排行榜上夺冠的开源人工智能模型，用于多语言音频转写与翻译，同时发布了用于微调 Nemotron 3.5 Transcribe 的开放数据流水线。传统转写 AI 模型遵循的工作流是：检测语音、转写、识别并标注不同说话人，然后回答与转写内容相关的问题；Transcribe 在单次模型推理中完成所有这些任务……本文《Nvidia 发布一体化、可定制的 Nemotron 3.5 音频转写与翻译模型》首发于 SiliconANGLE。

Nvidia 公司今日发布了一个在排行榜上夺冠的开源人工智能模型，用于多语言音频转写与翻译，同时还发布了用于微调 Nemotron 3.5 Transcribe 的开放数据流水线。

传统转写 AI 模型遵循这样的工作流：检测语音、转写、识别并标注不同说话人，然后回答与转写内容相关的问题。Transcribe 在单次模型推理中完成所有这些任务，能够消化并回答关于 100 小时音频的问题，支持 40 种语言，最多可标注 8 个说话人。

它是一个开放权重的 300 亿参数 mixture-of-experts 模型，激活参数为 40 亿。这意味着它可以装进相当小的硬件，而更强大的硬件则能让它转写得更快。

以它的体量，Transcribe 的表现远超同级，根据压缩程度可以从边缘设备一直跑到数据中心。该模型可运行在单块 Nvidia GPU 上，从 Jetson AGX Thor（边缘计算机器人大脑）或 DGX Spark（桌面级 AI 超级计算机），一直到 Blackwell 数据中心 GPU。Nvidia 表示，一块采用 NVFP4 精度并对模型做四分之一压缩的 Blackwell Server Edition GPU，处理 100 小时音频用时不到 3 分钟。

据该公司介绍，Transcribe 在「把词听准」方面达到了很高的准确率基准，开箱即用的错误率为 30.8%，通过精心设计的提示词可降至 20.8%。针对专门工作微调后——例如在 Eka Care 印度医疗语音基准上——该模型的词错误率降至 11.8%，降幅可观。

用户可以通过提示词引导转写分析或提问。同一个 checkpoint 可以用不同的提示词把一段录音变成不同输出。

例如，用户可以用「转写这段录音并标注每个说话人」或「把这段音频翻译成英文」或「这次会议做出了哪些决定？」等指令，或它们的组合。用户还可以在转写前向模型提供重要术语或对话内容，帮助它更好地理解对话，从而提高准确性。

为了构建该模型，Nvidia 将 Granary v1 扩展为 Granary v2——该公司庞大的开源公共多语言语音 AI 数据集。Granary v2 使用 Nvidia NeMo Curator 构建，在上一代基础上大幅扩展，目前覆盖 48 种语言、19 个源语料库，共 843,579 小时，而此前约为 643,000 小时、25 种语言。

Granary v2 为每段录音生成三种逐字稿风格（clean verbatim styles），可通过提示词向 Transcribe 请求。一种保留全部内容，包括「嗯」「啊」之类的语气词；另一种将完整措辞缩减为符号，例如把拼写出来的数字变成数字符号；第三种则去除填充词。

这些让开发者能够利用流水线数据把不同语言的转写适配为可读格式，并对模型输出进行微调。

Nvidia 表示，这些数字代表的是数据集发布本身，而非 Transcribe 的完整训练混合数据或其采样权重。不过，Granary v2 曾在生产中使用，以让该模型尽可能适应真实的翻译、转写与理解任务。

Transcribe 已作为 Hugging Face demo 提供，开发者可以下载 checkpoint，并通过微调使其适配领域专长。