Nvidia 开源 Nemotron 3.5 Transcribe：转录、翻译与说话人识别三合一
Nvidia 发布了开源语音识别模型 Nemotron 3.5 Transcribe，可处理转录、说话人识别和翻译，并通过文本提示接受指令。它在多项基准上领先，激活参数只有最强开源对手的约六分之一。Nvidia 还同时发布了包含逾 80 万小时语音的数据集，以及用于微调的工具。
Nvidia 发布了一款接受文本指令的开源语音识别模型，公司称其在多项基准上领先。此次发布还包括一个大型训练数据集，以及把模型适配到专门领域的工具。
一份平铺直叙的转录稿不会告诉你谁说了什么，也无法翻译任何内容或正确拼写专业术语。Nemotron 3.5 Transcribe 的设计目标是让单一模型搞定这一切，它还能回答关于录音内容的问题。Nvidia 称，该模型可转录 40 种语言，其中 31 种可译为英文或自英文译出，并能识别 13 种语言的说话人。它支持最长一小时的录音，最多可包含八位说话人。
用户用简单的指令控制模型。根据提示不同，同一段会议录音可以变成带说话人标签的转录稿、英文译文，或对所作决定的摘要。用户还可以把药品名称之类的专业术语作为提示传入。模型只应在这些术语确实出现在录音中时才使用它们。
该模型有 300 亿参数，但每个处理步骤只有约 40 亿参数激活。因此它可以在单块 Nvidia GPU 上运行——从紧凑的 DGX Spark 到数据中心硬件都可以。Nvidia 称，在 RTX PRO 6000 Blackwell Server Edition 上以 NVFP4 精度，该模型三分钟内即可处理 100 小时音频。
在 Hugging Face 的英文 Open ASR Leaderboard 上，Transcribe 以 5.33% 的平均词错率位居开放权重模型第一。在 Artificial Analysis 的对比中，它的成绩是 2.81%，接近最佳开放模型 Voxtral Small 的 2.77%，但 Transcribe 使用的激活参数只有其约六分之一。据 Nvidia 称，若干广泛使用的商业语音服务都落后于它。
领先幅度最大的是说话人识别。VoiceArena 在说话人有时互相抢话的对话上测试了 14 个系统，Transcribe 拿下第一。它漏掉的词也最少，漏识 8.32%，而中位数约为 31%。在 David AI 衡量 21 种语言说话人归因的基准上，它录得最低错误率，恰好排在这项任务的专属模型——Nvidia 自家产品——之前。
与模型一同发布的还有 Granary v2 数据集。它包含约 84.4 万小时的 48 种语言语音，多于上一版的约 64.3 万小时、25 种语言。每条录音提供多种转录风格：一种是逐字稿，保留「呃」之类的填充词并把数字拼写出来；另一种是清理稿，无填充词、数字改用阿拉伯数字。Nvidia 还公开了构建数据集所用的工具，开发者可以在自己的录音上运行。不过公司表示，该数据集与模型的训练数据并不完全一致。
Nvidia 在印度医生和医学生的录音上测试了针对性微调。在完整基准上，一个更精确的提示把错误率从 30.8% 降到 23.8%；微调之后进一步降到 11.8%。训练数据主要是合成语音。对于模型未曾听过的说话人，Nvidia 另行报告错误率从 22.44% 降至 12.17%，相对改进 45.8%。这让适配后的模型超过了得分为 13.79% 的一个开源医疗语音模型。Nvidia 称整个过程在单块 Nvidia GB300 上用了约 14 个 GPU 小时。
这种专门化是有代价的：在通用英语语音上错误率略有上升，且医疗模型对品牌药名的准确率更高。Nvidia 建议在构建定制版本时，至少留出 100 条经核验的真实录音用于测试。
基础模型也有局限。各语言的功能不一，Nvidia 称音频问答功能只用英语训练过。该模型也只为录音音频而设计。Nvidia 提醒用户应抽查姓名、说话人切换和回答。
模型和数据集都已上架 Hugging Face，还有一个可以试用的演示。针对微调，Nvidia 提供了指南和一个扩展，可让 AI 编码助手执行训练工作流。
Nvidia 不久前的 9 月才刚推出专用的说话人识别模型 Nemotron 3 Diarization。它能区分至多八位说话人，即便在实时对话中也行，但实际转录还需要另一个模型，比如 Nvidia 的 Parakeet。Nemotron 3.5 Transcribe 把两项工作合二为一，还增加了翻译和音频理解。不过它不支持实时处理。Nvidia 之前已把 Granary 数据集用于其多模态的 Nemotron 3 Nano Omni。
竞争对手则在设定不同的优先级。Mistral 的 Voxtral 系列同样结合转录与音频理解；随着近日发布的 Voxtral 3，该公司聚焦实时语音智能体。