语音 AI 正当红:Nvidia 发布新的开放转写模型
Nvidia 刚刚发布了一个免费的语音转文本模型,最多可转写 40 种语言,但它只支持录音而非实时音频,因此对会议与医疗转写工具是一大步,实时场景仍留给 ElevenLabs 等对手。
Nvidia 周三发布了 Nemotron 3.5 Transcribe,一个免费、开放权重的模型,最多可转写 40 种语言的音频。它还发布了其开源语音数据集 Granary 的第 2 版。
Nvidia 宣称 Nemotron 3.5 可以在 31 种语言与英语之间互译,处理长达 1 小时的录音,并区分多达 8 个说话人。该公司声称它在包括 Hugging Face 的 Open ASR Leaderboard 在内的基准上击败了对手。
这些工具面向为商务会议和医疗转写开发应用的开发者——这是 AI 在职场中扎根最深的两个领域。Nvidia 表示,开发者可以利用该模型、更新后的 Granary 数据集以及 NeMo Speech 模型等工具,定制应用以识别各行业、各语言的行话。一个缺点是:Transcribe 处理的是录音音频,而非实时音频流。
尽管如此,该公司承诺参数规模 300 亿的 Transcribe 可以在单颗芯片上运行,从 Jetson AGX Thor 机器人控制器和驱动新款笔记本的 DGX Spark 芯片,到 Blackwell 数据中心芯片均可。它加入了 Nvidia 的开放权重语音模型行列,其中包括体积极小却实力强劲的 Parakeet(11 亿参数)。
Nvidia 此次发布语音新品之际,正值 AI 语音发布的繁忙时期:Mistral 本月初发布了 Voxtral 3;ElevenLabs 推出了面向语音 agent 即时语音的 Realtime;Salesforce 则发布了其语音模型 Launa-Omni。