编辑部快讯
第 2620 号 · 2026-10-28 · 午后版

US 美国10-28 11:52⏱ 1 分钟

在 NVIDIA DGX Spark 上提升 MoE 推理的三种方法

在 NVIDIA DGX Spark 上提升 MoE 推理的三种方法

帖子实测了在 NVIDIA DGX Spark 上提升 MoE 推理的三项优化:Humming MXFP4 MoE 后端、在线 FP8 LM head 量化、以及基于 NEXTN 的 MTP 投机解码。逐项叠加后:基线 TPOT 27.71 ms、解码吞吐 36.09 tok/s;+Humming MoE 后端为 25.35 ms / 39.45 tok/s(+9.3%);再+在线 FP8 LM head 为 22.76 ms / 43.94 tok/s(+21.7%);再+MTP(NEXTN,steps=3 / topk=1 / draft_tokens=4)达 9.72 ms / 102.88 tok/s(+185.1%)。

(Reddit 讨论帖,正文为反爬验证页,无可译内容;讨论焦点见标题与摘要,详见原帖。)

本页为站内快照,仅作聚合阅读;内容来自公开网络,版权归原作者所有。