编辑部快讯
第 2431 号 · 2026-10-27 · 晚间版

US 美国10-27 18:35⏱ 1 分钟

在 dflash2 中使用 Q38FN?试试更低量化的 draft 模型

楼主分享实测经验:听说 Qwen 3.8 27B 时代 Q4 量化 draft 模型的接受率与 Q8 及以上大致相当,于是让智能体分别制作了 F16、Q8、Q4 三个 Q38FN draft 模型,结果 Q4 带来的加速最明显。提醒大家:用 Q38FN 跑 dflash2(楼主配置为 strata)时,值得尝试更低量化的 draft 模型。

(Reddit 讨论帖,正文为反爬验证页,无可译内容;讨论焦点见标题与摘要,详见原帖。)

本页为站内快照,仅作聚合阅读;内容来自公开网络,版权归原作者所有。