在 dflash2 中使用 Q38FN?试试更低量化的 draft 模型
楼主分享实测经验:听说 Qwen 3.8 27B 时代 Q4 量化 draft 模型的接受率与 Q8 及以上大致相当,于是让智能体分别制作了 F16、Q8、Q4 三个 Q38FN draft 模型,结果 Q4 带来的加速最明显。提醒大家:用 Q38FN 跑 dflash2(楼主配置为 strata)时,值得尝试更低量化的 draft 模型。
(Reddit 讨论帖,正文为反爬验证页,无可译内容;讨论焦点见标题与摘要,详见原帖。)