ISTA-DASLab DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF 2.25bpw 与官方 API 对比

我跑 ISTA-DASLab 的 DSv4.1-1017 2.25bpw 量化版已有几天，它表现稳健。不过平均只有 2.25bpw 这一点让我好奇，这个量化版跟完整模型相比究竟如何。本地环境：Project-maya v1.1.27，ISTA-DASLab 的 2.25bpw 量化版。与质量相关的设置："DS4_IND……

我跑 ISTA-DASLab 的 DSv4.1-1017 2.25bpw 量化版已有几天，它表现稳健。不过平均只有 2.25bpw 这一点让我好奇，这个量化版跟完整模型相比到底差多少。

本地环境：Project-maya v1.1.27，ISTA-DASLab 的 2.25bpw 量化版。与质量相关的设置："DS4_INDEX_TC": "1"、"MAYA_DS4_PROMPT_SKIP": "2"。

测试：Humanities Last Exam 的 100 道纯文本子集。

跑分从来不是件容易事，这些结果充其量只是个冒烟测试，问题不少：

1) 每题我用了 32768 token 的上限，再大耗时就没法接受了。即便如此，我的本地实例跑完也花了约 12 小时，平均速度 40.4 tok/s。

2) 逼近 token 上限时，Deepseek 的 API 和 project-maya 的行为不同。project-maya 会把 thinking_budget 降到 token 上限的约四分之三，以保证总能给出答案，但代价是每题最多只用掉 24768 token 左右。而 Deepseek API 需要的话会把 32768 个 token 全花在思考上，然后什么都不输出。这一点很不幸地搅乱了相当多题目的结果。有些题本地答对了，是因为它被强制给出结果；也有些题 API 用了 24k-32k token 答对，而本地模型被卡在 24k 答错。

3) 两边我都用 thinking "high" 而非 "max"，因为用 "max" 时 Deepseek 的 API 想得太多，大多数题交不出答案。即便在 "high"，API 也有 26 题没能给出答案，本地被截断在 24k 的题目数量也差不多。

4) 这只是 100 题的子集，而且官方 API 和我的本地模型都存在明显的逐次波动。在此次测试设置下，有些题两边都时对时错。要得到统计上有意义的对比，这项测试得跑 10 次甚至更多。

结果本身：

本地：13 道严格正确，20 道语义正确。

API：13 道严格正确，21 道语义正确。

在官方 API 实际完成的 74 道题上：

本地语义正确：19/74

官方语义正确：21/74

双方都对：17

仅本地对：2

仅官方对：4

都不对：51

还值得注意的是：双方都错时，有 23 次错误答案完全相同，另有 11 次语义相同。还有 7 题错得"相似"——比如都选了真菌，但选了不同物种。

结论：鉴于我测试本身的缺陷，无法断言这个量化版离完整模型有多近。要真正弄清楚，得烧掉数亿 token，而这还只是 Humanities Last Exam 一项。不过现在我可以比较有把握地说：2.25bpw 量化版并没有被"切掉脑子"。凡是 API 能答的，本地模型都能答个八九不离十。比如我很确信，如果把 API 能答的任何一题用 256k token 上限交给本地模型，它多半会给出同样的答案。在 token 预算不限、推理开到最大的条件下，两边都能拿到高得多的分数。

来自 /u/PhysicalIncrease3 的提交 [link] [comments]