单张 3090 跑 DeepSeek-V4.1-Flash-1017 达 41 tok/s

不，这不是被阉割的 1-bit 极限压缩，而是 nazeshinjite 的 DeepSeek-V4.1-Flash-1017 完整 Q2 GGUF，跑在单张 3090 上，原生 Windows、无需 WSL。在配 192 GB 内存的 RTX 3090 上，我以 41 tok/s 的速度写作（多个提示词的平均值），输出在下一个 token 上与 DeepSeek 官方 API 的一致率达 90.2%

不，这不是被阉割的 1-bit 极限压缩，而是 nazeshinjite 的 DeepSeek-V4.1-Flash-1017 完整 Q2 GGUF，跑在单张 3090 上，原生 Windows、无需 WSL。在配 192 GB 内存的 RTX 3090 上，我以 41 tok/s 的速度写作（多个提示词的平均值），输出在下一个 token 上与 DeepSeek 官方 API 的一致率：通用文本 90.2%、代码/数学 92.4%，即与精确路由相差在一个百分点以内。可容纳完整 1M 上下文。我这个简陋的接口引擎可以直接运行 1017 下载量最高的三种量化，文件原样使用：nazeshinjite 的 ds4 Q2 GGUF（默认）、ISTA-DASLab 的 GSQ-RCO（IQ2_XS / IQ2_XXS / IQ1_M）、Unsloth 的版本（UD-IQ1_S 到 UD-Q8_K_XL）。仓库：https://github.com/musicurgy/delta-inference-engine

硬件/配置：RTX 3090 24 GB、i5-13600K、192 GB DDR5（4×48 GB 5600）、一块 PCIe 4.0 NVMe。Windows 10/11，无 WSL。

| 量化版本 | 下载体积 | 192 GB 内存 | 128 GB 内存 | Top-1 对比 API（通用文本，精确路由） |

|---|---|---|---|---|

| ds4 Q2（默认） | 366 GB | 41 tok/s | 33 tok/s | 91.5% |

| GSQ IQ2_XS | 159 GB（+ 默认版） | 38 tok/s | 26 tok/s | 90.0% |

| GSQ IQ2_XXS | 142 GB（+ 默认版） | 41 tok/s | 32 tok/s | 87.8% |

| GSQ IQ1_M | 125 GB（+ 默认版） | 42 tok/s | 37.5 tok/s | 85.5% |

| Unsloth UD-IQ1_S | 233 GB | 40 tok/s | 37.5 tok/s | 89.3% |

安装：下载 ZIP（或 clone），双击 Start DeepSeek.bat。首次运行会按需安装 Python、下载适配你 CPU 的预编译引擎和模型（每个文件都经 SHA-256 校验，并先检查磁盘空间），然后启动服务；之后同一个文件就只负责启动。Choose Model.bat 用于切换量化版本。如果出了问题，Start DeepSeek (debug).bat 会把排查所需的一切打包成一个 zip 供提 issue 使用（不含提示词内容，已移除用户名）。

隐私：默认仅监听 localhost，除非你开启日志，否则提示词内容不会写入磁盘。

配置要求：一块 12 GB 以上显存的 NVIDIA RTX 显卡（24 GB：41 tok/s，16 GB：31 tok/s，12 GB：17 tok/s，均为在我这台受内存限制的 3090 上实测）；GTX 10 系列及更早无法运行；128 GB 以上内存；一块有 385 GB 空闲空间的高速 NVMe SSD；任意 x86-64 CPU（AVX2 为快速路径，较老的 CPU 会自动获得较慢的构建版本）。

致谢：该引擎是 Xolotl 的 Windows 移植版，而 Xolotl 又构建于 Strata 之上；Xolotl 的若干最新修复也已合并回来。模型来自 DeepSeek，GGUF 来自 nazeshinjite，GSQ-RCO 来自 ISTA-DASLab，量化版本来自 Unsloth。采用 MIT 许可证。特别感谢 Claude 承担了大部分工作。

如果有人感兴趣，我会加一些多 GPU 或其他乱七八糟的支持。这个项目非常新，还需要在其他硬件上做大量验证，以上数字都来自我的机器，欢迎贴出你自己的测试结果。

由 /u/musicurgy 提交 [link] [comments]