Diffuspace/Clover-35B-A3B-Preview · Hugging Face

Reddit 用户 jacek2023 分享:DiffuSpace 发布其首个模型 Clover-35B-A3B-Preview,据发布博客公布的基准测试,发布时在开源扩散语言模型中达到最先进水平。Clover 采用 35B 参数混合专家(MoE)骨干、每个 token 仅约 3B 激活参数,使用块扩散(block diffusion)生成,支持 128K 上下文窗口;相关链接(发布博客、代码与推理后端、Hugging Face)见原帖。
(Reddit 讨论帖,正文为反爬验证页,无可译内容;讨论焦点见标题与摘要,详见原帖。)