开源MoE模型Flint GGUF发布，主打端侧高效推理

Recursive公司开发的Flint模型由unsloth发布GGUF版本，并附有与相似硬件上本地模型的基准对比。Flint是解码器架构的混合专家Transformer，总参数39.8B，但每个token约只有2.5B活跃参数（含输出头），因此本地推理负担较低。模型包含49层，其中2层为密集层，47层为MoE层；注意力层中35层采用滑动窗口，14层为全注意力。

Flint的滑动窗口为513个token，位置编码在滑动窗口层使用RoPE，全注意力层不使用位置编码。基准方面，Flint使用temperature 1.0、top-p 0.95、top-k 20；Terminal-Bench用Terminus 2，SWE-bench用mini-swe-agent，agentic分数取至少五次尝试的平均pass@1。部分分数由Recursive测量，其他为开发者报告。

模型规格和评估为本地部署用户提供了较完整参考，适合希望在有限显存下运行MoE模型的开发者。GGUF版本可以直接用llama.cpp等工具加载。