NVIDIA Nemotron-3.5-Bolt-E4B量化版上架Hugging Face

NVIDIA与unsloth合作，在Hugging Face上发布Nemotron-3.5-Bolt-E4B的GGUF量化版本。该模型总参数8B，其中4B为有效参数，采用Q4_K_M量化，适合本地部署。上下文长度支持输入和输出各64K tokens，可由llama.cpp等运行，部署说明正在整理中。

该模型支持reasoning mode与conversational mode两种模式，通过聊天模版控制开关，并支持运行时思考预算。推荐在两种模式下使用temperature 1.0、top_p 0.95的采样参数。NVIDIA将其定位为面向本地语音助手、设备交互、互动角色和嵌入式界面优化的开放权重模型。

Nemotron系列强调开放权重、训练数据和训练配方，便于开发者构建专用AI agent。该GGUF版本为社区提供更便于直接下载和运行的格式，许可证为OpenMDW-1.1，通常对研究和商业使用较友好。