NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB
视觉多模态 · Nemotron 3.5 Bolt · IQ2
模型文件由第三方社区提供,贤紫精选模型市场仅提供索引与下载便利;使用请遵守该模型开源协议。
模型概要
NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 为 NVIDIA 官方 视觉语言(VLM)Agent 模型:总参约 74B,激活约 9B;输入 文本 / 图像 / 视频,输出 文本。本条目为官方 IQ2(约 2bit)24GB 档 GGUF,主文件约 22 GB(不是 Q4_K_M)。
看图 / 看视频必须同时下载并配置 mmproj(约 1.73 GB)。
上游模型页(建议收藏)
| 平台 | 模型仓库 |
|---|---|
| 魔搭 ModelScope | https://www.modelscope.cn/models/nv-community/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF |
| Hugging Face | https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF |
BF16 / 技术说明见:https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB
文件下载(主模型 + mmproj)
主模型 · NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf(约 22 GB)
| 平台 | 直链 / 入口 |
|---|---|
| 魔搭 | https://www.modelscope.cn/models/nv-community/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF/resolve/master/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf |
| Hugging Face | https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF/resolve/main/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf |
若直链失效:打开上表 模型页 → 文件,对应该文件名 复制浏览器下载地址。
视觉投影 · mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf(约 1.73 GB · 必下)
| 平台 | 直链 / 入口 |
|---|---|
| 魔搭 | https://www.modelscope.cn/models/nv-community/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF/resolve/master/mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf |
| Hugging Face | https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF/resolve/main/mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf |
可选 · 推测解码加速(非必下)
DFlash drafter(LiLiCorr)另仓发布,需较新 llama.cpp:
- https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF
部署提示
- 主 GGUF + mmproj 放在同一模型目录;使用 支持 Nemotron 3.5 Bolt VLM 的 llama.cpp / 自研底座。
- 显存:名称「24GB」指官方主推档位;含 mmproj 与 KV 时建议 32GB+ 更稳,或按模型卡缩短上下文。
- 采样参考:temperature 1.0,top_p 0.95(以 NVIDIA 模型卡为准)。
协议
OpenMDW-1.1。使用须遵守 NVIDIA 模型卡与 LICENSE。
贤紫精选模型市场 「下载」按钮 跳转至运营配置的第三方直链;本说明中的魔搭 / HF 链接便于备用与核对,文件均由第三方托管。