M 贤紫精选模型市场
返回模型市场

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB

视觉多模态 · Nemotron 3.5 Bolt · IQ2

NVIDIA 官方 74B MoE(约 9B 激活)视觉语言模型,IQ2 GGUF 面向 24GB 级本地 Agent;支持图文/视频输入,须配套 mmproj。

模型概要

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 为 NVIDIA 官方 视觉语言(VLM)Agent 模型:总参约 74B,激活约 9B;输入 文本 / 图像 / 视频,输出 文本。本条目为官方 IQ2(约 2bit)24GB 档 GGUF,主文件约 22 GB(不是 Q4_K_M)。

看图 / 看视频必须同时下载并配置 mmproj(约 1.73 GB)。


上游模型页(建议收藏)

平台模型仓库
魔搭 ModelScopehttps://www.modelscope.cn/models/nv-community/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF
Hugging Facehttps://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF

BF16 / 技术说明见:https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB


文件下载(主模型 + mmproj)

主模型 · NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf(约 22 GB)

平台直链 / 入口
魔搭https://www.modelscope.cn/models/nv-community/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF/resolve/master/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf
Hugging Facehttps://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF/resolve/main/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf

若直链失效:打开上表 模型页 → 文件,对应该文件名 复制浏览器下载地址。

视觉投影 · mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf(约 1.73 GB · 必下)

平台直链 / 入口
魔搭https://www.modelscope.cn/models/nv-community/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF/resolve/master/mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf
Hugging Facehttps://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF/resolve/main/mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf

可选 · 推测解码加速(非必下)

DFlash drafter(LiLiCorr)另仓发布,需较新 llama.cpp:

  • https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF

部署提示

  1. 主 GGUF + mmproj 放在同一模型目录;使用 支持 Nemotron 3.5 Bolt VLM 的 llama.cpp / 自研底座。
  2. 显存:名称「24GB」指官方主推档位;含 mmproj 与 KV 时建议 32GB+ 更稳,或按模型卡缩短上下文。
  3. 采样参考:temperature 1.0,top_p 0.95(以 NVIDIA 模型卡为准)。

协议

OpenMDW-1.1。使用须遵守 NVIDIA 模型卡与 LICENSE。

贤紫精选模型市场 「下载」按钮 跳转至运营配置的第三方直链;本说明中的魔搭 / HF 链接便于备用与核对,文件均由第三方托管。