M 贤紫精选模型市场
返回模型市场

NVIDIA Nemotron 3.5 Lightning 30B-A3B(GGUF Q4_K_M)

代码 / Agent · Nemotron 3.5 Lightning · Q4_K_M

NVIDIA Nemotron Lightning MoE GGUF Q4 Agent 长上下文 魔搭

模型概要

NVIDIA Nemotron 3.5 Lightning 30B-A3B 为 NVIDIA 发布的混合 MoE 大模型:总参约 30B,激活约 3B(A3B),架构为 Mamba-2 / MoE / Attention 混合,面向 Agent、长任务编排与代码/推理 等场景。本条目为社区 GGUF 量化 Q4_K_M,便于在 自研底座 / llama.cpp 类栈本地或内网部署。

文件信息

适用场景(贤紫生态)

  • 小紫 AI 代码编辑器 / 工作台:接自研底座或 Ollama 兼容端点,作为 Agent / 改仓 后端(需底座支持 Nemotron MoE / 较新 llama.cpp)。
  • 长任务、多步推理:Lightning 系列侧重效率与 Agent 工作流;配合 SRX 引擎 做编排与验收,可更好发挥本地模型价值。

部署提示

  1. 下载 GGUF 后放入产品文档约定的模型目录。
  2. 显存:整卡加载建议 24GB+;显存不足可部分层放 CPU,速度会下降。
  3. 运行时:Nemotron 新架构需 较新版本 llama.cpp / 自研底座;加载失败请先升级底座与推理组件。
  4. 采样参考(官方 NIM 卡片常见建议,可按实际微调):Temperature ≈ 1.0,Top-P ≈ 0.95。

协议与合规

使用须遵守权重包及 NVIDIA 提供的 OpenMDW-1.1 等协议条款;商业与再分发请以 LICENSE 全文 为准。

贤紫精选模型市场仅提供索引与下载跳转,文件由 第三方社区 托管。