M 贤紫精选模型市场
返回模型市场

Muse Glimmer-30B 本地 GGUF · Q4_K_M

代码 / Agent · Muse Glimmer 30B · Q4_K_M

Muse Glimmer Meta Agent 多模态 Computer Use GGUF

Muse Glimmer-30B 社区 Q4_K_M GGUF(Meta):面向 消费级本地 的 Agent 因果语言模型(约 30B 参数 + 独立 perception 编码器),集成 多步推理、工具调用、多模态理解与失败恢复,适配自研底座、小紫 AI 工作台与贤紫 AI 代码编辑器。

本 SKU 规格

项目说明
主文件Muse-Glimmer-30B-KQuant-17GB-Q4_K_M.gguf
量化Q4_K_M(官方 17GB KQuant 档,24GB 显存友好)
主文件体积约 16.8 GB
视觉/perceptionmmproj-Muse-Glimmer-30B-Q4_K_M.gguf(约 1.4 GB,图像输入必填)
基座meta-models/Muse-Glimmer-30B
上下文官方示例常用 32K~128K(-c 按显存调整;过大易 OOM)
后端llama.cpp / llama-server ≥ build b10353(更早版本 无法加载 该架构)

适合做什么

  • 本地 Agent:多步推理、工具使用、任务恢复,无需依赖云端
  • 纯文本对话 / 推理(仅主 GGUF 即可)
  • 图像理解(须主文件 + mmproj,推荐 llama-mtmd-cli 或 llama-server --mmproj)

不太适合:b10353 以下 的旧 llama.cpp;显存明显低于 24GB 仍用满 128K 上下文。

运行要点(Meta 官方 README 摘要)

  1. 版本:llama-cli --version,build 号 ≥ 10353。
  2. 模板:建议 --jinja。
  3. 采样参考:--temp 1.0 --top-p 0.95 --top-k 64。
  4. 纯文本:llama-cli -m <主文件> …
  5. 带图:llama-mtmd-cli 或 llama-server + --mmproj <mmproj 文件>。
  6. 可选加速:同仓 dflash-Muse-Glimmer-30B-Q4_K_M.gguf(约 1.6 GB)用于 speculative decoding,不必填第二下载按钮。

同仓另有 Muse-Glimmer-30B-KQuant-Dynamic-Q4_K_XL.gguf(约 19.7 GB,偏 32GB 档),可另建 SKU。

内存粗算(权重 + 工作上下文,官方表)

组合约需
17GB 文本 only~17 GB
17GB + vision~19 GB
17GB + vision + drafter~20 GB

下载与合规

见右侧 「下载」(免登录,将跳转至魔搭第三方源)。

  • 上游:ModelScope · meta-models/Muse-Glimmer-30B-GGUF
  • 开源协议:Apache-2.0(另见仓内 USAGE_POLICY.md)
  • 贤紫精选市场仅 索引与下载入口,不提供云端算力。