Muse Glimmer-30B 本地 GGUF · Q4_K_M
代码 / Agent · Muse Glimmer 30B · Q4_K_M
模型文件由第三方社区提供,贤紫精选模型市场仅提供索引与下载便利;使用请遵守该模型开源协议。
Muse Glimmer-30B 社区 Q4_K_M GGUF(Meta):面向 消费级本地 的 Agent 因果语言模型(约 30B 参数 + 独立 perception 编码器),集成 多步推理、工具调用、多模态理解与失败恢复,适配自研底座、小紫 AI 工作台与贤紫 AI 代码编辑器。
本 SKU 规格
| 项目 | 说明 |
|---|---|
| 主文件 | Muse-Glimmer-30B-KQuant-17GB-Q4_K_M.gguf |
| 量化 | Q4_K_M(官方 17GB KQuant 档,24GB 显存友好) |
| 主文件体积 | 约 16.8 GB |
| 视觉/perception | mmproj-Muse-Glimmer-30B-Q4_K_M.gguf(约 1.4 GB,图像输入必填) |
| 基座 | meta-models/Muse-Glimmer-30B |
| 上下文 | 官方示例常用 32K~128K(-c 按显存调整;过大易 OOM) |
| 后端 | llama.cpp / llama-server ≥ build b10353(更早版本 无法加载 该架构) |
适合做什么
- 本地 Agent:多步推理、工具使用、任务恢复,无需依赖云端
- 纯文本对话 / 推理(仅主 GGUF 即可)
- 图像理解(须主文件 + mmproj,推荐
llama-mtmd-cli或llama-server --mmproj)
不太适合:b10353 以下 的旧 llama.cpp;显存明显低于 24GB 仍用满 128K 上下文。
运行要点(Meta 官方 README 摘要)
- 版本:
llama-cli --version,build 号 ≥ 10353。 - 模板:建议
--jinja。 - 采样参考:
--temp 1.0 --top-p 0.95 --top-k 64。 - 纯文本:
llama-cli -m <主文件> … - 带图:
llama-mtmd-cli或llama-server+--mmproj <mmproj 文件>。 - 可选加速:同仓
dflash-Muse-Glimmer-30B-Q4_K_M.gguf(约 1.6 GB)用于 speculative decoding,不必填第二下载按钮。
同仓另有 Muse-Glimmer-30B-KQuant-Dynamic-Q4_K_XL.gguf(约 19.7 GB,偏 32GB 档),可另建 SKU。
内存粗算(权重 + 工作上下文,官方表)
| 组合 | 约需 |
|---|---|
| 17GB 文本 only | ~17 GB |
| 17GB + vision | ~19 GB |
| 17GB + vision + drafter | ~20 GB |
下载与合规
见右侧 「下载」(免登录,将跳转至魔搭第三方源)。
- 上游:ModelScope ·
meta-models/Muse-Glimmer-30B-GGUF - 开源协议:Apache-2.0(另见仓内
USAGE_POLICY.md) - 贤紫精选市场仅 索引与下载入口,不提供云端算力。