M 贤紫精选模型市场
返回模型市场

Gemma 4 26B-A4B 本地 GGUF · UD-Q4_K_XL

代码 / Agent · Gemma 4 26B-A4B · UD-Q4_K_XL

Gemma4 Google MoE 26B GGUF 推理

Google Gemma 4 26B-A4B-it(MoE,约 4B 激活)Unsloth 本地 GGUF,面向自研底座、小紫 AI 工作台与贤紫 AI 代码编辑器的本地推理与 Agent。

本 SKU 规格

项目说明
文件名gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf
量化UD-Q4_K_XL
体积约 15.8 GB
架构MoE(总参约 26B,激活约 4B,速度与显存优于同档稠密 31B)
上下文最高约 256K(取决于内存与底座)
显存建议18 GB 起(RAM+VRAM 合计参考 Unsloth 硬件说明)
后端llama.cpp / llama-server 或底座内置推理

适合做什么

  • 桌面 / 工作站 本地对话、推理、Agent(视底座与模板支持)
  • 长文档、代码与工具调用 等长上下文场景
  • 多模态:需另点 「下载 mmproj 配套」 并在底座中配置投影权重;仅主文件时以 文本 为主

与 31B 稠密 比:26B-A4B 通常 更快、更省显存;要极限质量可选 31B 条目。与 12B 比:26B-A4B 更强、更吃内存。

推荐采样

--temp 1.0 --top-p 0.95 --top-k 64