M 贤紫精选模型市场
返回模型市场

XYZ-Aquila-mini 本地 GGUF · Q4_K_M

代码 / Agent · XYZ-Aquila-mini · Q4_K_M

Aquila Deep Search Agent 推理 XYZ AI Lab GGUF

XYZ-Aquila-mini 社区 Q4_K_M GGUF(bartowski):XYZ AI Lab 开源 Deep Search 思考 Agent,由 Qwen3.6-35B-A3B 后训练,兼容 Qwen 推理 / 工具调用 格式,适配自研底座、小紫 AI 工作台与贤紫 AI 代码编辑器。

本 SKU 规格

项目说明
主文件XYZAILab_XYZ-Aquila-mini-Q4_K_M.gguf
量化Q4_K_M(bartowski imatrix,默认推荐档)
主文件体积约 21.4 GB
视觉投影mmproj-XYZAILab_XYZ-Aquila-mini-f16.gguf(约 858 MB,多模态输入时使用)
基座XYZAILab/XYZ-Aquila-mini(finetune 自 Qwen3.6-35B-A3B)
上下文官方评测 harness 可达 256K;本地请按显存从 16K~32K 逐步上调
后端llama.cpp / llama-server 或 SGLang ≥ 0.5.14(--reasoning-parser qwen3、--tool-call-parser qwen3_coder)

适合做什么

  • 深度检索 Agent:长程规划、中英网页浏览、多源证据汇总与核验
  • 工具调用:与 AxisAgentic 等 harness 配合 search / scrape / python(能力由 harness + 权重共同提供)
  • 混合思考:enable_thinking / preserve_thinking(与 Qwen3.6 系一致)

不太适合:只下权重、不接搜索/抓取工具却期望「开箱 Deep Search」;24GB 以下仍拉满 256K。

本地提示(官方 README 摘要)

SGLang 采样参考:

  • temperature: 1.0,top_p: 0.95,repetition_penalty: 1.05,max_tokens: 32768
  • chat_template_kwargs: enable_thinking: true,preserve_thinking: true

Agent 配套:开源 harness AxisAgentic 提供工具实现与评测流程;魔搭基座页为 safetensors,本 SKU 为社区 GGUF 本地推理用。

llama.cpp:主 GGUF + 按需 --mmproj;务必使用较新构建与 jinja 聊天模板。

同仓库其它量化(可另建 SKU)

思路文件体积约
更省Q4_K_S / Q3_K_M约 19.2 / 15.1 GB
更高质量Q5_K_M / Q6_K_L约 23.3 / 28.2 GB
极限省显存IQ4_XS 等见魔搭文件列表

下载与合规

见右侧 「下载」(免登录,将跳转至魔搭第三方源)。

  • 权重 GGUF 上游:bartowski/XYZAILab_XYZ-Aquila-mini-GGUF
  • 模型版权/协议:基座 Apache-2.0(XYZAILab/XYZ-Aquila-mini)
  • 贤紫精选市场仅 索引与下载入口,不提供云端算力与搜索 API。