XYZ-Aquila-mini 本地 GGUF · Q4_K_M
代码 / Agent · XYZ-Aquila-mini · Q4_K_M
模型文件由第三方社区提供,贤紫精选模型市场仅提供索引与下载便利;使用请遵守该模型开源协议。
XYZ-Aquila-mini 社区 Q4_K_M GGUF(bartowski):XYZ AI Lab 开源 Deep Search 思考 Agent,由 Qwen3.6-35B-A3B 后训练,兼容 Qwen 推理 / 工具调用 格式,适配自研底座、小紫 AI 工作台与贤紫 AI 代码编辑器。
本 SKU 规格
| 项目 | 说明 |
|---|---|
| 主文件 | XYZAILab_XYZ-Aquila-mini-Q4_K_M.gguf |
| 量化 | Q4_K_M(bartowski imatrix,默认推荐档) |
| 主文件体积 | 约 21.4 GB |
| 视觉投影 | mmproj-XYZAILab_XYZ-Aquila-mini-f16.gguf(约 858 MB,多模态输入时使用) |
| 基座 | XYZAILab/XYZ-Aquila-mini(finetune 自 Qwen3.6-35B-A3B) |
| 上下文 | 官方评测 harness 可达 256K;本地请按显存从 16K~32K 逐步上调 |
| 后端 | llama.cpp / llama-server 或 SGLang ≥ 0.5.14(--reasoning-parser qwen3、--tool-call-parser qwen3_coder) |
适合做什么
- 深度检索 Agent:长程规划、中英网页浏览、多源证据汇总与核验
- 工具调用:与 AxisAgentic 等 harness 配合
search/scrape/python(能力由 harness + 权重共同提供) - 混合思考:
enable_thinking/preserve_thinking(与 Qwen3.6 系一致)
不太适合:只下权重、不接搜索/抓取工具却期望「开箱 Deep Search」;24GB 以下仍拉满 256K。
本地提示(官方 README 摘要)
SGLang 采样参考:
temperature: 1.0,top_p: 0.95,repetition_penalty: 1.05,max_tokens: 32768chat_template_kwargs:enable_thinking: true,preserve_thinking: true
Agent 配套:开源 harness AxisAgentic 提供工具实现与评测流程;魔搭基座页为 safetensors,本 SKU 为社区 GGUF 本地推理用。
llama.cpp:主 GGUF + 按需 --mmproj;务必使用较新构建与 jinja 聊天模板。
同仓库其它量化(可另建 SKU)
| 思路 | 文件 | 体积约 |
|---|---|---|
| 更省 | Q4_K_S / Q3_K_M | 约 19.2 / 15.1 GB |
| 更高质量 | Q5_K_M / Q6_K_L | 约 23.3 / 28.2 GB |
| 极限省显存 | IQ4_XS 等 | 见魔搭文件列表 |
下载与合规
见右侧 「下载」(免登录,将跳转至魔搭第三方源)。
- 权重 GGUF 上游:
bartowski/XYZAILab_XYZ-Aquila-mini-GGUF - 模型版权/协议:基座 Apache-2.0(
XYZAILab/XYZ-Aquila-mini) - 贤紫精选市场仅 索引与下载入口,不提供云端算力与搜索 API。