Qwen3.5-9B 本地 GGUF · UD-Q4_K_XL
代码 / Agent · Qwen3.5 9B · UD-Q4_K_XL
模型文件由第三方社区提供,贤紫精选模型市场仅提供索引与下载便利;使用请遵守该模型开源协议。
Qwen3.5-9B 社区 UD-Q4_K_XL GGUF(Unsloth):阿里 Qwen3.5 轻量 多模态 稠密 9B,支持 混合思考、长上下文与 Agent,适合 8~12GB 级 本机部署,适配自研底座、小紫 AI 工作台与贤紫 AI 代码编辑器。
本 SKU 规格
| 项目 | 说明 |
|---|---|
| 主文件 | Qwen3.5-9B-UD-Q4_K_XL.gguf |
| 量化 | UD-Q4_K_XL(Unsloth Dynamic 2.0) |
| 主文件体积 | 约 5.6 GB |
| 视觉投影 | mmproj-F16.gguf(约 876 MB,看图/多模态须一并加载) |
| 基座 | Qwen/Qwen3.5-9B |
| 上下文 | 原生约 262K(实际上限取决于内存;轻量机建议先从 8K~32K 起) |
| 内存建议 | 显存 + 系统内存合计 ≥ 约 8~10 GB(仅权重;拉长 ctx 需更多) |
| 后端 | 较新版本 llama.cpp / llama-server(建议 --jinja) |
适合做什么
- 入门 / 二机 / 笔记本 上的 Agent、代码辅助、多轮对话
- 多模态(文档、截图等,需 mmproj)
- 与 Qwen3.6-27B / 35B-A3B 互补:3.6 暂无 9B,本 SKU 为 当前 Qwen 系最小多模态开源档之一
不太适合:与 35B MoE 同期望的极限 Agent 榜单表现;超长上下文 + 多模态同时拉满且内存不足。
本地提示
- 混合思考:按任务切换 thinking / 非 thinking;通用可参考
temperature≈1.0, top_p≈0.95, top_k≈20 - llama.cpp:主 GGUF +
--mmproj mmproj-F16.gguf - 乱码或崩溃时可降低
--ctx-size或查底座 Qwen3.5 模板更新
同仓库其它量化(可另建 SKU)
| 思路 | 文件 | 体积约 |
|---|---|---|
| 标准 Q4 | Qwen3.5-9B-Q4_K_M.gguf | 5.3 GB |
| 更省 | UD-Q2_K_XL / UD-Q3_K_XL | 约 3.8 / 4.7 GB |
| 更高质量 | UD-Q6_K_XL / UD-Q8_K_XL | 约 8.2 / 12.1 GB |
下载与合规
见右侧 「下载」(免登录,将跳转至魔搭第三方源)。
- 上游:ModelScope ·
unsloth/Qwen3.5-9B-GGUF - 开源协议:Apache-2.0
- 贤紫精选市场仅 索引与下载入口,不提供云端算力。