M 贤紫精选模型市场
返回模型市场

Qwen3.5-9B 本地 GGUF · UD-Q4_K_XL

代码 / Agent · Qwen3.5 9B · UD-Q4_K_XL

Qwen3.5 9B 轻量 Agent 多模态 GGUF

Qwen3.5-9B 社区 UD-Q4_K_XL GGUF(Unsloth):阿里 Qwen3.5 轻量 多模态 稠密 9B,支持 混合思考、长上下文与 Agent,适合 8~12GB 级 本机部署,适配自研底座、小紫 AI 工作台与贤紫 AI 代码编辑器。

本 SKU 规格

项目说明
主文件Qwen3.5-9B-UD-Q4_K_XL.gguf
量化UD-Q4_K_XL(Unsloth Dynamic 2.0)
主文件体积约 5.6 GB
视觉投影mmproj-F16.gguf(约 876 MB,看图/多模态须一并加载)
基座Qwen/Qwen3.5-9B
上下文原生约 262K(实际上限取决于内存;轻量机建议先从 8K~32K 起)
内存建议显存 + 系统内存合计 ≥ 约 8~10 GB(仅权重;拉长 ctx 需更多)
后端较新版本 llama.cpp / llama-server(建议 --jinja)

适合做什么

  • 入门 / 二机 / 笔记本 上的 Agent、代码辅助、多轮对话
  • 多模态(文档、截图等,需 mmproj)
  • 与 Qwen3.6-27B / 35B-A3B 互补:3.6 暂无 9B,本 SKU 为 当前 Qwen 系最小多模态开源档之一

不太适合:与 35B MoE 同期望的极限 Agent 榜单表现;超长上下文 + 多模态同时拉满且内存不足。

本地提示

  • 混合思考:按任务切换 thinking / 非 thinking;通用可参考 temperature≈1.0, top_p≈0.95, top_k≈20
  • llama.cpp:主 GGUF + --mmproj mmproj-F16.gguf
  • 乱码或崩溃时可降低 --ctx-size 或查底座 Qwen3.5 模板更新

同仓库其它量化(可另建 SKU)

思路文件体积约
标准 Q4Qwen3.5-9B-Q4_K_M.gguf5.3 GB
更省UD-Q2_K_XL / UD-Q3_K_XL约 3.8 / 4.7 GB
更高质量UD-Q6_K_XL / UD-Q8_K_XL约 8.2 / 12.1 GB

下载与合规

见右侧 「下载」(免登录,将跳转至魔搭第三方源)。

  • 上游:ModelScope · unsloth/Qwen3.5-9B-GGUF
  • 开源协议:Apache-2.0
  • 贤紫精选市场仅 索引与下载入口,不提供云端算力。