Hy-Memory-30B-A3B 本地GGUF Q4_K_M
代码 / Agent · Hy-Memory-30B-A3B · Q4_K_M
模型文件由第三方社区提供,贤紫精选模型市场仅提供索引与下载便利;使用请遵守该模型开源协议。
Hy-Memory-30B-A3B 社区 Q4_K_M GGUF(bartowski・imatrix):面向长期记忆增强 Agent、结构化记忆读写、代码记忆管理,适配自研底座、小紫 AI 工作台与贤紫 AI 代码编辑器。
本 SKU 规格
表格
| 项目 | 说明 |
|---|---|
| 文件名 | hy-memory-Hy-Memory-30B-A3B-Q4_K_M.gguf |
| 量化 | Q4_K_M(imatrix 校准,bartowski 社区转换) |
| 体积 | 约 18.2 GB |
| 基座 | 混元 Hy-Memory-30B-A3B,MoE 架构:总参数 30B,单 Token 激活约 3B 参数,原生面向长期记忆读写专项微调 |
| 上下文 | 原生最长约 262K(实际上限取决于内存与底座调度能力) |
| 显存建议 | 24 GB 起(RTX4090/3090 等消费卡可本地加载推理) |
| 后端 | 较新版本 llama.cpp/llama-server,配套专用工具调用解析器、jinja 原生模板 |
适合做什么
- 长期记忆增强 Agent:结构化事实抽取、用户偏好更新、冲突记忆覆盖、记忆去重沉淀,适配各类记忆框架
- 代码记忆管理:记录开发偏好、项目业务约定、历史修改记录、接口规范,给贤紫编辑器双脑改仓引擎提供跨会话记忆支撑
- 多步长任务、复杂工程迭代:在持续多轮开发会话中稳定留存项目上下文,弥补普通大模型会话遗忘问题
- 工具调用配套记忆中枢:搭配主推理模型,专门负责记忆写入、检索、更新,分离 “思考推理” 和 “记忆管理”,减轻主模型负担
本地提示
- 官方推荐采样:
temperature=0.65、top_p=0.92、top_k=40,适合记忆抽取类任务,不宜过高温度 - 擅长记忆的新增、修改、合并、过期遗忘;不适合单独作为主模型做大量原生代码生成,最佳用法是作为 Agent 配套记忆子模型
- 必须使用模型自带 chat template(GGUF 内嵌 jinja 模板或官方仓库模板),模板错误会直接导致记忆抽取失效
- 推荐搭配向量数据库使用,模型只负责记忆结构化加工,原始记忆条目持久化存储在向量库
下载与合规
见右侧两个下载按钮(跳转魔搭第三方源)。协议 Apache-2.0;权重由 混元开源基座 + bartowski 社区 GGUF 量化包 提供,贤紫精选市场仅索引与下载入口。