第 5 章 · 多模态扩展与综合实战
本章目标:了解 向量/图片/视频 页签用途与端口;完成 从安装到 SRX 的 30 分钟毕业清单;知 Ollama 与自研底座如何切换。
学时建议:2~3 小时(文本 SRX 必修;多模态选修)
前置:local-deploy ch01~ch04;quick-start ch07;srx-v7 ch01。
日常 SRX 改代码只需文本模型页;本章扩展为可选。
5.1 场景说明:文本已通,要不要配向量/生图?
| 需求 | 配置 |
|---|---|
| SRX 改代码 | 文本模型 足够 |
| 项目语义搜索 | 向量模型 |
| 图片/视频创作模式 | 图片/视频页 + 工作台对应 API |
5.2 四页签分工
| 页签 | 端口示例 | 工作台 |
|---|---|---|
| 文本 | 8080 /v1 | 模型管理 → 平台默认 |
| 向量 | 8081 /v1 | 向量 API 地址 |
| 图片 | 可自定义 | 设置 → 图片生成 API |
| 视频 | 可自定义 | 视频生成 API |
向量建议独立端口,避免与文本冲突。
5.3 向量模型(选修)
- 向量模型 页 → 向量 GGUF 或 ModelScope 下载
- 配置 server、Host/端口(默认 8081)
- 启动向量服务
- 工作台填
http://127.0.0.1:8081/v1
5.4 图片 / 视频(选修)
图片:权重目录 + 图片服务程序(sd-server、llama-box 等)→ 与工作台 图片 API 路由一致(常 /v1/images/generations)。
视频:video-service + Conda 环境 + 统一底座地址;路由 Wan /v1/video 等。显卡建议 ≥12GB(视模型)。
5.5 跟练:30 分钟毕业清单(必做)
- [ ] 1. 安装底座 + llama-server
- [ ] 2. 7B 级 GGUF 英文目录
- [ ] 3. 文本页:目录 → 刷新 → Jinja 开 → 启动
- [ ] 4. 记
http://127.0.0.1:8080/v1 - [ ] 5. 工作台:平台默认 → URL → 刷新 → 保存
- [ ] 6. 对话测试 OK
- [ ] 7. 项目 → 打开项目 → SRX 小改动 → 审阅条 ✓
- [ ] 8. (可选)行为偏好写 开发习惯(srx-v7 ch08)
- [ ] 9.
git commit或确认改动已保存
恭喜:L1 认证 相关三课(快速入门 + SRX-V7 + 自研底座)链路打通。
5.6 与 Ollama 的关系
| 方式 | 适合 |
|---|---|
| 自研底座 | 统一管理 GGUF、加速开关、多模态一体 |
| Ollama | 已用 Ollama 生态,地址如 http://127.0.0.1:11434/v1 |
工作台可切换提供商;SRX 用法相同。
5.7 后续学院路径
| 已学 | 继续 |
|---|---|
| quick-start + local-deploy | srx-v7 全课 |
| SRX 场景 | ch10~ch13 |
| 协作 | git-collab |
| 集群 | xiaozi-cloud |
跟练任务
- 打勾 5.5 全部必做项。
- 写
local-deploy-notes/graduate.md:从安装到 SRX 的最卡点与解决。
自检清单
- [ ] 文本模型运行中
- [ ] 工作台对话+SRX 通过
- [ ] 知向量/图片为扩展
- [ ] 知 Ollama 可替代
- [ ] 30 分钟清单完成
本章小结
- SRX 日常 = 文本模型 + 工作台对接;其余按需扩展。
- 恭喜完成自研底座配置 5 章。 回真实项目用本地底座跑一周 SRX。