下载工作台
自研底座配置

调优、局域网部署与安全

免费栏目

第 4 章 · 调优、局域网部署与安全

本章目标:按场景优化 SRX 改代码 相关参数;配置 局域网多机(一台跑模型、多台写代码);掌握 API Key 与 Host 安全基线;会与 srx-v7 ch08 行为偏好联动。

学时建议:2.5~3 小时(含可选局域网实测)

前置local-deploy ch02~ch03 本机已跑通。


4.1 场景说明:本机快,同事连不上;或内网裸奔无鉴权

本章:调参提速 + 0.0.0.0 + API Key 局域网协作 + 127.0.0.1 本机最安全 原则。


4.2 学完你能

能力验收
调参按场景表改 -np、-c、缓存
模板乱码时用模板市场
局域网底座 0.0.0.0 + 工作台填局域网 IP
安全多人环境必设 API Key
排错用 4.7 速查表

4.3 按场景调参

场景调整
SRX 多文件-np 3Prompt 缓存 开;工作台 开发习惯 写清(srx-v7 ch08
8GB 显存 7Bfit 开;KV q8_0;-c 4096;Q4 GGUF
32GB 无独显-ngl 0;-c 8192;-np 1
思考模型慢思考预算 4096/2048
工具调用异常Jinja 必开;查对话模板

详情:底座 ? → 参数说明


4.4 对话模板与模板市场

GGUF 格式特殊 → 乱码/工具异常:

  1. 模板市场 选匹配模板
  2. 保存 → 重启模型

Jinja 与手写模板冲突时,优先保证 Jinja 开(SRX 依赖)。


4.5 跟练:局域网部署(选修)

跑模型机器(底座)

  1. Host → 0.0.0.0
  2. 端口 8080(或自定义)
  3. API Key 强烈建议填写
  4. 自动识别本机 IP → 如 192.168.1.10
  5. 防火墙放行端口

写代码机器(工作台)

  • Base URL:http://192.168.1.10:8080/v1勿用 127.0.0.1
  • API Key 与底座一致

你应该看到:笔记本对话与 SRX 正常。


4.6 安全建议

措施何时
API Key局域网/多人
127.0.0.1仅本机(最安全)
勿公网裸奔无鉴权 0.0.0.0 勿暴露互联网
绑定 IP限制客户端时

4.7 与工作台 SRX 配合

工作台底座
行为偏好 开发习惯Prompt 缓存加速长 system
超科幻 + 终端确认与底座独立,生产仓建议开
实施计划上下文 -c 要够大

4.8 排错速查

现象先查
工作台连不上运行中?URL?防火墙?
模型列表空日志;/v1/models
SRX 不调工具Jinja
启动退出server 路径;mmproj 误填
OOM降 -c;fit;换量化
局域网另一台不通0.0.0.0;IP;Key

跟练任务

  1. 本机调一项参数(如开 Prompt 缓存)并重启,感受 SRX 响应差异(主观即可)。
  2. (选修)局域网双机对接。
  3. local-deploy-notes/ch04.md:你的 -c/-ngl/-np 最终值。

自检清单

  • [ ] 知 Jinja 对 SRX 必需
  • [ ] 本机 vs 局域网 Host 区别
  • [ ] 多人环境设 API Key
  • [ ] 会查 ? 参数说明
  • [ ] 排错表会用

本章小结

  • 调参 + 模板 + 内网 Key + 工作台习惯 一体优化 SRX 体验。
  • 下一章 ch05:多模态扩展与 30 分钟毕业闭环