🏠 返回首页
私有化 AI 平台 · 文档库
/
03 LiteLLM 与模型网关
↑ 上一层
私有化 AI 平台 · 文档库 · 分组 03
LiteLLM 与模型网关
统一 OpenAI 网关、多上游路由、压测与主备切换 Runbook。
本组
6
篇
全库
71
篇 / 9 组
页面生成于
2026-10-13 18:12
03
LiteLLM 与模型网关
6 篇
▾
32
LiteLLM 统一 OpenAI 网关
对接 vLLM + Xinference；Master Key / 路由 / 负载均衡学习案例。
文档
33
LiteLLM 高级功能与用法
密钥、多上游路由、Fallback、Token/成本、网关指标；对照 207:4000 实操。
文档
34
作业12 · 推理延迟压测与健康检查
curl 记延迟、高并发观察、失败重试 3 次 + 告警文案。
作业
35
作业13 · 虚拟模型主备与压测 Runbook
测试 LiteLLM 主备、加压到 429、安全并发建议、值班 Runbook。
Runbook
36
作业13 · 值班 Runbook（429 / 5xx / 超时）
一页值班手册：上游限流、5xx、超时怎么处理。
Runbook
37
作业17 · 模型路由配置发布 Runbook
改备模、回滚、审计；配合发布检查清单 PR。
Runbook
没有匹配的文档
编号为文档在全库中的唯一序号 · 同一文档收录在多个分组时编号相同
内容访问验证
请输入账号与密码后继续
进入