192.168.110.207 · 内部文档整理

私有化 AI 平台 · 文档库

Dify / Langfuse / LiteLLM / Higress / K8s·GPU 全链路实战文档，按 00→08 九个分组严格排序。点分组标题可折叠，右上角可全文筛选。

共 9 个分组共 71 篇文档收录条目 97 条（含跨组重复）脚本附件 761 个页面生成于 2026-10-13 18:12
📎 配套脚本附件
00索引与总纲01Dify 部署与排障02Langfuse 可观测03LiteLLM 与模型网关04Higress 总入口05监控与 SLA06基础设施 · K8s / GPU / Harbor / GitLab / Argo CD07实战作业08架构培训与成长
00索引与总纲6 篇分组页 ↗▾
先看这三篇：阅读路径、服务入口、配置总表。全库的地图都在这里。
1内部智能体搭建 · 文档索引第一步部署 Dify，第二步接 Langfuse，第三步开 Rerank。后面的专题按症状查阅。技术正文未改，只重排阅读顺序。索引 2平台服务汇总 · 入口与架构各服务登录地址、凭据、无登录 API、架构图与端口速查。汇总 3207 服务入口与断电重启恢复断电重启后的恢复顺序、11 项探活表、端口全清单，以及大模型不可用时的分级处置策略。文档 4内部智能体配置文档专题汇总理论流程、完整代码、CPU/GPU 双路径、实战问题总表与专题索引。汇总 5完整代码约定Python / Bash / Patch 都给完整代码；步骤正文不改，只替换代码块。约定 6入口已迁移 · 内部智能体文档索引本页保留旧文件名，避免收藏夹失效。各专题、手册的技术正文没有改动。索引
01Dify 部署与排障19 篇分组页 ↗▾
安装手册 → 专题一到十七（按序）→ 运维排错 SOP。主线是「先部署、出问题再按症状翻专题」。
7Dify + Qwen 安装配置手册从 git clone 到 vLLM、bge-m3、知识库、Agent 可用。步骤未改，代码块已换成完整程序。手册 8在 Dify 集成入口添加自定义 Qwen3.6-27B自定义模型、schema 派生、设为默认。步骤未改，代码块已换成完整程序。专题 9Xinference 运行 bge-m3容器起来 ≠ 模型在跑。步骤未改，代码块已换成完整程序。专题 10Agent 里选不到知识库available、embedding 可达、绑定位置。步骤未改，代码块已换成完整程序。专题 11Agent 问答报错System message must be at the beginning。步骤未改，代码块已换成完整程序。专题 12大模型运行成功但 Dify 仍不可用七层排查：网络、默认模型、插件 schema。步骤未改，代码块已换成完整程序。专题 13weaviate 中继（IPv4→[::]）socat IPv4 中继 + WEAVIATE_ENDPOINT。步骤未改，代码块已换成完整脚本。专题 14Agent Shell provider 修复沙箱、ssrf_proxy、工具节点。步骤未改，代码块已换成完整程序。专题 15插件 patch 的 from __future__ 顺序子坑SyntaxError：future 必须在文件最前。步骤未改，补丁已换成完整代码。专题 16其它配置问题解决控制台登录、vLLM 启动、共享 GPU、context_size。步骤未改，代码块已换成完整程序。专题 17模型列表为空与 Agent 创建报错schema JSON、max_tokens 不能写进 model_properties。步骤未改，代码块已换成完整程序。专题 18新 Agent 类型 max_tokens 不持久化改库落库、不要点发布。步骤未改，代码块已换成完整程序。专题 19新 Agent 对话空泡卡住 max_tokens 过小与改回 8192先判断卡住还是已失败，再从 messages.error 定位 token limit。步骤未改，代码块已换成完整程序。专题 20知识库开启 Rerank 重排序 Xinference bge-reranker-v2-m3CPU / GPU 两条 launch、两处配置。步骤未改，代码块已换成完整程序。专题 21知识库问答变慢 / 卡住 / 失败 排查思路、日志定位与容量规划分层定性、十类场景、按人数容量规划。步骤未改，代码块已换成完整程序。专题 22新 Agent 从零创建完整教程 步骤、注意实现、常见报错工作室里没有的开关去模型供应商或 dify_api.py；改快照后不要点发布。步骤未改，代码块已换成完整程序。专题 23专题十六 · 配置页 Internal Server Error对话正常、打开新 Agent 配置页红条：OpenAPI UUID 被当成 builtin 插件。专题 24专题十七 · OpenAI 插件升级后 schema 补丁丢失1.0.3 有补丁、1.0.4 无补丁 → qwen 不可用 / Base model not found；全版本重打补丁。专题 25企业 AI 助手排错 SOP培训与赋能：搜不到、答非所问、变慢三类投诉的标准处理。SOP
02Langfuse 可观测6 篇分组页 ↗▾
先部署 Langfuse，再接到 Dify；后面是 Trace / Token 成本相关的实战作业。
26Langfuse 自托管部署教程与 Dify 共存，官方 docker-compose，不占用 80/443。步骤未改，代码块已换成完整脚本。教程 27Langfuse 连接 Dify 专题密钥、监测配置、v4 dual、Observation ID 补丁。步骤未改，代码块已换成完整程序。文档 28作业 3 · 在 Langfuse 中追踪 Agent 工具调用配置 tracing → 打补丁 → 重启 worker → 触发 Agent → 轮询验收；含完整 curl。作业 29作业 4 · 成本熔断单次会话 Token 上限 + 日预算告警 + 超阈值模拟模型降级（Langfuse 记账 + Dify 快照）。作业 30作业14 · Langfuse 字段规范与 Token 成本逛 UI、字段规范、昨日 Top10 烧 Token、告警草稿。作业 31作业14 · 告警规则草稿（Token / 错误 / 延迟）三条可落地的告警规则：突增、错误率、P95 延迟。作业
03LiteLLM 与模型网关6 篇分组页 ↗▾
统一 OpenAI 网关、多上游路由、压测与主备切换 Runbook。
32LiteLLM 统一 OpenAI 网关对接 vLLM + Xinference；Master Key / 路由 / 负载均衡学习案例。文档 33LiteLLM 高级功能与用法密钥、多上游路由、Fallback、Token/成本、网关指标；对照 207:4000 实操。文档 34作业12 · 推理延迟压测与健康检查curl 记延迟、高并发观察、失败重试 3 次 + 告警文案。作业 35作业13 · 虚拟模型主备与压测 Runbook测试 LiteLLM 主备、加压到 429、安全并发建议、值班 Runbook。Runbook 36作业13 · 值班 Runbook（429 / 5xx / 超时）一页值班手册：上游限流、5xx、超时怎么处理。Runbook 37作业17 · 模型路由配置发布 Runbook改备模、回滚、审计；配合发布检查清单 PR。Runbook
04Higress 总入口8 篇分组页 ↗▾
之一到之六按序：理论与架构 → 安装 → 路由验收 → 增强补丁 → 新增接口 → 企业级能力。
38Higress 之一 · 理论与架构总入口与 LiteLLM/Dify/Xinference 职责边界、路径与端口。Higress 39Higress 之二 · Compose 安装与控制台standalone 部署、18080/8001、管理员初始化。Higress 40Higress 之三 · 总入口路由与验收/llm /xf 与 dify.ai.local Host 路由、curl 验收。Higress 41Higress 之四 · 增强与附录可选限流、Dify 改走 Higress、完整脚本附录。Higress 42Higress 之五 · 新增接口场景全解何时只改 LiteLLM、只改 Higress、或两者都改；场景 A～I。Higress 43Higress 之六 · 企业级能力展示HTTPS、限流、WAF、SSE、缓存、LB、协议转换、提示词安全等。Higress 32LiteLLM 统一 OpenAI 网关对接 vLLM + Xinference；Master Key / 路由 / 负载均衡学习案例。文档 33LiteLLM 高级功能与用法密钥、多上游路由、Fallback、Token/成本、网关指标；对照 207:4000 实操。文档
05监控与 SLA6 篇分组页 ↗▾
Prometheus + Grafana + SLA Exporter 落地，以及 AIOps 方向的实战作业。
44Prometheus + Grafana + SLA Exporter207：Prometheus :9092、Grafana :3001、SLA Exporter :8781 的部署与配置。文档 45作业 5 · vLLM 健康检查 Agent真实 GPU：容器状态 + nvidia-smi + vLLM 排队数，一句话出结构化报告。作业 46作业 6 · 自动周报生成器Langfuse 7 日 Token + GPU 利用率 + Qwen 总结 + 钉钉推送。作业 47作业 7 · 故障自愈工作流模拟 OOM → Agent 检测 → docker restart → 钉钉恢复通知。作业 48作业 8 · SLA 监控大盘Prometheus + Grafana 大屏：可用性、Langfuse P99、准确率与 MTTR（可模拟）。作业 34作业12 · 推理延迟压测与健康检查curl 记延迟、高并发观察、失败重试 3 次 + 告警文案。作业
06基础设施 · K8s / GPU / Harbor / GitLab / Argo CD10 篇分组页 ↗▾
架构全景 → 平台服务汇总 → 基础设施三篇（Operator / Argo CD / 单集群案例）→ 模型路由 → 网关 → 成长路线。
49私有化 AI 架构全景 · 现状与演进路径现状/小企业/中大企业多套架构图；组件点评；问答/编程等场景走线。文档 2平台服务汇总 · 入口与架构各服务登录地址、凭据、无登录 API、架构图与端口速查。汇总 50K8s GPU · Operator · Harbor / GitLab / Argo CD重理论：GPU 调度、多集群、公网 API 分配、Operator 收益、GitOps 搭配；本环境不装机。基础设施 51Argo CD 原理与部署教程第一次恶补：GitOps 原理、Application/Sync/Health、安装跟读、日常发版与排障；不装机。基础设施 52K8s GPU 单私有化集群完整案例中等规模：3 Master + 6 Worker；Operator → vLLM → Harbor/GitLab/Argo → 207 LiteLLM 切流；不装机。基础设施 53作业17 · GPU/K8s 与模型路由发布GPU 盘点、kubectl NVIDIA 事件、LiteLLM 路由当配置发布。作业 37作业17 · 模型路由配置发布 Runbook改备模、回滚、审计；配合发布检查清单 PR。Runbook 32LiteLLM 统一 OpenAI 网关对接 vLLM + Xinference；Master Key / 路由 / 负载均衡学习案例。文档 33LiteLLM 高级功能与用法密钥、多上游路由、Fallback、Token/成本、网关指标；对照 207:4000 实操。文档 54AI Infra 架构师成长路线图七大领域、六阶段约 6 个月、实验室方案、穿透力与作品集。教程
07实战作业28 篇分组页 ↗▾
作业 1 → 18 按序。同一作业下的多篇（正文 / Runbook / 草稿）紧挨着，方便连着看。
55作业 1 · 带 HTTP 工具的 Agent理论流程 + 完整代码 + CPU/GPU 建议 + 实战踩坑：查询服务器状态工具调用。作业 56作业 2 · 客服意图路由 Workflow意图识别 → 知识库 / 工单 API / 转人工 / 兜底；含 draft 同步与三句验收。作业 28作业 3 · 在 Langfuse 中追踪 Agent 工具调用配置 tracing → 打补丁 → 重启 worker → 触发 Agent → 轮询验收；含完整 curl。作业 29作业 4 · 成本熔断单次会话 Token 上限 + 日预算告警 + 超阈值模拟模型降级（Langfuse 记账 + Dify 快照）。作业 45作业 5 · vLLM 健康检查 Agent真实 GPU：容器状态 + nvidia-smi + vLLM 排队数，一句话出结构化报告。作业 46作业 6 · 自动周报生成器Langfuse 7 日 Token + GPU 利用率 + Qwen 总结 + 钉钉推送。作业 47作业 7 · 故障自愈工作流模拟 OOM → Agent 检测 → docker restart → 钉钉恢复通知。作业 48作业 8 · SLA 监控大盘Prometheus + Grafana 大屏：可用性、Langfuse P99、准确率与 MTTR（可模拟）。作业 57作业 9 · 汇报 PPT 模版核心指标一页纸、业务价值、成本优化、下季度规划；HTML 幻灯片 + PPTX。作业 58AI 平台经营汇报 · PPT 模版作业 59作业 10 · 企业 AI 平台使用手册八章：架构、5 分钟上手、知识库、Prompt、API、FAQ、合规红线、运维内部排错。作业 60作业 11 · 企业 AI 平台白皮书架构、选型（含 Weaviate/Milvus）、ROI、合规、成本、SOP、培训与 12 个月路线图。作业 34作业12 · 推理延迟压测与健康检查curl 记延迟、高并发观察、失败重试 3 次 + 告警文案。作业 35作业13 · 虚拟模型主备与压测 Runbook测试 LiteLLM 主备、加压到 429、安全并发建议、值班 Runbook。Runbook 36作业13 · 值班 Runbook（429 / 5xx / 超时）一页值班手册：上游限流、5xx、超时怎么处理。Runbook 30作业14 · Langfuse 字段规范与 Token 成本逛 UI、字段规范、昨日 Top10 烧 Token、告警草稿。作业 31作业14 · 告警规则草稿（Token / 错误 / 延迟）三条可落地的告警规则：突增、错误率、P95 延迟。作业 61作业15 · Dify 隔离部署与 Worker 故障官方 compose 隔离环境、容器依赖图、停 Worker 队列实验。Runbook 62作业15 · Worker 宕机 Runbook索引卡住、ops_trace 延迟、Redis 队列判级与恢复。Runbook 63作业15 · Dify 备份清单DB + app/storage + 向量库；Celery 队列与恢复顺序。作业 64作业16 · 向量监控与知识同步Milvus/ES 运维 10 指标、知识更新状态机、同步失败告警。作业 65作业16 · 向量恢复演练 Runbook删测试集合 → 备份恢复 → 抽检查询（Milvus/Weaviate/ES）。Runbook 53作业17 · GPU/K8s 与模型路由发布GPU 盘点、kubectl NVIDIA 事件、LiteLLM 路由当配置发布。作业 37作业17 · 模型路由配置发布 Runbook改备模、回滚、审计；配合发布检查清单 PR。Runbook 66作业18 · Agent 出站白名单与密钥轮换工具出站域名草案、审核签字、密钥轮换骨架。作业 67作业18 · 出站域名白名单草案8777-8780、116 SSH、钉钉 oapi；两层出站。作业 68作业18 · 出站审核与业务策略审核未通过时的降级与签字矩阵。作业 69作业18 · 密钥轮换 RunbookLiteLLM/Langfuse/钉钉/GPU SSH 等轮换骨架。Runbook
08架构培训与成长8 篇分组页 ↗▾
给业务/新人的培训材料，以及个人成长路线与面试口述稿。
49私有化 AI 架构全景 · 现状与演进路径现状/小企业/中大企业多套架构图；组件点评；问答/编程等场景走线。文档 2平台服务汇总 · 入口与架构各服务登录地址、凭据、无登录 API、架构图与端口速查。汇总 54AI Infra 架构师成长路线图七大领域、六阶段约 6 个月、实验室方案、穿透力与作品集。教程 70中大型私有化 Agent 平台 · 运维跟学手册手册 25企业 AI 助手排错 SOP培训与赋能：搜不到、答非所问、变慢三类投诉的标准处理。SOP 59作业 10 · 企业 AI 平台使用手册八章：架构、5 分钟上手、知识库、Prompt、API、FAQ、合规红线、运维内部排错。作业 60作业 11 · 企业 AI 平台白皮书架构、选型（含 Weaviate/Milvus）、ROI、合规、成本、SOP、培训与 12 个月路线图。作业 71面试口述稿 · 运维版（私有化大模型平台）30 秒定位；工具超时、Token、多轮记忆四段直接练。文档
没有匹配的文档
编号为文档在全库中的唯一序号，同一文档收录在多个分组时编号相同
分组顺序 00 → 08；组内顺序为「手册 → 专题序号 → 作业号」的阅读顺序
正文未内嵌的脚本 / 补丁 / 配置见 📎 配套脚本附件

内容访问验证

请输入账号与密码后继续