作业17：GPU/K8s 排障 · 模型路由配置发布 · 发布检查清单 PR（跟学 + Cursor）

作业目标：弄清本环境（或实验 K8s）GPU 型号、驱动、Operator；学会用 kubectl 看 Pod 事件里 NVIDIA 相关失败；把 模型路由配置当配置发布（改备模、回滚、审计）；Cursor 根据现有 Deployment 生成 发布检查清单 PR 模板。

验收标准：

1. 能填写 GPU 盘点表（116 H20 + 207 无卡 + lab K8s Operator 判定）

2. 列出 ≥5 种 NVIDIA/GPU 相关 Event 及处理方向

3. 完成一次 LiteLLM 路由变更演练（改备模 / 回滚 / 审计记录）

4. 生成 PR 模板 MD，含发布前/后检查项

环境：现网 116.62.10.183 H20 + Docker vLLM；K8s/GPU Operator 在实验集群跟学（勿动生产推理）。

HTML：docs/html_cursor/作业17_GPU与K8s模型路由发布_cursor.html

脚本：scripts_cursor/作业17_GPU与K8s模型路由发布/

参考 Deployment：patches_cursor/作业17_K8s与模型路由/vllm-qwen-deployment.yaml

路由配置样例：patches_cursor/作业17_K8s与模型路由/litellm-routing-primary-backup.yaml

Runbook：作业17_模型路由配置发布Runbook_cursor.md

结果：data/homework17/

目录

1. 做完长什么样
2. 学习路线
3. Part A · GPU / 驱动 / Operator 盘点
4. Part B · kubectl 与 NVIDIA Pod 事件
5. Part C · 模型路由 = 配置发布
6. Part D · Cursor：发布检查清单 PR
7. 完整程序
8. 验收清单

做完长什么样

学习路线

A  填 GPU 盘点：116 nvidia-smi + 实验集群 Operator 命令
B  跟读 kubectl describe / get events，背 5 类 NVIDIA 失败
C  把 LiteLLM config 当发布：改备模 → 验收 → 回滚 → 审计行
D  跑 hw17_01 从 Deployment 生成 PR 检查清单

Part A · GPU / 驱动 / Operator 盘点

A1. 本环境（已落地，跟读填表）

116 实录命令：

ssh 116.62.10.183 "nvidia-smi --query-gpu=name,driver_version,memory.total --format=csv"
ssh 116.62.10.183 "docker ps --filter name=vllm --format '{{.Names}}\t{{.Status}}'"

A2. 实验 K8s 集群（跟学 Operator）

kubectl get nodes -o custom-columns=NAME:.metadata.name,GPU:.status.allocatable.nvidia\\.com/gpu
kubectl get pods -n gpu-operator

A3. 脚本盘点

python scripts_cursor/作业17_GPU与K8s模型路由发布/hw17_02_GPU与Operator盘点.py
python scripts_cursor/作业17_GPU与K8s模型路由发布/hw17_02_GPU与Operator盘点.py --ssh-host 116.62.10.183

Part B · kubectl 与 NVIDIA Pod 事件

B1. 必会三条命令

NS=ai-inference
APP=vllm-qwen

# ① Pod 详情（Events 在末尾）
kubectl describe pod -n $NS -l app=$APP

# ② 命名空间事件，过滤 NVIDIA 关键词
kubectl get events -n $NS --sort-by='.lastTimestamp' \
  | grep -iE 'nvidia|gpu|cuda|device-plugin|Insufficient|FailedMount|FailedScheduling'

# ③ 发布滚动状态
kubectl rollout status deployment/vllm-qwen3-6-27b -n $NS

B2. 常见 NVIDIA 相关失败（背下来）

B3. 与现网 Docker 对照

Part C · 模型路由 = 配置发布

模型路由在本环境 = LiteLLM config.yaml（虚拟模型名 → upstream api_base + fallbacks）。 与作业13 一致：对外 primary，失败切 backup；生产 :4000 变更必须当发布。

C1. 发布流程（配置即代码）

flowchart LR
  A[Git 分支改 config] --> B[PR + 检查清单]
  B --> C[Review / diff]
  C --> D[备份现网 config 带时间戳]
  D --> E[合并 + 重启 litellm]
  E --> F[curl 验收 primary/backup]
  F --> G[写审计记录]
  F -->|失败| H[回滚 config + restart]

C2. 改备模（示例）

文件：patches_cursor/作业17_K8s与模型路由/litellm-routing-primary-backup.yaml

• qwen3.6-27b → primary 116:8000
• qwen3.6-27b-backup → backup 116:8001（或降级模型）
• fallbacks: qwen3.6-27b → [qwen3.6-27b-backup]

测试环境先改 :4010 + 作业13 模拟上游，再上生产。

C3. 回滚

# 207 示例
cp /opt/litellm/config.yaml /opt/litellm/config.yaml.bak.$(date +%Y%m%d_%H%M%S)
# 恢复上一版
cp /opt/litellm/config.yaml.bak.YYYYMMDD_HHMMSS /opt/litellm/config.yaml
docker compose -f /opt/litellm/docker-compose.yml restart litellm
curl -sS http://127.0.0.1:4000/health/liveliness

K8s Deployment 回滚：kubectl rollout undo deployment/vllm-qwen3-6-27b -n ai-inference

C4. 审计（每次发布一行）

完整步骤：作业17_模型路由配置发布Runbook_cursor.md

Part D · Cursor：发布检查清单 PR

D1. 提示词

阅读 patches_cursor/作业17_K8s与模型路由/vllm-qwen-deployment.yaml，
生成 Python 脚本 hw17_01_发布检查清单PR模板.py：
解析 name/namespace/image/gpu limits/annotations，
输出 Markdown PR  body：GPU/Operator 检查、发布前后验收、回滚命令、kubectl NVIDIA 事件命令。

D2. 运行

python scripts_cursor/作业17_GPU与K8s模型路由发布/hw17_01_发布检查清单PR模板.py \
  --author 完颜振江 --ticket OPS-20260827-001

产物可直接贴进 GitHub/GitLab PR 描述。

D3. 参考 Deployment 要点

完整程序

验收清单

• [ ] 能说出 116 GPU 型号 H20、207 无 GPU、现网 无 Operator
• [ ] 实验集群（或文档模拟）跑过 kubectl describe pod + events 过滤 NVIDIA
• [ ] 写出 ≥5 种 GPU 相关 Event 及处理方向
• [ ] 完成 LiteLLM 路由发布演练：备份 → 改备模/fallback → 验收 → 回滚 → 审计一行
• [ ] 生成 pr_release_checklist_*.md 且含发布前/后/回滚勾选项
• [ ] 未在未授权窗口改生产 :4000 且无备份

相关文档

• 作业13 主备与 429：作业13_虚拟模型主备与压测Runbook_cursor.md
• LiteLLM 部署：LiteLLM部署_cursor.md
• vLLM 健康 Agent：作业5_vLLM健康检查Agent_cursor.md
• AI Infra 路线（K8s + Operator）：AI_Infra架构师成长路线图_cursor.md