AI Infra 架构师成长路线图
文档定位：个人下一步学习规划——从「AI 工具协调者 / 验收者」走向 AI Infra 架构师（算力平台总架构师）。
适用对象：已搭过企业 AI 平台（Dify / vLLM / Langfuse / SLA）、能调度 Cursor/WorkBuddy 落地，但希望补齐 穿透力（不依赖 AI 也能定位 GPU/推理/集群根因）的工程师。
环境锚点：
192.168.110.207（应用与观测）+116.62.10.183（vLLMqwen3.6-27b/ H20）。HTML：
docs/html_cursor/AI_Infra架构师成长路线图_cursor.html
相关沉淀：内部智能体搭建索引 · 作业 11 白皮书 · 集成环境部署
目录
1. 先纠正自我认知
1.1 你已经在做的事
| 角色误区 | 实际能力 |
|---|---|
| 「我只是调包侠 / 协调者」 | 精准定义问题、拆解任务、调度 AI 工具、验收交付、沉淀文档 |
| 「代码都是 Cursor 写的」 | 技术指挥官：判断架构是否合理、选型是否正确、风险是否可控 |
CTO 不写每一行 CUDA Kernel，但必须能判断 GPU 利用率为什么上不去、故障时根因在哪。你缺的不是「会不会手写代码」，而是穿透力。
1.2 路径 A 的硬要求
走 AI Infra 架构师 路线，必须补上：
- 可以不手写 CUDA Kernel，但要能看懂 GPU 利用率 / 显存 / 通信 瓶颈。
- 可以不手写 K8s Operator，但要能设计 GPU 调度与配额 策略。
- 可以让 Cursor 写部署脚本，但生产故障时 不依赖 AI，凭底层认知定位根因。
分水岭：高级使用者 vs 架构师 = AI 说什么你能判断对不对、为什么。
2. 知识体系全景（七大领域）
┌─────────────────────────────────────────────────────────┐
│ AI Infra 架构师知识体系 │
├─────────────────────────────────────────────────────────┤
│ ① GPU 硬件与体系结构 ← 地基（必须懂） │
│ ② CUDA 与 GPU 编程模型 ← 理解即可（不需精通） │
│ ③ 分布式训练与推理原理 ← 核心（必须深入） │
│ ④ GPU 集群调度与编排 ← 核心（必须深入） │
│ ⑤ 推理优化深水区 ← 核心竞争力（必须精通） │
│ ⑥ 高速网络与存储 ← 必须懂（集群命脉） │
│ ⑦ 国产算力适配 ← 战略储备（必须了解） │
└─────────────────────────────────────────────────────────┘建议优先级（结合你已有平台）：
| 优先级 | 领域 | 理由 |
|---|---|---|
| P0 | ① ② ③ ⑤ | 你已在跑 vLLM 单卡；OOM、排队、P99 都从这里来 |
| P1 | ④ ⑥ | 多卡 / 多租户 / 集群是下一步扩容 |
| P2 | ⑦ | 信创与国产替代是战略储备 |
3. 七大领域学什么、怎么验
① GPU 硬件与体系结构（地基）
要懂什么
- SM、CUDA Core vs Tensor Core（大模型推理主要靠 Tensor Core）
- 显存层级：Register → L1 → L2 → HBM → PCIe → NVLink
- 互联：PCIe 4/5、NVLink、NVSwitch；多卡推理性能常卡在互联
- 型号定位：A100/H100/H20/L20/L40S、昇腾 910B 等
- 指标：FLOPS、显存容量与带宽、TDP、ECC/XID
怎么学
nvidia-smi
nvidia-smi -q
nvidia-smi topo -m
nvidia-smi dmon -s u -d 1
nvidia-smi nvlink -s # 多卡环境在 116.62.10.183 上跑一遍，截图存档。可读 NVIDIA A100/H100 Architecture Whitepaper（SM、Tensor Core、HBM 章节）。
验收标准：给你一张 nvidia-smi 输出，能判断是 计算瓶颈、显存瓶颈还是通信瓶颈。
② CUDA 与 GPU 编程模型（理解即可）
要懂什么
- Grid → Block → Thread；Kernel 是什么
- 显存管理：Host/Device 拷贝、Pinned Memory、Unified Memory
- CUDA Stream：vLLM Continuous Batching 本质在管理 Stream
- 常见错误：CUDA OOM、Illegal Memory Access、ECC/XID → 用
dmesg+nvidia-smi排查
验收标准：向非技术领导解释「为什么大模型要这么多显存，不能像 CPU 随便加内存」。
③ 分布式训练与推理原理（核心）
训练侧（了解）：数据并行、张量并行 TP、流水线 PP、ZeRO、MoE 专家并行。
推理侧（深入）
| 概念 | vLLM 对应 |
|---|---|
| 张量并行 TP | --tensor-parallel-size |
| 流水线并行 PP | --pipeline-parallel-size |
| 通信 | NCCL；AllReduce / AllGather |
| 框架对比 | vLLM / TensorRT-LLM / SGLang / Triton |
实践（116 上）
# 单卡 vs 双卡 TP（若有第二卡或可借环境）
vllm serve ... --tensor-parallel-size 1
vllm serve ... --tensor-parallel-size 2
export NCCL_DEBUG=INFO读 vLLM PagedAttention 论文；对比吞吐、延迟、显存。
验收标准：70B + 4×A100 80G，能判断 TP=4 还是 TP=2+PP=2、KV Cache 够不够、最大并发大概多少。
④ GPU 集群调度与编排（核心）
要懂什么
- K8s：GPU Operator、Device Plugin、
nvidia.com/gpu、拓扑感知调度 - 虚拟化：MIG、Time-slicing、vGPU；国产 OrionX 等
- 调度：PriorityClass、ResourceQuota、Gang Scheduling
- Slurm vs K8s（HPC 实验室常见）
- 弹性：Cluster Autoscaler、KEDA、按 GPU 利用率扩缩容
实践方向
- 在测试 K8s 上装 GPU Operator，跑 GPU Pod + ResourceQuota
- 用 DCGM Exporter + Grafana 做集群 GPU 大盘（你已在 207 做过 Prometheus/Grafana，可扩展到 GPU 指标）
- Slurm 读文档即可，不必先搭
验收标准：100 卡、5 团队、训练/推理/开发三类任务，能设计调度、配额、优先级规则。
⑤ 推理优化深水区（核心竞争力）
必须精通的方向
| 主题 | 要点 |
|---|---|
| 量化 | FP16/BF16 → INT8/INT4/FP8；GPTQ/AWQ；精度评估 |
| KV Cache | PagedAttention、Prefix Caching、Offloading、GQA/MQA |
| 批处理 | Continuous Batching、Chunked Prefill |
| 编译优化 | Flash Attention、TensorRT-LLM、torch.compile |
| 服务化 | 多实例负载均衡、长短请求路由、冷启动 |
实践
- 同一 Qwen 模型：FP16 vs AWQ/GPTQ 对比吞吐与延迟
- 开 Prefix Caching 看 TTFT 变化
- 设计「简单问 7B、复杂问 27B+」路由（与作业 4 成本熔断思路一致）
验收标准：L20 48G + Qwen2.5-72B + 100 并发，给出量化、并行、KV 配置与预期指标。
⑥ 高速网络与存储（集群命脉）
要懂什么
- RDMA：InfiniBand vs RoCE v2
- 拓扑：Fat-Tree、Rail-Optimized；收敛比
- 存储：Lustre/Ceph、MinIO/S3 模型仓库（207 上 MinIO 占 9090/9091，别和 Prometheus 混）
- 大模型分发：P2P、Dragonfly
实践：iperf3、nccl-tests；NCCL 超时时用 NCCL_DEBUG=INFO + 拓扑图 10 分钟内定位。
⑦ 国产算力适配（战略储备）
昇腾 910B、CANN、MindSpore、vllm-ascend；海光 DCU；信创采购与混合部署。
验收标准：领导问「910B 替 A100 有哪些风险」，能给出兼容性、性能、迁移方案评估。
4. 六阶段学习路线（约 6 个月）
| 阶段 | 时间 | 目标 | 产出 |
|---|---|---|---|
| 1 GPU 基础 | 2～3 周 | 看懂 nvidia-smi 每一行 | 《GPU 硬件与故障排查手册》 |
| 2 分布式推理 | 3～4 周 | vLLM 多卡 TP、NCCL 排错 | 多卡性能测试报告 + NCCL SOP |
| 3 K8s GPU 调度 | 3～4 周 | Operator、配额、监控 | 调度策略文档 + GPU Grafana |
| 4 推理优化 | 4～6 周 | 量化、Prefix Cache、路由 | 优化对比报告 + vLLM 最佳实践 |
| 5 国产算力 | 2～3 周 | 昇腾生态与迁移评估 | 《国产算力适配评估报告》 |
| 6 技术品牌 | 持续 | 文章 + 开源 + 内部分享 | 作品集（≥10 篇 + GitHub） |
阶段 1 任务清单
- [ ] 读 A100/H100 白皮书前 30 页（SM、Tensor Core、HBM）
- [ ] 116 上跑
nvidia-smi全家桶并注释截图 - [ ] 用
pynvml写简单 GPU 监控脚本（可让 Cursor 写，自己 Review） - [ ] 整理 OOM / ECC / XID 含义一页纸
阶段 2 任务清单
- [ ] 读 vLLM PagedAttention 论文
- [ ] 单卡 vs TP=2 压测（Langfuse 看 Token/延迟）
- [ ] 故意制造一次 NCCL/网络类故障并写排查笔记
- [ ] 读 DeepSpeed ZeRO 论文（训练侧视野）
阶段 3～6
按上表产出物推进；每阶段结束写 一页「我能向 CTO 证明什么」 摘要。
5. 学习实验室怎么搭
| 方案 | 配置 | 成本 | 适合阶段 |
|---|---|---|---|
| A 公司资源 | 申请 207/116 测试窗口，2～4 卡实验 | 最低 | 全阶段（优先） |
| B 云按量 | AutoDL / 阿里云 A100/L20 | 约 10～30 元/时 | 阶段 1～2、4 |
| C 二手工作站 | 1×4090 或 2×3090 | 约 1.5～3 万 | 本地 Docker/K8s 单节点 |
| D 小集群 | 3 节点 + 万兆/RoCE | 15～30 万 | 阶段 3～4 |
对内申请话术（可直接用）
我需要 2～4 卡 GPU 测试环境，验证推理优化与调度方案，目标降低约 30% 推理成本；产出测试报告与 SOP，纳入平台文档。
6. 必须自己懂 vs 可以 AI 辅助
必须自己懂（架构师判断力）
- GPU OOM 原因与调参思路
- TP=2 vs TP=4 的场景与 trade-off
- NCCL 超时常见原因与排查路径
- K8s GPU 配额与优先级设计
- 量化精度损失如何评估
- 生产容量规划（多少 GPU 支撑多少并发）
- 故障应急：重启 / 降级 / 扩容 / 切流
- 技术选型利弊（Weaviate vs Milvus、vLLM vs TRT-LLM）
可以 AI 辅助（执行效率）
- Docker Compose / Helm / K8s YAML
- 日志解析、周报、Prometheus 规则
- 部署文档、手册、白皮书初稿
- Dify 二开代码实现（必须 Review）
- 压测脚本、监控模板
核心原则
AI 帮你写代码，你必须能 Review。
AI 帮你出方案，你必须能判断对错与原因。
AI 帮你部署，你必须在 AI 失效时能手动救火。
7. 与现有项目的映射
你已经做过的事 = 路线图上的「实战章节」：
| 已有能力 | 对应路线 | 下一步加深 |
|---|---|---|
| 207 Dify + 知识库 + Rerank | 应用层 | 阶段 4 模型路由、成本 |
| 116 vLLM Qwen3.6-27B | 阶段 1～2、5 | 多卡 TP、量化、Prefix Cache |
| 作业 5 健康检查 / 作业 7 OOM 自愈 | 阶段 1 故障、⑥ 应急 | 从「脚本自愈」到「根因分类」 |
| 作业 8 SLA + Grafana | 阶段 3 监控 | 加 DCGM GPU 指标 |
| 作业 10 手册 / 作业 11 白皮书 | 阶段 6 品牌 | 拆成对外系列文章 |
| Langfuse Trace | 阶段 2、5 | 优化前后对比数据 |
| WorkBuddy 文档与脚本沉淀 | 阶段 6 | 开源模板 + 《AI Infra 作品集》 |
学习笔记建议目录：docs/md_cursor/ 下另开专题时用 _cursor 后缀；个人笔记可用 data/learning/ 或私有仓库。
8. 本周行动清单
在 116 或当前 GPU 机上完成：
□ 1. 跑一遍 nvidia-smi 全家桶，输出截图 + 中文注释
□ 2. 读 A100/H100 架构白皮书前 30 页（SM / Tensor Core / HBM）
□ 3. 若有条件：vLLM --tensor-parallel-size 2 对比单卡（记录 QPS、TTFT）
□ 4. 在 Langfuse 看一轮对话的 Token 与延迟（与作业 3/8 联动）
□ 5. 新建《AI Infra 架构师成长手册》笔记（Markdown，每日 15 分钟）
□ 6. 开一篇对外文章：《用 vLLM 搭建企业推理平台——从 207 实战说起》9. 产出物清单（作品集）
6 个月后，面试 / 晋升 / 对内汇报可出示：
| 类型 | 内容 |
|---|---|
| 文档 | GPU 故障手册、NCCL SOP、vLLM 最佳实践、调度策略、国产算力评估 |
| 数据 | 单卡 vs 多卡、量化对比、Prefix Cache TTFT 对比 |
| 工程 | K8s GPU 测试集群（或公司环境说明）+ Grafana GPU 大屏 |
| 品牌 | 知乎/掘金 ≥10 篇；GitHub 部署/监控模板 |
| 已有 | 作业 11 白皮书、作业 10 手册、专题合集、SLA 大盘 |
附录：灰暗期的一句话
旧能力不够、新能力未长成 = 真空期。你已完成最难的一步：真实平台已上线。接下来按阶段补穿透力，六个月后回看，会感谢今天立的这份规划。
有问题随时带着 nvidia-smi 截图、NCCL 日志、vLLM 启动参数 来查——从「协调者」到「算力平台总架构师」，是一条可验证的路。
*本文档为个人学习规划，非公司正式制度。技术细节以官方文档与现网环境为准。*