应用层
Dify
知识库、工作流和 RAG 编排。对话模型 qwen3.6-27b，向量模型 bge-m3。
http://10.0.1.47:8088- 账号
- admin@example.com
- 密码
- Dify-rag-2026
大模型服务导航
内网地址 10.0.1.47。对话经 New-API 到 vLLM，向量请求到 Xinference。
浏览器→Dify
→New-API→vLLM / qwen3.6-27b
｜向量Xinference / bge-m3
网关层
New-API
鉴权、额度和渠道。上游是本机 vLLM，模型名 qwen3.6-27b。
http://10.0.1.47:3000- 账号
- admin
- 密码
- L4o4986784$
调用地址
OpenAI 兼容接口
给 Cline 或其他客户端用的网关地址。令牌在 New-API 后台发放，登录用上面的管理员账号。
http://10.0.1.47:3000/v1- 账号
- admin
- 密码
- L4o4986784$
推理层
vLLM
当前模型 qwen3.6-27b，最大上下文 65536。浏览器直接访问不校验账号。
http://10.0.1.47:8000/v1- 账号
- 无
- 密码
- 无
向量层
Xinference
bge-m3 向量模型和 bge-reranker-v2-m3 重排模型，走内网，和 vLLM 共用 GPU 0。
http://10.0.1.47:9997- 账号
- admin
- 密码
- Xinf-bge-2026
会话追踪
Langfuse
Dify 里「阿里云合同条款」的会话链路。提问、检索和模型调用会记到这个项目。
http://10.0.1.47:3100- 账号
- admin@example.com
- 密码
- Lf-trace-2026
监控
Grafana
看板「GPU 与 vLLM」：显存、温度、利用率，以及 vLLM 排队和 KV 占用。
http://10.0.1.47:3001- 账号
- admin
- 密码
- Gf-gpu-2026
指标
Prometheus / DCGM
Prometheus 采集 DCGM 和 vLLM。显存、温度、利用率来自 DCGM Exporter。
http://10.0.1.47:9090- 账号
- 无
- 密码
- 无