平台总览

平台服务汇总 · 入口与架构

各服务登录地址、凭据、无登录 API、架构图与端口速查。

平台服务汇总 · 入口、凭据与架构

环境锚点:应用主机 192.168.110.207 + GPU 主机 116.62.10.183

凭据来源:scripts_cursor/_config.py、各部署专题(内网学习环境,请控制访问权限)

HTML:docs/html_cursor/平台服务汇总_入口与架构_cursor.html


1. 架构总览

flowchart TB
  subgraph Users["使用者"]
    U1[浏览器 · 运维/业务]
    U2[API / SDK / Dify Agent]
  end

  subgraph EDGE["总入口 · 207"]
    HGW["Higress Gateway<br/>:18080 / :18443"]
    HCON["Higress Console<br/>:8001"]
  end

  subgraph APP207["应用主机 192.168.110.207"]
    PORTAL["服务入口页<br/>:8090"]
    DIFY["Dify 控制台<br/>:80"]
    LLM["LiteLLM Proxy<br/>:4000"]
    XF["Xinference<br/>:9997"]
    WV["Weaviate 中继<br/>:8088"]
    LF["Langfuse<br/>:3000"]
    PROM["Prometheus<br/>:9092"]
    GRAF["Grafana<br/>:3001"]
    SLA["SLA Exporter<br/>:8781"]
    HW["作业 API<br/>:8777–8780"]
  end

  subgraph GPU116["GPU 主机 116.62.10.183"]
    VLLM["vLLM Qwen3.6-27B<br/>:8000"]
  end

  U1 --> HGW
  U1 --> PORTAL
  U1 --> DIFY
  U1 --> LF
  U1 --> HCON
  U1 --> GRAF
  U2 --> HGW
  U2 --> LLM
  U2 --> DIFY

  HGW -->|/llm/v1| LLM
  HGW -->|/xf/v1| XF
  HGW -->|Host dify.ai.local| DIFY

  DIFY --> LLM
  DIFY --> XF
  DIFY --> WV
  DIFY -.->|Tracing| LF

  LLM --> VLLM
  LLM --> XF

  SLA --> DIFY
  SLA --> LF
  SLA --> LLM
  SLA --> VLLM
  PROM --> SLA
  GRAF --> PROM

  HW -.->|SSH 探活| VLLM
  DIFY -.->|OpenAPI 工具| HW

调用链口诀

text
用户 →(可选 Higress :18080)→ Dify 编排
                              → LiteLLM 路由 → 116 vLLM 对话
                                            → 207 Xinference 向量/Rerank
Dify 知识库 → Weaviate(:8088) + Xinference Embedding
全链路观测 → Langfuse(:3000)
平台健康   → SLA Exporter(:8781) → Prometheus(:9092) → Grafana(:3001)

主机 SSH(运维)

主机地址账号密码用途
207 应用机192.168.110.207root123456Dify / LiteLLM / Langfuse / 监控
116 GPU 机116.62.10.183rootHuaweiCloud2027$vLLM 容器、nvidia-smi

2. 有 Web 登录的服务

2.1 Dify 控制台(核心编排)

项值
入口http://192.168.110.207/(:443 若已配 TLS)
经 Higress浏览器 hosts 加 192.168.110.207 dify.ai.local,访问 http://dify.ai.local:18080/
账号38205036@qq.com
密码Difyai123456
干什么Agent / 工作流 / 知识库 / 模型供应商配置
怎么用浏览器登录 → 工作室创建应用 → 模型供应商填 LiteLLM http://192.168.110.207:4000/v1 + Key sk-litellm-bocheng-207
关联LiteLLM、Xinference、Weaviate、Langfuse、作业 OpenAPI 工具

控制台 REST API(脚本用)需 Cookie + X-CSRF-Token;密码在 JSON 里要 base64 编码。见各作业脚本 dify_api.py。


2.2 Langfuse(Trace / Token / 成本)

项值
入口http://192.168.110.207:3000
账号admin@example.com
密码Langfuse123456
API Key(SDK / Dify Tracing)PK: pk-lf-84a76d89-b6b4-4943-b4ea-2dee48d4cda7 / SK: sk-lf-24aa6d73-ed36-4447-9eb6-3ebd446fb298
干什么查看 Agent 调用链、Generation Token、延迟、错误
怎么用UI 登录看 Traces;Dify 应用里配置 Tracing Host 为 http://192.168.110.207:3000(不能写 localhost)
关联Dify worker/api 上报;作业4 成本熔断、作业14 Top10

2.3 Grafana(SLA 大盘)

项值
入口http://192.168.110.207:3001
账号admin
密码admin123
干什么平台 SLA 可视化(组件可用率、五项 SLA gauge)
怎么用登录 → 打开大盘 d/ai-platform-sla(UID: ai-platform-sla)
关联Prometheus :9092 ← SLA Exporter :8781

2.4 Higress Console(网关管理)

项值
入口http://192.168.110.207:8001
账号admin
密码Higress207admin!
干什么路由、服务源、域名、插件(限流/鉴权等)
怎么用首次部署走 POST /system/init;日常浏览器登录改 /llm、/xf、dify.ai.local 路由
关联Gateway :18080、内置 Nacos :8848
集群加密 KeyHIGRESS_ENC_KEY=bocheng207higressenckey32chars!!(32 字符)

2.5 Xinference 管理 CLI(非 Web UI)

项值
服务地址http://192.168.110.207:9997
管理登录xinference login -e http://127.0.0.1:9997 → 用户 admin / 密码 admin1234
API Key(调用用)xf-K8H3LiS27H4188XdOyWJj74MWMOlIR9tZbiybDbxbSas7eAI
干什么启动/管理 bge-m3 embedding、bge-reranker-v2-m3
怎么用API 调用带 Authorization: Bearer xf-...;Dify 直连 Xinference 或经 LiteLLM model=bge-m3
关联Dify 知识库、LiteLLM 向量路由

2.6 服务入口页 :8090(一站看全 · 无登录)

项值
入口http://192.168.110.207:8090/
载体host-portal.service → python3 -m http.server 8090 --directory /var/www/portal
页面文件/var/www/portal/index.html(改页面=覆盖此文件,不用重启服务)
干什么把全机可从浏览器打开的服务按「应用 / 模型与网关 / 监控 / 代码与接口」四组铺成卡片,顶部可搜索名称或端口
怎么用断电重启后第一个打开的就是它——先确认 207 活着,再按卡片逐个点
关联207 服务入口与断电重启恢复

卡片 URL 按访问者当前的 IP 拼(location.hostname),所以内网 / 外网换 IP 访问都不用改页面。

部署与维护命令见 207 服务入口与断电重启恢复 第 2 节。


2.7 DeepSeek Harness :3080(对话 Web UI)

项值
入口http://192.168.110.207:3080/
载体deepseek-harness.service(Node + tsx,/deepseek/deepseek-harness-master)
上游DEEPSEEK_BASE_URL=http://116.62.10.183:8000/v1、DEEPSEEK_API_KEY=sk-123456
干什么一个轻量对话控制台,直连 116 的 vLLM(与 Dify 走同一台推理机,但绕开 Dify 编排)
怎么用排查「到底是 Dify 的问题还是模型的问题」时用它——同一台模型,这里通了说明模型侧没事

2.8 办公 IP 云同步控制台 :8765

项值
入口http://192.168.110.207:8765/
载体office-sync-web.service(/opt/office-huawei-aliyun-anquanzu/web/app.py),配套 ip-monitor.service 每 30s 巡检
干什么办公网公网 IP 变化的同步与控制台(华为云 / 阿里云侧安全组、ELB 白名单)
关联作业18 Agent 出站白名单与密钥轮换

3. 无 Web 登录 · 核心 API 服务

3.1 LiteLLM Proxy(生产网关)

项值
Base URLhttp://192.168.110.207:4000
OpenAI 兼容http://192.168.110.207:4000/v1
鉴权 Keysk-litellm-bocheng-207(Master Key,非登录账号)
干什么统一 OpenAI 格式入口;对话 → 116 vLLM;向量 → Xinference
怎么用所有请求 Header: Authorization: Bearer sk-litellm-bocheng-207
端点需 Key用途示例
GET /health/liveliness否网关存活探活curl -sf http://192.168.110.207:4000/health/liveliness
GET /v1/models是列可用模型curl -H "Authorization: Bearer sk-litellm-bocheng-207" .../v1/models
POST /v1/chat/completions是对话补全model: qwen3.6-27b / qwen
POST /v1/embeddings是向量化model: bge-m3

经 Higress 等价入口:http://192.168.110.207:18080/llm/v1/*(Key 相同)

详见 LiteLLM 部署、LiteLLM 高级功能与用法。


3.2 vLLM Qwen3.6-27B(116 GPU 推理)

项值
Base URLhttp://116.62.10.183:8000/v1
鉴权 Key123456
干什么主 LLM 推理(OpenAI 兼容)
怎么用生产建议经 LiteLLM 调用;排障可直连
端点需 Key用途示例
GET /v1/models是列模型Bearer 123456
POST /v1/chat/completions是对话model: qwen3.6-27b
GET /metrics否Prometheus 指标(排队/吞吐)`curl -s ...:8000/metrics \

关联:LiteLLM 上游、Dify 模型供应商(经 LiteLLM)、作业5/7 SSH 探活。


3.3 Xinference API(207 向量 / Rerank)

项值
Base URLhttp://192.168.110.207:9997/v1
鉴权 Keyxf-K8H3LiS27H4188XdOyWJj74MWMOlIR9tZbiybDbxbSas7eAI
干什么Embedding(bge-m3)、Rerank(bge-reranker-v2-m3)
怎么用所有 /v1/* 需 Bearer xf-...;或经 LiteLLM / Higress /xf/v1
端点用途
GET /v1/models列已 launch 模型
POST /v1/embeddings向量化
POST /v1/rerank重排序

经 Higress:http://192.168.110.207:18080/xf/v1/*


3.4 Higress Gateway(统一 HTTP 入口)

项值
HTTPhttp://192.168.110.207:18080
HTTPShttps://192.168.110.207:18443(若已配证书)
干什么路径/域名路由,对外统一入口
怎么用按路径选 Key;Dify 用浏览器登录
路径 / Host转发到客户端 Key等价直连
/llm/v1/*LiteLLM :4000sk-litellm-bocheng-207:4000/v1/*
/xf/v1/*Xinference :9997xf-...:9997/v1/*
Host dify.ai.local /Dify :80Dify 邮箱密码(浏览器)http://192.168.110.207/
GET /landing 页无网关默认页

3.5 Weaviate(Dify 向量库 · 中继)

项值
对外(IPv4 中继)http://192.168.110.207:8088
容器内:8080
鉴权Dify docker .env 内配置(无独立 Web 登录)
干什么Dify 知识库向量存储与检索
怎么用由 Dify 自动调用;排障:curl -sf http://192.168.110.207:8088/v1/meta

3.6 Langfuse 公开 API

端点需 Key用途
GET /api/public/health否健康检查
POST /api/public/ingestionPK/SK BasicDify Trace 上报
GET /api/public/tracesPK/SK查询 Trace
GET /api/public/observationsPK/SK查询 Observation
bash
curl -sf http://192.168.110.207:3000/api/public/health

3.7 Prometheus + SLA Exporter(监控)

SLA Exporter — http://192.168.110.207:8781

端点需 Key用途
GET /health否Exporter 自身健康
GET /否简要状态页
GET /metrics否Prometheus 文本格式(组件 up、SLA gauge)
bash
curl -sf http://192.168.110.207:8781/metrics | grep ai_platform

Prometheus — http://192.168.110.207:9092

端点用途
GET /-/healthy服务健康
GET /api/v1/targets抓取目标状态
GET /api/v1/queryPromQL 查询

3.8 Hindsight API :18888

项值
Base URLhttp://192.168.110.207:18888
文档http://192.168.110.207:18888/docs(Swagger)
载体hindsight-api.service(用户 hindsight,/opt/hindsight,环境变量在 /opt/hindsight/hindsight.env)
干什么记忆服务(长期记忆的存取与检索),供 Agent 侧调用
怎么用浏览器打开 /docs 直接试接口

4. 作业 / 扩展 API(无登录 · OpenAPI 工具)

这些服务供 Dify Agent / Workflow 通过 OpenAPI 调用,无 Web 登录。

4.1 作业1 · 服务器状态 — :8777

项值
Basehttp://192.168.110.207:8777
干什么模拟查服务器状态(运维巡检 Agent 工具)
端点GET /health · GET /server/status?server_name=gpu-server-01
怎么用Dify 挂 OpenAPI 工具;或 curl "http://192.168.110.207:8777/server/status?server_name=gpu-server-01"

4.2 作业2 · 工单 API — :8778

项值
Basehttp://192.168.110.207:8778
干什么客服意图路由工作流 · 创建工单
端点GET /health · POST /ticket(JSON body)
怎么用Workflow 节点 HTTP 请求或 OpenAPI 工具

4.3 作业5 · vLLM 健康 — :8779

项值
Basehttp://192.168.110.207:8779
干什么聚合 116 vLLM 容器/GPU/排队状态
端点GET /health · GET /vllm/status · GET /gpu/info · GET /vllm/queue
怎么用vLLM 健康检查 Agent 工具;SSH 后端读 116

4.4 作业7 · 故障自愈 — :8780

项值
Basehttp://192.168.110.207:8780
干什么OOM 检测、重启 vLLM、钉钉 recovery 通知
端点GET /vllm/detect_anomaly · POST /vllm/restart · POST /notify/recovery
关联116 vLLM、钉钉 Webhook(关键词「周报」)

5. 测试 / 学习环境(非生产)

服务地址Key说明
LiteLLM 测试127.0.0.1:4010sk-hw13-test-4010作业13 主备/Fallback,勿覆盖 :4000
Mock Primary127.0.0.1:18101sk-mock压测易 429
Mock Backup127.0.0.1:18102sk-mock压测备上游
vLLM Backup 样例116.62.10.183:8001123456作业17 主备路由示例端口

6. 端口速查(避免冲突)

2026-10-13 在 207 实扫(ss -lntp + docker ps + systemctl 三处对齐)。加新服务前先看这张表。

6.1 宿主进程 / systemd

端口服务备注
22SSH
80 / 443Dify 控制台(nginx 反代)上游 127.0.0.1:8089
3080DeepSeek Harnesssystemd,直连 116 vLLM
3306MySQL宿主安装
4000LiteLLM 生产4010=测试
6443k3s API Server
8000Yearning(SQL 审核)nginx vhost
8090服务入口页host-portal.service
8765办公 IP 云同步控制台office-sync-web.service
8777–8780作业 API(状态 / 工单 / vLLM 健康 / vLLM 自愈)8781=SLA Exporter
18888Hindsight APIsystemd

6.2 容器

端口服务备注
3000Langfuse Web
3001Grafana避开 Langfuse
3030Langfuse Worker仅 127.0.0.1
5003Dify plugin_daemon
5432Langfuse Postgres仅 127.0.0.1
8001Higress Console
8088Weaviate 中继内部 8080
8089 / 8449Dify 前端(HTTP / TLS)80 的上游
8888Higress Nacos 控制台容器内 8080
8929GitLab(Argo CD 演示)SSH 走 2224
9090MinIO API(Langfuse 栈)不是 Prometheus
9091MinIO Console仅 127.0.0.1
9092Prometheus
9848Higress Nacos 主端口容器内 8848
9997Xinference
15020Higress Gateway(健康/mesh)
18080 / 18443Higress Gateway(HTTP / HTTPS)总入口
18848Higress Nacos(宿主映射)容器内 8848
2224GitLab SSH

6.3 k3s NodePort(ss 里看不到,由 kube-proxy 转发)

端口Service说明
30080argocd/argocd-serverArgo CD Web UI
30088argocd-demo/demo-nginxGitOps 演示应用

三个最容易搞错的::9090 是 MinIO(不是 Prometheus,Prometheus 在 :9092);:8888 是 Higress 自带的 Nacos 控制台(不是业务服务);:8090 是服务入口页(不是 Dify,Dify 在 :80)。

完整的「恢复顺序 + 探活表」见 207 服务入口与断电重启恢复。

6.4 大模型不可用?先分三层

「大模型不能用」在 207 上要分三层定性——207 自己不产生模型,它只是把 116 的 vLLM 接进来:

text
Dify 应用 ─(1)→ LiteLLM :4000 ─(2)→ vLLM 116.62.10.183:8000
bash
echo "网关: $(curl -s -o /dev/null -w '%{http_code}' --max-time 5 http://192.168.110.207:4000/health/liveliness)"
echo "上游: $(curl -s -o /dev/null -w '%{http_code}' --max-time 5 http://116.62.10.183:8000/v1/models)"
echo "模型: $(curl -s --max-time 5 -H 'Authorization: Bearer sk-litellm-bocheng-207' \
        http://192.168.110.207:4000/v1/models | head -c 200)"
结果判定动作
网关 200 / 上游 200 / 模型有列表全通问题在 Dify 侧配置
网关非 200① 网关层systemctl restart litellm
网关 200、上游不通② 上游推理层上 116 看 nvidia-smi 与 vLLM 容器;作业5 / 作业7 / 作业13

根因提醒:116 的 H20 与业务进程共享(mxh_env / mxh_live),业务一上来就抢显存与算力 → 表现为偶发超时、排队、OOM 重启。这不是 207 能修的,只能在网关侧用重试 + 超时 + 备模可切把抖动吃掉(现状:num_retries: 2、request_timeout: 300、simple-shuffle)。

分级处置(L1–L5)与值班最小动作清单见 207 服务入口与断电重启恢复 第 5 节。


7. 凭据速查表

服务登录 / Key 类型值
Dify邮箱 / 密码38205036@qq.com / Difyai123456
Langfuse UI邮箱 / 密码admin@example.com / Langfuse123456
Langfuse APIPK / SKpk-lf-84a76d89-... / sk-lf-24aa6d73-...
LiteLLMMaster Keysk-litellm-bocheng-207
vLLMBearer123456
Xinference APIBearerxf-K8H3LiS27H4188XdOyWJj74MWMOlIR9tZbiybDbxbSas7eAI
Xinference CLIadmin / passadmin / admin1234
Grafanaadmin / passadmin / admin123
Higress Consoleadmin / passadmin / Higress207admin!
207 SSHroot123456
116 SSHrootHuaweiCloud2027$

MinIO(Langfuse 依赖)密码在部署时随机生成,见 207 /Langfuse/langfuse/.env 或 langfuse_deploy_creds.txt。


8. 相关文档

文档内容
内部智能体搭建 · 文档索引全站导航
207 服务入口与断电重启恢复入口页 / 端口全清单 / 重启顺序 / 大模型不可用策略
私有化 AI 架构全景分层与演进
LiteLLM 部署 / 高级功能网关配置
Higress 之一~六总入口路由
集成环境 Prometheus+Grafana+SLA监控栈
Langfuse 连接 DifyTracing 对接