#!/bin/bash
# 已执行。重排模型在 GPU 0 上，Dify 默认重排模型是 bge-reranker-v2-m3。
set -eu
echo "先确认 xinference-bge 能看到 GPU，并且内存是 12G"
docker inspect xinference-bge --format 'memory={{.HostConfig.Memory}} gpu={{json .Config.Env}}'
echo "模型加载请求："
cat <<'EOF'
POST http://127.0.0.1:9997/v1/models?wait_ready=true
Authorization: Bearer <Xinference 管理员密钥>
{
  "model_name": "bge-reranker-v2-m3",
  "model_type": "rerank",
  "n_gpu": 1,
  "download_hub": "modelscope"
}
EOF
echo "Dify 里把默认 rerank 设为 langgenius/xinference/xinference 的 bge-reranker-v2-m3。"
echo "新建知识库时，检索设置里打开 Rerank，选这个模型。"