#!/bin/bash
# 已在 10.0.1.47 执行。向量和重排都在 GPU 0 上。
# 容器如果已经存在，不要再 docker run 一次。
# docker rm 之后重建，需要再装一次 sentence-transformers，并重新加载两个模型。
set -eu

mkdir -p /usr/cluster/dify/xinference

docker run -d \
  --name xinference-bge \
  --restart unless-stopped \
  --gpus all \
  --cpus 4 \
  --memory 12g \
  --memory-swap 12g \
  -p 9997:9997 \
  -e XINFERENCE_HOME=/data \
  -e XINFERENCE_MODEL_SRC=modelscope \
  -v /usr/cluster/dify/xinference:/data \
  xprobe/xinference:latest \
  xinference-local -H 0.0.0.0 --log-level info

docker exec xinference-bge pip install -i https://pypi.tuna.tsinghua.edu.cn/simple sentence-transformers