LiteLLM Proxy

Используйте LiteLLM Proxy с OSMI-AI для:

• Распределения нагрузки между конечными точками Azure OpenAI/LLM
• Вызова более 100 моделей LLM в формате OpenAI
• Использования виртуальных ключей для установки бюджета, ограничения скорости и отслеживания использования

Как использовать LiteLLM Proxy с OSMI-AI

Определите свои модели LLM в файле litellm_config.yaml

LiteLLM требует конфигурационный файл, в котором указаны все ваши модели — его обычно называют litellm_config.yaml. Подробная документация по настройке файла конфигурации — здесь.

model_list:
  - model_name: gpt-4
    litellm_params:
      model: azure/chatgpt-v-2
      api_base: https://openai-gpt-4-test-v-1.openai.azure.com/
      api_version: "2023-05-15"
      api_key: 
  - model_name: gpt-4
    litellm_params:
      model: azure/gpt-4
      api_key: 
      api_base: https://openai-gpt-4-test-v-2.openai.azure.com/
  - model_name: gpt-4
    litellm_params:
      model: azure/gpt-4
      api_key: 
      api_base: https://openai-gpt-4-test-v-2.openai.azure.com/

Шаг 2. Запустите Litellm Proxy

docker run \
    -v $(pwd)/litellm_config.yaml:/app/config.yaml \
    -p 4000:4000 \
    ghcr.io/berriai/litellm:main-latest \
    --config /app/config.yaml --detailed_debug

При успешном запуске прокси будет работать по адресу http://localhost:4000/.

Шаг 3. Используйте LiteLLM Proxy в OSMI-AI

В OSMI-AI укажите стандартные узлы OpenAI (не Azure OpenAI) — это касается чат-моделей, эмбеддингов, LLM — всего.

• Установите BasePath на URL LiteLLM Proxy (например, http://localhost:4000, если запускаете локально).
• В заголовках укажите: Authorization: Bearer <your-litellm-master-key>