Настройка LocalAI

LocalAI это универсальный REST API, совместимый с спецификациями OpenAI API для локальных вычислений. Он позволяет запускать большие языковые модели (и не только их) локально или на собственных серверах с потребительским оборудованием, поддерживая несколько семейств моделей, совместимых с форматом ggml.

Чтобы использовать ChatLocalAI в OSMI-AI, выполните следующие шаги:

1. Клонируйте репозиторий

git clone 

2. Перейдите в папку

cd LocalAI

3. Скопируйте ваши модели в папку models/

cp your-model.bin models/

Например:

Загрузите одну из моделей с сайта gpt4all.io

Cкачайте gpt4all-j в папку models/

wget https://gpt4all.io/models/ggml-gpt4all-j.bin -O models/ggml-gpt4all-j

В папке /models должна появиться скачанная модель.

4. Обратитесь к списку поддерживаемых моделей здесь.

docker compose up -d --pull always

5. Теперь API доступен по адресу http://localhost:8080.

curl http://localhost:8080/v1/models

Ожидаемый ответ:

# {"object":"list","data": [{"id":"ggml-gpt4all-j.bin","object":"model"}] }

Настройка в OSMI-AI: Перетащите компонент ChatLocalAI на рабочую область.

Заполните поля: Base Path: базовый URL LocalAI, например http://localhost:8080/v1 Model Name: имя модели, которую хотите использовать. Она должна быть в папке /models. Например: ggml-gpt4all-j.bin

Если вы запускаете OSMI-AI и LocalAI через Docker на одной машине, возможно, потребуется изменить базовый путь на http://host.docker.internal:8080/v1. Для систем на базе Linux используйте стандартный шлюз Docker: http://172.17.0.1:8080/v1.