ChatOllama

Требования

1. Скачайте Ollama или запустите его через Docker.
2. Пример команды для запуска Docker-экземпляра с llama3:

   docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
   docker exec -it ollama ollama run llama3
   

Настройка

1. В разделе Chat Models перетащите узел ChatOllama на рабочую область.
2. Заполните модель, которая запущена у Ollama. Например: llama2. Также вы можете использовать дополнительные параметры.
3. Теперь вы можете использовать узел ChatOllama в OSMI-AI.

Дополнительно

Если вы запускаете и OSMI-AI, и Ollama через Docker на одной машине, нужно изменить базовый URL для ChatOllama.

Для Windows и macOS укажите: http://host.docker.internal:8000. Для систем на базе Linux используйте стандартный шлюз Docker, так как host.docker.internal недоступен: http://172.17.0.1:8000.