Кеш

Кэш Momento (Momento Cache)

Кэширует ответы LLM с использованием Momento — распределенного и безсерверного кэша.

Этот раздел находится в разработке. Мы будем признательны за любую помощь в его завершении.

Встраиваемый кэш в памяти

Кэширует созданные векторные представления (эмбеддинги) в памяти, чтобы избежать необходимости их повторного вычисления.

Кэш Redis

Кэширует ответы LLM в Redis, что удобно для совместного использования кэша между несколькими процессами или серверами.