Кеш

Встраиваемый кэш в памяти

Кэширует созданные векторные представления (эмбеддинги) в памяти, чтобы избежать необходимости их повторного вычисления.

Этот раздел находится в разработке. Мы будем признательны за любую помощь в его завершении.

Кэш в памяти InMemory Cache

Кэширует ответы LLM в локальной памяти, будет очищен при перезапуске приложения.

Кэш Momento (Momento Cache)

Кэширует ответы LLM с использованием Momento — распределенного и безсерверного кэша.