Features
Кеширование промптов
Скидка при повторном использовании контекста.
OpenGates поддерживает prompt caching — автоматическое кеширование повторяющихся частей запроса.
Как это работает
Если вы отправляете запрос с тем же system prompt или большим контекстом, который уже был обработан ранее, часть токенов может быть считана из кэша со скидкой.
Скидка
Кэшированные токены тарифицируются со скидкой (обычно 50–90% от стоимости input).