Теперь в API OpenAI можно кэшировать промпты на срок до 12 часов, а для авторизованных пользователей Codex и Work кэш хранится бессрочно.
Это означает, что даже спустя несколько часов можно вернуться к старой задаче и продолжить работу с гарантированным попаданием в кэш.
Меньше повторной обработки контекста и, потенциально, меньше впустую потраченных лимитов.
Побольше бы таких обновлений. 🍿