2 ноября Anthropic объявила message threads для Messages API. При создании потока приложение передаёт разговор, системную инструкцию и инструменты. Затем достаточно новых сообщений и идентификатора предыдущего ответа: полную историю перед вызовом модели восстанавливает сервер. Функция доступна в бета-версии.
Anthropic сообщает об уменьшении запросов и задержки до первого токена. Кэширование промпта при этом настраивается отдельно — threads его автоматически не включают.
Поток истекает через пять минут после последнего запроса. Данные удаляются не позднее часа после последнего использования. Если продолжить поток уже нельзя, приложение должно отправить всю историю заново. Для этого оно хранит собственную копию сообщений.
Комментарии
Увлечённо обсуждая, не забывайте про уважение.
Загружаем комментарии…