AI21 открыла код Teel — среды выполнения, которая находит независимые операции в Python-программе и запускает их параллельно. Она рассчитана прежде всего на ожидание ответов моделей, поиска и других внешних сервисов.
Разработчик помечает нужные функции декораторами. Teel заранее просматривает следующие инструкции и отправляет вызов в фоновый поток, когда его аргументы уже известны. Переписывать всю программу с использованием async и await для этого не требуется.
В испытаниях самой AI21 среднее время выполнения задач Tree of Thoughts сократилось на 83%. Пока Teel имеет статус экспериментального прототипа и работает только с Python 3.12.13. Функции, которые он запускает заранее, не должны менять внешнее состояние: например, отправлять письма или записывать данные в базу. Спекулятивное выполнение также может оплачивать запросы, результат которых программе в итоге не понадобится.
Комментарии
Увлечённо обсуждая, не забывайте про уважение.
Загружаем комментарии…