OpenAI запустила Ultrafast для GPT-5.6 Sol со скоростью до 750 токенов в секунду

Дата публикации:

0

OpenAI начала ограниченное тестирование режима Ultrafast для GPT-5.6 Sol. Он работает до 14 раз быстрее стандартного API и может генерировать до 750 выходных токенов в секунду.

До 750 выходных токенов в секунду – OpenAI впервые переносит свою наиболее мощную модель в класс производительности, который раньше обычно требовал перехода на более маленькую LLM.

Новый режим получил название Ultrafast. Он запускает GPT-5.6 Sol до 14 раз быстрее Standard processing, при этом сама модель не заменяется облегчённой версией.

OpenAI сообщает, что инфраструктуру для Ultrafast предоставляет Cerebras.

Практический смысл здесь не в том, чтобы просто быстрее получить обычный текстовый ответ. OpenAI ориентирует режим на задачи, где модель должна успевать работать непосредственно внутри текущего процесса:

  • голосовые интерфейсы;
  • реагирование на сбои инфраструктуры;
  • анализ финансовых данных;
  • поддержка клиентов;
  • интерактивные исследования;
  • многошаговые ИИ-агенты.

Например, при аварии сервиса модель может одновременно читать логи, последние изменения кода и сообщения инженеров, формировать гипотезу причины сбоя и предлагать следующие проверки ещё до завершения инцидента.

Для голосовых систем высокая скорость тоже меняет сам интерфейс. Сложный запрос можно обрабатывать практически в темпе разговора, даже если агенту приходится обращаться к нескольким инструментам.

Интересно и то, что компания использует Ultrafast внутри собственных инженерных процессов. В OpenAI его тестируют для анализа логов, traces и исследований, где раньше пакет экспериментов мог выполняться всю ночь.

С увеличением скорости такой процесс превращается в интерактивный цикл: запустить эксперимент, получить результат, изменить гипотезу и сразу повторить проверку.

Ранее OpenAI уже снизила стоимость младших моделей GPT-5.6 и добавила ускоренный Fast mode для GPT-5.6 Sol. Ultrafast идёт значительно дальше – это уже отдельный класс инфраструктуры для задач, где задержка становится критическим параметром.

Email не публикуется и используется только для уведомлений. Ссылки в комментариях запрещены. Комментарий появится после проверки модератором.

Комментарии (0)

Связанные публикации

OpenAI раскрыла, как ChatGPT используют в разных странах
Программное обеспечениеНовости компании

OpenAI раскрыла, как ChatGPT используют в разных странах

OpenAI впервые опубликовала данные об использовании ChatGPT по странам. На работе сервис чаще применяют для создания результата, а мультимедийные запросы стали самым быстрорастущим сценарием.

OpenAI 14 0
ИИ OpenAI получил десять новых результатов в математике
Программное обеспечениеНовости компании

ИИ OpenAI получил десять новых результатов в математике

Внутренняя модель OpenAI Astra решила или существенно продвинула десять открытых задач в математике и теоретической информатике. Доказательства дополнительно формализованы в Lean.

OpenAI 3 0