Новая языковая модель GPT-4 - в чём её особенности

На своей презентации в мае 2024 года компания OpenAI показала миру свою новую модель — GPT-4 Omni (сокращенно GPT-4o). Данная версия будет бесплатной для всех пользователей. Согласно заявлениям представителям Open AI, языковая модель станет настоящим прорывом в области нейросетей, и мы предлагаем вам узнать, чем же она отличается от своих предшественников.

Новые возможности в GPT-4 Omni

Мультимодальность

В GPT-4o вся информация на входе и выходе обрабатывается одной нейросетью вне зависимости от формата. Раньше для текстов, изображений и видео использовались разные модели. Это оказывало влияние как на скорости ответов, так и на их качестве. Новая версия без проблем воспринимает любые комбинации форматов данных, за счет чего поднимается эффективность работы.

Голосовой ассистент

Помощник теперь может воспринимать и обрабатывать данные в реальном времени. Он реагирует на аудиозапросы в среднем за 320 миллисекунд, что соответствует скорости реакции обычного человека. Благодаря этому взаимодействие выглядит гораздо более естественно. Кроме того, голосовой ассистент научился распознавать эмоции и выражать их. Он больше не говорит монотонным роботизированным голосом, а меняет интонации, смеется и даже поет.

Улучшилась и работа с большими объемами данных. Новая языковая модель может поддерживать диалог на протяжении 7 минут, не теряя нити разговора. Для большинства нейросетей показатель редко превышает 3-4 минуты.

Работа с визуальным контентом

GPT-4 Omni стала гораздо лучше работать с визуальной информацией. Появилась поддержка видео. Новая модель может распознавать объекты, действия и целые сцены. Это будет полезно, например, для транскрибации. При проведении тестов языковая модель смогла перевести в текстовый формат речи отдельных спикеров с видео. Прошлые версии нейросети воспринимали только статичные иллюстрации. Генерация изображений также вышла на более высокий уровень. В отличие от большинства языковых моделей, GPT-4o без проблем использует текст в картинах. Повысилось и качество восприятия запросов.

Как получить доступ к новой модели?

Воспользоваться GPT-4o пока могут только отдельные владельцы платной подписки. В ближайшее время модель станет доступна и бесплатным пользователям, правда с меньшим лимитом запросов. Обратите внимание: на данный момент функционал GPT-4 Omni урезан, и OpenAI пока не объявляла, когда можно будет начать работать с аудио и видео.