Впечатляющие и пугающие возможности новой версии искусственного интеллекта ChatGPT-4o

В середине мая компания OpenAI представила новую версию самой популярной и продвинутой нейросети в мире. Продукт получил название ChatGPT-4o, сохранив порядковый номер своего предшественника.

Подпишитесь на канал Gloss.ua в Telegram.

GPT-4o, где «o» означает «omni» (всесторонний), является кульминацией усилий OpenAI по созданию более интуитивно понятного и многофункционального ИИ. Во время ежегодного мероприятия OpenAI Spring Update технический директор Мира Мурати (Mira Murati) сообщила, что новая модель способна работать одновременно с аудио, изображениями и текстом.

«Мы смотрим на будущее взаимодействия между нами и машинами, — говорит Мурати. — И мы считаем, что GPT-4o действительно меняет эту парадигму».

Самое главное обновление – это разговорные возможности ChatGPT-4o. Новый голосовой ассистент способен воспроизводить разговорную речь в режиме реального времени и реагировать на голосовые команды всего за 320 миллисекунд, что сравнимо с реакцией обычного человека. GPT-4o умеет определять эмоции по выражению лица или по голосу собеседника. При этом ассистент имеет разные интонации, может смеяться, шептать, петь, а также флиртовать, шутить и распознавать сарказм.

Happy birthday with GPT-4o pic.twitter.com/OuEkfQsap9

— OpenAI (@OpenAI) May 13, 2024

Чат-бот способен вживую общаться с пользователем с помощью видео, используя камеру смартфона. ИИ может отвечать на ваши запросы в реальном времени, наблюдать и анализировать мир вокруг вас. Например, незрячий человек может снимать видео, а GPT-4o в реальном времени расскажет, что видит.

Кроме того, новый мультиязычный ассистент способен переводить речь на лету, что станет настоящей находкой для путешественников.

Это обновление открывает новые горизонты для использования ИИ в самых разных областях, включая образование и развлечения, что, без сомнения, укрепит позиции OpenAI в качестве из одного из лидеров в области искусственного интеллекта.

ChatGPT-4o получил целый ряд новых интересных функций

Работа с изображениями

• Распознавание и детальное описание содержимого изображений
• Перевод текста, присутствующего на изображениях
• Ответы на вопросы, связанные с визуальным контентом
• Генерация изображений по текстовому описанию

Работа с видео

• Понимание происходящего на видео без звука по визуальному ряду
• Распознавание отдельных предметов на видео
• Умение генерировать видео, включая трехмерные, по текстовому описанию
• Способность комментировать то, что снимает камера, в реальном времени (актуально для незрячих)
• Сжимание видео и пересказ

Dog meets GPT-4o pic.twitter.com/5C0hlYq5ws

— OpenAI (@OpenAI) May 13, 2024

Работа с аудио

• Распознавание и транскрибирование речи в реальном времени (задержка около 0,3 сек)
• Генерация речи с разными эмоциональными оттенками и интонациями
• Определение эмоций по голосу человека

Совмещение модальностей

• Одновременная работа с текстом, изображением, аудио в рамках одного запроса
• Например, можно задать вопрос по картинке, а ответ получить в виде аудиосообщения

Контекстное понимание

• Модель учитывает предыдущий контекст беседы при обработке новых данных
• Способна вести последовательный диалог на протяжении нескольких минут

Продвинутая работа с языками

• GPT-4o может помочь вам в изучении более 50 иностранных языков
• Может работать в качестве синхронного переводчика в диалоге
• Понимает шутки на разных языках и определяет контекст беседы по интонации, например, иронию или сарказм

Доступность новой версии ChatGPT-4o

В июне 2024 года GPT-4o будет доступен всем пользователям предыдущей версии, включая и тех, кто не пользуется платной подпиской.

В бесплатной версии GPT-4o есть ограничение количества сообщений или разговоров, по достижении которого, пользователей автоматически возвращают в GPT-3.5. В платной версии лимиты менее строги.

Интеграция ChatGPT в роботов

Фото: Getty Images

СМИ сообщают, что компания OpenAI делает смелый шаг вперед. Разработчики возобновляют свою ранее приостановленную программу по робототехнике.

Сочетание передовых моделей ИИ, таких как ChatGPT-4o, с физическими возможностями роботов откроет безграничные горизонты. Представьте человекоподобного робота, способного не только выполнять сложные задачи, но и вести осмысленный диалог, понимать контекст и проявлять творческое мышление.