В середине мая компания OpenAI представила новую версию самой популярной и продвинутой нейросети в мире. Продукт получил название ChatGPT-4o, сохранив порядковый номер своего предшественника.
Подпишитесь на канал Gloss.ua в Telegram.
GPT-4o, где «o» означает «omni» (всесторонний), является кульминацией усилий OpenAI по созданию более интуитивно понятного и многофункционального ИИ. Во время ежегодного мероприятия OpenAI Spring Update технический директор Мира Мурати (Mira Murati) сообщила, что новая модель способна работать одновременно с аудио, изображениями и текстом.
«Мы смотрим на будущее взаимодействия между нами и машинами, — говорит Мурати. — И мы считаем, что GPT-4o действительно меняет эту парадигму».
Самое главное обновление – это разговорные возможности ChatGPT-4o. Новый голосовой ассистент способен воспроизводить разговорную речь в режиме реального времени и реагировать на голосовые команды всего за 320 миллисекунд, что сравнимо с реакцией обычного человека. GPT-4o умеет определять эмоции по выражению лица или по голосу собеседника. При этом ассистент имеет разные интонации, может смеяться, шептать, петь, а также флиртовать, шутить и распознавать сарказм.
Happy birthday with GPT-4o pic.twitter.com/OuEkfQsap9
— OpenAI (@OpenAI) May 13, 2024
Чат-бот способен вживую общаться с пользователем с помощью видео, используя камеру смартфона. ИИ может отвечать на ваши запросы в реальном времени, наблюдать и анализировать мир вокруг вас. Например, незрячий человек может снимать видео, а GPT-4o в реальном времени расскажет, что видит.
Кроме того, новый мультиязычный ассистент способен переводить речь на лету, что станет настоящей находкой для путешественников.
Это обновление открывает новые горизонты для использования ИИ в самых разных областях, включая образование и развлечения, что, без сомнения, укрепит позиции OpenAI в качестве из одного из лидеров в области искусственного интеллекта.
ChatGPT-4o получил целый ряд новых интересных функций
Работа с изображениями
- Распознавание и детальное описание содержимого изображений
- Перевод текста, присутствующего на изображениях
- Ответы на вопросы, связанные с визуальным контентом
- Генерация изображений по текстовому описанию
Работа с видео
- Понимание происходящего на видео без звука по визуальному ряду
- Распознавание отдельных предметов на видео
- Умение генерировать видео, включая трехмерные, по текстовому описанию
- Способность комментировать то, что снимает камера, в реальном времени (актуально для незрячих)
- Сжимание видео и пересказ
Dog meets GPT-4o pic.twitter.com/5C0hlYq5ws
— OpenAI (@OpenAI) May 13, 2024
Работа с аудио
- Распознавание и транскрибирование речи в реальном времени (задержка около 0,3 сек)
- Генерация речи с разными эмоциональными оттенками и интонациями
- Определение эмоций по голосу человека
Совмещение модальностей
- Одновременная работа с текстом, изображением, аудио в рамках одного запроса
- Например, можно задать вопрос по картинке, а ответ получить в виде аудиосообщения
Контекстное понимание
- Модель учитывает предыдущий контекст беседы при обработке новых данных
- Способна вести последовательный диалог на протяжении нескольких минут
Продвинутая работа с языками
- GPT-4o может помочь вам в изучении более 50 иностранных языков
- Может работать в качестве синхронного переводчика в диалоге
- Понимает шутки на разных языках и определяет контекст беседы по интонации, например, иронию или сарказм
Доступность новой версии ChatGPT-4o
В июне 2024 года GPT-4o будет доступен всем пользователям предыдущей версии, включая и тех, кто не пользуется платной подпиской.
В бесплатной версии GPT-4o есть ограничение количества сообщений или разговоров, по достижении которого, пользователей автоматически возвращают в GPT-3.5. В платной версии лимиты менее строги.
Интеграция ChatGPT в роботов
СМИ сообщают, что компания OpenAI делает смелый шаг вперед. Разработчики возобновляют свою ранее приостановленную программу по робототехнике.
Сочетание передовых моделей ИИ, таких как ChatGPT-4o, с физическими возможностями роботов откроет безграничные горизонты. Представьте человекоподобного робота, способного не только выполнять сложные задачи, но и вести осмысленный диалог, понимать контекст и проявлять творческое мышление.
Теги: технологии , искусственный интеллект , OpenAI , ChatGPT , голосовой помощник , роботы , нейросеть
