ChatGPT и другие популярные модели ИИ не справились с украинским ЗНО: сколько баллов набрали нейросети
Украинские ученые разработали ZNOVision – первый многоформатный тест для искусственного интеллекта, проверяющий знания по 13 предметам ВНО на украинском языке.
Подпишитесь на канал Gloss.ua в Telegram.
Результаты показали: даже самые мощные модели, такие как GPT4o или Claude 3.5, не сдали бы украинский ВНО.
ZNOVision состоит из более чем 4300 заданий, разделенных на 13 категорий: от физики и математики до истории и литературы. Более половины из них содержат визуальный компонент — схемы, диаграммы, карты, рисунки. Часть вопросов требует логического вывода, другая — точной интерпретации инструкций на украинском языке.
К тестированию привлекли шесть основных моделей: GPT4o, Claude 3.5 Sonnet, Gemini 1.5 Pro, Qwen2VL72B, Paligemma3B, а также дообученную версию PaligemmaFT.
Ни одна из моделей не набрала 70% правильных ответов. Лучший результат — 67,5% — у Gemini Pro. Claude 3.5 — 64,3%, Qwen2VL — 51,2%, GPT4o — 47 %. Для сравнения, случайный выбор дал бы ≈ 22%.
Ошибки чаще всего случались в сложных визуально-текстовых задачах: модели не распознавали украинские слова на изображениях, путали единицы измерения, игнорировали часть формулировки. В наборе VQAUA (визуальные вопросы) модели дали: Claude — 26,7%, GPT4o — 29%, Qwen2VL — 34,4%. Это значительно ниже англоязычных результатов (> 60%) и свидетельствует об отсутствии поддержки украинского языка на уровне мультимодальных представлений.
Теги: искусственный интеллект , технологии , образование , ЗНО , новости Украины , новости мира
