ChatGPT и другие популярные модели ИИ не справились с украинским ЗНО: сколько баллов набрали нейросети

Getty Images

 Украинские ученые разработали ZNOVision – первый многоформатный тест для искусственного интеллекта, проверяющий знания по 13 предметам ВНО на украинском языке.

Подпишитесь на канал Gloss.ua в Telegram.

Результаты показали: даже самые мощные модели, такие как GPT4o или Claude 3.5, не сдали бы украинский ВНО.

ZNOVision состоит из более чем 4300 заданий, разделенных на 13 категорий: от физики и математики до истории и литературы. Более половины из них содержат визуальный компонент — схемы, диаграммы, карты, рисунки. Часть вопросов требует логического вывода, другая — точной интерпретации инструкций на украинском языке.

К тестированию привлекли шесть основных моделей: GPT4o, Claude 3.5 Sonnet, Gemini 1.5 Pro, Qwen2VL72B, Paligemma3B, а также дообученную версию PaligemmaFT. 

Ни одна из моделей не набрала 70% правильных ответов. Лучший результат — 67,5% — у Gemini Pro. Claude 3.5 — 64,3%, Qwen2VL — 51,2%, GPT4o — 47 %. Для сравнения, случайный выбор дал бы ≈ 22%.

Ошибки чаще всего случались в сложных визуально-текстовых задачах: модели не распознавали украинские слова на изображениях, путали единицы измерения, игнорировали часть формулировки. В наборе VQAUA (визуальные вопросы) модели дали: Claude — 26,7%, GPT4o — 29%, Qwen2VL — 34,4%. Это значительно ниже англоязычных результатов (> 60%) и свидетельствует об отсутствии поддержки украинского языка на уровне мультимодальных представлений.

Читай также