Искусственный интеллект YandexGPT 2 успешно прошёл ЕГЭ, набрав нужное количество баллов для вступления в вуз. Как сообщили источники из Яндекса, это первый пример в России, когда AI успешно справился с единым госэкзаменом, выполненным полностью, включая творческую часть. Специалисты считают, что присутствие искусственного интеллекта в учебном процессе станет неотъемлемой частью и потребует адаптации методик оценки и проведения экзаменов.
Основной фактор, который привёл к быстрому развитию этой области, - это внедрение архитектуры трансформера, элементы которой включают модули внимания. Модель GPT (Generative Pre-trained Transformer) основана на данной архитектуре. Постоянное обучение нейросети благодаря взаимодействию с пользователями позволяет демонстрировать выдающиеся результаты в различных задачах, таких как ЕГЭ, отмечают исследователи.
С начала 2023 года появились новости о том, что AI начали использовать в подготовке и прохождении экзаменов. Так, например, искусственный интеллект ChatGPT успешно прошёл экзамены по праву в Университете Миннесоты и экзамен по управлению бизнесом в Уортонской бизнес-школе Пенсильванского университета.
Впоследствии искусственные интеллекты Chat GPT и Sage прошли экзаменацию по истории в Уральском федеральном университете, демонстрируя средний результат. Возникли слухи, что некоторые студенты, действуя индивидуально, использовали чат-боты для прохождения экзаменов "на практике". Одновременно с этим появилась информация о возможности обучения чат-ботов оценке ЕГЭ и других экзаменов, что уменьшает влияние человеческого фактора.
Нейросеть YandexGPT 2 демонстрировала уровень знаний по литературе, соответствующий требованиям для поступления в вузы. Это стало первым опытом в России, когда искусственный интеллект успешно прошел все этапы ЕГЭ, включая творческий.
Успешное выполнение ЕГЭ по литературе для машины является непростой задачей, так как экзамен охватывает многогранное содержание: знания в области литературы, способность к анализу и креативное мышление. YandexGPT 2 успешно справилась с обеими частями экзамена. В первой части AI анализировал текст и давал ответы по нему, а во второй создавал эссе на указанную тему.
В итоге, нейросеть показала результат, близкий к среднему показателю среди российских учеников, сдававших экзамен по литературе в 2022 году – 63 балла. Ее результат превысил минимальный порог для вступления в ВУЗ – 40 баллов, с финальной оценкой в 55 баллов.
Алексей Гусаков, техдиректор Поиска в Яндексе сообщил, что во всем мире для оценки знаний языковых моделей часто используется тест MMLU, включающий в себя разнообразные вопросы из 57 дисциплин. Хотя данный тест позволяет сравнить разные нейросети между собой, он не дает возможности оценить их способности реагировать на открытые или креативные задачи. Именно из-за этого Яндекс решил проверить возможности YandexGPT 2 на ЕГЭ по литературе, так как этот экзамен включает в себя задачи, связанные с анализом текста, языком и пониманием культурного контекста.
Важным аспектом в подготовке датасета был учет того, чтобы обучающие данные для YandexGPT не содержали готовых решений экзаменационных заданий. Чтобы обеспечить это, команда разработчиков обратилась к Московскому центру непрерывного математического образования за официальными вариантами ЕГЭ по литературе за 2021-2023 гг. и провела их детальный анализ.
В Яндексе говорят, что нейросеть обрабатывала вопросы так, будто ее решения были бы аналогичными решениям студента: формировала ответы на открытые вопросы и выбирала подходящие варианты из предоставленного списка. После этого, решения модели были перенесены в экзаменационные бланки и направлены на проверку экспертам ЕГЭ в области литературы
Сдача ЕГЭ для YandexGPT 2 можно считать выпускным испытанием для данной технологии, утверждает Алина Кочетова, промпт-инженер "Михайлов и Партнёры" и создатель Telegram-канала "Это не я, это нейросеть!"
Кочетова отмечает, что экзаменационные задания гораздо сложнее обычных запросов, так как они предназначены для оценки глубины знаний ученика. Таким образом, высокий результат показывает эффективность модели Яндекса в понимании и правильном реагировании на вопросы. Регулярное тестирование ИИ помогает понять текущие возможности технологии и стимулирует разработчиков улучшать свои решения.
С учетом этой ситуации актуализируется дискуссия о влиянии технологических достижений на систему образования и возможности коррекции методик оценки учебных достижений.
Евгений Соколов, руководитель кафедры анализа данных и поиска информации на факультете информатики НИУ ВШЭ сообщает, что, хоть ничего кардинально нового и не произошло, возможно, потребуется доработать некоторые экзаменационные методики.
Соколов говорит, что во время учёбы на математических и технических специальностях в университете студенты обязательно сталкиваются с курсом линейной алгебры. На семинарах студенты часто решают задачи об обратных матрицах. Вполне полезно попробовать решить это задание без помощи компьютера, однако в повседневной жизни люди редко делают это вручную. Лично он просто использует специализированное программное обеспечение на компьютере, которое делает всю работу за него, и это не мешает его развитию.
Соколов подчеркивает, что наряду с трудностями, перед образовательным процессом стоят и новые возможности. Он отмечает, что сегодня мы видим внедрение новых инструментов, которые требуют освоения и адаптации образовательной системы. Но это, без сомнения, будет только на благо. Возможно, теперь студентам будет легче писать эссе, но это также может стать поводом для пересмотра этой задачи. Главное в эссе - чтобы ученик поделился своими мыслями, откликнулся на актуальную проблему. Возможно, мы ушли от этого, фокусируясь на строгих правилах и стандартных мнениях о литературных произведениях. Технологии, такие как генеративные нейросети, могут помочь вернуться к истокам эссе.
Игорь Реморенко, ректор МГПУ, полагает, что прогресс в области нейросетей требует обновления учебных материалов, делая их более интерактивными.
Он отмечает, что современные языковые модели становятся все лучше, не только в подготовке к экзаменам, но и в предоставлении рекомендаций или имитации человеческого поведения. Это не удивительно, что они также могут успешно сдавать экзамены. Однако это не означает, что их применение в обучении должно быть ограничено, если речь не идет о непосредственной сдаче экзаменов. Нам нужно пересмотреть подход к созданию экзаменационных материалов для ЕГЭ, делая их более интерактивными.
Евгений Абакумов, руководитель центра ИТ и ИИ университета "Сириус", считает, что сегодня AI все чаще применяется в творческих задачах, но результаты часто напоминают черновик. Он утверждает, что интеграция ИИ в образование неизбежна, и важно использовать его возможности для оптимизации процесса. Абакумов предлагает два направления для применения технологии в образовании: использование ИИ при проверке работ учащихся и возможность добавления устной части в экзаменационный процесс.
Тем временем, в Рособрнадзоре, учреждении, контролирующем ЕГЭ, не видят угрозы в использовании нейросетей для подготовки к экзаменам. Там заявляют, что разработчики могут тренировать AI на любых заданиях, включая вопросы ЕГЭ. Однако, сам экзамен не предназначен для оценки способностей нейросетей. Учащимся запрещено пользоваться техническими средствами на экзамене, поэтому ИИ не сможет помочь на реальном тестировании.