Искусственный интеллект выпустился из университета

На юридическом факультете Университета Миннесоты в США провели эксперимент и дали задание чат-боту GPT сдать выпускные экзамены по четырем дисциплинам. Проходной балл система набрала, но результаты были не блестящими. Business FM провела собственный эксперимент, попросив чат-бот написать сочинение

Научные сотрудники юридического факультета Университета Миннесоты в США решили проверить, сможет ли чат-бот GPT сдать экзамены наравне со студентами. Это технология, основанная на нейросети GPT-3,5. Она считается самой сложной и объемной языковой моделью в мире. Ее создала компания OpenAI. Один из основателей организации — Илон Маск.

Искусственный интеллект набрал проходной балл, но показал далеко не блестящие результаты. Несмотря на это, в некоторых американских школах технологию уже начали запрещать из опасений, что учащиеся будут выполнять задания с ее помощью.

Что умеет нейросеть, как бы она написала российский ЕГЭ и стоит ли ее запрещать в школах?

Ученые из университета Миннесоты выбрали четыре дисциплины, по которым нейросеть сдала экзамен. Конституционное право, гражданско-правовые правонарушения, налогообложение и трудовые гарантии и компенсации. Для первых двух предметов нужны знания с первого года обучения. Остальные — это более продвинутые курсы по выбору. Всего чат-бот ответил примерно на 100 вопросов с вариантами ответов и решил 12 задач на рассуждение. Искусственный интеллект получил оценки «хорошо», «хорошо с минусом» и «удовлетворительно с минусом». Это далеко не худшая оценка в образовательной системе США, после нее идут еще две отметки. И, хотя почти во всех испытаниях чат-бот занял предпоследнее или последнее место среди студентов, в теории он мог бы выпуститься из университета, потому что набрал проходной балл.

Правда, как отметили авторы исследования, такому студенту, скорее всего, назначили бы академический испытательный срок, чтобы убедиться, что он старается. Business FM провела эксперимент и попросила нейросеть написать сочинение в рамках ЕГЭ по литературе. Тема звучала так: «Какие эпизоды романа Толстого «Война и мир», с Вашей точки зрения, представляют интерес для художника-иллюстратора и почему?» Для искусственного интеллекта запрос пришлось немного изменить. Сделать акцент на том, что нужно порассуждать и привести цитаты из текста. Работу оценила репетитор, преподаватель курсов по подготовке к ЕГЭ по литературе Светлана Фонова. Получилось восемь баллов из 18:

Светлана Фонова репетитор, преподаватель курсов по подготовке к ЕГЭ по литературе «Дело в том, что эти восемь из 18 — это баллы в основном за побочные критерии, то есть такие, как грамотность. Грамотность довольно чистая. Существенные критерии на минимуме. Цитаты, которые используются в тексте, — это не Толстой. Какие-то очень слащавые. Может быть, настолько неудачный двойной перевод туда и обратно. Сами тезисы, которые предшествуют цитатам, ни о чем. Батальные сцены: не названо ни одно конкретное сражение, непонятно, что из этого иллюстрировать — грохот, свист? Подбор цитат не соответствует мысли. При этом логика между абзацами совершенно нормальная. Создается парадоксальное ощущение, что это действительно писал какой-то пустоголовый человек. Оболочку соблюдает, а суть непонятно где».

Ученые из Университета Миннесоты тоже отметили, что чат-бот GPT оказался неспособным провести глубокие причинно-следственные связи. При этом по некоторым критериям написания эссе он справился местами даже лучше студентов. Например, емко пересказал подходящие юридические доктрины, которые не упоминались в вопросах, процитировал факты и решения по прецедентам. Причем речь была хорошо структурирована. Закрытые вопросы с вариантами ответов оказались для нейросети непростыми, но, несмотря на это, технология верно решила 21 из 25 таких заданий на экзамене по конституционному праву.

Некоторые американские школы на этом фоне уже начали бороться с тем, что учащиеся используют искусственный интеллект для написания работ. В частности, государственные школы Нью-Йорка недавно заблокировали доступ к ChatGPT на школьных компьютерах, нейросетью нельзя пользоваться и в случае, если ребенок подключен к школьной сети. Причина — сомнение по поводу безопасности и точности контента. Но смысла в запретах нет, такие технологии, напротив, нужно использовать с пользой для образования, уверен методист московской школы «Глория», учитель с 26-летним стажем Сергей Астахов:

Сергей Астахов методист московской школы «Глория», учитель «Запретами ничего не добьешься. Так же, как мы перестали запрещать сотовые телефоны, использование компьютеров, потому что это все учимся использовать во благо. Искусственный интеллект в Москве, допустим, уже используется: это цифровые домашние задания в московской электронной школе. Когда ученики дают ответы, искусственный интеллект проверяет и дает тебе тут же обратную связь. Беспокойство существует, что он пишет вступительные испытания, сочинения. Наверное, экзамен уже не должен быть чисто воспроизведением знаний, которые получил студент, а это должен быть какой-то экзамен креативный».

Впрочем, до совершенства тому же чат-боту GPT еще далеко. Иногда его ответы абсолютно бессмысленны. Простой пример. Если задать вопрос, почему умер Александр Пушкин, вы получите такой ответ: от туберкулеза, которым заразился в детстве. Также есть версии, что он умер от сильного алкогольного опьянения или от сердечного недуга.