Спойлер: сложно. Но ученые отмечают, что с простыми вопросами он справляется не хуже школьников.

Стипендиаты юридического факультета Университета Миннесоты Приняли решение Проверьте, может ли чат-бот ChatGPT сдавать экзамены наравне со студентами. Задачи было две: понять, на что способен хваленый ИИ, и подумать, как его навыки могут облегчить жизнь ученикам и учителям.

Были выбраны четыре дисциплины: конституционное право, гражданско-правовые правонарушения, налогообложение и трудовые гарантии и компенсации. Первые два требуют знаний первого года обучения, остальные являются факультативными предметами для продвинутых студентов.

Экзамены включали как выбор правильного ответа на закрытые вопросы, так и краткие и развернутые эссе на заданные темы. В двух были ограничения на длину ответа, а в тесте по конституционному праву студенты также были обязаны ссылаться на источники.

В общей сложности чат-бот ответил более чем на 95 вопросов с несколькими вариантами ответов и решил 12 логических задач. После этого один из профессоров выразил ответы так, как будто они принадлежали человеку, и смешал их с уже обезличенными результатами реальных студентов. Вот как с этим справился ChatGPT:

• Конституционное право – «Хорошо», 36 место из 40 представленных.
• Гарантии занятости и компенсации – «Хорошо с минусом», 18 из 19.
• Налогообложение – «Удовлетворительно с минусом», 66 из 67.
• Гражданско-правовая ответственность – «Удовлетворительно с минусом», 75 из 75.

Удовлетворенная, она “грамм” – Это не самая плохая оценка в США. Это. Образовательная система: Еще две отметки. Так что бот получил проходные баллы и теоретически мог даже закончить обучение. Однако авторы этого исследования Уведомление: Он был в худших чинах, и его, вероятно, посадили бы на академический стаж — чтобы убедиться, что он старается.

По словам ученых, вопросы с закрытым выбором были сложнее для ChatGPT, чем вопросы с открытым ответом. Бот правильно ответил на 21 из 25 таких вопросов на ЕГЭ по конституционному праву, а в случае с гражданско-правовой ответственностью не ошибся в шести из десяти вопросов.

При написании эссе производительность бота также была смешанной, говорят авторы. С одной стороны, в некоторых случаях он отвечал так же хорошо, а иногда и лучше, чем студенты: он лаконично объяснял родственные учения, не упомянутые в вопросах, и приводил факты и решения, основанные на прецедентах. Комиссия также отметила, что «речь» нейросети хорошо структурирована.

С другой стороны, если бот и ошибается, то «по-крупному», ошибаясь гораздо больше, чем студенты. И это касалось не только заданий, которые было трудно выполнить без присутствия на уроке. Например, в задании по Закону о пенсионном обеспечении сотрудников (ERISA) он четко объяснил чрезвычайно сложные положения и привел примеры, рассмотренные ранее в США. Это. Верховный суд.

Однако бот не понимал, на чем акцентировать внимание, поэтому много рассказывал об основаниях претензий (и одна из них была ошибочной), но толком ничего не писал о том, какие средства правовой защиты есть у сотрудников.

Кроме того, ChatGPT с трудом выявлял проблемы в заданных сценариях (в одном случае он назвал только один из пяти), а также делал поверхностные выводы при изучении гипотетических историй: называл соответствующую статью закона, но не мог сделать глубоких выводов. причина. -эффектные отношения.

Вместо того, чтобы игнорировать ChatGPT, нам нужно искать способы использовать его во благо и адаптировать к нему наши обычные процессы, считают в Миннесотском университете: например, сканировать тесты, требующие от студентов ответов только из одного слова.

И университетам, и школам непременно придется об этом задуматься, ведь работа исследователей из Миннесоты не первая в своем роде. Бывший профессор Уортонской школы бизнеса. Просить Нейронная сеть GPT-3 для сдачи выпускного экзамена на степень MBA. И, по его словам, она получит оценку «хорошо» или «хорошо с минусом».

В его случае бот также гладко отвечал на основные вопросы, связанные с управлением и анализом процессов, и подробно мотивировал свои ответы. И ошибался в простых математических расчетах – и испытывал трудности с делами, требующими более глубокого изучения.

Почти или только удовлетворительные результаты chatgpt Показано И когда вы сдаете медицинский экзамен на получение лицензии в Соединенных Штатах. Авторы исследования рассказали, что некоторые клиники уже экспериментируют с нейросетью — например, для отрисовки обращений и упрощения сложных отчетов.

Также бот забил Получите баллы, отвечая на вопросы экзамена на юридическую лицензию и Пытаться по экономике в Университете Джорджа Мейсона, США. После этого осталось научить его проходить собеседования — на Амазоне, например, он уже есть. Руководить Заполните техническую анкету для разработчиков.