В свежем исследовании были проанализированы результаты GPT-4 на экзамене для адвокатов, о которых уже было много рассказов в СМИ.
Об этом сообщает издание «ПРОЦЕС».
В предыдущем году OpenAI заявила, что большая языковая модель GPT-4 справилась лучше, чем 90% участников барного экзамена, что вызвало значительный резонанс. Но новый анализ показал, что эти утверждения немного преувеличены.
Отчет, опубликованный в журнале Artificial Intelligence and Law, отмечает, что GPT-4 не попала в топ-10% результатов экзамена. Она продемонстрировала более высокие показатели только по сравнению с участниками, пересдающими экзамен, чьи успехи обычно были менее впечатляющими.
Кроме того, GPT-4 существенно уступила в разделе, где требовалось написание эссе, войдя только в 15-й процентил среди первоначальных участников. Это особенно важно, учитывая, что эссе наиболее приближены к реальным задачам, с которыми сталкиваются практикующие юристы.
