ChatGPT затруднился ответить на большинство вопросов о программировании
ChatGPT затруднился ответить на большинство вопросов о программировании
Исследователи из Университета Пердью в США решили проверить, насколько хорошо один из самых популярных генеративных ИИ – ChatGPT – может отвечать на вопросы о программировании.
Исследователи задали ChatGPT 517 вопросов из Stack Overflow — популярного ресурса вопросов и ответов для профессиональных программистов и энтузиастов. Они также пригласили 12 человек, имеющих опыт программирования, оценить ответы ИИ по критериям правильности, последовательности, исчерпанности и лаконичности.
Результаты были разочаровывающими. ChatGPT дал всего 48% правильных ответов. При этом стиль и качество определений часто убеждали специалистов в правильности, хотя это было не так.
"Мы заметили, что только тогда, когда ошибка ответа ChatGPT очевидна, пользователь может ее идентифицировать", - утверждают исследователи.
Даже если ответ ChatGPT был явно неправильным, двое из 12 участников все равно предпочитали его из-за приятного, уверенного и положительного тона ИИ.
Toyota столкнулась с трамваем в центре Николаева: движение заблокировано
Два тела вытащили из реки Ингул под Николаевом (видео)
Забил молотком двух односельчан и травмировал своего отца: в Закарпатской области задержали мужчину (видео)
Взрыв и масштабный пожар в Николаеве: появились подробности (видео)
Водитель электроскутера, который насмерть сбил женщину в Николаеве, получил 3 года тюрьмы
В центре Николаева заросли чертополоха цветут пышным цветом: «Николаевские парки» бездействуют
В Одессе российский дрон влетел в квартиру на 11-м этаже (видео)
В Одесской области водитель BMW, находившийся в розыске, сбил пограничника во время попытки побега (видео)
В Одесской области мужчину придавило бетонной плитой в заброшенном здании (видео)