ChatGPT затруднился ответить на большинство вопросов о программировании
ChatGPT затруднился ответить на большинство вопросов о программировании
Исследователи из Университета Пердью в США решили проверить, насколько хорошо один из самых популярных генеративных ИИ – ChatGPT – может отвечать на вопросы о программировании.
Исследователи задали ChatGPT 517 вопросов из Stack Overflow — популярного ресурса вопросов и ответов для профессиональных программистов и энтузиастов. Они также пригласили 12 человек, имеющих опыт программирования, оценить ответы ИИ по критериям правильности, последовательности, исчерпанности и лаконичности.
Результаты были разочаровывающими. ChatGPT дал всего 48% правильных ответов. При этом стиль и качество определений часто убеждали специалистов в правильности, хотя это было не так.
"Мы заметили, что только тогда, когда ошибка ответа ChatGPT очевидна, пользователь может ее идентифицировать", - утверждают исследователи.
Даже если ответ ChatGPT был явно неправильным, двое из 12 участников все равно предпочитали его из-за приятного, уверенного и положительного тона ИИ.
Праздник любви и дома: в Николаеве поблагодарили семьи, подарившие детям шанс на счастье (фото, видео)
Могилы в метр глубиной: захоронения на старые гробы и кости вызвали волну возмущения в Николаеве (видео)
Musica animae et vitae: Дмитрий Смирнов выступил с концертом (фото, видео)
В Таиланде "мертвая" женщина начала стучать по гробу перед кремацией (видео)
Атака дронов на Харьков: четверо погибших и 13 раненых, в городе — разрушения и пожары (видео)
Остновили авто за нарушения: николаевский полицейский необычно сделал предложение своей девушке (видео)
Мастер-класс по обрезке деревьев провели коммунальщикам в Николаеве
Президента Сербии Вучича обвиняют в «сафари на людей» (видео)
Мисс Ямайка упала со сцены во время конкурса «Мисс Вселенная» в Таиланде (видео)