ChatGPT затруднился ответить на большинство вопросов о программировании
ChatGPT затруднился ответить на большинство вопросов о программировании
Исследователи из Университета Пердью в США решили проверить, насколько хорошо один из самых популярных генеративных ИИ – ChatGPT – может отвечать на вопросы о программировании.
Исследователи задали ChatGPT 517 вопросов из Stack Overflow — популярного ресурса вопросов и ответов для профессиональных программистов и энтузиастов. Они также пригласили 12 человек, имеющих опыт программирования, оценить ответы ИИ по критериям правильности, последовательности, исчерпанности и лаконичности.
Результаты были разочаровывающими. ChatGPT дал всего 48% правильных ответов. При этом стиль и качество определений часто убеждали специалистов в правильности, хотя это было не так.
"Мы заметили, что только тогда, когда ошибка ответа ChatGPT очевидна, пользователь может ее идентифицировать", - утверждают исследователи.
Даже если ответ ChatGPT был явно неправильным, двое из 12 участников все равно предпочитали его из-за приятного, уверенного и положительного тона ИИ.
На монументе «Родина-мать» в Киеве запустили арт-инсталляцию (видео)
НАБУ опубликовало запись участников коррупционного дела: на видео звучит фраза о «четырех мешках»
В Николаеве «Фольксваген» выехал на встречку и врезался в «Киа»: двое пострадавших, огромная пробка
Появилось видео момента ДТП с участием Kia и Volkswagen: водитель в больнице
В Николаеве снова горит зеленая зона «Дубки» (фото, видео)
Польша провела крупнейший в своей истории военный парад (фото, видео)
Экс-депутат показал, как в Николаеве «бусифицировали» мужчину (видео)
Начальника Николаевского областного ТЦК отправили в СИЗО: может выйти под залог в 4,6 млн грн (видео)
Драматическое искусство в настоящем и грядущем: Николаевцам представили книгу о полифункциональности театра (фото, видео)