ChatGPT затруднился ответить на большинство вопросов о программировании

ChatGPT затруднился ответить на большинство вопросов о программировании
Исследователи из Университета Пердью в США решили проверить, насколько хорошо один из самых популярных генеративных ИИ – ChatGPT – может отвечать на вопросы о программировании.
Исследователи задали ChatGPT 517 вопросов из Stack Overflow — популярного ресурса вопросов и ответов для профессиональных программистов и энтузиастов. Они также пригласили 12 человек, имеющих опыт программирования, оценить ответы ИИ по критериям правильности, последовательности, исчерпанности и лаконичности.
Результаты были разочаровывающими. ChatGPT дал всего 48% правильных ответов. При этом стиль и качество определений часто убеждали специалистов в правильности, хотя это было не так.
"Мы заметили, что только тогда, когда ошибка ответа ChatGPT очевидна, пользователь может ее идентифицировать", - утверждают исследователи.
Даже если ответ ChatGPT был явно неправильным, двое из 12 участников все равно предпочитали его из-за приятного, уверенного и положительного тона ИИ.
Николаевский коллектив Tour De Force завоевал «Гран при» на Всеукраинском танцевальном фестивале в Кропивницком
«Не покупайте бонусных билетов»: в Николаеве состоялась читка фантасмагорической пьесы (фото, видео)
Николаевский морпех потерял обе руки на фронте, но научился управлять дроном и покорять горы
Город в Северной Македонии терроризируют более тысячи коров: видео
В Николаеве неожиданно выпал град
В Николаеве у «Тойоты» заклинило руль - заблокировано движение трамваев
Гармония звуков в бессмертных опусах: Дмитрий Смирнов выступил с новой концертной программой (фото, видео)
Підтримка ветеранів та довкілля області: про деталі роботи в ефірі «Діалогу» розповів Ігор Щербина
В центре Николаева столкнулись три автомобиля - виновник плачет













