ChatGPT затруднился ответить на большинство вопросов о программировании
ChatGPT затруднился ответить на большинство вопросов о программировании
Исследователи из Университета Пердью в США решили проверить, насколько хорошо один из самых популярных генеративных ИИ – ChatGPT – может отвечать на вопросы о программировании.
Исследователи задали ChatGPT 517 вопросов из Stack Overflow — популярного ресурса вопросов и ответов для профессиональных программистов и энтузиастов. Они также пригласили 12 человек, имеющих опыт программирования, оценить ответы ИИ по критериям правильности, последовательности, исчерпанности и лаконичности.
Результаты были разочаровывающими. ChatGPT дал всего 48% правильных ответов. При этом стиль и качество определений часто убеждали специалистов в правильности, хотя это было не так.
"Мы заметили, что только тогда, когда ошибка ответа ChatGPT очевидна, пользователь может ее идентифицировать", - утверждают исследователи.
Даже если ответ ChatGPT был явно неправильным, двое из 12 участников все равно предпочитали его из-за приятного, уверенного и положительного тона ИИ.
Украинская разведка заявила об уничтожении МиГ-29 на аэродроме «Бельбек» в Крыму (видео)
Погибшие в страшном ДТП сотрудники «Николаевэлектротранса» ехали на отдых на Тилигульский лиман
В День Национальной полиции в Николаеве почтили память правоохранителей, погибших при исполнении служебного долга
Тела людей разбросаны по дороге: полиция опубликовала видео с места страшного ДТП под Николаевом
В Николаеве 20-летний парень задушил девушку: тело спрятал в камышах
Пьяный чилиец расстрелял колумбийцев в Николаеве: подробности двойного убийства в автомобиле (видео)
Яхту Путина Graceful заметили в Балтийском море под охраной военных кораблей (видео)
Началась сессия Николаевского городского совета (трансляция)
Воинствующий пацифизм и гуманизм Ремарка: «Ночь в Лиссабоне» на николаевской сцене (фото, видео)