ChatGPT затруднился ответить на большинство вопросов о программировании
ChatGPT затруднился ответить на большинство вопросов о программировании
Исследователи из Университета Пердью в США решили проверить, насколько хорошо один из самых популярных генеративных ИИ – ChatGPT – может отвечать на вопросы о программировании.
Исследователи задали ChatGPT 517 вопросов из Stack Overflow — популярного ресурса вопросов и ответов для профессиональных программистов и энтузиастов. Они также пригласили 12 человек, имеющих опыт программирования, оценить ответы ИИ по критериям правильности, последовательности, исчерпанности и лаконичности.
Результаты были разочаровывающими. ChatGPT дал всего 48% правильных ответов. При этом стиль и качество определений часто убеждали специалистов в правильности, хотя это было не так.
"Мы заметили, что только тогда, когда ошибка ответа ChatGPT очевидна, пользователь может ее идентифицировать", - утверждают исследователи.
Даже если ответ ChatGPT был явно неправильным, двое из 12 участников все равно предпочитали его из-за приятного, уверенного и положительного тона ИИ.
Появились фото и видео с места ночной атаки по Николаеву
Эксперты предупредили: ослабление санкций против России может привести к эскалации войны
Разрушенные дома, разбитые солнечные панели: новые фото и видео с места сегодняшнего удара по Николаеву
Огонь и густой дым: в Николаеве горит отделение банка в жилой многоэтажке (фото, видео)
Во Франции обрушилась 43-метровая колокольня - здание подожгли протестующие (видео)
Жизнь в поэтических строках: вечер стихотворений Алены Мовчан в николаевском театре (фото, видео)
В Николаеве берег реки превратился в настоящее болото - такого не помнят даже бывалые рыбаки
На въезде в Николаев масштабный пожар: над городом огромный столб черного дыма (видео)
В Николаеве Южный Буг окрасился в изумрудно-зеленый цвет: это может быть опасно