ChatGPT затруднился ответить на большинство вопросов о программировании
ChatGPT затруднился ответить на большинство вопросов о программировании
Исследователи из Университета Пердью в США решили проверить, насколько хорошо один из самых популярных генеративных ИИ – ChatGPT – может отвечать на вопросы о программировании.
Исследователи задали ChatGPT 517 вопросов из Stack Overflow — популярного ресурса вопросов и ответов для профессиональных программистов и энтузиастов. Они также пригласили 12 человек, имеющих опыт программирования, оценить ответы ИИ по критериям правильности, последовательности, исчерпанности и лаконичности.
Результаты были разочаровывающими. ChatGPT дал всего 48% правильных ответов. При этом стиль и качество определений часто убеждали специалистов в правильности, хотя это было не так.
"Мы заметили, что только тогда, когда ошибка ответа ChatGPT очевидна, пользователь может ее идентифицировать", - утверждают исследователи.
Даже если ответ ChatGPT был явно неправильным, двое из 12 участников все равно предпочитали его из-за приятного, уверенного и положительного тона ИИ.
В Минобороны разоблачили хищения на 733 миллиона
В Николаеве после ремонта открыли еще несколько перекрестков (видео)
Женщины «отбили» мужчину у военкомов: в ТЦК прокомментировали (видео)
На Николаевщине главу сельсовета поймали на вымогании денег: после суда он снова на должности
Мотоциклист врезался в грузовик «Новой почты» в Николаеве: движение по проспекту Центральному перекрыто (видео)
Под Николаевом нашли кассетный боеприпас: его подорвали прямо на месте (видео)
ВСУ при помощи авиации уничтожила подземный командный пункт РФ под Херсоном (видео)
Музыка для чувств и размышлений: Дмитрий Смирнов сыграл яркий концерт (фото, видео)
«Треба не всякой х*йньой заніматься»: Лесь Подервянский подарил николаевцам заряд оптимизма (фото, видео)