ChatGPT затруднился ответить на большинство вопросов о программировании
ChatGPT затруднился ответить на большинство вопросов о программировании
Исследователи из Университета Пердью в США решили проверить, насколько хорошо один из самых популярных генеративных ИИ – ChatGPT – может отвечать на вопросы о программировании.
Исследователи задали ChatGPT 517 вопросов из Stack Overflow — популярного ресурса вопросов и ответов для профессиональных программистов и энтузиастов. Они также пригласили 12 человек, имеющих опыт программирования, оценить ответы ИИ по критериям правильности, последовательности, исчерпанности и лаконичности.
Результаты были разочаровывающими. ChatGPT дал всего 48% правильных ответов. При этом стиль и качество определений часто убеждали специалистов в правильности, хотя это было не так.
"Мы заметили, что только тогда, когда ошибка ответа ChatGPT очевидна, пользователь может ее идентифицировать", - утверждают исследователи.
Даже если ответ ChatGPT был явно неправильным, двое из 12 участников все равно предпочитали его из-за приятного, уверенного и положительного тона ИИ.
В пригороде Харькова обстреляли терминал «Новой почты»: 4 погибших (видео)
Военный взял в заложники свою мать в Днепре 
В Николаеве выявили подпольные цеха по производству контрафактного алкоголя (фото, видео)
«Ауди» сбил женщину в центре Николаева: пострадавшая в тяжелом состоянии (фото, видео)
Николаев засыпает снегом — температура воздуха опустилась до -8
В Николаеве пошел снег (видео)
Мэр Первомайска, получивший подозрение от ГБР, до сих пор на должности и ездит за границу
«Осовремененный» Гоголь: «Вечера на хуторе близ Диканьки» на Николаевской сцене (фото)
В Николаеве родители пытались продать новорождённого ребенка за $10 тысяч (фото, видео)