ChatGPT затруднился ответить на большинство вопросов о программировании
ChatGPT затруднился ответить на большинство вопросов о программировании
Исследователи из Университета Пердью в США решили проверить, насколько хорошо один из самых популярных генеративных ИИ – ChatGPT – может отвечать на вопросы о программировании.
Исследователи задали ChatGPT 517 вопросов из Stack Overflow — популярного ресурса вопросов и ответов для профессиональных программистов и энтузиастов. Они также пригласили 12 человек, имеющих опыт программирования, оценить ответы ИИ по критериям правильности, последовательности, исчерпанности и лаконичности.
Результаты были разочаровывающими. ChatGPT дал всего 48% правильных ответов. При этом стиль и качество определений часто убеждали специалистов в правильности, хотя это было не так.
"Мы заметили, что только тогда, когда ошибка ответа ChatGPT очевидна, пользователь может ее идентифицировать", - утверждают исследователи.
Даже если ответ ChatGPT был явно неправильным, двое из 12 участников все равно предпочитали его из-за приятного, уверенного и положительного тона ИИ.
Украинцы победили в шоу Нидерланды имеют талант: видео выступления
Опубликованы расшифровки пленок в деле о коррупционной схеме в энергетике: 5 человек уже задержаны
Жительница Одесской области зарезала собственного мужа (видео)
Сумки с пачками долларов и евро: в НАБУ и САП показали, что нашли у фигурантов схемы в энергетике (фото)
Николаев накрыл плотный туман (фото, видео)
Супертайфун на Филиппинах: эвакуирован почти миллион человек (видео)
Николаевский пенсионер в Германии присоединился к акции протеста против призыва немцев на воинскую службу
На концерте Артема Пивоварова в Киеве пропал свет: гимн Украины пели уже при аварийном освещении 
«Двое на качелях»: в Николаевском театре рассказали о предстоящей премьере (фото)