ChatGPT затруднился ответить на большинство вопросов о программировании
ChatGPT затруднился ответить на большинство вопросов о программировании
Исследователи из Университета Пердью в США решили проверить, насколько хорошо один из самых популярных генеративных ИИ – ChatGPT – может отвечать на вопросы о программировании.
Исследователи задали ChatGPT 517 вопросов из Stack Overflow — популярного ресурса вопросов и ответов для профессиональных программистов и энтузиастов. Они также пригласили 12 человек, имеющих опыт программирования, оценить ответы ИИ по критериям правильности, последовательности, исчерпанности и лаконичности.
Результаты были разочаровывающими. ChatGPT дал всего 48% правильных ответов. При этом стиль и качество определений часто убеждали специалистов в правильности, хотя это было не так.
"Мы заметили, что только тогда, когда ошибка ответа ChatGPT очевидна, пользователь может ее идентифицировать", - утверждают исследователи.
Даже если ответ ChatGPT был явно неправильным, двое из 12 участников все равно предпочитали его из-за приятного, уверенного и положительного тона ИИ.
Обледеневшие центральные улицы Николаева начали посыпать реагентами (видео)
В Николаевской и 19 областях проходит спецоперация по поиску уклонистов: 128 обысков, 110 подозреваемых
В комнатах +5: в Николаеве общежитию без отопления отключили свет - люди вышли протестовать
Николаев в плену у гололеда – городские власти демонстрируют полную беспомощность (фоторепортаж)
«З Україною в серці»: для николаевцев выступили ведущие артисты одесского театра (фото, видео)
Трое россиян сдались в плен украинскому роботизированному комплексу (видео)
Как выглядит рынок в Германии: сравнение цен в Баден-Бадене и Николаеве (видео)
Два человека погибли в результате столкновения «Лады» и Mitsubishi под Николаевом (видео)
Началась очередная сессия Николаевского горсовета (трансляция)