ChatGPT не зміг відповісти на більшість питань про програмування
ChatGPT не зміг відповісти на більшість питань про програмування
Дослідники з Університету Пердью у США вирішили перевірити, наскільки добре один із найпопулярніших генеративних ІІ – ChatGPT – може відповідати на питання про програмування.
Дослідники задали ChatGPT 517 питань із Stack Overflow – популярного ресурсу питань та відповідей для професійних програмістів та ентузіастів. Вони також запросили 12 осіб, які мають досвід програмування, оцінити відповіді ІІ за критеріями правильності, послідовності, вичерпаності та лаконічності.
Результати були такими, що розчаровують. ChatGPT дав лише 48% правильних відповідей. При цьому стиль та якість визначень часто переконували фахівців у правильності, хоча це було не так.
"Ми помітили, що тільки тоді, коли помилка відповіді ChatGPT є очевидною, користувач може її ідентифікувати", - стверджують дослідники.
Навіть якщо відповідь ChatGPT була явно неправильною, двоє з 12 учасників все одно воліли її через приємний, впевнений і позитивний тон ІІ.
На монументі «Батьківщина-мати» у Києві запустили арт-інсталяцію (відео)
НАБУ опублікувало запис учасників корупційної справи: на відео звучить фраза про «чотири мішки»
У Києві жінка викинула собаку з балкона четвертого поверху (відео)
У Миколаєві «Фольксваген» виїхав на зустрічну і врізався в «Кіа»: двоє постраждалих, величезний затор
З'явилося відео моменту ДТП за участю Kia та Volkswagen: водій у лікарні
У Миколаєві знову горить зелена зона «Дубки» (фото, відео)
Польща провела найбільший у своїй історії військовий парад (фото, відео)
Екс-депутат показав, як у Миколаєві «бусифікували» чоловіка (відео)
Начальника Миколаївського обласного ТЦК відправили до СІЗО: може вийти під заставу в 4,6 млн грн (відео)