ChatGPT не зміг відповісти на більшість питань про програмування
ChatGPT не зміг відповісти на більшість питань про програмування
Дослідники з Університету Пердью у США вирішили перевірити, наскільки добре один із найпопулярніших генеративних ІІ – ChatGPT – може відповідати на питання про програмування.
Дослідники задали ChatGPT 517 питань із Stack Overflow – популярного ресурсу питань та відповідей для професійних програмістів та ентузіастів. Вони також запросили 12 осіб, які мають досвід програмування, оцінити відповіді ІІ за критеріями правильності, послідовності, вичерпаності та лаконічності.
Результати були такими, що розчаровують. ChatGPT дав лише 48% правильних відповідей. При цьому стиль та якість визначень часто переконували фахівців у правильності, хоча це було не так.
"Ми помітили, що тільки тоді, коли помилка відповіді ChatGPT є очевидною, користувач може її ідентифікувати", - стверджують дослідники.
Навіть якщо відповідь ChatGPT була явно неправильною, двоє з 12 учасників все одно воліли її через приємний, впевнений і позитивний тон ІІ.
Янукович живе в Сочі під чужим ім'ям: нові деталі про розкішне життя родини екс-президента-втікача (відео)
Зеленський відповів, чи вживав він з Макроном кокаїн
Поліція Миколаєва продовжує шукати матір немовляти, знайденого у сміттєвому контейнері: оголошено винагороду
Миколаїв накрив сильний дощ (фото, відео)
Ойстервіль: відпочинок на всі смаки - блакитна лагуна, сонце та устриці
Висока гармонія звуків: Дмитро Смирнов виступив для справжніх поціновувачів музики.
Фінал чемпіонату світу з футболу: грають Іспанія та Аргентина
Незважаючи на загрозу нових ударів, поліцейські рятували людей після атаки FPV-дрону на Дніпропетровщині (відео)
У Миколаєві та інших містах України продовжуються протести проти звільнення Федорова