Експеримент показав, що люди не здатні відрізнити створену штучним інтелектом поезію від творів Шекспіра та інших класиків англійської літератури. Точність визначення авторства віршів виявилася лише 46 відсотків, що навіть нижче за імовірність випадкового вгадування. Що цікаво, створені ШІ твори здавалися людям кращими за твори класиків. Таке дослідження опублікували в журналі Scientific Reports.
Дослідники провели два експерименти за участю понад 2300 осіб. Під час першого тесту учасникам потрібно було визначити авторів 10 віршів: п’ять із них були створені ChatGPT, а інші п’ять — написані відомими англійськими поетами, такими як Вільям Шекспір, Джордж Байрон, Волт Вітмен і Сильвія Плат. Жодна з груп, навіть ті, хто мав знання в поезії, не змогли успішно впоратися із завданням. Більше того, вірші, створені штучним інтелектом, частіше приписували людському авторству.
У другому експерименті учасники оцінювали вірші за 14 критеріями, такими як ритм, емоційне наповнення та загальна якість, а також визначали, чи були вони створені людиною. Вірші, написані ШІ, отримали вищі оцінки за ритмом і якістю, проте, коли учасникам повідомляли, що їх написав ШІ, оцінки знижувалися порівняно з тими, які, на їхню думку, були створені людиною. Автори дослідження зазначають, що сучасні ШІ-моделі дедалі більше схожі на людських творців, що підкреслює необхідність посиленого контролю за контентом, який видається за роботу людини.