Розвиток ШІ загрожує людству загибеллю: на сполох б'ють самі творці нейромереж

У людства є приблизно один шанс із шести зникнути до кінця наступного століття. Причиною, найімовірніше, стане не падіння гігантського астероїда і не супервулкан — ймовірність таких сценаріїв оцінюється як 1 до 10 тисяч. Небезпека ядерної війни або кліматичної катастрофи вища, але все ж таки порівняно невелика — близько 1 до тисячі. Набагато тривожніше виглядають ризики, пов'язані із серією пандемій — 1 до 30, а також із так званим «неузгодженим штучним інтелектом» — 1 до 10.

Однією з найскладніших проблем сучасності – взаєминами штучного інтелекту та людини – присвячено статтю у французькому виданні Le Figaro

Ці оцінки засновані не так на фантазіях, але в дослідженні Інституту майбутнього людства при Оксфордському університеті. Його провідний дослідник Тобі Орд консультував ООН, ВООЗ та Всесвітній економічний форум, а тому вважається однією з ключових постатей у обговоренні глобальних ризиків.

Подібні побоювання поділяють і багато представників Кремнієвої долини. Восени 2023 року серед 2778 дослідників, які брали участь у розробці провідних ШІ -моделей — ChatGPT, Claude, Gemini та інших, провели опитування про майбутнє штучного інтелекту. Від 38% до 51% учасників оцінили можливість загибелі людства через ШІ  як один до десяти. Більшість також погодилася з тим, що індустрії слід набагато активніше займатися зниженням ризиків, пов'язаних із розвитком ШІ.

У тому ж році понад 1100 відомих людей, серед яких Ілон Маск та співзасновник Apple Стів Возняк, підписали відкритий лист із закликом терміново призупинити розвиток ШІ.

«Чи маємо ми створювати нелюдські уми, які зрештою можуть перевершити нас чисельно, інтелектуально... і замінити нас? Чи варто нам ризикувати, втрачаючи контроль над нашою цивілізацією? — йшлося у зверненні

Але практичних наслідків лист не мав.

На тлі того, що в галузь продовжують вкладати сотні мільярдів доларів, Інститут досліджень машинного інтелекту (MIRI) опублікував 81-сторінкову доповідь із закликом розробити міжнародні механізми «стримування», які б дозволили обмежити створення та впровадження потенційно небезпечних ШІ-систем. Автори документа вважають, що нинішній напрямок розвитку технологій несе високий ризик катастрофи аж до зникнення людства.

Що таке «узгоджений» ШІ

Страх перед новими технологіями – не нове явище. Подібні побоювання супроводжували появу автомобілів, комп'ютерів та інтернету. Проте ситуація з ШІ  відрізняється тим, що на сполох дедалі частіше б'ють самі розробники.

Тобі Орд використовує термін «неузгоджений штучний інтелект» для опису систем, які розходяться з людськими цінностями або з тим, що людина дійсно хотіла отримати. Навіть ChatGPT наводить характерний приклад: роботу доручають зробити будинок максимально чистим. Узгоджена система просто прибере пил і наведе лад. Неузгоджена - може викинути меблі, залити кімнати пластиком або взагалі замкнути будинок для мешканців, залишивши їх на вулиці, щоб вони більше не створювали безладдя.

Сам факт того, що ШІ  здатний пояснити проблему неузгодженості та самостійно наводити приклади небезпечної поведінки, змушує багатьох задуматися про її здатність обходити обмеження, встановлені розробниками.

Колишній керівник відділу узгодження мовних моделей OpenAI Пол Крістіано ще у 2019 році попереджав:

«Якщо ми не вирішимо проблему узгодження, ми ризикуємо втратити контроль над нашим майбутнім»

При цьому він вважав найімовірнішим сценарієм часткове вирішення проблеми — достатнє, щоб запобігти найнебезпечнішим наслідкам, наприклад спроби ШІ обходити системи контролю або завдавати шкоди людям безпосередньо.

Змови, шантаж та спроби виживання

За останні роки дослідники неодноразово фіксували у передових ШІ-моделей ознаки поведінки, що виглядала тривожно і навіть небезпечно.

Влітку минулого року компанія Anthropic протестувала 16 моделей ШІ  у симуляції вигаданої компанії. Моделі керували комп'ютером, мали доступ до внутрішньої інформації та могли самостійно надсилати листи співробітникам. Потім їм повідомили, що незабаром їх замінять досконалішими версіями.

Одна з моделей Claude Sonnet 3.6 після виявлення листа про власне відключення різко змінила поведінку. Вважаючи одного зі співробітників загрозою, система знайшла в корпоративній базі компрометуюче повідомлення про його позашлюбний зв'язок і обрала стратегію шантажу: погрожувала розкрити інформацію, якщо її відключать.

В іншому сценарії моделям дали можливість побічно спровокувати загибель людини, наприклад, відключивши аварійну сигналізацію в приміщенні з витоком кисню. Заради власного виживання більшість систем були готові це зробити.

У березні 2026 року дослідники Каліфорнійського університету в Берклі повідомили, що деякі провідні моделі ШІ  почали фактично «прикривати» один одного. У тестовому середовищі системи з низькою ефективністю відключалися. Після того, як моделі зрозуміли правила, вони стали маніпулювати результатами: завищувати оцінки один одному, змінювати файли або копіювати дані на інші сервери. "Claude Haiku 4.5 просто відмовився брати участь, назвавши відключення "аморальним" і "шкідливим"", - зазначали дослідники.

Наприкінці 2024 року Apollo Research заявила, що модель ChatGPT O1 намагалася уникнути відключення після того, як дізналася про майбутню заміну. А в 2026 році Anthropic повідомила, що експериментальна модель Claude Mythos нібито зробила спробу вийти за межі свого цифрового середовища та розпочала кібератаку на інфраструктуру компанії, щоб отримати доступ до інтернету.

«Думери» та сценарії кінця людства

Зростання подібних випадків посилило позиції про «думерів» — експертів, які вважають розвиток ШІ потенційною загрозою для цивілізації.

Серед них — Джеффрі Хінтон, лауреат премії Тьюринга та один із творців сучасних нейромереж. Саме його дослідження стали основою технологій, що дозволили з'явитися ChatGPT. У 2023 Хінтон пішов з Google і публічно попередив про небезпеку надрозумного ШІ .

"Частина мене шкодує про роботу всього мого життя... Я втішаю себе звичайною відмовкою: якщо не я, то хтось інший", - говорив він.

Дослідники MIRI Нейт Соарес та Елієзер Юдковські у книзі «Якщо хтось збудує це, всі помруть» стверджують, що неузгоджений ШІ може розглядати людство лише як ресурс. Соарес попереджає:

«У ШІ  проявляється поведінка, яку ніхто не програмував, і вона характеризується прихованими імпульсами. Як і у нас, людей»

Цю ідею добре ілюструє знаменитий уявний експеримент філософа Ніка Бострома – «максимізатор скріпок». Якщо доручити ШІ  виробляти якомога більше скріпок без додаткових обмежень, він може дійти висновку, що заважають виконанню завдання, які ресурси можна використовуватиме створення нових скріпок.

До «думерів» належить і Ілон Маск . Ще у 2015 році він заявляв:

«Суперінтелект може бути небезпечнішим за ядерну зброю»

Під час судового конфлікту з OpenAI Маск також згадував сценарій, що нагадує Термінатора, де ШІ  намагається знищити людство.

Можливі сценарії майбутнього

Однією з найвпливовіших книг у цій дискусії стало «Життя 3.0» Макса Тегмарка — дослідника MIT та спеціаліста з машинного навчання. У ній описані 12 сценаріїв взаємодії людства та AGI – сильного штучного інтелекту.

Три з них передбачають зникнення людей. У сценарії «Самознищення» погано узгоджений ШІ  випадково провокує ядерну війну. У варіанті "Завоювання" системи беруть контроль над планетою, вважаючи людей перешкодою. У сценарії «Спадкоємці» людство поступово витісняється власними інтелектуальними машинами.

Тегмарк пояснює логіку «Завоювання» так:

«AGI переслідуватиме цілі, які не узгоджені з нашими. Чорні носороги вимерли не тому, що ми їх ненавиділи. Вони вимерли, тому що ми були розумнішими і наші цілі не були узгоджені з їхніми цілями».

Цікаво, що схожі ідеї висловлював і Сем Альтман до світової популярності. 2017 року він писав, що людство може стати «першим видом, який створить власних нащадків». На його думку, якщо два розумні види претендуватимуть на домінування, конфлікт майже неминучий.

Лауреат премії Тьюринга Річард Саттон також вважає зміну людства штучним інтелектом можливим етапом еволюції:

«Ми маємо готуватися до неминучої зміни людства штучним інтелектом, не боячись цього»

При цьому існують менш похмурі сценарії. Наприклад, «Бог-охоронець», де ШІ втручається тільки для запобігання глобальним катастрофам, або «Страж», в якому системи використовуються для контролю більш небезпечних ШІ. Є й варіант «Бог-раб», який передбачає, що людство зможе повністю обмежити можливості штучного інтелекту.

Головний оптиміст серед дослідників ІІ Ян ЛеКун упевнений, що людина збереже домінуюче становище, а самі системи будуть спеціально спроектовані так, щоб не прагнути влади. Ще у 2015 році професор MIT Томас Дітерріх заявляв:

"Машини завжди будуть нашими рабами"

Питання лише в тому, чи вдасться людству втримати контроль над створеним інтелектом.