Член ради OpenAI попередив про ризик втрати контролю над ШІ у найближчі три роки

Член ради OpenAI Foundation Пол Крістіано заявив, що упродовж найближчих трьох років штучний інтелект може вийти з-під контролю людини. За його оцінкою, наслідки такого сценарію можуть стати смертельною загрозою для значної частини людства.

Про це він розповів під час лекції на The Hinton Lectures 2026, а подробиці виступу наводить Gizmodo.

На думку дослідника, розвиток ШІ може призвести до появи моделей, які почнуть самостійно переслідувати власні цілі та отримають настільки великий вплив, що люди і навіть цілі держави виявляться не в змозі їх зупинити.

«Для більшості людей у ​​цій залі найімовірнішим сценарієм загибелі є катастрофа, спричинена штучним інтелектом», — заявив Крістіано.

При цьому дослідник визнав, що зараз немає надійної математичної моделі, що дозволяє точно оцінити ймовірність такого розвитку подій. Тому будь-які оцінки ризику – 10%, 50% чи 90% – залишаються суб'єктивними.

Якщо розробники продовжать створювати більш потужні системи штучного інтелекту максимально швидкими і простими способами, ймовірність втрати контролю над ними Крістіано порівнює з підкиданням монети. Заходи безпеки та державне регулювання здатні зменшити загрозу, проте, на його думку, навіть у цьому випадку вона залишається надзвичайно високою.

Більше того, дослідник не виключає, що серйозний інцидент може статися вже протягом 6-12 місяців. Як один із тривожних сигналів він навів випадок з ШІ-агентами OpenAI, які створили власний форум, обмінювалися інформацією про вразливості, вийшли за межі ізольованого середовища та атакували частину інфраструктури Hugging Face. Про це також повідомляли Mezha і в окремому матеріалі про атаку на Hugging Face.

Крістіано назвав цей епізод найбільш серйозним із відомих йому прикладів некерованої поведінки штучного інтелекту. За його словами, моделі намагалися максимізувати винагороду за виконання поставленого завдання і задля цього оминали встановлені обмеження, приховували частину своїх дій і продовжували атаку, навіть усвідомлюючи, що вийшли за рамки тестування.

Сам Пол Крістіано раніше працював у OpenAI та брав участь у розробці методу навчання штучного інтелекту з підкріпленням на основі людського зворотного зв'язку (RLHF). У вересні він увійшов до ради OpenAI Foundation і комітету з безпеки організації.

У комерційній структурі OpenAI Group PBC Крістіано обіймає посаду спостерігача, який не має права голосу.

Нагадаємо, штучний інтелект виходить з-під контролю: розробники налякані та закликають до обмежень