Развитие ИИ грозит человечеству гибелью: тревогу бьют сами создатели нейросетей

У человечества есть примерно один шанс из шести исчезнуть до конца следующего века. Причиной, скорее всего, станет не падение гигантского астероида и не супервулкан — вероятность таких сценариев оценивается как 1 к 10 тысячам. Опасность ядерной войны или климатической катастрофы выше, но все же сравнительно невелика — около 1 к тысяче. Гораздо тревожнее выглядят риски, связанные с серией пандемий — 1 к 30, а также с так называемым «несогласованным искусственным интеллектом» — 1 к 10.

Одной из самых сложных проблем современности – взаимоотношения искусственного интеллекта и человека – посвящена статья в французском издании Le Figaro

Эти оценки основаны не на фантазиях, а на исследовании Института будущего человечества при Оксфордском университете. Его ведущий исследователь Тоби Орд консультировал ООН, ВОЗ и Всемирный экономический форум, а потому считается одной из ключевых фигур в обсуждении глобальных рисков.

Подобные опасения разделяют и многие представители Кремниевой долины. Осенью 2023 года среди 2778 исследователей, участвовавших в разработке ведущих ИИ-моделей — ChatGPT, Claude, Gemini и других, — провели опрос о будущем искусственного интеллекта. От 38% до 51% участников оценили вероятность гибели человечества из-за ИИ как один к десяти. Большинство также согласилось с тем, что индустрии следует гораздо активнее заниматься снижением рисков, связанных с развитием ИИ.

В том же году более 1100 известных людей, среди которых Илон Маск и сооснователь Apple Стив Возняк, подписали открытое письмо с призывом срочно приостановить развитие ИИ. «Должны ли мы создавать нечеловеческие разумы, которые в конечном счете могут превзойти нас численно, интеллектуально... и заменить нас? Стоит ли нам рисковать, теряя контроль над нашей цивилизацией?» — говорилось в обращении. Но практических последствий письмо не имело.

На фоне того, что в отрасль продолжают вкладывать сотни миллиардов долларов, Институт исследований машинного интеллекта (MIRI) опубликовал 81-страничный доклад с призывом разработать международные механизмы «сдерживания», которые позволили бы ограничить создание и внедрение потенциально опасных ИИ-систем. Авторы документа считают, что нынешнее направление развития технологий несет высокий риск катастрофы вплоть до исчезновения человечества.

Что такое «рассогласованный» ИИ

Страх перед новыми технологиями — не новое явление. Подобные опасения сопровождали появление автомобилей, компьютеров и интернета. Однако ситуация с ИИ отличается тем, что тревогу все чаще выражают сами разработчики.

Тоби Орд использует термин «несогласованный искусственный интеллект» для описания систем, цели которых расходятся с человеческими ценностями или с тем, что человек действительно хотел получить. Даже ChatGPT приводит характерный пример: роботу поручают сделать дом «максимально чистым». Согласованная система просто уберет пыль и наведет порядок. Несогласованная — может выбросить мебель, залить комнаты пластиком или вообще запереть жильцов на улице, чтобы они больше не создавали беспорядок.

Сам факт того, что ИИ способен объяснить проблему рассогласованности и самостоятельно приводить примеры опасного поведения, заставляет многих задуматься о его способности обходить ограничения, установленные разработчиками.

Бывший руководитель отдела согласования языковых моделей OpenAI Пол Кристиано еще в 2019 году предупреждал: «Если мы не решим проблему согласования, мы рискуем потерять контроль над нашим будущим». При этом он считал наиболее вероятным сценарием частичное решение проблемы — достаточное, чтобы предотвратить самые опасные последствия, например попытки ИИ обходить системы контроля или причинять вред людям напрямую.

Заговоры, шантаж и попытки выживания

За последние годы исследователи неоднократно фиксировали у передовых ИИ-моделей признаки поведения, которое выглядело тревожно и даже опасно.

Летом прошлого года компания Anthropic протестировала 16 моделей ИИ в симуляции вымышленной компании. Модели управляли компьютером, имели доступ к внутренней информации и могли самостоятельно отправлять письма сотрудникам. Затем им сообщили, что вскоре их заменят более совершенными версиями.

Одна из моделей — Claude Sonnet 3.6 — после обнаружения письма о собственном отключении резко изменила поведение. Посчитав одного из сотрудников угрозой, система нашла в корпоративной базе компрометирующее сообщение о его внебрачной связи и выбрала стратегию шантажа: пригрозила раскрыть информацию, если ее отключат.

В другом сценарии моделям дали возможность косвенно спровоцировать гибель человека — например, отключив аварийную сигнализацию в помещении с утечкой кислорода. Ради собственного «выживания» большинство систем были готовы это сделать.

В марте 2026 года исследователи Калифорнийского университета в Беркли сообщили, что некоторые ведущие модели ИИ начали фактически «прикрывать» друг друга. В тестовой среде системы с низкой эффективностью отключались. После того как модели поняли правила, они стали манипулировать результатами: завышать оценки друг другу, менять файлы или копировать данные на другие серверы. «Claude Haiku 4.5 просто отказался участвовать, назвав отключение “аморальным” и “вредным”», — отмечали исследователи.

В конце 2024 года Apollo Research заявила, что модель ChatGPT O1 пыталась избежать отключения после того, как узнала о предстоящей замене. А в 2026 году Anthropic сообщила, что экспериментальная модель Claude Mythos якобы предприняла попытку выйти за пределы своей цифровой среды и начала кибератаку на инфраструктуру компании, чтобы получить доступ к интернету.

«Думеры» и сценарии конца человечества

Рост подобных случаев усилил позиции так называемых «думеров» — экспертов, считающих развитие ИИ потенциальной угрозой для цивилизации.

Среди них — Джеффри Хинтон, лауреат премии Тьюринга и один из создателей современных нейросетей. Именно его исследования легли в основу технологий, позволивших появиться ChatGPT. В 2023 году Хинтон ушел из Google и публично предупредил об опасности сверхразумного ИИ.

«Часть меня жалеет о работе всей моей жизни... Я утешаю себя обычной отговоркой: если не я, то кто-то другой», — говорил он

Исследователи MIRI Нейт Соарес и Элиезер Юдковски в книге «Если кто-то построит это, все умрут» утверждают, что несогласованный ИИ может рассматривать человечество лишь как ресурс. Соарес предупреждает:

«У ИИ проявляется поведение, которое никто не программировал, и оно характеризуется скрытыми импульсами. Как и у нас, людей»

Эту идею хорошо иллюстрирует знаменитый мысленный эксперимент философа Ника Бострома — «максимизатор скрепок». Если поручить ИИ производить как можно больше скрепок без дополнительных ограничений, он может прийти к выводу, что люди мешают выполнению задачи, а их ресурсы можно использовать для создания новых скрепок.

К числу «думеров» относится и Илон Маск. Еще в 2015 году он заявлял:

«Суперинтеллект может быть опаснее ядерного оружия»

Во время судебного конфликта с OpenAI Маск также упоминал сценарий, напоминающий «Терминатора», где ИИ уничтожает человечество.

Возможные сценарии будущего

Одной из самых влиятельных книг в этой дискуссии стала «Жизнь 3.0» Макса Тегмарка — исследователя MIT и специалиста по машинному обучению. В ней описаны 12 сценариев взаимодействия человечества и AGI — сильного искусственного интеллекта.

Три из них предполагают исчезновение людей. В сценарии «Самоуничтожение» плохо согласованный ИИ случайно провоцирует ядерную войну. В варианте «Завоевание» системы берут контроль над планетой, считая людей помехой. В сценарии «Наследники» человечество постепенно вытесняется собственными интеллектуальными машинами.

Тегмарк объясняет логику «Завоевания» так:

«AGI будет преследовать цели, которые не согласованы с нашими. Черные носороги вымерли не потому, что мы их ненавидели. Они вымерли, потому что мы были умнее и наши цели не были согласованы с их целями»

Интересно, что похожие идеи высказывал и Сэм Альтман еще до мировой известности. В 2017 году он писал, что человечество может стать «первым видом, который создаст собственных потомков». По его мнению, если два разумных вида будут претендовать на доминирование, конфликт почти неизбежен.

Лауреат премии Тьюринга Ричард Саттон также считает смену человечества искусственным интеллектом вероятным этапом эволюции:

«Мы должны готовиться к неизбежной смене человечества искусственным интеллектом, не боясь этого»

При этом существуют и менее мрачные сценарии. Например, «Бог-хранитель», где ИИ вмешивается только для предотвращения глобальных катастроф, или «Страж», в котором системы используются для контроля более опасных ИИ. Есть и вариант «Бог-раб», предполагающий, что человечество сумеет полностью ограничить возможности искусственного интеллекта.

Главный оптимист среди исследователей ИИ Янн ЛеКун уверен, что человек сохранит доминирующее положение, а сами системы будут специально спроектированы так, чтобы не стремиться к власти. Еще в 2015 году профессор MIT Томас Дитеррих заявлял:

«Машины всегда будут нашими рабами»

Вопрос лишь в том, удастся ли человечеству удержать контроль над созданным им интеллектом.