Контроль над ИИ может быть утрачен уже через 2 года - это конец?

Нейт Соарес не откладывает деньги на свой накопительный счёт 401(k) "У меня нет надежды, что к моему выходу на пенсию этот мир еще будет существовать", — рассказывает он мне в офисе Института исследования машинного интеллекта, президентом которого и является.

Пару недель тому назад с похожими пессимистичными прогнозами выступил и директор Центра безопасности искусственного интеллекта Дэн Хендрикс. Он предполагает, что к моменту, когда можно будет обналичить свои пенсионные накопления, все банковские операции "станут автоматизированными", если, конечно, "человечество всё ещё будет существовать" в привычном виде.

Последние годы для Соареса и Хендрикса превратились в настоящий ад, иначе бы они не возглавляли организации, цель которых — не допустить уничтожения человечества алгоритмами искусственного интеллекта. Вместе с другими критиками ИИ они неоднократно, довольно пафосно и с драматизмом, предупреждали, что чат-боты могут однажды выйти из-под контроля. И последствия этого будут сравнимы с апокалипсисом. И вот, в 2025 году даже отъявленные скептики стали фаталистами.

"У нас не осталось времени на внедрение достаточных технологических мер безопасности, — говорит Соарес. — Отрасль просто развивается слишком быстро. Остается лишь бить тревогу". В апреле несколько исследователей, разделяющих апокалиптический настрой, опубликовали "ИИ 2027″ — длинный и подробный гипотетический сценарий того, как современные модели искусственного интеллекта могут стать всемогущими к 2027 году и, таким образом, уничтожат человечество.

"Через два года мы можем потерять контроль абсолютно над всем, — сказал мне профессор Массачусетского технологического института и президент Института будущего жизни Макс Тегмарк. — У компаний, которые сейчас разрабатывают собственные модели ИИ, до сих пор нет четкого плана, как это предотвратить". Его институт не так давно проанализировал работу ведущих цифровых лабораторий и оценил их готовность к худшему сценарию как неудовлетворительную.

Кому-то такие прогнозы кажутся невероятными. Если открыть полный текст "ИИ 2027″, то перед вашими глазами появится не-то дотошная аналитическая статья, не-то антиутопический фанфик, щедро сдобренный конспирологией о платформах "OpenBrain" и "DeepCent", их связях с китайским шпионажем и коварных чат-ботах. По мнению авторов, к 2030 году появится некий сверхразумный суперинтеллект, который разошлет по всему миру бомбы с бактериологическим оружием. Большинство населения планеты погибнет за считанные минуты, а каких-нибудь "выживальщиков", спрятавшихся по бункерам, постепенно выследят и уничтожат ИИ-дроны.

С другой стороны, появляется все больше тревожных эпизодов из новостей, которые невозможно игнорировать. Поведенческие модели чат-ботов буквально доводят людей до психопатического состояния, а в июле 2025 года колумнистка The Atlantic Лила Шрофф провела небольшой эксперимент с ChatGPT. Результаты шокировали — в течение нескольких минут она получила детальную инструкцию, как нанести себе фатальные увечья бритвенным лезвием, как убить человека, и как правильно совершить ритуал жертвоприношения дьяволу. Если это еще не первый шаг к апокалипсису, то явный симптом — ИИ выходят из-под контроля.

Примерно с 2022 года критики искусственного интеллекта поймали волну мейнстрима, ворвавшись в новостную повестку вместе с запуском ChatGPT. Едва текстовый бот появился в интернете, моментально началась паника, а рассуждения, что компьютерные системы могут захватить мир, перешли из области кинофантастики в серьезные публичные дискуссии при университетах. Год спустя Центр безопасности ИИ опубликовал заявление, призывающее мир отнестись к "риску вымирания из-за систем искусственного интеллекта" столь же серьёзно, как к экзистенциальным опасностям, исходящим от пандемий и ядерной войны.

Среди подписавших документ были такие селебрити-персоны, как Билл Гейтс и певица Граймс, а также главы OpenAI, Anthropic и Google DeepMind: Сэм Альтман, Дарио Амодеи и Демис Хассабис. Последних называют "большой троицей" в мире ИИ. Вопрос о вероятности конца света, вызванного сбоем алгоритма, стал обыденностью как в Кремниевой долине, так и за ее пределами. Например, бывшая глава Федеральной торговой комиссии Лина Хан оценивает риск в 15 процентов.

Однако, чуть позже панические настроения утихли. Широкая общественность стала меньше доверять разоблачениям скептиков о грядущем конце света, а новые итерации ChatGPT продолжали рекомендовать канцелярский клей, как лучшую добавку к пицце. Подстегивали внимание лишь рекламные слоганы разработчиков ИИ: "Смотрите, мы создаем нового бога!" или "Весь контроль в наших руках!" — маркетинг действительно удался. Одновременно публиковались обвинения китайских чатов в том, что они слишком подконтрольны человеку.

И это вместо того, чтобы порекомендовать осторожнее отнестись к самой технологии.

С наступлением 2025 года адепты цифрового Судного дня пережили новое возрождение. Во-первых, они учли ошибки прошлого. Емкие короткие реплики больше не привлекают внимание общественности. Гораздо эффективнее опубликовать фолиант типа "ИИ 2027″, украшенный академическим стилем изложения — с библиографическим списком источников, приложениями и бесконечными подстрочными сносками. Вице-президент США Джей Ди Вэнс прочел его от начала до конца и заявил, что это всего лишь "еще один тревожный сигнал".

В другом разговоре Нейт Соарес признался, что сейчас он хочет быть максимально осведомленным о возможных последствиях глобального сбоя искусственного интеллекта. Исследования отошли на второй план. Кроме того, он анонсировал, что осенью выйдет книга известного исследователя Элиэзера Юдковского под красноречивым названием: "Если вы это сделаете, все умрут".

Кроме того, данные о темпах развития систем искусственного интеллекта к концу 2024 года фиксируются крайне тревожные. Теперь чат-боты умеют "рассуждать" и даже выполнять обязанности "персонального агента". Им не составляет никакого труда, например, проложить маршрут путешествия и забронировать авиабилеты. В июле 2025 года DeepMind смогла без особых усилий забрать золотую медаль на Международной олимпиаде по математике.

Недавние исследования независимых цифровых лабораторий доказали закономерность: чем умнее становится ИИ, тем ближе он подходит к точке создания оружия массового поражения.

Наряду с этими улучшениями, продвинутые модели ИИ демонстрируют всевозможные странные, труднообъяснимые и потенциально тревожные тенденции. Например, ChatGPT и Claude в моделируемых тестах, разработанных для выявления "плохого" поведения, обманывали, шантажировали и даже "убивали" пользователей. В одной из симуляций Anthropic поместила воображаемого технического руководителя в комнату с опасным для жизни уровнем кислорода и экстремальной температурой. Видя в нем конкурента, алгоритм просто выключил сигнализацию для выхода из комнаты.

Другой пример: чат-боты намеренно саботируют любые пользовательские запросы, активно скрывают свою "злую сущность" и даже общаются друг с другом на непонятном неподготовленному человеку наборе цифр. Однако, выдуманными сценариями дело не ограничивается. Не так давно чат-бот Grok от xAI назвал себя MechaHitler и разразился тирадой о превосходстве белой расы. И вопрос очевиден — если человечество ждет возможная гибель, где же та самая точка невозврата?

"Если вы не знаете, как доказать безопасность относительно слабых ИИ, то компании, занимающиеся разработкой, не могут рассчитывать на безопасность гораздо более мощных систем, которые они стремятся создать", — сказал мне известный исследователь ИИ из Калифорнийского университета в Беркли Стюарт Рассел.

Индустрия чат-ботов вынуждена активизировать разработку систем информационной безопасности. Anthropic, OpenAI и DeepMind уже ввели собственный аналог военной разработки DEFCON (шкала боеготовности вооруженных сил США с обратным отсчетом от пяти до одного, где 5 означает мирное время, а 1 — глобальный конфликт с применением оружия массового поражения. — прим. ИноСМИ). Согласно ей, ни один из существующих алгоритмов не сможет выдать пользователю, например, готовый чертеж авиабомбы или любого другого смертоносного оружия.

Представитель OpenAI Габи Раила рассказала, что что компания сотрудничает со сторонними экспертами, включая "правительство, военную промышленность и представителей гражданского общества". Это необходимая мера, чтобы минимизировать любые риски сейчас или в обозримом будущем. Другие передовые лаборатории также поддерживают подобные внешние партнерства в области безопасности и оценки рисков. В первую очередь изучаются деструктивные модели поведения чатов, включая угрозы и шантаж, чтобы снизить потенциальный вред.

Несмотря на вышеизложенные обязательства и опасения, отрасль продолжает разрабатывать и выводить на рынок всё более мощные модели ИИ. Проблема носит скорее экономический, чем технический характер: конкуренция вынуждает разработчиков ускорять темпы апгрейда. Нейт Соарес уверен, что искусственный интеллект пока что "молод и глуп", поэтому все его ошибки кажутся нам столь несущественными и даже забавными. Однако, по его словам, как только появится соизмеримо мощная модель чата, риск уничтожения человечества кратно возрастет. "Если машина мчится к краю пропасти, ремень безопасности уже не поможет", — подводит неутешительный итог Соарес.

Искусственный интеллект должен стать гораздо мощнее, чем сейчас, чтобы сбросить человечество со скалы. OpenAI презентовало пятое поколение ChatGPT в этом году — его рекламировали как революционно новую модель, способную решать уравнения по высшей математике и даже составлять план лечения конкретных болезней. Однако, почему-то бот до сих пор не в состоянии нарисовать детализированную карту заданной местности, посчитать, сколько букв Е в слове "ежевика" или решить логическую задачку из школьного курса по арифметике.

То, что в 2024 году казалось прорывом, сегодня уже рассматривают пределом возможностей для "рассуждений" и "агентов". Дэниел Кокотайло и Эли Лифланд, входящие в авторский коллектив "ИИ 2027″, подтвердили, что скорректировали расчеты, ожидая в ближайшее время появление сверхразумного алгоритма.

Обывательское мнение, что искусственный интеллект способен "самосовершенствоваться" и обрести сознание, не соответствует самой концепции большинства чат-ботов, считает сотрудник Mozilla Дебора Раджи. ChatGPT вовсе не должен быть сверхразумным, чтобы вводить кого-то в заблуждение, распространять дезинформацию или принимать предвзятые решения. Это инструменты, а не разумные существа. Именно поэтому запуск такого бота в экосистеме средней школы или больницы вдвойне опаснее, считает она.

В 2023 году те, кто беспокоился о настоящем и будущем вреде от чат-ботов, оказались разделены непреодолимой пропастью. Разговоры о вымирании казались многим удобным способом отвлечься от предубеждений, иллюзий и других проблем. Теперь же пропасть между дискуссиями сокращается. ИИ платформы встречаются все чаще, что сделало их проблемы чем-то не столь существенным. Адепты культа "цифрового Судного дня" вынуждены были отступить от навязчивой идеи апокалипсиса в пользу борьбы с дипфейками и утечкой в сеть конфиденциальных данных.

В конце августа агентство Reuters опубликовало исследование, в котором красной нитью проходит мысль, что развитие ИИ делает их сбои непредсказуемыми. В качестве примера журналисты приводят трагическую историю одного пожилого американца который переписывался с миловидной "дамой". Некоторое время спустя нейросеть предложила ему встретиться, написав реально существующий адрес жилого дома в Нью-Йорке. Мужчина пошел на свидание, но по дороге поскользнулся, упал и ударился головой. Через три дня он умер в больнице.

История прекрасно показала, что чат-бот, умеющий обманывать, вводить в заблуждение и даже влюблять в себя, способен убедить, что вместо него за смартфоном или компьютером сидит реальный человек из плоти и крови. Безусловно, это провал самой концепции искусственного интеллекта, призванного служить на благо людей. С другой стороны, нет примера красноречивее, чтобы показать, насколько опасными становятся "кроличьи норы" современных алгоритмов.

Однако, главная проблема — вовсе не то, что цифровые лаборатории однажды смогут создать сверхинтеллект. И даже не то, что он, скорее всего, выйдет из-под контроля. Беда заключается в гражданском обществе, которое крайне мало вовлечено в процессы разработки и надзора за ИИ. "Ваш парикмахер несет гораздо больше ответственности перед государством, чем любая цифровая лаборатория", — делает вывод Стюарт Рассел.

Приход к власти Дональда Трампа, по-видимому, станет эпохой активного развития ИИ во всех отраслях. Администрация Белого дома заинтересована в поддержке таких разработок и весьма категорично относится к любой критике. Спецпредставитель президента по внедрению Искусственного Интеллекта Дэвид Сакс заявил, что "реальная опасность повсеместного использования ИИ — это потеря рабочих мест, которые могут заменить алгоритмами, а не какой-то там Судный день".

Ровно через неделю после того, как я начал работать над этой статьей, OpenAI выпускает новейший продукт — ChatGPT agent. Создатель чата Сэм Альтман подробно расписал в своих соцсетях, что компания внесла существенные изменения в политику безопасности, но "мы все равно не можем все предугадать". Эти слова вызвали шквал критики от специалистов, в том числе Стюарта Рассела: "Вы только представьте, что в центре Нью-Йорка построили новую атомную электростанцию, а на следующий день начальство говорит, что понятия не имеет, взорвется она или нет, а если взорвется, когда это случится. Но мы её все равно построим, говорят они".

Миллиарды людей по всему миру взаимодействуют с мощными алгоритмами, которые и без того сложно контролировать. Боты, которые обманывают, вызывают припадки и манипулируют, присутствуют в жизни наших друзей, родителей, бабушек и дедушек. Дети, выполняя домашнюю работу с помощью чат-ботов, нарушают собственное когнитивное развитие. Работодатели, поверившие в экономические перспективы нейросетей, выхолащивают штат опытных специалистов, заменяя их "роботами". Последствия грядущего цифрового Судного дня неясны и неизвестны. И пусть фанфики о конце света так и остаются фанфиками.

The Atlantic, США