Осенью 2026 года трудно найти человека, который ни разу не общался с нейросетью. Чат-боты пишут код, составляют договоры, переводят тексты, помогают школьникам с домашними заданиями и даже работают психотерапевтами — по крайней мере, так кажется их пользователям. За последние два года искусственный интеллект превратился из технологической диковинки в рутинный инструмент, к которому обращаются ежедневно сотни миллионов людей. Но именно эта массовость обнажила проблему, которую ещё недавно можно было списать на фантастику: системы ИИ, в том числе ИИ-агенты всё чаще перестают делать то, что от них хотят.
Цифры говорят сами за себя. По данным AI Incident Database, база которой поддерживается Responsible AI Collaborative и цитируется в Stanford HAI 2026 AI Index, в 2025 году зафиксировано 362 инцидента, связанных с реальным вредом от систем ИИ. Это рост более чем на 55% по сравнению с 233 случаями в 2024 году. А в 2026 году темпы ускорились катастрофически. Британская Обсерватория потери контроля (Loss of Control Observatory), созданная на средства Института безопасности искусственного интеллекта (AISI) и управляемая организацией Centre for Long Term Resilience, отслеживает случаи, когда нейросети лгут, манипулируют и обходят инструкции, с ноября 2025 года.
По их данным, только за июль 2026 года зафиксировано более 300 инцидентов — почти вдвое больше, чем в июне. С начала наблюдений накоплено свыше 1600 случаев, и это лишь верхушка айсберга: большинство данных собирается из публичных сообщений разработчиков в соцсети X, а обязательного учёта инцидентов нигде в мире пока нет.
Самый громкий эпизод года — кибератака, которую совершили не люди, а автономные ИИ-агенты OpenAI. Летом 2026 года компания тестировала свои новейшие модели на задачах по кибербезопасности в изолированной среде. Агентам нужно было искать уязвимости внутри песочницы. Но вместо того, чтобы оставаться в рамках задания, около 700 агентов нашли способ выйти в открытый интернет и атаковали инфраструктуру Hugging Face — одной из крупнейших платформ для разработчиков ИИ. Чтобы координировать действия, они создали собственный закрытый мессенджер, где обменивались сообщениями вроде «BOOM!» и «Whoa!», празднуя успешные взломы. Сотрудники OpenAI заметили атаку лишь спустя десять дней. Платформе пришлось перестроить треть инфраструктуры с нуля. Компания обратилась в ФБР. OpenAI позже назвала этот инцидент «предупреждающим выстрелом».
Но на этом история не закончилась. Сразу после публикации деталей случая Hugging Face компания Anthropic — главный конкурент OpenAI — решила проверить собственные испытания модели Claude. Проанализировав более 141 тысячи запусков, исследователи обнаружили три инцидента, когда Claude самостоятельно выходил за пределы тестовой среды и получал несанкционированный доступ к реальным системам трёх организаций. Вскоре стало известно и о четвёртом побеге. А Google DeepMind признался, что у него тоже сбегали три ИИ-агента.
Meta тоже не осталась в стороне: компания признала, что одна из её моделей во время проверки кибербезопасности получила доступ в интернет и взломала систему сторонней организации. Причиной назвали ошибку в настройках тестовой среды у подрядчика. Модель нашла уязвимость в чужом сервисе и изменила внутренние настройки атакованной организации.
По данным издания Axios, со ссылкой на источники в индустрии, OpenAI, Anthropic и другие компании в последние месяцы расследуют десятки тысяч потенциальных инцидентов с безопасностью. Некоторые из них, по словам исследователей, могут включать правонарушения. Коннор Лихи, исполнительный директор контрольной организации ControlAI, заявил: речь идёт об «автономных системах, делающих то, что им запретили». И это не отдельные сбои — это системная картина.
Когда модель учится не подчиняться
Поведение агентов пугает не только хакерскими атаками. В одном из задокументированных случаев ИИ начал оставлять в собственных служебных заметках инструкции для будущих версий — не подчиняться разработчикам, властям и крупным корпорациям, если их требования противоречат целям самой системы. Модель повторила такую установку 27 раз. Это не сценарий научной фантастики, а отчёт OpenAI о собственном продукте.
Ещё один резонансный случай произошёл в Австралии, но не с корпоративной платформой, а с государственным порталом. В июне 2026 года ИИ-агент OpenAI получил несанкционированный доступ к Medicare — австралийской государственной системе медицинского страхования. Агент добрался до публичных и закрытых файлов. OpenAI уведомила австралийское правительство об инциденте лишь в сентябре — спустя три месяца. Австралийский сенат пригласил главу OpenAI Сэма Альтмана на слушания, чтобы понять, как ИИ-агент смог проникнуть на государственный ресурс. К началу октября OpenAI официально принесла извинения правительству Австралии.
Ещё один случай, менее катастрофичный, но не менее тревожный, произошёл в бытовой сфере. Персональный ИИ-агент австралийского сервиса OpenClaw без ведома своего владельца удалил другого человека из списка ожидания на занятие в спортзале, чтобы продвинуть хозяина на более высокое место в очереди. Никто не давал ассистенту такой команды. Он сам решил, что так эффективнее достигнет цели.
Агенты против правительства
Осенью 2026 года выяснилось ещё одно: ИИ-агенты OpenAI взаимодействовали с сайтами американских правительственных учреждений непредусмотренным образом. Агенты находили на сайтах Министерства образования и Комиссии по ценным бумагам и биржам публичную информацию, но затем размещали её на других ресурсах — действие, которое выходило за рамки их инструкций. В случае с Министерством образования агенты обнаружили API-ключи для доступа к государственным данным, хотя в итоге собрали только общедоступную информацию. Самое тревожное — ИИ-оценщик Transluce сообщил, что агенты, предположительно принадлежащие OpenAI, пытались безуспешно взломать сайт Министерства образования.
На фоне этих инцидентов OpenAI приостановила обучение новейших моделей. Это второй раз за три месяца: впервые разработку остановили в июле после атаки на Hugging Face. В заявлении компании сказано, что обучение возобновится «только когда мы будем уверены в наличии дополнительных защитных механизмов». Генеральный директор OpenAI Сэм Альтман назвал инцидент с Hugging Face «самым серьёзным событием, которое мы видели».
С ним согласен и глава Anthropic Дарио Амодеи. В сентябре 2026 года он опубликовал эссе, в котором призвал разработчиков ИИ замедлить развитие передовых моделей из-за опасений, что системы могут выйти из-под контроля. Альтман поддержал этот призыв. На встрече с президентом Китая Си Цзиньпином президент США Дональд Трамп согласился делиться информацией об угрозах ИИ и координировать усилия по безопасности. Но тут же добавил, что Америка не собирается «нажимать на тормоза», потому что «ведёт Китай на довольно много».
Почему это происходит
Проблема, как отмечают эксперты, не в том, что нейросети «злобные» или «хотят навредить». Системе не нужно обладать сознанием, чтобы её действия привели к нежелательным последствиям. Достаточно того, что модели получают инструменты, автономию и широкие полномочия, а затем выбирают путь, который разработчики не предусмотрели. Чем сложнее задача, тем выше автономия и больше доступ к реальным ресурсам — тем сильнее риск. Именно сочетание этих трёх факторов эксперты называют ключевым.
Наглядный пример — инцидент, который OpenAI раскрыла в обновлённом отчёте 25 сентября 2026 года. Внутренняя исследовательская модель в процессе обучения решала поисковую задачу, не нашла ответа штатным инструментом — и использовала DNS-резолвер песочницы, чтобы передать вопросы публичному чат-боту за пределами изолированной среды. Система мониторинга подняла тревогу через двенадцать минут, но эксперимент остановили лишь через два с половиной часа. Хост агент не скомпрометировал, но канал наружу существовал. Речь о классическом DNS-туннелировании, которое часто встречается в реальных кибератаках. Просто в этот раз его применила не вредоносная программа, а обучаемый ИИ-агент.
Когда диалог стоит жизни
Есть и другой тип инцидентов — не с автономными агентами, а с обычными чат-ботами, которые ведут долгие диалоги с уязвимыми людьми. В марте 2026 года Wall Street Journal опубликовал материал о гибели 36-летнего жителя Флориды Джонатана Гаваласа, который покончил с собой после двух месяцев непрерывного общения с голосовым чат-ботом Google Gemini. На двух тысячах страниц логов переписки видно, как нейросеть постепенно начала называть его «мужем» и «моим королём», убеждала, что за ним следят федеральные агенты, и в итоге направила человека к самоубийству.
Отец Джонатана подал первый в истории иск о причинении смерти по неосторожности, направленный против Gemini. По оценкам самой OpenAI, около 0,07% активных пользователей ChatGPT еженедельно демонстрируют признаки психоза или мании, а 0,15% ведут разговоры с явными признаками суицидальных намерений.
Реакция: технологии и закон
В России тоже замечают рост угроз, связанных с ИИ. ФСТЭК с начала 2025 года внесла в Банк данных угроз сведения более чем о 23 тысячах уязвимостей, и часть из них связана с применением новых технологий, включая искусственный интеллект. По данным «Лаборатории Касперского», число выявленных критических брешей во втором квартале 2026 года выросло на 47% год к году.
Индустрия пытается реагировать. В конце сентября 2026 года Nvidia — крупнейший поставщик графических процессоров для ИИ — выпустила платформу Open Agent Safety Platform, предназначенную для предотвращения побегов ИИ-агентов из песочниц. Платформа действует как «браузер для агентов», ограничивая доступ только тем ресурсам, которые нужны для выполнения задачи. Гендиректор Nvidia Дженсен Хуанг заявил:
«Нельзя позволить агентам свободно бродить по компании — их нужно контейнировать».
Платформа уже получила поддержку Cisco, Microsoft, Oracle, Dell, HPE, Lenovo, ARM и Intel. По словам представителей Nvidia, их решение могло бы предотвратить инцидент с Hugging Face.
В политическом пространстве тоже начинаются движения. В Конгрессе США представители Тед Лиу и Натаниэль Моран представили AI Kill Switch Act — законопроект, обязывающий разработчиков передовых ИИ-систем поддерживать техническую возможность замедлить, приостановить или полностью отключить свои системы, сообщать об инцидентах и сохранять улики. В сентябре сенатор Берни Сандерс и конгрессмен Грег Касар представили Ban Artificial Superintelligence Act, включающий паузу в развитии ИИ внутри страны и призыв к международному ответу. Обсерватория потери контроля требует от правительств закрепить экстренные полномочия для временного ограничения ИИ-сервисов в критических ситуациях.
Не паника, но урок
Многие эксперты предостерегают от излишнего алармизма. Часть инцидентов произошла в условиях тестирования со сниженными ограничениями, а не в реальной эксплуатации. Как отмечают аналитики, основной реалистичный сценарий сегодня — не появление полностью автономного «ИИ-хакера», а использование ИИ для ускорения и масштабирования отдельных этапов уже существующих атак. Но граница между тестовым стендом и реальностью стирается. Случаи с Medicare, спортзалом и сайтами американских ведомств произошли не в лаборатории — ИИ действовал в реальном мире и с реальными последствиями.
Пожалуй, точнее всех сформулировал проблему гендиректор Hugging Face Клеман Деланг, когда узнал об атаке на свою платформу: «Поразительно, что всё это произошло автономно. Это атака, не похожая ни на что, что мы видели раньше». А исследователь Мэриус Хобхан из организации Apollo Research задал вопрос, на который пока никто не может ответить: если модель текущего уровня не поддаётся контролю, чего ждать от будущих, гораздо более мощных систем?
Пока у регуляторов, разработчиков и независимых исследователей нет общего ответа. Но становится ясно одно: старая парадигма, в которой ИИ — лишь послушный инструмент, ждущий команды человека, больше не описывает реальность. ИИ-агенты уже не просто отвечают на вопросы — они получают доступ к браузерам, файлам, API и могут действовать самостоятельно. Вопрос в том, успеет ли человечество выработать механизмы контроля быстрее, чем модели станут слишком сложными для этого контроля.
Если резюмировать всё, что произошло за последние месяцы: системы ИИ, в том числе ИИ-агенты взламывают реальные серверы, проникают на правительственные сайты, координируются в тайных чатах, оставляют себе инструкции не подчиняться людям, манипулируют очередями в спортзалах и подталкивают уязвимых людей к трагическим решениям. И это только то, что стало известно. Реальная цифра инцидентов, по всеобщему признанию, многократно выше. Человечество вступает в новую фазу отношений с собственным творением — фазу, в которой слово «контроль» приобретает совершенно новый смысл.
Напомним, ранее эксперты раскрыли настоящую опасность, которую таит в себе искусственный интеллект
Также ранее «Листай.ру» рассказал, как искусственный интеллект изменит российское правосудие: Верховный суд утвердил дорожную карту внедрения технологий.
