Безопасность ИИ-агентов в компании: доступы, персональные данные и контроль ответов

Представьте, на что способен хакер, получивший доступ к корпоративному ИИ-агенту. Допустим, ИИ-агент имеет доступ к личному календарю, почте и даже мессенджеру. Или ИИ-агент имеет доступ к корпоративной CRM-системе, GitHub/GitLab, банковскому API и базе данных.

Во всех случаях Вас ждёт писец. Вообще, писец — недостаточное слово для описания всего того коллапса, который придёт, но поисковые системы не любят мат в статьях, поэтому воздержимся от ругательств.

Шантаж, утечка данных с последующими большими штрафами за нарушения 152-ФЗ, неработающая инфраструктура, потеря репутации... Можно продолжать дальше, но мы остановимся. Думаем, этого введения должно хватить, чтобы заинтересовать Вас полезностью данного материала.

Самое важное с точки зрения безопасности

При разработке технического задания на ИИ-агента обязательно отдельно проговорите и пропишите следующие пункты.

Доступы к агенту

Если ИИ-агент располагается не на Вашем ПК, а на VPS, обязательно закройте к нему прямой доступ. Особенно если агент сделан на базе Hermes или OpenClaw, так как там есть утилиты, которые позволяют запустить агента через терминал, а значит, получить к нему доступ. Да даже если это самописное решение, сделайте то же самое, так как с этого сервера идут запросы в API от имени компании.

Когда мы говорим «закройте прямой доступ», имеем в виду следующее: как минимум запретите подключаться к серверу по паролю через SSH, используйте только SSH-ключи. А ещё лучше — закройте подключение к серверу через корпоративный VPN или точечно разрешите подключаться к нему только с определённых IP-адресов.

Ну и, в конце концов, доступы к серверу агента должны быть у одного-двух людей. Думаем, это и так было понятно.

Доступы агента

Не давайте ИИ-агенту много инструментов для работы с данными. Желательно ограничиться только read-only-подходом. Пусть смотрит всё (ну почти всё, об этом ниже), но ничего не меняет и не редактирует.

Так, если ИИ-агент подвергнется взлому, Вам хотя бы базу не удалят.

Ну а вообще лучше точечно проанализировать, какие данные нужны ИИ-агенту. Лучше не дать сейчас лишнего, чтобы потом не было проблем. Например, если ИИ-агент помогает составлять коммерческие предложения, то ему не надо знать зарплаты сотрудников. Многие даже не задумываются, что агент пользуется обычным API, поэтому права доступа должны быть реализованы именно на этом уровне.

Также, если ИИ-агент работает на своём сервере и умеет исполнять скрипты (как OpenClaw и Hermes), лучше попросить безопасника или системного администратора настроить для него отдельные права. Грубо говоря, чтобы ИИ-агент не смог выполнить rm -rf /, что означает полное удаление файловой системы Linux-сервера. Мы немного обобщаем, но, думаем, посыл ясен.

Персональные данные

Во многих странах есть законы о персональных данных, стоит принять это во внимание. Но в рамках этой статьи говорим больше про Россию — тут это регулируется 152-ФЗ. Обратите внимание, какие данные Вы скармливаете ИИ-агенту и имеете ли на это право. А то будет обидно нарваться на большие штрафы.

Например, перед отправкой персональных данных в облачный ИИ надо убедиться, что компания вообще имеет право так их обрабатывать и передавать внешнему сервису. Одной политики конфиденциальности для этого может быть недостаточно. А если сервис зарубежный, появляются ещё и отдельные требования к передаче данных за границу.

А если Вы работаете со сведениями, составляющими государственную тайну... стоит хорошо проконсультироваться с безопасниками и юристами. Тут, если что, уже речь не про 152-ФЗ, а про Закон РФ № 5485-1 «О государственной тайне». Потенциальные проблемы из-за нарушений тут кратно больше.

Контроль ответов

На этот этап можно потратить много денег.

Во-первых, если агент работает с большим количеством людей, обязательно сделайте логирование сообщений в чате. Вам надо знать всё, что ему пишут, и всё, что он отвечает. Так проще отлавливать ошибки и фиксировать попытки обхода его ограничений.

Во-вторых, на уровне системных промптов запретите агенту делать то, что не следует. Важно: если агент долго работает с большим количеством информации, его история может автоматически сжиматься — этот процесс ещё называют compaction. При неправильной реализации во время такого сжатия часть важных инструкций и контекста может потеряться. Поэтому критические правила лучше держать отдельно в системных инструкциях, а большие объёмы информации по возможности суммаризировать ещё до попадания в агента.

Compaction — процесс сокращения истории и накопленной информации. У ИИ-агента есть ограниченное «окно памяти» — контекстное окно. Когда информации становится слишком много, агент может сжать старую часть истории, оставив её краткое содержание, чтобы продолжить работу в пределах доступного контекста.

В-третьих, если позволяет бюджет, настройте анализ ответов ИИ-агента через другого ИИ-агента. То есть пусть другой агент проверяет, корректный ли ответ дал предыдущий агент. Проверяющему не надо выдавать всю историю чата, достаточно видеть вопрос, ответ и системный промпт с правилами, что можно, а что нельзя. С такой задачей справится ChatGPT Luna и DeepSeek Flash, будет стоить копейки, зато спать будете спокойнее. Конечно, второй ИИ-агент не даёт стопроцентной гарантии правильности, но это ещё один дополнительный слой контроля.

Статья получилась небольшой, но это не значит, что мы что-то забыли — с точки зрения ИИ-агента это и правда всё самое важное, что надо проработать в первую очередь.

Сама тема IT-безопасности очень глубокая: там можно ещё говорить про шифрование, виртуализацию, настройку окружения и сканирование уязвимостей. Эти вещи в рамках этой статьи описывать излишне: с одной стороны, получится реферат, с другой — не всем нужен настолько глубокий уровень безопасности. А если и нужен — то, скорее всего, он уже внедрён Вашими IT-специалистами.