Безопасность
24 сентября 2025 г.

ФСТЭК готовит новый стандарт для защиты искусственного интеллекта от специфических угроз и ошибок обучения
Федеральная служба по техническому и экспортному контролю (ФСТЭК) работает над созданием национального стандарта по безопасной разработке систем искусственного интеллекта. Новый документ должен восполнить пробелы в действующих нормах и учесть риски, характерные именно для технологий машинного обучения. Об этом заявил первый заместитель главы ведомства Виталий Лютиков на форуме BIS‑2025.
Как уточнил Виталий Лютиков, речь идёт о регламенте, который дополнит существующие методики по защите программного обеспечения и сосредоточится на угрозах, присущих ИИ: уязвимости моделей, сложность валидации, воздействие на обучающие выборки, эксплуатация ложных выводов. Ожидается, что к концу 2025 года проект будет представлен экспертному сообществу для публичного обсуждения.
Виталий Лютиков подчеркнул, что в отличие от обычных программ, код которых поддаётся проверке, ИИ‑алгоритмы часто функционируют как «чёрный ящик», а значит, защищать нужно не только финальный результат, но и процесс обучения, датасеты, цепочки поставки компонентов, а также инфраструктуру хранения и исполнения.
По мнению Игоря Бедерова, представителя T.Hunter, будущий документ должен стать полноценным методическим инструментом для разработчиков. Он ожидает, что в стандарте появятся чёткие требования ко всем этапам жизненного цикла ИИ‑систем — от подготовки данных и разработки архитектуры до внедрения и мониторинга в продуктивной среде.
Алексей Лукацкий из Positive Technologies напоминает, что в приказе ФСТЭК №117, вступающем в силу в марте 2026 года, уже предусмотрены положения по защите ИИ, но в текущем виде они сформулированы слишком обобщённо. Новый документ, как подчёркивает Лукацкий, должен конкретизировать, как именно разрабатывать, настраивать и эксплуатировать такие системы, чтобы минимизировать риски компрометации.
Отдельную проблему, по мнению Николая Комлева, исполнительного директора АПКИТ, представляет поведение ИИ в неконтролируемых условиях. Он отмечает, что проверка обычного программного кода сильно отличается от валидации модели, работающей на обучении. А значит, кибербезопасность необходимо встраивать уже на этапе проектирования, с учётом особенностей сторонних библиотек, облачных платформ и открытых инструментов.
Среди наиболее опасных угроз эксперты называют так называемое «отравление» обучающих выборок, инъекции через промт-запросы, а также манипуляции с «галлюцинациями» модели — ситуациями, когда ИИ генерирует логически правдоподобные, но фактически ложные ответы. Такие риски нельзя нивелировать классическими методами защиты, что делает ситуацию ещё более уязвимой.
В мире уже существует свыше 150 отраслевых и региональных стандартов по безопасному использованию ИИ, но, по словам российских специалистов, документ, разрабатываемый ФСТЭК, должен иметь универсальный характер и подходить для широкого спектра применений — от госсектора до частного бизнеса.
Эксперты убеждены, что без системного регулирования возрастает вероятность ситуаций, в которых модель, обученная на непроверенных или специально подменённых данных, будет принимать решения с реальными последствиями: от финансовых потерь до ошибок в здравоохранении или в работе госуслуг.
Автор: Артем Представитель редакции CISOCLUB. Пишу новости, дайджесты, добавляю мероприятия и отчеты.