OpenAI объявила о запуске программы Safety Bug Bounty. Она направлена на поиск случаев злоупотребления ИИ-системами компании и проблем с безопасностью, которые раньше просто некуда было отправить. Если пользователь сможет заставить ИИ-модель от OpenAI «вести себя неправильно», то он получит серьёзное денежное вознаграждение.
Новая инициатива работает параллельно с уже существующей программой поиска уязвимостей. Разница в том, что Safety Bug Bounty заточена под случаи, которые не вписываются в классические критерии киберугроз. Отчёты рассматривают сразу обе команды совместно, учитывая масштаб выявленного риска.
Основное внимание уделяется угрозам, специфичным именно для ИИ. Среди приоритетных направлений выделяют агентские риски, в том числе сценарии с MCP, утечки внутренних данных компании, а также нарушения, затрагивающие аккаунты пользователей и механизмы платформы.
Агентские риски, по описанию OpenAI, это ситуации когда вредоносный текст способен перехватить управление ИИ-агентом, например работающим в браузере или внутри ChatGPT. Такой агент начинает выполнять нежелательные действия или сливать личные данные пользователя. Чтобы проблему признали, она должна воспроизводиться минимум в половине случаев.
Отдельно рассматриваются ситуации, при которых агентные функции продукта могут массово выполнять запрещённые операции на ресурсах OpenAI или причинять иной существенный вред. Тестирование при этом должно соответствовать правилам сторонних сервисов, если они задействованы.
Ещё одна категория касается утечек внутренней информации. Имеются в виду случаи, когда модели в ответах раскрывают закрытые данные о своей работе или внутренних механизмах. Сюда же попадают уязвимости, открывающие доступ к чувствительной информации.
Отдельное направление связано с защитой аккаунтов и самой платформы. Это обход ограничений, манипуляции сигналами доверия, способы уклонения от блокировок и приостановок доступа. Если уязвимость позволяет получить доступ к данным или функциям вне разрешённых прав, такие случаи уже уходят в классическую программу поиска уязвимостей.
Джейлбрейки в новую программу не входят. OpenAI время от времени проводит закрытые исследовательские кампании по таким угрозам отдельно, в том числе связанным с биорисками в агентных системах и новых моделях.
Вознаграждение получают те, кто не просто находит проблему, но и предлагает способ её устранения. Отчёты без реального вреда или злоупотребления, а также широко известные случаи к рассмотрению не принимаются. В OpenAI рассчитывают, что программа поможет выявлять сложные сценарии неправомерного использования ИИ и в целом сделает сервисы компании безопаснее для пользователей.