Компания AISLE протестировала компактные ИИ-модели на задачах поиска уязвимостей и получила результаты, которые многих удивили. Все 8 систем, включая модель с 3,6 миллиардами параметров ценой около 0,11 доллара за миллион токенов, самостоятельно нашли серьёзную уязвимость в ядре FreeBSD. Идея о том, что за качественный анализ кода нужно платить дорого и использовать самые мощные модели, получила серьёзную пробоину.
Исследование появилось не случайно. После выхода Claude Mythos и старта Project Glasswing рынок наполнился разговорами о том, что только самые крупные и дорогие системы способны находить уязвимости, которые годами никто не замечал. AISLE решила это проверить.
Одна из тестируемых открытых моделей прошла по цепочке анализа ошибки в OpenBSD, которая жила в коде почти 27 лет. Маленькие модели при грамотной архитектуре системы вполне держат темп с гигантами.
Тест под названием парадокс OWASP обнажил неожиданную слабость больших моделей. Участникам дали фрагмент кода на Java, который выглядел как уязвимость, но таковой не являлся. Claude 4.5 и GPT-4 повелись на внешний вид и выдали ложное срабатывание. DeepSeek R1 и ряд других компактных моделей разобрали логику аккуратнее и не нашли проблемы там, где её не было.
Крупные модели выигрывают, когда нужно придумать сложный и изощрённый эксплойт, но для защитных задач это не главное. Там нужна точность и стабильность обнаружения, и здесь небольшие системы держатся достойно.
Данные AISLE копились с середины 2025 года и уже вышли за рамки лабораторных тестов. Открытые модели работают в реальных проектах и находят уязвимости в OpenSSL и curl, причём технические команды этих проектов результаты одобрили.
Исследование показывает, что правильно выстроенный процесс анализа, грамотная архитектура и последовательная проверка гипотез дают не меньше, чем размер и стоимость самой модели.