ВСЕМ ПРИВЕТ!
Меня зовут Сергей Зыбнев, я 5 лет в ИБ, веду телеграм-канал Похек, работаю тимлидом пентестеров в «Бастион», специализируюсь на веб-пентесте.

Последнее время много времени посвящаю AI/ML/LLM R&D и за полтора года потратил больше $ 5 000 из своего кармана на эксперименты с AI-агентами для пентеста. Лично оплачивал API-токены, подписки на OpenAI, Anthropic, Google, OpenRouter, Cursor, а ещё покупку ПК под инференс и обучение локальных моделей. Проверил пять инструментов на реальных и учебных задачах, и ни один не остался в постоянной работе. Ниже расскажу, почему, и поделюсь выводами.

КЕЙС 1. CAI — ЛИДЕР ПО БЕНЧМАРКАМ, НО ДЛЯ МЕНЯ СЛАБОВАТ

CAI (Cybersecurity AI) от Alias Robotics — фреймворк с серьёзными достижениями на соревнованиях: победа в NeuroGrid CTF, первое место в Dragos OT CTF, лидерство в Hack The Box AI Track. Поддерживает 300+ моделей через LiteLLM, включая открытые через Ollama.

👉 GitHub: CAI

В чём главная фишка. Режим Human-In-The-Loop (HITL). В любой момент можно прервать агента (Ctrl+C), скорректировать действия или взять управление на себя. Есть три режима: в ручном агент предлагает команды, а вы их подтверждаете, в полуавтоматическом подтверждение есть только на критических этапах, в полностью автоматическом агент действует сам.

Как я использовал. Тестировал CAI на собственных лабораторных стендах и CTF/HTB, были попытки на российских багбаунти-площадках. На реальные проекты запускать не стал: был риск повредить инфраструктуру заказчика.

Результаты — ничего особенного. Ничего такого, что я не нашёл бы сам быстрее. CAI скорее хорош как академический инструмент: можно изучить, как устроены AI-агенты, разобраться в архитектуре, поэкспериментировать с моделями. Но для моих практических задач он оказался слабоват.

Сколько потратил. $100 на API-токены и значительное время на локальный инференс LLM.

Что понравилось:
— HITL-режим даёт контроль: не чувствуете себя наблюдателем за чёрным ящиком.
— Guardrails — правила, блокирующие опасные команды (rm -rf, shutdown), что полезно для работы с продакшн-средами.
— Поддержка MCP для подключения внешних инструментов, например Burp Suite.

Что не понравилось:
— На реальных задачах результаты скромнее, чем на CTF-бенчмарках.
— На боевую инфраструктуру запускать страшно: нет уверенности, что агент не навредит.
Почему не остался в работе. Хорош для изучения и экспериментов, но для моих задач недостаточно практичен.

Почему не остался в работе. Хорош для изучения и экспериментов, но для моих задач недостаточно практичен.

КЕЙС 2. PENTAGI — ЛУЧШАЯ АРХИТЕКТУРА ИЗ ВСЕХ, ЧТО Я ВИДЕЛ

PentAGI от VXControl стартовал в январе 2025-го, написан на Go, разворачивается через Docker Compose. Пока писалась эта статья, проект вышел в релиз 1.0.0, а затем и 1.1.0, что говорит о серьёзных намерениях команды.

👉 GitHub: PentAGI

В чём главная фишка. На мой взгляд, это лидер по продуманности архитектуры и стабильности работы среди инструментов, что я тестировал.

— Интересная архитектура. Тут четыре вида памяти: долговременная, рабочая, эпизодическая и база знаний. Эпизодическая память на PostgreSQL с pgvector позволяет учиться на прошлых сессиях. Например, агент нашел эксплойт для Apache 2.4.49, запомнил его и попробует в следующий раз при встрече с такой же версией. Также интегрирован Graphiti — граф знаний на Neo4j для семантического отслеживания связей.

— Многоагентная система. Researcher ищет информацию, Developer пишет скрипты, Executor выполняет команды. Внутри более 20 инструментов, например nmap, metasploit, sqlmap, nikto, и все в изолированной Docker-среде. Есть веб-интерфейс на React и поддержка нескольких LLM-провайдеров, включая Amazon Bedrock.

Как использовал. Тестировал аналогично CAI, на лабораторных стендах и CTF.

Результаты похожие: на учебных задачах работает, но для боевого применения пока не дотягивает.

Сколько потратил. Сопоставимо с CAI: до $100 на API плюс время на локальный инференс.

Что понравилось:
— Идея эпизодической памяти.
— Веб-интерфейс: для наблюдения за работой агента это удобнее, чем командная строка.
— Изоляция в Docker: не страшно дать агенту поработать на хосте.

Что не понравилось:
— Полная автономность звучит хорошо в описании, но на практике агент иногда зацикливается
— Для боевого применения на реальной инфраструктуре пока рискованно

Почему не остался в работе. Пока слабоват для моих задач, но из всех инструментов в статье за PentAGI буду следить пристальнее всего. Я заочно знаком с создателем проекта, мне нравится, как он мыслит и как планирует пентест.

КЕЙС 3. STRIX — ДОРОГО И МЕТКО, КОГДА РАБОТАЕТ

Strix специализируется на AppSec и интеграции в CI/CD: можно повесить на pull request в GitHub Actions, и он заблокирует merge, если найдёт подтверждённую уязвимость. Есть облачная версия (Pro за $750 в месяц) и open-source для локального запуска.

👉 GitHub: Strix

В чём главная фишка. Философия Zero false positives: когда инструмент находит подозрительное место в коде, он генерирует реальный PoC-эксплойт и запускает его в изолированной Docker-песочнице. Уязвимость попадает в отчёт, только если эксплойт сработал.

Сколько потратил. Один скан обойдётся от $50 до $500 в зависимости от сложности приложения. Я не тратил API-токены напрямую, а использовал подписку Claude MAX x5 (100$). Но даже этого уровня подписки не хватило на день работы: постоянно упирался в лимиты.

Что понравилось:
— Подход Zero false positives экономит время на ручной верификации.
— Интеграция в CI/CD реально работает.
— Готовые PoC в отчёте: можно сразу показать разработчику, что и как эксплуатируется.

Что не понравилось:
— Дорого. Очень дорого. Claude MAX x5 не хватает даже на день работы.
— Риск для аккаунта: SOC Anthropic может забанить за offensive-промпты, а я использовал личный аккаунт.

Почему не остался в работе. Стоимость не оправдывает результат. Со временем я научился оптимальнее промптить модели и экономить токены, и возникает вопрос: в чём плюс проекта, если я могу форкнуть его и улучшать сам?

КЕЙС 4. SHANNON — 96% НА БЕНЧМАРКЕ, НО БЕЛЫЙ ЯЩИК

Shannon от Keygraph — white-box инструмент. Под капотом многоагентная архитектура: AuthAgent, SQLiAgent, XSSAgent, SSRF-Agent и OrchestratorAgent, который всем управляет. Использует Claude Agent SDK как ядро рассуждения.

Результат на бенчмарке XBOW — 96,15%: это 104 реальных эксплуатируемых веб-уязвимости из open-source проектов. Опытный пентестер набирает 85% за неделю, а Shannon справляется за час-полтора. На OWASP Juice Shop нашёл 20+ критических уязвимостей, включая полный обход аутентификации.

👉 GitHub: Shannon

В чём главная фишка. Работает по принципу Proof by Exploitation и требует доступ к исходному коду. Анализирует кодовую базу, строит граф зависимостей, находит маршруты, модели данных, middleware, механизмы аутентификации и затем пытается реально проэксплуатировать слабые места.

Как использовал. Если честно, Shannon показался мне наиболее слабым из всей пятёрки, хотя его очень активно форсили в Telegram и запрещённых в РФ соцсетях.

Никаких ощутимых результатов я не получил, и интерес быстро пропал. Лучше уж тупая автоматизация на bash — предсказуемо и бесплатно.

Сколько потратил. Около $60–70 на API. Разработчики заявляют ~$50 за полный прогон.

Что понравилось:
— Отчёт с готовыми cURL-запросами для воспроизведения: разработчик может сразу проверить
— Подход Proof by Exploitation: нет PoC, нет отчёта

Что не понравилось:
— Требует исходный код
— Не подходит для black-box пентестов
— Двойное лицензирование: Lite (AGPL-3.0), Pro (коммерческая)

Почему не остался в работе. Самый слабый инструмент из пятёрки по соотношению «хайп/результат»: я не получил ничего, чего не нашёл бы простым bash-скриптом.

КЕЙС 5. VULNHUNTR — ОХОТНИК ЗА 0-DAY В PYTHON

Vulnhuntr от Protect AI — статический анализатор Python-кода, который ищет удалённо эксплуатируемые уязвимости с помощью LLM. Методология такая: инструмент разбивает код на фрагменты и находит файлы, обрабатывающие пользовательский ввод, затем Claude анализирует каждый потенциально опасный путь от точки входа до sink. Для всех находок генерирует PoC и оценку уверенности от 1 до 10: например, выше 7 — вероятная уязвимость, 8 — почти наверняка.

👉 GitHub: Vulnhuntr

В чём главная фишка. Это первый AI-инструмент, который автономно нашёл реальные 0-day в популярных проектах: CVE в gpt_academic (67k звёзд, LFI и XSS — CVE-2024-10099), ComfyUI (66k звёзд, XSS — CVE-2024-10131), Langflow (46k звёзд, RCE и IDOR), FastChat (37k звёзд, SSRF), Ragflow (31k звёзд, RCE).

Как использовал. Мне удалось найти Stored XSS в популярном AI-продукте на GitHub с 55k+ звёзд — CVE/БДУ я не регистрировал, поэтому проект не называю.

Это именно тот результат, который я хотел бы видеть от AI-сканеров: такой вектор эксплуатации SAST’ом вряд ли отловите, DAST’ом — может быть, но вопрос, каким именно. Я не знаю инструментов, которые нашли бы такую, по факту, простую багу автоматически.

Сколько потратил. Около $200 ушло на оплату токенов, также пробовал прикрутить подписку Claude Code — инструмент бесплатный, но каждый запуск стоит денег за Claude API.

Что понравилось:
— Работающий гибридный подход: статический анализ кода + LLM.
— Анализирует всю цепочку вызовов между файлами, а не отдельные фрагменты.
— Работает с Anthropic, OpenAI и Ollama, хотя с Claude результаты лучше.

Что не понравилось:
— Только Python.
— Из-за багов в Jedi строго требует Python 3.10.
— LLM недетерминирован: два запуска на одном проекте дают разные результаты.
— Большинство находок оказываются невалидными. Полностью автоматический поиск уязвимостей пока не работает.

Почему не остался в работе. Из всех инструментов Vulnhuntr показал лучший конкретный результат. Но я отказался от инструмента, потому что решил вложить время в собственные разработки, а не допиливать чужой проект.

ЧТО В ИТОГЕ

Итак, что я получил после полутора лет экспериментов и $5 000, потраченных на токены, подписки и железо?

Что осталось в работе. Ни один из инструментов, по разным причинам. Это не значит, что они плохие, просто я пока не нашёл, как встроить их в рабочий процесс. Вот краткое сравнение:

Какой ключевой вывод. Гибридный подход побеждает. Автономный агент, работающий сам по себе, проигрывает классическому пайплайну с точечным применением AI. Почему:

— Детерминированность. Классический пайплайн (nmap -> nikto -> sqlmap -> …) даёт предсказуемые результаты. AI-агент на каждом запуске может пойти по разному пути — это неприемлемо, когда нужна повторяемость.

— Стоимость. AI-агент тратит токены на рассуждения, ошибочные гипотезы, зацикливание. Гибридный подход — только на то, что AI делает лучше людей: анализ результатов, приоритизацию, отчёты.

— Контролируемость. Когда агент работает автономно, вы не всегда понимаете, что и зачем он делает. Гибридный подход даёт полный контроль.

Какие модели использовать. На реальном опыте могу выделить четыре general-модели, которые лучше всего подходят для задач из этой статьи: Claude Sonnet 4.5, Claude Opus 4.5, Gemini 3.5 Pro и GPT-5.2 Codex. Остальные либо слишком слабые для анализа кода и построения цепочек атак, либо слишком дорогие без ощутимого прироста качества.

Стоит ли обучать свои модели для пентеста. Я пробовал, и без финансирования проекта это не имеет смысла. Если у вас уже есть финансовые ресурсы или доступ к множеству GPU/TPU/NPU для инференса — игра стоит свеч. Но если вы, как и я, обладаете только желанием и стремлением, советую начать с базы: ML, MLFlow, основы LLM, как работают трансформеры и так далее.

Я как специалист, который изначально повёлся на хайп, был огорчён реальными результатами, скрытыми за сотнями слоёв маркетинга. А отличить его от настоящих результатов без реального понимания дела очень сложно.

Что дальше. После этих кейсов я понял, что универсальный AI-агент — это утопия. Работает только гибридный подход: детерминированный пайплайн и точечное применение ML/LLM там, где детерминированные методы не справляются.

Именно это показал Vulnhuntr, именно к этому стремится PentAGI со своей архитектурой памяти, и именно это я строю для себя.

Я допиливаю свой pentest pipeline на Go, множестве regex и интеграций. Заброшенные Python-инструменты переписал на Go, примеры форков можно найти на моём GitHub. Следующий шаг — внедрение ML для случаев, когда regex не справляется. А дальше только локальные LLM, причём меня интересуют SLM размером 8-14 миллиардов параметров с классической архитектурой Plan+ReAct, заточенные под каждую конкретную маленькую задачу.