Искусственный интеллект в кибербезопасности: трезвый взгляд на культ вокруг технологии

За последние два-три года я не видел ни одной презентации вендора СЗИ без слайда про искусственный интеллект. Антивирус на базе ИИ. Межсетевой экран на базе ИИ. DLP, SIEM, антифишинг, система контроля доступа, даже обычный сканер уязвимостей: у всех теперь «ИИ-движок» где-то внутри. Проблема не в том, что технология плохая. Проблема в том, что вокруг неё выросла атмосфера культа: вера в силу самого слова. Не в то, что технология конкретно делает и какую задачу решает.

Слово «культ» я употребляю не для красоты. У культа есть характерные признаки: ритуальное повторение формул без проверки содержания, подозрение к скептикам, обещание результата несоразмерного вложенным усилиям. Всё это я наблюдаю на рынке ИБ прямо сейчас, и как практикующий CISO обязан в этом разбираться трезво, потому что бюджет компании и реальная защищённость зависят от того, купим мы рабочий инструмент или красивую обёртку.

Откуда взялся этот культ

Генеративные модели вроде GPT и его аналогов действительно совершили скачок за последние несколько лет. Текст, который они генерируют, стал неотличим от человеческого в большинстве бытовых сценариев. Этот скачок породил ожидание, что раз модель умеет писать связный текст, значит она умеет и «понимать» угрозы, «предсказывать» атаки, «мыслить» как аналитик SOC.

Это ожидание ложное на базовом уровне. Большая языковая модель предсказывает следующий токен на основе статистики обучающей выборки. Она не понимает код, который анализирует, в том смысле, в каком его понимает инженер с десятилетним опытом реверс-инжиниринга. Она очень хорошо имитирует понимание, и в части задач эта имитация даёт полезный результат. Но путать имитацию с пониманием опасно, особенно когда речь о продукте, который должен останавливать реальную атаку в реальном времени.

Маркетинг охотно эксплуатирует эту путаницу. «ИИ» продаётся лучше, чем «статистическая модель, обученная на размеченном датасете инцидентов». Хотя часто это одно и то же под разными вывесками.

Где технология реально работает

Справедливости ради: есть области, где машинное обучение (именно так эта технология называлась последние пятнадцать лет, пока не стала модной под новым именем) даёт измеримый результат.

Выявление аномалий в сетевом трафике на основе поведенческих паттернов работает лучше, чем статичные сигнатуры, когда объём данных достаточно большой. Классификация фишинговых писем по совокупности признаков (структура, домен, лексика) превосходит простые черные списки. Приоритизация алертов SOC по вероятной значимости снижает нагрузку на аналитиков, хотя и не заменяет их решение. Распознавание вредоносного кода по поведенческим сигнатурам идёт дальше простого сравнения с хешем файла: это ловит часть новых вариантов малвари, которых не было в базах на момент атаки.

Во всех этих случаях технология встроена в узкую, измеримую задачу. Есть датасет, есть метрика качества (точность, полнота), есть понятная граница применимости. Это настоящая инженерия, просто названная модным словом.

Разница между рабочим ИИ-решением и маркетинговой обёрткой почти всегда видна по одному вопросу: «на каком датасете обучена модель и какая у неё измеренная точность на независимой выборке?» Если вендор не может ответить конкретными цифрами, в коробке почти наверняка лежит обычный набор правил, подкрашенный модным словом.

Где технология пока не работает

Генеративный ИИ, который сейчас активнее всего продают как «революцию в ИБ», хуже справляется именно с задачами, требующими надёжности и детерминированности. Креативность, наоборот, его сильная сторона, а в ИБ ценится прежде всего предсказуемость.

Автоматическое принятие решений об изоляции системы во время инцидента остаётся рискованным: модель может ошибиться с контекстом и отключить критичный production-сервис по ложному срабатыванию. Генерация отчётов об инцидентах действительно экономит время аналитика, но требует обязательной проверки человеком. Модель может уверенно написать правдоподобную, но неверную хронологию событий. Это не теоретический риск. Это задокументированная особенность генеративных моделей, которую разработчики называют «галлюцинациями».

Полностью автономный «ИИ-пентестер», который без участия человека находит и использует уязвимости в продакшене, существует пока в основном в презентациях. Реальные инструменты такого рода требуют постоянного контроля специалиста и часто дают избыточное количество ложных срабатываний при сложной инфраструктуре.

Как проверять заявления вендора на практике

За годы закупок СЗИ для разных компаний я выработал короткий набор вопросов, которые задаю на каждой презентации с «ИИ» на слайде.

Какая конкретно модель используется: обученная с нуля на собственном датасете вендора, или это обёртка над общедоступной LLM вроде GPT с системным промптом? Второй вариант не плохой сам по себе, но стоит совсем других денег и несёт другие риски, включая отправку ваших данных на сторонний сервер модели.

Какие метрики качества измерялись и на каких данных: точность, полнота, частота ложных срабатываний, и, что важнее, измерялись ли они на данных заказчика или только на внутреннем тестовом наборе вендора. Что происходит при отказе модели: есть ли понятный fallback на традиционные правила, или без ИИ-компонента продукт вообще не функционирует. И последнее: можно ли получить пилотный доступ на реальных данных компании перед покупкой. Демо-стенд с заранее подготовленным сценарием атаки для такой проверки не подходит.

Любой серьёзный вендор отвечает на эти вопросы спокойно и конкретно. Уклончивость в ответах, переход на общие фразы про «революционную технологию»: почти всегда надёжный индикатор того, что за словом «ИИ» стоит немного содержания.

Чем опасен культ конкретно для бизнеса

Помимо потраченных впустую денег на переплаченный продукт, у культа ИИ есть второй, более опасный эффект: ложное чувство защищённости. Руководство, купившее «систему на базе ИИ», склонно считать вопрос закрытым. Снижается бдительность, сокращается бюджет на человеческую экспертизу, потому что «теперь это делает ИИ».

На практике ни одна из существующих технологий не заменяет квалифицированного специалиста по безопасности в принятии решений с высокой ценой ошибки. ИИ-компонент может ускорить рутинную часть работы аналитика. Он не берёт на себя ответственность за решение. В случае инцидента перед регулятором и клиентами отвечает конкретный человек в компании, не алгоритм.

Практический вывод

ИИ в ИБ не фикция и не панацея. Это инструмент с конкретной, измеримой областью применения. Проверять его нужно фактами, не презентацией вендора. Решение о покупке любого продукта со словом «ИИ» в названии стоит принимать по тем же критериям, по которым принималось бы решение о покупке любого другого СЗИ: тест на реальных данных, понятные метрики, прозрачная архитектура.

Культ вокруг технологии пройдёт, как проходили предыдущие волны модных слов в индустрии (вспомните, как ещё недавно «блокчейн» вставляли в каждую презентацию СЗИ, хотя там ему было решительно нечего делать). Разумная инженерная практика переживёт любую моду.