ИИ и безопасность
Утечка данных через нейросети: реальные случаи и как их предотвратить
Руководители, с которыми я обсуждаю риски нейросетей, часто реагируют одинаково: «звучит как теоретическая проблема, у нас такого не случалось». Проблема в том, что большинство утечек через ИИ-инструменты остаются незамеченными компанией годами, потому что для них не существует привычного сигнала тревоги вроде уведомления о взломе. Данные просто тихо уходят на сторонний сервер в рамках обычного, легального на первый взгляд использования инструмента.
Случай, о котором говорила вся индустрия
В 2023 году стало широко известно о случае в одной из крупных технологических компаний, где несколько инженеров в течение короткого времени трижды вставили во внешний чат-бот фрагменты внутреннего исходного кода: один раз для проверки ошибки, второй для оптимизации кода, третий для создания краткого резюме встречи с использованием внутренних заметок. После этого компания временно ограничила сотрудникам доступ к внешним генеративным сервисам и начала разработку собственного внутреннего инструмента. Случай получил широкую огласку именно потому, что компания была крупной и публичной, но механизм утечки был предельно рядовым: не взлом, не злой умысел. Обычное, казалось бы, разумное использование инструмента для ускорения рутинной задачи.
Это характерная черта утечек через ИИ: они почти никогда не выглядят как атака. Они выглядят как продуктивность.
Технический механизм, который редко объясняют простыми словами
Когда сотрудник отправляет запрос в публичный чат-бот, этот текст уходит на сервер компании-поставщика модели. Что происходит с ним дальше, зависит от условий конкретного сервиса и выбранного тарифа. У многих бесплатных и части платных тарифов пользовательские запросы по умолчанию могут использоваться для дальнейшего обучения или улучшения модели, если пользователь явно не отключил эту опцию в настройках, которые часто спрятаны глубоко в интерфейсе и мало кто о них знает.
Даже если данные формально не используются для обучения, они всё равно временно или постоянно хранятся на серверах поставщика сервиса, часто за пределами юрисдикции, в которой работает ваша компания. Для российских компаний, работающих с персональными данными граждан РФ, это создаёт прямой конфликт с требованиями 152-ФЗ о локализации определённых категорий данных, независимо от добрых намерений сотрудника, решившего «просто ускорить» свою работу.
Отдельная техническая особенность, о которой знают немногие: у нескольких известных сервисов за последние годы случались баги, из-за которых пользователи временно видели чужие истории переписки или заголовки чужих диалогов. Такие инциденты обычно быстро исправляются поставщиком, но они наглядно показывают: даже без злого умысла со стороны компании-разработчика, инфраструктурная ошибка может сделать чужие данные видимыми третьим лицам.
Утечка через нейросеть не требует атакующего в привычном смысле слова. Единственное необходимое условие: сотрудник, который торопится выполнить задачу и не задумывается, куда уходит вставленный им текст. Это делает такую утечку сложнее предотвратить техническими средствами и проще предотвратить обучением и ясной политикой.
Какие категории данных особенно уязвимы
Исходный код и технологические ноу-хау утекают чаще всего через разработчиков, использующих ИИ-ассистентов для отладки и рефакторинга. Персональные данные клиентов утекают через сотрудников поддержки и маркетинга, которые вставляют реальные обращения клиентов в чат-бот для составления типового ответа или анализа тональности. Коммерческие условия и переговорные позиции утекают через менеджеров по продажам и закупкам, использующих ИИ для подготовки к переговорам или составления предложений на основе внутренних расчётов. Юридически чувствительные документы (договоры, судебные материалы, кадровая документация) утекают через юристов и HR, которые чаще других сталкиваются с длинными документами, требующими быстрого анализа.
Практические меры защиты
Первый и самый эффективный барьер это не технический контроль. Это ясная классификация данных и конкретная политика использования ИИ-инструментов, о которой я подробно писал в отдельной статье. Без понятной границы «это можно обрабатывать в чат-боте, а это нельзя» любая техническая мера останется заплаткой поверх нерешённой организационной проблемы.
Технически доступны инструменты DLP (Data Loss Prevention), способные распознавать и блокировать отправку определённых категорий данных (номера паспортов, банковских карт, ключевые слова, характерные для исходного кода) в адрес известных доменов публичных ИИ-сервисов. Эффективность таких систем ограничена: они хорошо ловят структурированные данные вроде номеров карт и значительно хуже распознают неструктурированный текст договора или описание коммерческой сделки, который можно переформулировать бесчисленным количеством способов.
Корпоративная подписка на модель с договором о неиспользовании данных для обучения и, желательно, с локальным или контролируемым размещением инфраструктуры снижает юридический риск по сравнению с бесплатным публичным доступом, хотя не устраняет его полностью: данные всё равно покидают периметр компании и временно обрабатываются на стороннем сервере, пусть и с договорными гарантиями.
Для наиболее чувствительных категорий данных единственное действительно надёжное решение: локально развёрнутая модель, работающая в периметре компании без передачи данных наружу вообще. Это дороже и технически сложнее в обслуживании, но для компаний с действительно высокими ставками (финансовый сектор, оборонная промышленность, медицинские данные) часто остаётся единственным вариантом, соответствующим требованиям регуляторов.
Как обнаружить, что утечка уже происходит
Если формальной политики и технического контроля ещё не было, вероятность того, что утечка через ИИ-инструменты уже происходит в компании прямо сейчас, стоит оценивать как высокую, не как гипотетическую. Анализ DNS-трафика корпоративной сети за последние несколько месяцев на предмет обращений к доменам популярных нейросетевых сервисов даёт первое приближение к реальному масштабу. Это не идеальный метод (личные устройства сотрудников через мобильный интернет не попадут в эту статистику), но даже частичная картина обычно оказывается отрезвляющей для руководства, которое было уверено, что «у нас такого нет».
Итоговая мысль
Утечка данных через нейросети редко выглядит как классический инцидент безопасности с явным злоумышленником и моментом компрометации. Чаще это постепенный, незаметный процесс, встроенный в обычную рабочую рутину компании. Именно поэтому её сложно заметить без целенаправленной проверки, и именно поэтому стоит проверить целенаправленно, не дожидаясь, пока проблема станет публичной так же, как это случилось с рядом крупных компаний до вас.
Хотите понять, откуда конкретно утекают данные в вашей компании через ИИ-инструменты? Аудит информационной безопасности находит такие каналы до того, как ими воспользуется кто-то посторонний.