Современные системы защиты электронной почты, основанные на машинном обучении (ML), часто создают ложное чувство уверенности у специалистов по кибербезопасности. В индустрии назревает кризис доверия к автоматизированным оценкам, поскольку реальная погрешность моделей оказывается значительно выше, чем заявляют разработчики. Ситуация осложняется массовым внедрением ИИ-агентов, которые стирают границы между нормальным поведением пользователя и действиями злоумышленников.
Ловушка точных цифр и скрытая погрешность
Когда система безопасности помечает письмо как вредоносное, она опирается на вероятность, выраженную числом — например, 0,73 или 0,81. На первый взгляд такие показатели кажутся точными, однако за каждым из них стоит доверительный интервал. В обзорах систем безопасности отмечается, что этот интервал напрямую зависит от качества обучающих данных и количества примеров конкретного типа атак, которые «видела» модель.
Для массовых рассылок и стандартного фишинга данных достаточно, и погрешность невелика. Однако для целевых атак ситуация иная. Модель может сообщать об уверенности в 73%, скрывая, что реальная погрешность составляет значительную величину. Это напоминает предвыборные опросы: если кандидат опережает соперника на 3% при погрешности в 4%, результат статистически неотличим от подбрасывания монеты. В кибербезопасности многие решения принимаются на основе таких же зыбких данных.
Проблема «невидимых» атак через посредника
Особую опасность представляют атаки типа AiTM (Adversary-in-the-Middle — «злоумышленник посередине»). В этом случае между жертвой и легитимным сервисом авторизации устанавливается прокси-сервер. Пользователь вводит данные и проходит многофакторную аутентификацию (МФА), а атакующий перехватывает активную сессию. В итоге преступник получает доступ к аккаунту, не взламывая МФА, а просто обходя её.
Такие письма крайне сложно обнаружить методами машинного обучения по ряду причин:
- Инфраструктура отправителя часто является полностью легитимной.
- Ссылки могут вести на реальные корпоративные документы, например в SharePoint.
- В сообщениях отсутствуют вредоносные вложения или подозрительные домены.
- Социальная инженерия идеально адаптирована под контекст переписки.
Системы машинного обучения обучаются преимущественно на тех атаках, которые уже были обнаружены. Самые изощренные варианты, прошедшие незамеченными, не попадают в обучающую выборку. В результате возникает структурный изъян: модель учится распознавать только те угрозы, которые она и так способна увидеть, игнорируя действительно опасные инциденты.
ИИ-агенты разрушают поведенческий анализ
Традиционным методом поимки взломанных аккаунтов является поведенческий анализ. Система строит базовый профиль «нормы» для каждого пользователя и фиксирует отклонения: например, вход из необычного региона или мгновенный ответ на письмо в три часа ночи. Однако внедрение корпоративных ИИ-помощников, таких как Microsoft Copilot, делает эти сигналы бесполезными.
ИИ-агенты пишут грамматически идеальные ответы, работают с минимальной задержкой в любое время суток и используют строгие шаблоны. С точки зрения модели защиты, один почтовый ящик теперь выглядит как работа нескольких разных субъектов. Поведение ИИ-агента практически идентично действиям хакера, использующего автоматизацию для закрепления в системе.
Даже если ИИ-активность маркируется, само определение «нормального поведения» расширяется. В него теперь входят автоматизированные действия в нерабочее время. На этом фоне реальному злоумышленнику становится гораздо проще затеряться в потоке легитимного, но роботизированного трафика. Поведенческий сигнал, который раньше был четким, теперь становится размытым.
Как действовать руководителям служб безопасности
Эксперты призывают перестать воспринимать оценки систем обнаружения как окончательные вердикты. Вероятностный балл должен быть лишь отправной точкой для анализа, а не его завершением. В условиях, когда инструменты еще только созревают, рекомендуется изменить подход к защите.
Основные рекомендации для бизнеса:
- Требовать от поставщиков решений раскрытия доверительных интервалов вместе с баллами вероятности.
- Инвентаризировать и маркировать внедрение ИИ-агентов с той же строгостью, что и создание новых учетных записей.
- Проводить собственный ретроспективный анализ пропущенных атак, чтобы понимать разрыв между возможностями модели и реальностью.
- Использовать контекстное рассуждение: соответствует ли запрос на аутентификацию отношениям между отправителем и получателем и текущим рабочим процессам.
Машинное обучение эффективно справляется с поиском паттернов, но все еще уступает человеку в анализе контекста. Первый шаг к надежной защите — признать, что реальная погрешность систем безопасности гораздо шире, чем показывает панель управления.
