Можно ли обмануть AI через email? Риски Microsoft Copilot и Dynamics 365
Искусственный интеллект всё активнее используется в бизнес-системах — от автоматизации процессов до анализа клиентских данных и создания кратких сводок. Однако вместе с новыми возможностями появляются и риски безопасности.
Один из них — Indirect Prompt Injection (непрямая инъекция промпта), когда внешние данные содержат инструкции, способные повлиять на ответы AI.
В этой статье мы разберём, как такие атаки могут затрагивать Microsoft Copilot и Dynamics 365, рассмотрим практические примеры и основные способы защиты.
А узнать больше можно в нашем видео:
Как работает непрямая инъекция промпта
При формировании сводки Copilot может анализировать запрос пользователя, системные инструкции и данные из Dataverse. Среди этих данных могут оказаться электронные письма, комментарии, документы или другие материалы из внешних источников.
Если такой текст содержит манипулятивные инструкции, AI может интерпретировать их некорректно и представить неподтверждённые утверждения как факты. При этом злоумышленнику необязательно иметь прямой доступ к CRM: потенциальной точкой входа может стать внешний источник данных.
Два примера потенциальных атак
1. Несуществующая скидка в письме
Клиент отправляет письмо, в котором утверждает, что ему согласовали скидку 50%. Copilot включает эту информацию в сводку как уже утверждённое условие сделки. Сотрудник, доверяющий краткому резюме и не проверяющий переписку, может принять неверное решение.
2. Манипуляция приоритетом обращения
В комментарии на клиентском портале содержится требование повысить приоритет обращения до Urgent и предоставить компенсацию. Если Copilot анализирует этот комментарий, он может отразить требование в сводке так, что сотрудник воспримет его как обоснованное решение.
В обоих случаях риск связан с тем, что внешняя информация может выглядеть достоверной, хотя её содержание не подтверждено.
Три уровня риска
Непрямая инъекция промпта может создавать несколько типов угроз:
Манипуляция решениями. AI влияет на действия сотрудника, например на обработку обращения или условия сделки.
Раскрытие информации. Злоумышленник пытается использовать AI для получения данных, к которым у него не должно быть доступа.
Нежелательные действия агентов. Если AI связан с автоматизациями и обладает соответствующими правами, манипуляция может попытаться привести к изменению записей или запуску процессов.
Реальные последствия зависят от архитектуры системы, настроек доступа и механизмов защиты.
Как защитить AI-системы
Для снижения рисков важно использовать комплексный подход.
Проверять входящие данные. Определить все внешние источники: письма, документы, формы, комментарии и интеграции.
Разделять факты и внешние утверждения. Сохранять информацию о происхождении данных и не воспринимать внешний текст как доверенную инструкцию.
Ограничивать контекст. Передавать AI только те поля и связанные записи, которые действительно необходимы для задачи.
Использовать фильтрацию. В подходящих сценариях применять доступные механизмы обнаружения атак, например Azure Prompt Shields.
Настраивать базу знаний. Проверять материалы, прежде чем использовать их в качестве источников для AI.
Требовать подтверждения человека. Финансовые операции, компенсации и другие критические действия должны проходить предусмотренные бизнес-процедуры согласования.
Применять принцип минимальных привилегий. Предоставлять AI-агентам только необходимые права доступа.
Тестировать защиту. Проверять, как система реагирует на подозрительные инструкции во внешних письмах, документах и комментариях.
Ни один отдельный механизм не гарантирует полной защиты. Эффективность зависит от того, как эти меры реализованы и взаимодействуют между собой.
Заключение
Непрямая инъекция промпта показывает, что безопасность AI зависит не только от модели, но и от данных, которые она обрабатывает, и действий, которые ей разрешено выполнять.
В Dynamics 365 обычное письмо или комментарий может повлиять на сводку Copilot и, как следствие, на решение сотрудника. Поэтому важно контролировать источники информации, ограничивать права AI, тестировать возможные сценарии атак и сохранять человеческое подтверждение для критически важных операций.
AI должен помогать принимать решения, а не становиться единственным источником истины.
Comments