Компьютерные новости
Все разделы
Microsoft предупреждает: агентские функции Windows 11 могут вызывать "галлюцинации"
Microsoft объявила, что операционная система Windows 11 проходит "агентскую переработку", одновременно предупредив о функциональных ограничениях и возможных рисках.
Она официально заявила, что модели ИИ "все еще сталкиваются с функциональными ограничениями в отношении своего поведения и иногда могут галлюцинировать и выдавать неожиданные результаты".
В сборке Windows 11 26220.7262 появился новый переключатель «Экспериментальные агентские функции» в «Настройках» в разделе «Компоненты ИИ». Эта функция является дополнительной и требует ручного включения, при котором Windows отобразит предупреждение о ее экспериментальном характере.
Помимо "галлюцинаций", большей проблемой является риск для безопасности. Уже появляются новые методы атаки, связанные с автономными агентами, в частности, перекрестное внедрение запросов. В этих атаках вредоносные инструкции скрыты в обычных документах или элементах интерфейса, вынуждая агента выполнять их вместо первоначальной задачи, что может привести к установке вредоносного программного обеспечения или утечке данных.
Microsoft утверждает, что эти агенты работают в "рабочем пространстве агента", подобно Windows Sandbox, где каждый агент имеет ограниченную учетную запись, его действия проверяются и записываются. Однако агенты разработаны для постоянной работы, что расширяет возможную поверхность атаки. По умолчанию агенту может быть предоставлен доступ для чтения и записи к общим папкам, таким как «Документы», «Рабочий стол» и «Загрузки». Эти настройки оставляют потенциальные пробелы, пока Microsoft не внедрит более сильную защиту, например, более детальные разрешения.
