Кнопка «Я согласен»: почему это может быть самым опасным ИИ для предприятий?

В 2:00 ночи автоматизированный агент по устранению неполадок обнаруживает проблему в сети, определяет её как следствие неправильно настроенной политики, проверяет с помощью специальной системы, работает ли предложенное решение в рамках заданных параметров политики, а затем устраняет проблему. Сеть стабилизируется, и никто не получает уведомления.

Утром человек просматривает ежедневные выводы агента: сводку всех внесенных изменений со ссылками на записи, журналы аудита, логику и первопричины. Он подтверждает, что все исправлено правильно, и затем переходит к следующему шагу. Это модель «человек в контуре управления».

В другой организации в 4:00 утра самодельный, импровизированный обработчик обнаруживает проблему в сети, определяет её как следствие неправильно настроенной политики и устраняет её. Сеть стабилизируется, и никто не получает уведомления. Утром человек просматривает журналы, считает проблему решенной и переходит к следующему шагу.

В чём же заключается разница?

Разница заключается в том, что в сценарии самоорганизации журналы отражают лишь часть картины. Они не показывают, что агент внес три других изменения, чтобы прийти к этому решению, и что эти изменения были более масштабными, чем планировалось изначально. Кроме того, решения, лежащие в основе этих изменений, не были зафиксированы, поскольку агент не был обязан это делать в рамках своих ограничений. Эта недостаточная прозрачность системы лежит в основе проблемы.

Вот как может выглядеть переход к системе, управляемой человеком, без надлежащих сдержек и противовесов. Нет никакой радикальной передачи задач, только серия небольших, разумных делегирований, которые постепенно накапливаются в нечто, о чем никто явно не договорился. Это подчеркивает важность человеческого контроля над будущим искусственного интеллекта.

Это происходит быстрее, чем большинство руководителей осознают. Согласно недавним исследованиям, 57% ИТ-руководителей ожидают исключить человека из процесса управления в течение года или меньше, а 79% уже рассматривают агентов ИИ как «пользователей», требующих собственного управления идентификацией и контроля.

Переход к использованию искусственного интеллекта через посредников происходит быстрее, чем большинство организаций к этому готовы, как с точки зрения управления, так и с точки зрения способности оценивать автономные системы.

Это кнопка «Я согласен».

Решение для автономного ИИ всегда казалось невероятно простым: сохранить человеческий фактор в качестве контролирующего элемента. Кто-то проверяет результат, нажимает кнопку «утверждение» и обеспечивает подотчетность. Но в реальности все не так просто. Проверка каждого действия автоматически не создает подотчетности и мешает организациям в полной мере воспользоваться преимуществами автономии.

Вместо того чтобы анализировать каждую процедуру по отдельности, людям следует сосредоточиться на оценке результатов, обеспечении работы системы в пределах ее заданных параметров и предоставлении обратной связи, которая со временем улучшит ее производительность.

Процесс одобрения может превратиться в бессмысленный ритуал. По мере того, как системы доказывают свою надежность, а количество оповещений растет, люди порой начинают воспринимать вмешательство как нечто зачастую ненужное.

Подтверждение может превратиться в простой клик, а не в обдуманный выбор. А когда что-то идет не так (например, неправильно настроенная политика или автоматическая обработка, приводящая к сбою в работе сервиса), становится трудно ответить на вопрос, кто несет ответственность.

Это также подкрепляет более широкую тенденцию: одной из важнейших человеческих способностей становится критическое мышление и проверка гипотез, а не выполнение задач.

Происходит и кое-что ещё. Люди переходят от этапа реализации к этапу ознакомления перед утверждением — это фундаментальное изменение в повседневной работе большинства из нас.

Кроме того, атрибуция — это не то же самое, что источник. Документ, описывающий действия ИИ-агента, практически ничего не говорит о том, почему он это сделал или что повлияло на принятие этого решения. А когда что-то идёт не так, именно эта информация вам и нужна.

Идентичность нечеловеческих существ и новый сетевой ландшафт

Когда агенты ИИ взаимодействуют с вашей сетью — запрашивают данные у систем, вносят изменения в конфигурацию или маршрутизируют трафик — они считаются реальными пользователями. Как и операторы-люди, они требуют учетных данных, политик, средств контроля безопасности, возможности интерпретации и журналов аудита. Эта потребность в прозрачности и подотчетности аналогична усилиям по обеспечению прозрачности в центрах обработки данных, использующих ИИ.

Большинство организаций пока не успевают за этим развитием. Системы управления идентификацией разработаны для людей, и применение к ним агентов искусственного интеллекта в качестве дополнительной меры создает именно тот тип скрытого доступа, который команды безопасности пытаются устранить.

Почти 80% руководителей, уже использующих агентов ИИ в качестве управляемых идентификаторов, опережают события. Остальные же накапливают риски, которые не могут оценить до тех пор, пока не произойдет инцидент безопасности.

Для достижения этой цели каждый агент должен рассматриваться как субъект с определенными привилегиями, ограниченным по времени доступом, четким путем отзыва и полным журналом действий; не только того, что он делал, но и того, что ему было разрешено делать и почему.

Независимость не даётся даром, её нужно заслужить.

Команды, занимающиеся сетевой безопасностью и кибербезопасностью, уже понимают, как применять этот принцип. В каждой организации существуют системы контроля доступа, определяющие, к чему и когда люди могут получать доступ. Младший инженер не получает полный доступ к производственным системам в первый же день; он получает его постепенно. Та же логика должна применяться и к агентам искусственного интеллекта.

Мы еще не достигли этой точки. Слишком часто автономия рассматривается как принцип «всё или ничего», а это неправильная модель. Доверие так не работает с людьми, и так не должно работать с ИИ. Агенты ИИ должны начинать с предложения решений, а затем доказывать свою компетентность в четко определенных рамках, прежде чем расширять свои полномочия. И необходимо убедиться, что каждое решение оставляет след, объясняющий не только то, что произошло, но и причины, стоящие за этим.

По мере расширения использования автономного ИИ организациям потребуется сбалансировать человеческий контроль с системным управлением. Люди по-прежнему будут нести ответственность не только за результаты работы ИИ, но и, при необходимости, за предпринимаемые им действия и обоснование этих действий.

Однако по мере роста масштабов и сложности автономных решений этот контроль должен дополняться инфраструктурой, объединяющей идентификацию, обеспечение соблюдения правил, возможности мониторинга и подотчетность. Эти механизмы контроля в совокупности помогают обеспечить прозрачность, отслеживаемость и соответствие действий ИИ целям организации.

Создание многоагентных систем, способных выдерживать давление.

По мере того как эти системы становятся все более мощными, организации все чаще переходят к многоагентным архитектурам. В таких архитектурах каждый специализированный агент обрабатывает часть рабочего процесса и передает контекст следующему агенту. Именно здесь и кроются сложности.

Поведение отдельного агента можно отследить, если он совершит ошибку. Однако цепочку агентов, где каждый действует на основе результатов предыдущего, гораздо сложнее распутать при возникновении ошибки, если нет соответствующей структуры и управления. Необходимо знать, что знал каждый агент, а не только то, что он сделал.

Выполните основные задачи

Две организации используют одного и того же сетевого агента на базе ИИ. Одна из них выполнила основные, не самые привлекательные задачи: настроила строгие права доступа, соответствующий контроль идентификации и журналы аудита, которые предоставляют четкие ответы, когда это необходимо. Другая этого не сделала.

Вы не заметите разницы, пока что-нибудь не пойдёт не так.