Вредоносные программы искусственного интеллекта вынуждают распространить принцип «нулевого доверия» на сам код.

Безопасность программного обеспечения всегда строилась вокруг человеческого фактора. Раньше люди писали, проверяли и публиковали код. Теперь эти задачи берут на себя машины.

В недавней исследовательской работе компания Anthropic сообщила, что более 80% кода, встроенного в ее базу данных по повышению производительности, создано ее моделью искусственного интеллекта по имени Клод.

Те же возможности, которые повышают производительность разработчиков, меняют экономику кибератак.

Пока злоумышленники еще идентифицируют цель, машины могут создавать вредоносные программы, тестировать их варианты, адаптировать код к различным средам и повторять этот процесс со скоростью, за которой программное обеспечение для обеспечения безопасности не может угнаться.

Скорость имеет приоритет над средствами безопасности.

В большинстве корпоративных процессов обеспечения безопасности программного обеспечения предполагается период проверки. Код пишется, проверяется, тестируется, утверждается и развертывается. Если позже происходит что-то подозрительное, группы безопасности проводят расследование и принимают меры.

Эта модель перестаёт работать, когда программа переходит от простого руководства к выполнению за считанные минуты.

Сгенерированный ИИ код может быть практически мгновенно преобразован в скрипты, зависимости, задачи автоматизации или изменения инфраструктуры. В то же время агенты разработки могут изменять файлы, разрешать пакеты и выполнять команды.

В процессе больше не участвуют эксперты-рецензенты.

Злоумышленники могут использовать одни и те же механизмы для создания уязвимостей, тестирования методов обхода защиты и изменения поведения вредоносных программ для разных целей. Это обеспечивает большую универсальность при меньшем количестве стабильных индикаторов, которые могут обнаружить защитники.

Хотя анализ с использованием ИИ может улучшить процесс проверки, он часто выдает вероятности, а не стратегии. А на машинной скорости «вероятно подозрительно» недостаточно. Поэтому необходимость в правилах и рамках управления ИИ становится все более актуальной.

Машины меняют модель атаки.

Люди-атакеры никуда не исчезнут, но большая часть цепочки атак теперь осуществляется машинами.

Искусственный интеллект способен автоматизировать разведку, ускорить обнаружение уязвимостей, генерировать эксплойт-код, переписывать вредоносные программы и адаптировать последовательности команд к целевой среде. Однако большинство мер защиты разработаны с учетом ограничений человеческого фактора: повторно используемая инфраструктура, упрощенные подходы и отслеживаемые шаблоны. Эти методы не применимы к атакам с использованием машин.

Созданная машиной вредоносная программа может не соответствовать известной сигнатуре или не иметь устоявшейся репутации. Она может быть создана, использована в течение короткого времени, а затем удалена. Но вредоносное ПО, работающее на основе искусственного интеллекта, должно взаимодействовать с целевой средой, чтобы достичь своей цели. Его поведение не может скрывать его намерения; оно должно получать доступ к ресурсам и изменять среду таким образом, чтобы продвигать атаку вперед.

Вредоносный код способен создать наиболее устойчивый сигнал безопасности.

В сфере безопасности необходимо задавать другие вопросы.

Безопасность цепочки поставок программного обеспечения улучшилась, но большая её часть по-прежнему проверяет характеристики воздействия до выполнения, а не контролирует само выполнение.

Списки компонентов программного обеспечения (SBOM), сигнатуры и исходный код дают группам безопасности большую уверенность в составе, происхождении и дате сборки кода. Однако знание исходного кода не раскрывает, что программа будет делать при запуске.

Программа может пройти все эти проверки и при этом создавать риски. Даже результаты корректного процесса сборки могут нарушать правила во время выполнения, а сгенерированный ИИ скрипт может выполнить свою задачу таким образом, что это поставит под угрозу данные или системы. Следовательно, чистый список зависимостей не является доказательством безопасного поведения, что подчеркивает важность соблюдения стандартов программирования, даже при использовании инструментов ИИ.

Информация, раскрываемая после внедрения, поступает слишком поздно.

Обнаружение и реагирование по-прежнему необходимы, но они начинаются после того, как угроза уже проникла в среду. К тому времени, когда подозрительное поведение становится видимым, вредоносное ПО может получить доступ к конфиденциальной информации, изменить состояние системы, открыть сетевые соединения или установить точки непрерывности.

Искусственный интеллект значительно сокращает этот временной промежуток. Код можно создавать, изменять и развертывать гораздо быстрее, чем люди могут его проверить. Ожидание появления доказательств после выполнения дает злоумышленникам достаточно пространства для маневра.

Нам необходимо перенести процесс принятия решений на более раннюю стадию. Вместо вопроса: «Сможем ли мы сдержать работу этого программного обеспечения, если оно будет вести себя некорректно?», следует задать вопрос: «Следует ли вообще допускать такое поведение?»

Это не означает замену существующих элементов управления, а скорее изменение местоположения критически важных ворот безопасности.

Полное отсутствие доверия к инструкциям программирования

Принцип «нулевого доверия» изменил подход к обеспечению безопасности организаций, отвергнув неявное доверие. Пользователям, устройствам, сессиям и запросам на доступ нельзя доверять просто потому, что они кажутся знакомыми; все они должны быть проверены на соответствие установленным правилам.

Внедрение программного обеспечения требует такого же уровня проверки.

Не следует доверять коду только потому, что он поступает из известного репозитория, подписан признанным издателем, прошел через конвейер сборки или ранее не демонстрировал вредоносного поведения. Это полезные индикаторы, но они не являются окончательными.

Принцип «нулевого доверия к коду» решает эту проблему. Прежде чем запускать какую-либо программу, необходимо оценить ее ожидаемое поведение на соответствие установленным правилам. Если поведение приемлемо, выполнение может продолжаться. В противном случае элемент должен быть заблокирован, ограничен, помещен в карантин или передан на проверку. Эта необходимость подчеркивает важность установления четких правил и рамок для искусственного интеллекта, выходящих за рамки простых правил.

Организации могут начать с определения каждого пути, по которому код попадает в среду или выполняется со значительными привилегиями. Это включает в себя формальные каналы разработки, такие как репозитории, пакеты с открытым исходным кодом, контейнеры и конвейеры непрерывной интеграции/непрерывного развертывания (CI/CD), а также вложения электронной почты, загруженные файлы, макросы, расширения для браузеров, установщики конечных точек, интеграцию со сторонними сервисами и скрипты, внедряемые с помощью инструментов искусственного интеллекта или автоматизации.

Далее, крайне важно определить, где эти пути основаны на унаследованном доверии. Если выполнение разрешено, потому что программное обеспечение получено из доверенного источника, подписано, прошло процесс сборки или не имеет истории вредоносного ПО, то этот контроль является неполным. Поведение все еще необходимо оценить, прежде чем элементу будет разрешено выполняться. Это также подчеркивает уязвимость к уязвимостям, возникающую из-за растущей зависимости от поставщиков решений в области ИИ.

Поскольку искусственный интеллект берет на себя все большую часть задач по созданию как легитимного, так и вредоносного кода, организации больше не могут предполагать, что код, прошедший существующие проверки, можно разрешать к выполнению. Внедрение должно стать хорошо продуманным решением в области безопасности.

Мы составили список лучших пакетов программного обеспечения для обеспечения безопасности в интернете для ПК, Mac и мобильных устройств.