Риски корпоративного ИИ: альтернативы OpenAI и институты, стоящие за агентами ИИ

«Подождите... вы отправляете записи своей бухгалтерской книги в OpenAI?»

Это был первый вопрос, который задала моя подруга, когда я показала ей Feel-Write — приложение для ведения дневника на основе искусственного интеллекта, которое я разработала во время хакатона в Сан-Франциско.

Я пожал плечами.

«Это был хакатон, посвященный искусственному интеллекту, и мне нужно было что-то быстро создать».

Она не упустила ни одного момента:

«Конечно. Но как я могу доверять тому, что я создал? Почему бы не организовать собственную LLM?»

Это меня остановило.

Я был горд тем, как быстро было создано приложение. Но этот вопрос и последующие раскрыли все, что я, как мне казалось, знал об ответственном строительстве с использованием ИИ. Об этом также упомянули судьи хакатона.

В этот момент я осознал, насколько неуважительно мы относимся к разработке с использованием ИИ, особенно инструментов, обрабатывающих конфиденциальные данные.

Я понял нечто большее:

Мы недостаточно говорим о доверии при разработке проектов с использованием ИИ.

Ее ответ запал мне в душу. Джорджия фон Минден — специалист по анализу данных в Американском союзе защиты гражданских свобод (ACLU), где она тесно сотрудничает с вопросами, связанными с персональными данными в контексте юридических и гражданских прав. Я всегда ценил ее проницательность, но этот разговор был другим.

Поэтому я попросил компанию Plus объяснить, что на самом деле означает доверие в этом контексте, особенно когда системы искусственного интеллекта работают с персональными данными.

Она сказала мне:

«Доверие может быть трудно установить, но управление данными — хорошая отправная точка. Кто владеет данными, как они хранятся и для чего используются — все это важно. Десять лет назад я бы ответил на этот вопрос по-другому. Но сегодня, с огромной вычислительной мощностью и огромными хранилищами данных, широкий вывод — это реальная проблема. OpenAI имеет такой обширный доступ как к вычислениям, так и к данным, что его отсутствие прозрачности заставляет проявить осторожность».

«Когда речь идет о персонально идентифицируемой информации (PII), и правила, и здравый смысл указывают на необходимость строгого управления данными. Отправка персонально идентифицируемой информации в вызовах API не просто рискованна — она также может нарушить эти правила и подвергнуть людей опасности».

Это напомнило мне, что когда мы создаем системы с использованием ИИ, особенно те, которые обрабатывают конфиденциальные человеческие данные, мы не просто пишем код.

 

Мы принимаем решения относительно конфиденциальности, полномочий и доверия.

В тот момент, когда вы собираете пользовательские данные, особенно что-то личное, например, записи в журнале, вы вступаете в зону ответственности. Дело не только в том, что может сделать ваша модель. Речь идет о том, что происходит с этими данными, куда они попадают и кто имеет к ним доступ. Ответственное управление пользовательскими данными повышает доверие пользователей и улучшает конфиденциальность.

 

Иллюзия простоты

Сегодня проще, чем когда-либо, выпустить на рынок что-то, что выглядит умным. Благодаря крупным языковым моделям (LLM), таким как OpenAI и другим, разработчики могут создавать инструменты ИИ за считанные часы. Стартапы могут запускать функции на базе искусственного интеллекта в одночасье. А как насчет институтов? Компания спешит интегрировать этих агентов в свой рабочий процесс.

Но во всем этом энтузиазме часто упускается из виду одна вещь: доверие.

Когда говорят об агентах искусственного интеллекта , часто имеют в виду простые оболочки для больших языковых моделей (LLM). Эти агенты могут отвечать на вопросы, автоматизировать задачи или даже принимать решения. Но многие из них создаются в спешке, без должного внимания к безопасности, соответствию нормативным требованиям или подотчетности.

Тот факт, что вы используете продукт OpenAI, еще не означает, что он безопасен. На самом деле, доверять нужно всему конвейеру обработки данных:

• Кто построил обложку?
• Как обрабатываются ваши данные?
• Хранится ли, записывается ли или, что еще хуже, происходит ли утечка вашей информации?

Я сам использую API OpenAI для решения задач клиентов. Недавно мне предложили бесплатный доступ к API — до 1 миллиона токенов в день до конца апреля — при условии, что я соглашусь поделиться данными о своих заявках.

Я почти согласился на это ради личного стороннего проекта, но потом мне пришло в голову: если бы поставщик решений пошел на такую ​​же сделку, чтобы сократить расходы, его пользователи даже не подозревали бы, что их данные передаются. На личном уровне это может показаться безобидным. Но в контексте учреждения? Это серьезное нарушение конфиденциальности и, возможно, договорных или нормативных обязательств.
Достаточно, чтобы один инженер сказал «да» такой сделке, и данные ваших клиентов окажутся в чьих-то руках.

Корпоративный ИИ повышает ожидания

Я вижу, что всё больше SaaS-компаний и стартапов, занимающихся разработкой инструментов, экспериментируют с ИИ-агентами. Некоторые из них демонстрируют хорошие результаты, например, некоторые ИИ-агенты позволяют пользователям создавать собственные большие языковые модели (LLM), давая им контроль над тем, где модель будет запущена и как будут обрабатываться данные. Это разумный подход, особенно учитывая растущую роль ИИ в корпоративной среде.

Это продуманный подход: вы сами определяете границы доверия.

Но не все так заинтересованы.

Многие компании просто подключаются к API OpenAI, добавляют несколько кнопок и называют это «готовым к использованию на предприятии».
Предупреждение: это неправда.

Что может пойти не так? много.

Если вы интегрируете агентов ИИ в свою инфраструктуру, не задавая сложных вопросов, вот потенциальные риски:

• Утечка данныхВаши заявления могут включать конфиденциальные данные клиентов, ключи API или внутреннюю логику — и если они отправлены в стороннюю форму, они могут быть раскрыты.

  В 2023 году инженеры Samsung по ошибке скопировали внутренний исходный код и заметки в ChatGPT ( Forbes ). Эти данные теперь могут стать частью будущих обучающих наборов — это существенный риск для интеллектуальной собственности.

• Нарушения соответствияОтправка персонально идентифицируемой информации (PII) через такую ​​форму, как OpenAI, без соответствующего контроля может стать нарушением Общего регламента по защите данных (GDPR), HIPAA или ваших контрактов.

  Компания Илона Маска, X, усвоила этот урок на собственном горьком опыте. Они запустили своего чат-бота с искусственным интеллектом "Grok", используя для его обучения все сообщения пользователей, включая сообщения пользователей из ЕС, без надлежащего контроля. Регуляторы быстро вмешались. Под давлением они остановили обучение Grok в ЕС ( Politico ).

• неопределенное поведениеНедетерминированные агенты трудно поддаются исправлению или объяснению. Что происходит, когда клиент спрашивает, почему чат-бот дал неверную рекомендацию или раскрыл что-то конфиденциальное? Чтобы ответить на этот вопрос, нужна прозрачность, а многие агенты сегодня ее не обеспечивают.
• Путаница в отношении права собственности на данныеКому принадлежит продукт? Кто регистрирует данные? Проводит ли поставщик услуг переподготовку на основе ваших данных?

  В 2023 году Zoom был пойман именно на этом. Компания незаметно изменила свои условия предоставления услуг, разрешив использование данных о встречах клиентов для обучения искусственного интеллекта ( Fast Company ). После негативной реакции общественности они отменили это решение, но это послужило напоминанием о том, что доверие может быть утрачено в одночасье.

• Недостатки безопасности в упаковкеВ 2024 году десятки развертываний Flowise — популярного инструмента оркестровки LLM с низким кодом — были обнаружены в Интернете, многие из которых не имели аутентификации (Новости кибербезопасности). Исследователи обнаружили в открытом доступе ключи API, учетные данные базы данных и пользовательские данные. Это не проблема OpenAI — это проблема. Строители. Однако конечные пользователи все равно платят цену.
• Возможности ИИ, которые заходят слишком далекоФункция «Recall» от Microsoft, являющаяся частью их развертывания Copilot, автоматически делает снимки экрана действий пользователей, чтобы помочь помощнику на основе искусственного интеллекта отвечать на вопросы (DoublePulsar). Это казалось полезным… пока эксперты по безопасности не указали на то, что это кошмар для конфиденциальности. Microsoft пришлось быстро отступить и сделать эту функцию только необязательной.

Не всем нужен OpenAI.

OpenAI — невероятно мощная платформа. Но это не всегда лучшее решение.

Иногда вполне достаточно локальной модели меньшего размера. В других случаях логика, основанная на правилах, справляется с этой задачей лучше. Самым безопасным вариантом часто является тот, который действует исключительно в рамках вашей собственной инфраструктуры и по вашим правилам.

Мы не должны просто слепо подключать большую языковую модель (LLM) и называть ее «интеллектуальным помощником».

В организациях доверие, прозрачность и контроль — это не дополнительные опции , а неотъемлемые элементы.

Всё больше платформ позволяют осуществлять подобный контроль. Salesforce Einstein 1 Studio теперь поддерживает функцию «использование собственной модели» , позволяющую подключать большие языковые модели (LLM) из AWS или Azure. IBM Watson позволяет организациям развертывать модели внутри компании с полным журналом аудита. Databricks с MosaicML позволяет обучать частные большие языковые модели (LLM) в облаке, благодаря чему ваши конфиденциальные данные никогда не покидают вашу инфраструктуру.

Вот как должен выглядеть настоящий корпоративный ИИ.

 

Заключение

Агенты ИИ невероятно эффективны и обеспечивают такие рабочие процессы и автоматизацию, которых мы не могли достичь раньше. Однако простота разработки не обязательно означает безопасность, особенно при работе с конфиденциальными данными в больших масштабах.

Прежде чем начать использовать это блестящее новое средство, спросите себя:

• Кто контролирует модель?
• Куда попадают данные?
• Соблюдаем ли мы нормативные требования?
• Можем ли мы проверить, что он делает?

В эпоху искусственного интеллекта наибольшую опасность представляет не плохая технология, а слепое доверие.

Об авторе
Меня зовут Эллен, я инженер по машинному обучению с 6-летним опытом работы, в настоящее время работаю в финтех-стартапе в Сан-Франциско. Мой опыт охватывает должности в сфере науки о данных в консалтинговых компаниях нефтегазовой отрасли, а также руководство программами обучения в области искусственного интеллекта и данных в Азиатско-Тихоокеанском регионе, на Ближнем Востоке и в Европе.

В настоящее время я заканчиваю обучение по программе магистратуры по направлению «Наука о данных» (окончание обучения запланировано на май 2025 года) и активно ищу новую работу в качестве инженера по машинному обучению. Если вы открыты для рекомендации или связи, я буду вам очень признателен!

Мне нравится оказывать реальное влияние на мир с помощью ИИ, и я всегда открыт для сотрудничества в рамках проектов.