Что мешает бизнесу использовать ИИ

Возможные проблемы от внедрения искусственного интеллекта активно обсуждаются не первый год. Алгоритмы не всегда объективны и могут дискриминировать людей или предлагать спорные решения проблемы, выдавать некорректные ответы на запросы. И это только часть сложностей.

Недавно исследователи Anthropic выяснили, что нейросеть можно «убедить» заговорить на острые или запретные темы — достаточно лишь приложить побольше усилий. Всё это создаёт риски для бизнеса, который заинтересован использовать ИИ в своих задачах. Где провести границу при применении ИИ, какие решения и действия нейросетей беспокоят бизнес и как можно снизить риски, рассказал Александр Обысов, сооснователь и генеральный директор arcsinus.

Небезопасный ИИ: о чём тревожится бизнес

Обсуждая возможные риски, связанные с внедрением ИИ и LLM (больших языковых моделей), бизнес опасается в первую очередь утечки конфиденциальных данных — финансовой информации и других типов данных, составляющих коммерческую тайну. Проблема в том, что при работе с облаком информация хранится на чужих серверах, а значит, гипотетически может «утечь на сторону» — к конкурентам или в другую страну. И чем серьёзнее для конкретного бизнеса или отрасли последствия от подобной утечки, тем меньше желания использовать ИИ и больше возражений от отделов безопасности.

Эти риски касаются как внутренних данных, на которых LLM обучается, так и внешних, которые приходят от пользователей. Например, клиент делится с чат-ботом своей конфиденциальной информацией, чтобы получить ответ по заказу в интернет-магазине. И если есть хотя бы минимальный риск утечки, бизнес очень часто отказывается от работы с LLM.

Разумеется, технологии не стоят на месте, и уже существуют решения и вне облака. LLM можно поместить в защищённый контур компании, чтобы исключить «выход» данных наружу. Однако это дорого — как минимум из-за стоимости необходимого железа. Если компания выбирает не бесплатную open-source LLM, а проприетарную (с закрытым кодом), это также существенно добавляет расходов. Поэтому LLM в контуре обычно остаётся прерогативой крупного бизнеса, но даже там он задумывается, стоит ли вкладываться.

Второе опасение связано с этикой ответов ИИ. Насколько та информация, которую нейросеть выдаст на запрос пользователя — бизнеса или его клиента, будет правдивой, корректной, а главное — безопасной для бизнеса. ИИ может «придумать» факты, опираясь на данные, которые у него есть, и заложенные в него алгоритмы, или выдать информацию, которую не должен получить пользователь. Последнее в большей степени опасно во взаимодействии нейросетей и внешней аудитории — действующих и потенциальных клиентов компании.

Кроме того, нейросеть может давать ответы, опираясь на определённые стереотипы, которые она получила с материалами для обучения. Например, Bloomberg проанализировал 5000 изображений от генеративного ИИ и выяснил, что по запросам «юрист», «политик» и «CEO» нейросеть намного чаще выдаёт мужчин.

Есть и другие истории: нейросеть Amazon «решила», что кандидаты-мужчины для технологических вакансий лучше, поэтому отдавала им предпочтение при оценке резюме. Причина в том, что нейросеть для обучения использовала резюме, которые попадали в Amazon в течение 10 лет, и там превалировали кандидаты-мужчины.

Потенциальный соискатель не склонен думать, кто именно ему отказывает: «машина» или человек. Его негатив будет направлен на бизнес, который «поступил неэтично». Поэтому за рубежом часто обсуждают недостаток разнообразия и инклюзии в системах ИИ.

Неконтролируемый поток идей ИИ как угроза репутации бренда

Ответы, которые может выдавать ИИ, — это один из самых острых вопросов работы алгоритмов на сегодняшний день. В первую очередь проблема заключается в этичности ответов: корректно ли нейросеть выразилась, учитывая позицию бренда, его политику общения с аудиторией и ценности, которые она продвигает. Не выдала ли нейросеть в своих ответах конфиденциальные данные, не скомпрометировала ли она бренд иным образом.

С одним банком мы обсуждали автоматизацию поддержки, и партнёры беспокоились за вероятность некорректных ответов на экономические вопросы. Условно клиент спросит у ИИ-бота «Почему доллар такой дорогой?», и бот даст компрометирующий компанию ответ. Для бизнеса важно, чтобы ИИ говорил в рамках ограниченного объёма тем, то есть использовал конкретную базу знаний и делал это в соответствии с Tone of Voice конкретной компании.

Свободные же сценарии наносят урон репутации компании, чей чат-бот вышел за рамки и «поддержал беседу». К тому же случайные пользователи часто специально провоцируют ботов дать остросоциальный или политический комментарий, чтобы выложить потом скриншот в сеть. Разбираться с последствиями и прямыми репутационными потерями для бизнеса — довольно дорогое занятие. Особенно если скриншот «завирусился».

Порой неэтичные ответы могут быть относительно безобидными, но только если не вдаваться в детали. Например, объяснение Алисы «Яндекса» на вопрос пользователя о том, почему Маша из мультфильма «Маша и медведь» живёт одна. Умная колонка рассказала, что Маша — это призрак убитой девочки, так что видеть её могут только животные. Родители покинули дом, потому что не смогли жить там, где нет их ребёнка. И самое главное, почему Маша мучит конкретного медведя — всё дело в том, что это он её и лишил жизни.

С учётом того, что вопрос задал ребёнок и речь о детской сказке, этичность ответа под большим вопросом. В «Яндексе» назвали этот случай единичным и объяснили, что если Алиса не знает чёткий ответ, она берёт информацию в открытых источниках. Позднее ответ Алисы изменили: теперь она рассказывает, что родители уехали, а девочку случайно забыли дома.

Возможно, страшный сюжет первого ответа мелькал где-то в интернете в обсуждениях. Однако менее неэтичным для ответа на детский вопрос он от этого не становится. Подобные случаи могут пошатнуть доверие аудитории к бренду.

Галлюцинации искусственного интеллекта

Не всегда в своих ответах на запрос пользователя ИИ выдаёт корректный ответ — не только с позиции его допустимости для конкретной компании, но и с позиции технической правильности. Генеративный ИИ может «придумать» свою версию и выдать неточную или ложную информацию — это называется галлюцинациями.

Проблема возникает из-за того, что у нейросети ограниченный объём данных для обучения, и если запрос пользователя поставил её в незнакомую ситуацию, она начинает «фантазировать». Результаты этих «фантазий» могут быть самыми разными.

При генерации текстового ответа возможен и мелкий некорректный факт, и целый текст, построенный на ложных утверждениях. При генерации изображения — искажённые или нереалистичные детали вроде шести пальцев на человеческой руке, такая аномалия случается (она называется полидактилия), однако когда дизайнер хочет получить изображение человека, обычно подобных аномалий в его задумке нет.

В нашей практике была история, когда мы готовили дизайн сайта для заказчика, и в него нужно было вставить контент для демонстрации макета. Мы сгенерировали изображение при помощи ИИ — это должно было быть блюдо с креветкой. Нейросеть нам нарисовала креветку с двумя хвостами: один из них находился там, где должна быть голова. Галлюцинация некритичная, все посмеялись и забыли. Однако ситуации могут быть значительно хуже и опаснее.

Например, американский адвокат при составлении иска воспользовался помощью ChatGPT и получил ссылки на несуществующие дела. Адвокат не проверил подлинность каждого дела и просто включил их в свой иск. Его оштрафовали.

Стартап Vectara проанализировал качество работы популярных генеративных ИИ и составил таблицу, согласно которой у 25 лучших LLM частота галлюцинаций варьируется от 1,3 до 4,2%. У LLM за пределами списка цифры куда крупнее — могут доходить до 29,9%. Бизнес могут тревожить даже самые низкие показатели, ведь невозможно представить, насколько критичной окажется конкретная «фантазия».

Галлюцинации создают проблему в разных сценариях применения генеративного ИИ. Если бизнес использует нейросети для внутренней работы — например, для поиска данных, для подготовки документов, он может столкнуться с неточными фактами, которые в дальнейшем повлияют на принятие решений. Если бизнес использует нейросети во взаимодействии с клиентами, то он рискует получить поток негатива от клиента, который столкнётся с галлюцинацией.

Всё это формирует недоверие бизнеса к ИИ, а также заставляет задуматься: кто должен отвечать за последствия галлюцинаций?

Возможно ли обучить ИИ правильным ответам

Логика ответов ИИ зависит от тех данных, на которых он обучен и к которым у него есть доступ. Соответственно, одно из условий — качественно подобрать информацию для обучения и не менее качественно её подготовить. Второе условие — ограничить доступный для ИИ объём данных, на основании которых он может принимать решения, формулировать ответы.

При разработке продукта на базе ИИ для конкретной компании в систему загружают базу знаний этой компании и настраивают работу ИИ исключительно с этим источником данных. Пользователь задаёт вопрос, и нейросеть подбирает ответ на основании релевантной информации из этого ограниченного объёма. Нейросеть обучают с условиями «Ответь на этот вопрос, используя информацию отсюда» и «Если не найдена релевантная информация по этому вопросу, то отвечай, что ты на эти темы не говоришь».

Так разработчик обрезает большой объём нежелательных сценариев с возможными некорректными, неэтичными ответами, а также с ответами из внешних источников. Безусловно, даже так нельзя дать абсолютную гарантию, что нейросеть не скажет ничего лишнего или неправильного. У LLM есть определённые принципы генерации текстов, поэтому вероятность проблемы остаётся, но она достаточно низкая.

Помимо этого, чтобы снизить риски, можно проводить нагрузочное тестирование с большими объёмами проверок — миллионами запросов, которые обработает LLM. Это поможет выявить вероятный процент ошибок, тех самых неэтичных ответов или галлюцинаций.

Такие тестирования проводит не человек: здесь одна нейросетевая модель проверяет другую. Проверяющая нейросеть обучена на ответах, которые считаются корректными, и так она оценивает качество выдачи проверяемой нейросети. Так, в «Альфа-Банке» совместная работа нейросетей повышает достоверность кредитного скоринга и помогает сотрудникам принимать более взвешенные решения.

Риски этических нарушений и угроз безопасности при применении LLM сегодня действительно есть — особенно если говорить об облачных LLM, однако разработчики прилагают усилия к тому, чтобы сводить проблемы к минимуму. Полностью исключить вероятность того, что данные «уйдут на сторону» или нейросеть решит заговорить на запретные темы, выдать конфиденциальную информацию, выдумать факты, невозможно. Однако так же невозможно и предугадать риск, что то же самое сделает живой сотрудник компании.

‍

Этот материал опубликован в «Деловом Мире»