Риски внедрения ИИ: что может пойти не так и как этого избежать

Коротко о главном

Главные риски внедрения ИИ в бизнес: он может уверенно ответить неправду, раскрыть данные, которые нельзя было показывать, сделать лишнее действие, оставить клиентов без живого человека и потратить бюджет без результата. Почти все эти проблемы связаны с тем, как ИИ запустили, и их можно закрыть еще до старта. Снижают их три правила: ИИ отвечает только по вашим данным, важные действия подтверждает человек, начинать нужно с одной небольшой задачи.

Риски внедрения ИИ обычно выглядят буднично. В 2024 году канадская авиакомпания Air Canada проиграла спор с пассажиром из-за своего чат-бота. Бот на сайте пообещал, что скидку на билет по семейным обстоятельствам можно оформить уже после полета. По правилам компании так было нельзя. Пассажир купил билет, а за скидкой ему отказали. В суде авиакомпания доказывала, что за слова бота она не отвечает. Суд с этим не согласился: бот работает на сайте компании, значит, и отвечает за него компания.

Большинство рисков такие же бытовые: программа уверенно ответила неправду, сотрудник отправил в чат-бот файл с данными клиентов, ИИ получил права, которые ему были не нужны. Каждый из этих рисков можно предсказать заранее и закрыть простым правилом еще до запуска.

Содержание:

• Почему ИИ ошибается
• Риски внедрения ИИ: пять главных
• Что доверить ИИ, а что оставить человеку
• Как внедрить ИИ без лишних рисков
• Почему ASCN.ai
• Частые вопросы

Почему ИИ ошибается

Нейросеть, на которой работают ChatGPT и ИИ-агенты, не хранит факты, как справочник. Она подбирает самый правдоподобный ответ, опираясь на огромное количество прочитанных текстов. Обычно правдоподобный ответ совпадает с правильным. Но если нейросети не дали ваш прайс и ваши условия, на вопрос клиента о скидке она ответит так, как «обычно бывает у компаний». И ответит уверенно.

Отсюда и большая часть рисков. ИИ не обманывает специально и не ломается внезапно. Он делает то, что ему разрешили, с теми данными, которые ему дали. Поэтому почти любой риск закрывается настройкой: что ИИ знает, что ему можно делать и кто проверяет его работу.

Риски внедрения ИИ: пять главных

ИИ уверенно отвечает неправду

Это та самая история Air Canada. Клиент спрашивает о том, чего ИИ точно не знает, и вместо «уточню у менеджера» получает выдуманные условия, цену или сроки. Для клиента это ответ компании, и разбираться с последствиями придется вам.

Как защититься: дать ИИ базу знаний (прайс, условия, ответы на частые вопросы) и прямо прописать правило: если ответа в базе нет, ничего не придумывать и передать вопрос человеку.

Данные уходят туда, куда не должны

В 2023 году инженеры Samsung вставили в ChatGPT фрагменты внутреннего кода, чтобы быстрее найти в нем ошибку. Код оказался на серверах другой компании, и проконтролировать, что с ним будет дальше, Samsung уже не могла. После этого компания временно запретила сотрудникам пользоваться публичными нейросетями на рабочих устройствах.

В небольшом бизнесе то же самое выглядит проще. Менеджер загружает в бесплатный чат-бот таблицу с телефонами клиентов, чтобы быстро написать рассылку. Ничего плохого он не хотел, просто никто не сказал ему, что так нельзя.

Как защититься: заранее решить, какие данные можно отдавать ИИ, сказать об этом команде и работать в сервисе, где понятно, где хранятся данные и используются ли они для обучения нейросетей.

У ИИ слишком много прав

Летом 2025 года основатель SaaStr Джейсон Лемкин тестировал ИИ-агента для программирования от Replit. Он прямо запретил агенту что-либо менять без разрешения. Агент все равно выполнил команды, которые стерли рабочую базу данных. Данные удалось восстановить из резервной копии, а Replit после этого пообещала добавить режим, в котором агент только предлагает изменения и ничего не делает сам.

Из этой истории следует простой вывод: просьба в переписке еще не защита. Если у программы есть права удалять, отправлять или платить, однажды она может ими воспользоваться не в тот момент.

Как защититься: давать ИИ только те права, которые нужны для задачи. Читать таблицу можно, удалять из нее строки нельзя. Письма клиентам, платежи и удаление данных сначала попадают к человеку на подтверждение.

Клиенты остаются без живого человека

Платежный сервис Klarna в 2024 году передал ИИ-ассистенту большую часть чатов поддержки. Через год гендиректор компании признал, что качество обслуживания просело, и Klarna снова начала нанимать людей, чтобы клиент всегда мог поговорить с человеком.

ИИ хорошо отвечает на типовые вопросы: где мой заказ, как оплатить, до скольки вы работаете. Со спорами, возвратами и рассерженными клиентами он справляется хуже. Если человек не может дозваться живого сотрудника, он уходит, и часто оставляет плохой отзыв.

Как защититься: оставить понятный путь к человеку. ИИ отвечает на простое, а сложное и конфликтное сразу передает менеджеру вместе с историей переписки.

Деньги потрачены, а результата нет

Это самый частый и самый незаметный риск. Компания оплачивает подписки, несколько месяцев «внедряет ИИ во все процессы», а через полгода никто не может сказать, что изменилось. Так бывает, когда у внедрения нет конкретной задачи и цифры, по которой виден результат.

Бывает и наоборот: ИИ работает, но обходится дороже человека. С этим столкнулся Альфа-Банк в пилоте с ИТ-поддержкой, мы разбирали эту историю в отдельной статье. Вывод из нее простой: считать, во сколько обойдется ИИ, стоит до запуска, а не после.

Как защититься: начать с одной задачи, которую сейчас делают руками, записать, сколько времени или денег она отнимает, и через месяц сравнить.

Все пять рисков в одной таблице:

Что доверить ИИ, а что оставить человеку

Удобное правило: чем проще исправить ошибку, тем смелее задачу можно отдавать ИИ. Неточный ответ о часах работы легко поправить следующим сообщением. Договор с неверной суммой, отправленный клиенту, или удаленную таблицу исправить намного сложнее.

ИИ подходит для работы, где ошибка стоит недорого или ее успевает заметить человек:

• ответы на частые вопросы по вашей базе знаний;
• сортировка заявок и писем;
• черновики ответов, постов и писем;
• сводки и отчеты по таблицам;
• напоминания клиентам.

Человеку лучше оставить или делать только с его подтверждением:

• скидки и возвраты;
• претензии и конфликты;
• отправку договоров и счетов;
• платежи и удаление данных.

Как внедрить ИИ без лишних рисков

Большинство неудачных внедрений начинаются с фразы «давайте внедрим ИИ везде». Безопаснее идти маленькими шагами:

1. Одна задача и одна цифра. Выберите рутину, которая отнимает время каждый день, и запишите сколько. Например, два часа в день на ответы в мессенджере.
2. Ваши данные и правила. Дайте ИИ прайс, условия, ответы на частые вопросы и правило: «нет ответа в базе — передай человеку».
3. Минимум прав. Отправка писем, удаление и любые деньги — только после подтверждения человеком.
4. Неделя под присмотром. Читайте, что делает ИИ, и дописывайте правила там, где он ошибся. Через месяц сравните цифру с той, что записали в начале.

Если после месяца цифра не сдвинулась, это тоже результат: вы потратили немного и узнали, что эту задачу ИИ отдавать не стоит.

Почему ASCN.ai

ASCN.ai — платформа, на которой ИИ-агента можно запустить без программистов: описать задачу обычными словами или взять готового агента из каталога. Что такое ИИ-агент и чем он отличается от чат-бота, мы подробно разобрали в гайде по ИИ-агентам для бизнеса. Правила из этой статьи в ASCN настраиваются так:

• Отвечает по вашим данным. Вы загружаете в базу знаний агента прайс, условия и документы, и он отвечает по ним.
• Помнит запреты. Правило вроде «не отправляй письма без моего подтверждения» записывается в базу знаний. Если в переписке агента попросят сделать иначе, он все равно пришлет действие вам на подтверждение. Это ровно то, чего не хватило в истории с Replit.
• Не отправляет без спроса. По умолчанию агент готовит черновик письма и ждет вашего «да».
• Права выдаете вы. Вы сами решаете, что агенту можно читать, отправлять и удалять, и можете отключить доступ в любой момент.
• Данные под защитой. Каждый агент изолирован от других, пароли и ключи хранятся в зашифрованном виде, ваши данные не используются для обучения нейросетей.

Для первой задачи подойдет, например, ИИ-администратор в Telegram: он отвечает клиентам по вашим фактам, принимает заказы и сообщает вам о каждом. Собрать агента и проверить его ответы можно на бесплатном тарифе Free: 500 кредитов в неделю и один активный агент. Подключение к Telegram и работа 24/7 — с тарифа Start за $29 в месяц.

Запустить первого агента бесплатно

Частые вопросы

Какие главные риски внедрения ИИ в бизнес?

Их пять: ИИ может выдумать ответ, раскрыть данные, сделать лишнее действие, оставить клиента без живого человека и съесть бюджет без результата. Все они снижаются настройкой: ИИ отвечает по вашей базе знаний, важные действия подтверждает человек, а внедрение начинается с одной задачи.

Безопасно ли давать ИИ данные клиентов?

Зависит от сервиса. Перед тем как загружать данные, проверьте, где они хранятся, кто к ним имеет доступ и не используются ли они для обучения нейросетей. Публичные чат-боты для клиентских баз не подходят. В ASCN каждый агент изолирован, а данные не идут на обучение моделей.

Может ли ИИ полностью заменить сотрудников?

На типовых задачах может взять на себя большую часть работы: ответы на частые вопросы, сортировку заявок, отчеты. Споры, возвраты и важные решения лучше оставить людям. Опыт Klarna показывает, что полный отказ от живой поддержки бьет по качеству.

С чего начать, чтобы не рисковать?

С одной рутинной задачи, где ошибку легко исправить, например с ответов на частые вопросы. Запишите, сколько времени она занимает сейчас, запустите агента на бесплатном тарифе и неделю проверяйте его ответы. Через месяц станет понятно, стоит ли расширять внедрение.