Amazon AMET Payments сократил генерацию тест-кейсов с недели до часов: как ИИ-агент повысил качество QA

Команда Amazon AMET Payments, обслуживающая около 10 миллионов клиентов в пяти странах Ближнего Востока и Северной Африки, столкнулась с проблемой: генерация тест-кейсов для каждой новой функции занимала до недели ручного труда. После внедрения мультиагентного ИИ-решения это время сократилось до нескольких часов, значительно повысив качество тестового покрытия.

Ручное тестирование, это не просто трудоёмкий процесс, это источник постоянных задержек и скрытых ошибок, которые проявляются уже в продакшене. Когда QA-инженеры тратят недели на рутинную генерацию тест-кейсов, они не только замедляют релизный цикл, но и теряют фокус на более сложных, творческих задачах. Это дорого обходится бизнесу, ведь каждая упущенная ошибка, это потенциальные убытки, недовольные клиенты и репутационные риски. Но сегодня есть решение, которое позволяет автоматизировать эту рутину, оставляя людям контроль и экспертизу.

Реальность проблемы: неделя ручной работы на каждый тест-кейс

Amazon AMET Payments ежемесячно выпускает в среднем пять новых функций. Каждая из них требовала тщательной генерации тест-кейсов, что традиционно занимало одну неделю ручного труда на проект. Инженеры по обеспечению качества тратили огромное количество времени на анализ бизнес-требований, проектной документации, макетов пользовательского интерфейса и исторических данных тестирования. Этот процесс требовал эквивалента одного штатного инженера в год, занятого исключительно созданием тест-кейсов.

Проблема заключалась не только в затратах времени, но и в качестве. Первоначальные попытки с использованием простых ИИ-систем часто приводили к общим формулировкам, таким как «проверить, что оплата работает корректно». Однако реальность требовала гораздо большей специфичности, например: «проверить, что когда клиент из ОАЭ выбирает наложенный платёж (COD) для заказа свыше 1000 дирхамов с привязанной кредитной картой, система отображает комиссию COD в размере 11 дирхамов и обрабатывает платёж через шлюз COD с переходом статуса заказа в „ожидает доставки“». Ручная детализация таких сценариев была изнурительной и подверженной ошибкам.

Путь к ИИ-агенту: почему существующие решения не справлялись

Команда искала способы автоматизировать этот процесс, чтобы сократить время и повысить точность. Существующие инструменты автоматизации тестирования помогали выполнять уже созданные тест-кейсы, но не генерировать их. Простые ИИ-системы, основанные на одном агенте, не могли обеспечить необходимую глубину и специфичность. Они выдавали общие фразы, которые требовали значительной доработки человеком, по сути, не решая проблему, а лишь перекладывая её из одного формата в другой. Стало очевидно, что нужен более сложный подход, который имитировал бы мыслительные процессы опытного QA-инженера, способного разбивать сложную задачу на более мелкие и управляемые части.

Так появилась идея мультиагентной системы: вместо одного «мозга», который пытается объять необъятное, создать несколько специализированных агентов, каждый из которых отвечает за свою часть процесса, как это делают люди в команде.

Как проектировали ИИ-агента: человеко-ориентированный подход

Ключевым прорывом в проектировании стала смена парадигмы: вместо того чтобы спрашивать «как ИИ должен думать о тестировании?», команда спросила «как опытные люди думают о тестировании?». Это привело к детальному изучению когнитивных процессов старших QA-специалистов, которые не обрабатывают документы целиком, а работают поэтапно, фокусируясь на разных аспектах.

В результате была разработана мультиагентная ИИ-система SAARAM (QA Lifecycle App), которая включает в себя несколько специализированных агентов, каждый из которых фокусируется на определённом аспекте процесса тестирования, имитируя экспертный подход:

• Агент сегментации клиентов. Этот агент отвечает за выявление различных сегментов пользователей на основе их характеристик и поведения, создание матриц решений и разработку сквозных сценариев, учитывающих особенности каждого сегмента.
• Агент картирования пользовательского пути. Его задача — строить диаграммы потоков и последовательностей действий пользователя, генерировать сквозные сценарии и детальные шаги тестирования, имитируя, как пользователь взаимодействует с системой.
• Агент покрытия сегментов и путей. Этот агент объединяет данные, полученные от предыдущих агентов, для создания детальных, сегмент-специфичных анализов, обеспечивая всестороннее покрытие тестовыми сценариями.
• Агент перехода состояний. Анализирует различные точки состояний продукта в пользовательских путях, создавая диаграммы состояний и генерируя связанные сценарии тестирования, чтобы убедиться, что все возможные переходы состояний корректно обрабатываются.

Система прошла несколько итераций, чтобы преодолеть ограничения контекстной длины больших языковых моделей, снизить «галлюцинации» (некорректные или вымышленные ответы) и обеспечить масштабируемость для работы с большим объёмом данных и сложными сценариями.

Внедрение: от пилота к стандарту

Внедрение SAARAM началось с пилотных проектов, где система доказывала свою эффективность на реальных задачах. Постепенно, по мере того как агенты учились и улучшались, команда QA начала доверять им всё более сложные аспекты генерации тест-кейсов. Ключевым моментом было не просто создание технологии, но и её интеграция в существующие рабочие процессы, чтобы минимизировать сопротивление со стороны пользователей. Инженеры увидели, что ИИ-агенты не заменяют их, а освобождают от рутины, позволяя сосредоточиться на более стратегических и сложных задачах, требующих человеческого интеллекта и опыта. Это сделало процесс внедрения органичным и успешным.

Результаты

Внедрение SAARAM не только сократило время генерации тест-кейсов с одной недели до нескольких часов, но и значительно улучшило качество тестового покрытия. ИИ-агенты генерируют специфичные и действенные тест-кейсы, уменьшая количество ошибок и пропусков, которые могли бы привести к серьёзным проблемам в продакшене. Кроме того, система помогает стандартизировать подходы к тестированию и захватывать институциональные знания опытных тестировщиков, делая их доступными для всей команды.

Решение уже активно используется в команде AMET QA и планируется к расширению на другие QA-команды в International Emerging Stores and Payments (IESP) Org, что демонстрирует его масштабируемость и универсальность.

Как это внедрить у вас

Кейс Amazon AMET Payments показывает, что даже в таких сложных и критически важных областях, как QA в финансовых сервисах, ИИ-агенты могут принести значительную выгоду. Если ваша команда тестирования или любой другой отдел сталкивается с трудоёмкой и рутинной работой, требующей детализации и специфичности, этот подход может быть масштабирован:

• Идентифицируйте рутинные, повторяющиеся задачи. Найдите процессы, где сотрудники тратят много времени на анализ документов, сбор информации и генерацию однотипных решений или кейсов. Это могут быть не только QA, но и юридические отделы, поддержка клиентов, онбординг.
• Разбейте сложный процесс на этапы. Вместо того чтобы пытаться автоматизировать всё сразу одним агентом, выделите ключевые этапы, как это сделали в Amazon с сегментацией клиентов, картированием путей и анализом состояний.
• Создайте специализированных агентов. Для каждого этапа спроектируйте отдельного ИИ-агента, который будет выполнять узкую, но глубокую функцию. Это позволит избежать «галлюцинаций» и повысить точность.
• Интегрируйте агентов в ваш рабочий процесс. Убедитесь, что ИИ-агенты легко встраиваются в существующие инструменты и системы, чтобы минимизировать сопротивление и обеспечить быстрое принятие сотрудниками.
• Начните с пилота и масштабируйте. Запустите систему на небольшом, контролируемом участке, соберите обратную связь и постепенно расширяйте функционал и охват, доказывая ценность на каждом этапе.

Если этот кейс похож на то, что происходит у вас, наш менеджер поможет разобраться: бесплатно проанализирует ваш бизнес и нишу и подскажет, где ИИ-агент даст реальный результат именно в вашем случае. Написать менеджеру