Amazon AMET Payments сократил генерацию тест-кейсов с недели до часов: как ИИ-агент освободил QA-инженеров

Команда Amazon AMET Payments, отвечающая за платежные системы для 10 миллионов клиентов на Ближнем Востоке и в Африке, ежемесячно выпускает до пяти новых функций. Раньше для тестирования каждой из них требовалась неделя ручного труда QA-инженера. После внедрения ИИ-агента этот процесс сократился до нескольких часов, значительно высвободив ресурсы команды и улучшив качество тестового покрытия.

В крупной компании, где скорость выпуска новых функций критична, ручная генерация тест-кейсов становится узким местом. Неделя работы инженера на каждую фичу, это не только прямые затраты, но и замедление вывода продукта на рынок. К тому же, это монотонная работа, которая не использует квалификацию специалиста в полной мере и приводит к ошибкам. Сегодня эту рутину можно и нужно автоматизировать, чтобы люди занимались стратегическими задачами.

Боль ручной генерации тест-кейсов

Команда AMET Payments в Amazon ежедневно обрабатывает платежи для миллионов клиентов в разных странах, каждая со своими регуляторными особенностями и набором платежных методов. При выпуске пяти новых функций в месяц, каждая из которых требует тщательного тестирования, ручная генерация тест-кейсов превращалась в полноценную работу для одного QA-инженера на год. Этот специалист тратил недели на анализ бизнес-требований, дизайн-документов, макетов UI и исторических данных, чтобы составить адекватный план тестирования. Это не только замедляло цикл разработки, но и отвлекало ценные инженерные ресурсы от более стратегических задач.

Целью было не просто ускорить процесс, а сделать его более качественным, стандартизированным и менее подверженным человеческому фактору. При этом необходимо было сохранить институциональные знания опытных тестировщиков и минимизировать проблемы, связанные с «галлюцинациями» AI.

Почему традиционные ИИ-подходы не работали

Первые попытки автоматизации с использованием ИИ заключались в подаче всей документации по бизнес-требованиям (BRD) одному ИИ-агенту. Результат был неудовлетворительным: агент выдавал слишком общие формулировки, вроде «проверить, что платеж работает корректно». Команде же требовались максимально специфичные и детализированные тест-кейсы, например: «проверить, что при выборе клиентом из ОАЭ наложенного платежа (COD) для заказа свыше 1000 AED при наличии сохраненной кредитной карты, система отображает комиссию COD в размере 11 AED и обрабатывает платеж через шлюз COD, а статус заказа переходит в 'ожидает доставки'».

Ограничения контекстной длины, отсутствие специализированных фаз обработки и склонность к галлюцинациям делали такой подход неэффективным. ИИ пытался сжать сложную бизнес-логику без итерационного процесса мышления, который используют опытные тестировщики.

Как человеко-центричный подход привёл к прорыву

Прорыв произошел, когда команда изменила вопрос: вместо «как ИИ должен думать о тестировании?» они спросили «как опытные люди думают о тестировании?». Исследования когнитивных процессов старших QA-специалистов показали, что тестировщики не обрабатывают документы целиком. Они проходят через специализированные ментальные фазы: сначала анализируют, извлекая критерии приемки, определяя пути клиента, понимая требования UX, а затем разрабатывают тесты через систематический процесс: анализ пути, идентификация сценариев, картирование потоков данных, разработка тест-кейсов и, наконец, организация и приоритизация.

Это привело к созданию SAARAM, многоагентного ИИ-решения, которое имитирует эти экспертные подходы. Каждый агент фокусируется на определенном аспекте тестирования, как если бы человеческий эксперт мысленно разделял разные фазы анализа.

Проектирование и архитектура ИИ-агента

SAARAM был спроектирован как сложная многоагентная система. Изначально команда пыталась создать агентов с нуля, но затем перешла на использование готового SDK для оркестрации, что позволило координировать сложные, взаимозависимые задачи и сократить время разработки.

Первая итерация SAARAM включала пять специализированных агентов:

• Агент 1: Customer Segment Creator. Фокусируется на сегментации клиентов, используя четыре субагента для идентификации сегментов, создания матриц параметров, разработки сквозных сценариев и генерации детальных тест-кейсов.
• Агент 2: User Journey Mapper. Использует четыре субагента для комплексного картирования пользовательских путей, включая диаграммы потоков, последовательностей, сквозные сценарии и детальные шаги тестирования.
• Агент 3: Customer Segment x Journey Coverage. Объединяет данные от Агентов 1 и 2 для создания детального сегментно-специфического анализа.
• Агент 4: State Transition Agent. Анализирует различные состояния продуктов в потоках пользовательских путей, создавая диаграммы состояний и генерируя тест-сценарии.

Вторая итерация SAARAM получила полностью переосмысленную архитектуру с акцентом на модульность, контекстную осведомленность и расширяемость:

• Агент 1: Интеллектуальный шлюз. Определяет тип файла (документация, Figma, репозитории кода) и направляет данные соответствующим агентам.
• Агент 2: Специализированный извлекатель данных. Использует шесть специализированных субагентов для параллельного извлечения данных из различных доменов.
• Агент 3: Агент визуализации. Преобразует извлеченные данные в шесть различных типов диаграмм (ERD, диаграммы потоков, требований, UX, процессов, ментальные карты), предоставляя различные перспективы для анализа.
• Агент 4: Агент-конденсатор данных. Выполняет интеллектуальную дистилляцию контекста, обеспечивая, чтобы каждый последующий агент получал только необходимую информацию.

Результаты внедрения

Основным результатом стало сокращение времени на генерацию тест-кейсов с одной недели до нескольких часов. Это позволило Amazon AMET Payments значительно ускорить цикл выпуска новых функций, высвободить ценные ресурсы QA-инженеров для более сложных и стратегических задач, а также стандартизировать подходы к тестированию по всем командам. Решение уже масштабируется в рамках AMET QA и планируется к внедрению в других QA-командах International Emerging Stores and Payments (IESP) Org.

Как это внедрить у вас

Кейс Amazon AMET Payments показывает, что даже в самых сложных и высоконагруженных системах можно значительно улучшить процессы с помощью ИИ-агентов. Если в вашей компании есть рутинные, но критически важные задачи, которые отнимают много времени у высококвалифицированных специалистов, стоит рассмотреть внедрение ИИ-агентов. С чего начать:

• Идентифицируйте рутинные процессы. Найдите задачи, которые выполняются вручную, требуют анализа больших объемов данных и повторяются с высокой частотой.
• Изучите когнитивные паттерны ваших экспертов. Вместо того чтобы пытаться научить ИИ «думать», смоделируйте его работу на основе того, как решают задачи ваши лучшие специалисты.
• Разделите сложную задачу на подзадачи для мультиагентной системы. Создайте специализированных агентов, каждый из которых будет отвечать за определенный этап процесса, имитируя работу эксперта.
• Начните с малого итерируйте. Внедряйте агентов поэтапно, начиная с наименее рискованных и наиболее очевидных для автоматизации областей, постепенно расширяя функционал и масштабируя решение.

Если этот кейс похож на то, что происходит у вас, наш менеджер поможет разобраться: бесплатно проанализирует ваш бизнес и нишу и подскажет, где ИИ-агент даст реальный результат именно в вашем случае. Написать менеджеру