Amazon Payments сократил генерацию тестовых сценариев с недели до часов: как ИИ-агенты трансформировали QA-процессы

Команда Amazon Payments, обслуживающая Ближний Восток, Африку и Турцию (AMET), обрабатывает до 10 миллионов клиентов ежемесячно. Каждый месяц они запускают в среднем пять новых функций, и каждая из них требует тщательной генерации тестовых сценариев. Раньше этот процесс занимал до одной недели ручного труда на проект, что эквивалентно работе одного QA-инженера целый год только на создание тестов. После внедрения мультиагентного ИИ-решения время на генерацию тестовых сценариев сократилось до нескольких часов, при этом значительно улучшилось качество тестового покрытия.

В масштабах крупных компаний, таких как Amazon, рутинные операции, это не просто лишние затраты, это колоссальная потеря стратегического потенциала. Сотрудники, чья задача — обеспечить качество, тратят недели на монотонную подготовку тестов, вместо того чтобы сосредоточиться на сложных, нетривиальных задачах. Это замедляет выпуск новых продуктов, увеличивает риски и отнимает у бизнеса конкурентное преимущество. Сегодня есть инструмент, который позволяет переложить эту нагрузку на ИИ, освобождая людей для более ценной работы.

Скрытая цена ручной генерации тестов в Amazon Payments

Команда AMET Payments отвечает за функциональность платежей для миллионов клиентов в пяти странах, с различными регуляторными требованиями и множеством методов оплаты. В такой сложной среде любая новая функция требует исчерпывающего тестирования. Традиционно, QA-инженеры тратили целую неделю на каждый проект, анализируя бизнес-требования (BRD), дизайн-документы, макеты пользовательского интерфейса и прошлые тестовые наработки. Это был трудоёмкий процесс, который не только замедлял цикл выпуска продуктов, но и отвлекал ценные инженерные ресурсы от более стратегических задач.

Проблема заключалась не только в потере времени. Ручная генерация тестов была подвержена человеческому фактору: упущениям, неполному покрытию, субъективности. В условиях, когда речь идёт о финансовых транзакциях, любая ошибка может стоить миллионы и подорвать доверие клиентов. Нужен был способ не просто ускорить, но и систематизировать, стандартизировать и повысить качество этого процесса.

Почему не работали традиционные ИИ-подходы

Первые попытки использовать ИИ для генерации тестов следовали стандартным подходам: весь BRD подавался на вход одному ИИ-агенту. Результаты были разочаровывающими. Агент часто выдавал общие формулировки, такие как «убедитесь, что платёж работает корректно», вместо конкретных, действенных тестовых сценариев. Например, требовался тест вроде «убедитесь, что когда клиент из ОАЭ выбирает наложенный платёж для заказа свыше 1000 AED с сохранённой кредитной картой, система отображает комиссию COD в размере 11 AED и обрабатывает платёж через шлюз COD с переходом статуса заказа в „ожидание доставки“». Одиночный агент не мог справиться с такой детализацией.

Ограничения были очевидны: длина контекста не позволяла эффективно обрабатывать большие документы, отсутствие специализированных фаз обработки мешало ИИ понимать приоритеты и риски тестирования. Проблемы с «галлюцинациями» приводили к созданию нерелевантных сценариев. Команда поняла, что ИИ пытался сжать сложную бизнес-логику без итеративного мыслительного процесса, который используют опытные тестировщики.

Прорыв: человеко-ориентированный подход к проектированию ИИ-агента

Ключевой момент наступил, когда команда Amazon Payments изменила вопрос: вместо «Как ИИ должен мыслить о тестировании?» они спросили «Как опытные люди мыслят о тестировании?». Это привело к детальному изучению когнитивных процессов старших QA-специалистов. Выяснилось, что опытные тестировщики не обрабатывают документы целиком, а работают через специализированные ментальные фазы: сначала извлекают критерии приёмки, идентифицируют пользовательские пути, понимают требования UX, сопоставляют продуктовые требования, анализируют данные. Затем они разрабатывают тесты через систематический процесс: анализ пути, идентификация сценария, отображение потока данных, разработка тестового сценария и, наконец, организация и приоритизация.

Этот инсайт стал основой для проектирования SAARAM (QA Lifecycle App) — мультиагентного ИИ-решения. Агента построили как оркестратор, где каждый специализированный субагент зеркально отражает отдельный этап мыслительного процесса человека-тестировщика. Такая архитектура позволила ИИ не просто генерировать тесты, а «думать» как эксперт, декомпозируя сложную задачу на последовательные, управляемые действия.

Внедрение и эволюция мультиагентной архитектуры

Первая итерация SAARAM включала пять специализированных агентов для сквозной генерации тестов. Например, агент «Создатель сегментов клиентов» (Customer Segment Creator) имел четыре субагента для обнаружения сегментов, генерации матриц решений, создания сквозных сценариев и детализированной разработки тестовых шагов. Другие агенты занимались отображением пользовательских путей, комбинированием сегментов и анализом состояний продукта.

Однако в процессе эксплуатации выявились ограничения: изоляция агентов приводила к ограниченному контексту и росту галлюцинаций, неэффективной генерации данных, узким возможностям парсинга (только Word-документы) и жёсткой архитектуре. Это потребовало полной переработки.

Вторая итерация SAARAM была перестроена с нуля на принципах модульности, контекстной осведомлённости и расширяемости. Появился «Интеллектуальный шлюз» (Intelligent Gateway), который маршрутизировал данные из разных источников (документы, Figma, репозитории кода) к специализированным агентам. Агент «Извлечение данных» (Data Extractor) использовал шесть субагентов для параллельной, доменно-специфической экстракции данных. Агент «Визуализатор» (Visualizer) преобразовывал извлечённые данные в шесть типов диаграмм (ER-диаграммы, блок-схемы, диаграммы требований и т.д.), которые помогали людям и другим агентам понимать сложные взаимосвязи. Агент «Конденсатор данных» (Data Condenser) синтезировал информацию, предоставляя каждому последующему агенту только необходимый контекст.

Такой итеративный подход, основанный на глубоком понимании человеческого рабочего процесса, позволил создать гибкое и мощное решение, которое постоянно улучшается.

Результаты

Внедрение ИИ-агентов в Amazon Payments привело к сокращению времени на генерацию тестовых сценариев с одной недели до нескольких часов. Это эквивалентно высвобождению одного полного рабочего года QA-инженера, который раньше был занят исключительно созданием тестов. Теперь эти ресурсы могут быть направлены на более сложные и стратегические аспекты обеспечения качества, такие как анализ рисков, исследовательское тестирование и разработка инновационных подходов.

Кроме того, значительно повысилось качество и детализация тестового покрытия, что критически важно для такой чувствительной области, как платежи. Система SAARAM не заменяет человека, а усиливает его экспертизу, позволяя специалистам сосредоточиться на принятии решений, а не на рутинном сборе и оформлении информации.

Как это внедрить у вас

Кейс Amazon Payments показывает, что для эффективного внедрения ИИ-агентов ключевым является не только технология, но и глубокое понимание человеческих когнитивных процессов. Если у вашей компании есть рутинные, но многоступенчатые процессы, требующие анализа большого объёма информации, этот подход может стать прорывом:

• Изучите, как работают ваши лучшие специалисты. Декомпозируйте их мыслительные процессы на отдельные, последовательные шаги. Именно эти шаги станут основой для вашей мультиагентной архитектуры.
• Разделите ИИ-агента на специализированные модули. Вместо одного «универсального» агента создайте набор узкоспециализированных субагентов, каждый из которых отвечает за свой этап обработки информации или принятия решения.
• Обеспечьте прозрачный обмен контекстом между агентами. Решите проблему «изоляции» агентов, создав механизмы, которые позволяют каждому модулю получать только необходимую и уже обработанную информацию от предыдущих этапов.
• Начните с «умного шлюза». Создайте входную точку, которая будет классифицировать и маршрутизировать входящие данные к соответствующим специализированным агентам. Это повысит эффективность и точность.
• Внедряйте итеративно. Не пытайтесь автоматизировать всё сразу. Начните с наименее рискованных, но наиболее трудоёмких этапов, постепенно расширяя функционал и улучшая архитектуру на основе обратной связи.

Если этот кейс похож на то, что происходит у вас, наш менеджер поможет разобраться: бесплатно проанализирует ваш бизнес и нишу и подскажет, где ИИ-агент даст реальный результат именно в вашем случае. Написать менеджеру