Amazon AMET сократил генерацию тест-кейсов с недели до часов: как ИИ-агент ускорил QA-процессы

В Amazon.ae, обслуживающем около 10 миллионов клиентов в месяц в пяти странах Ближнего Востока и Северной Африки, команда AMET Payments выпускает в среднем пять новых функций ежемесячно. Каждая новая функция требует всесторонней генерации тестовых сценариев, что традиционно занимало одну неделю ручного труда на проект. После внедрения мультиагентного ИИ-решения это время сократилось до нескольких часов, высвободив одного инженера QA в год и значительно улучшив качество тестового покрытия.

В больших компаниях, таких как Amazon, рутина незаметно съедает огромные ресурсы. Недели уходят на создание тест-кейсов, анализ документации и рутинные проверки, которые не создают новой ценности, а лишь поддерживают текущие процессы. Эти задачи отвлекают высококвалифицированных инженеров от стратегической работы, замедляют выпуск новых функций и увеличивают стоимость разработки. Сегодня есть технологии, способные снять эту нагрузку, сделав QA-процессы быстрее и точнее.

Проблема ручной генерации тест-кейсов в Amazon AMET

Команда AMET Payments в Amazon.ae отвечает за управление платежами, транзакциями и функциями доступности в нескольких странах. Это означает, что ежемесячно выпускаются в среднем пять новых функций, каждая из которых требует тщательной проверки. До внедрения ИИ-агента, генерация тестовых сценариев для каждой фичи занимала около одной недели ручного труда.

Инженеры по обеспечению качества (QA) тратили это время на анализ обширных документов: требований бизнеса (BRD), проектной документации, макетов пользовательского интерфейса и исторической подготовки тестов. Этот процесс был настолько трудоёмким, что требовал одного штатного QA-инженера на полный рабочий год только для создания тест-кейсов. Это не только замедляло цикл выпуска новых продуктов, но и отвлекало ценные инженерные ресурсы от более стратегических инициатив по тестированию.

Почему традиционные ИИ-подходы не работали

Первые попытки автоматизации включали подачу всей документации (BRD) одному ИИ-агенту для генерации тест-кейсов. Однако такой подход часто приводил к общим и неспецифичным результатам, вроде «убедитесь, что платёж работает корректно». Команде Amazon AMET нужны были высокодетализированные сценарии, например: «убедитесь, что при выборе наложенного платежа клиентом из ОАЭ для заказа свыше 1000 дирхамов с привязанной кредитной картой система отображает комиссию за наложенный платёж в размере 11 дирхамов и обрабатывает платёж через шлюз COD, а статус заказа переходит в „ожидание доставки“».

Ограничения контекстной длины не позволяли эффективно обрабатывать большие документы. Отсутствие специализированных фаз обработки означало, что ИИ не мог понять приоритеты тестирования или использовать риск-ориентированные подходы. Проблемы с галлюцинациями приводили к созданию нерелевантных сценариев, которые могли ввести в заблуждение QA-команду. Корень проблемы был в том, что ИИ пытался сжать сложную бизнес-логику без итеративного мыслительного процесса, который используют опытные тестировщики при анализе требований.

Человеко-ориентированный прорыв: как проектировали ИИ-агента SAARAM

Прорыв произошёл, когда команда Amazon AMET изменила подход, задав вопрос: «Как мыслят опытные люди-тестировщики?». Вместо того чтобы оптимизировать алгоритмы ИИ, они сосредоточились на изучении когнитивных паттернов человека. Исследования и интервью со старшими QA-специалистами показали, что опытные тестировщики не обрабатывают документы целиком. Они проходят через специализированные мыслительные фазы: сначала анализируют, извлекая критерии приёмки, идентифицируя пути клиента, требования UX и сопоставляя их с продуктовыми требованиями. Затем разрабатывают тесты через систематический процесс: анализ пути, идентификация сценариев, картирование потоков данных, разработка тест-кейсов и, наконец, организация и приоритизация.

Этот инсайт привёл к проектированию SAARAM (QA Lifecycle App) — мультиагентного ИИ-решения, которое имитирует эти экспертные подходы. Каждый специализированный ИИ-агент фокусируется на определённом аспекте процесса тестирования, подобно тому, как человек-эксперт мысленно разделяет разные фазы анализа. Таким образом, исходный ИИ-агент был декомпозирован на последовательные «мыслительные» действия, каждое из которых стало отдельным шагом:

• Агент 1: Создатель сегментов клиентов. Использует четыре субагента для анализа сегментации клиентов, обнаружения сегментов, создания матриц на основе параметров, E2E-сценариев и детальной разработки тест-кейсов.
• Агент 2: Картограф пользовательских путей. Использует четыре субагента для комплексного картирования продуктовых путей, создания диаграмм потоков и последовательностей, генерации E2E-сценариев и детальной документации тестов.
• Агент 3: Покрытие сегментов клиентов x путей. Объединяет данные от агентов 1 и 2 для создания подробных сегменто-специфичных анализов, используя диаграммы потоков, пользовательские пути, диаграммы последовательностей и соответствующие шаги тестирования.
• Агент 4: Агент переходов состояний. Анализирует различные состояния продукта в потоках пользовательских путей, создавая диаграммы состояний, сегменто-специфичные диаграммы сценариев состояний и генерируя связанные тестовые сценарии и шаги.

Внедрение и развитие

Первая итерация SAARAM обрабатывала документ и генерировала комплексное тестовое покрытие. Однако в процессе эксплуатации были выявлены ограничения: проблемы с контекстом и галлюцинациями из-за изолированной работы агентов, неэффективность генерации данных, ограниченные возможности парсинга (только Word-документы) и жёсткая архитектура.

Вторая итерация SAARAM стала полным переосмыслением архитектуры. Она была построена с нуля с акцентом на модульность, контекстную осведомлённость и расширяемость:

• Агент 1: Интеллектуальный шлюз. Определяет тип файла (документы, дизайн Figma, репозитории кода) и направляет данные соответствующим агентам.
• Агент 2: Специализированный извлекатель данных. Использует шесть специализированных субагентов для параллельного извлечения данных из различных доменов, обеспечивая глубокое покрытие и предметно-ориентированные знания.
• Агент 3: Визуализатор. Преобразует извлечённые данные в шесть различных типов диаграмм (ERD, диаграммы потоков, требований, UX, процессов, Mind Maps), предоставляя несколько перспектив для анализа.
• Агент 4: Конденсатор данных. Синтезирует данные, обеспечивая, чтобы каждый последующий агент получал только необходимую для своей специализации информацию, уменьшая шум и повышая точность.

Такой подход позволил значительно снизить проблемы с контекстом и галлюцинациями, повысить эффективность генерации данных, расширить возможности парсинга и сделать архитектуру более гибкой и адаптируемой к изменениям.

Результаты

Внедрение ИИ-агента SAARAM позволило команде Amazon AMET Payments сократить время на генерацию тест-кейсов с одной недели до нескольких часов. Это привело к высвобождению одного инженера QA в год на более стратегические задачи и значительно улучшило качество тестового покрытия. Решение показало, как изучение когнитивных паттернов человека, а не только оптимизация алгоритмов ИИ, может создать готовые к производству системы, которые усиливают, а не заменяют человеческую экспертизу.

Как это внедрить у вас

Кейс Amazon AMET наглядно демонстрирует, что ИИ-агенты могут радикально ускорить рутинные, но критически важные процессы. Если в вашей компании есть задачи, требующие глубокого анализа документации и создания подробных сценариев, это готовый кейс для внедрения ИИ-агента:

• Изучите когнитивные паттерны ваших экспертов. Вместо того чтобы просто автоматизировать задачу, поймите, как ваши лучшие специалисты думают и действуют. Разбейте их мыслительный процесс на этапы и назначьте каждый этап отдельному ИИ-агенту.
• Разработайте мультиагентную архитектуру. Используйте несколько специализированных ИИ-агентов, каждый из которых отвечает за свой этап процесса. Это позволит обрабатывать сложные задачи более точно и эффективно, снижая риск галлюцинаций.
• Фокусируйтесь на структурированном выводе. Определите, какой именно формат данных вам нужен на каждом этапе, и настройте агентов так, чтобы они генерировали только этот формат. Это значительно повысит точность и полезность результатов.
• Интегрируйте ИИ-агентов в существующие процессы. Чем меньше сотрудникам нужно менять свои привычки, тем быстрее они примут новую технологию. Встройте агентов в используемые инструменты и системы.

Если этот кейс похож на то, что происходит у вас, наш менеджер поможет разобраться: бесплатно проанализирует ваш бизнес и нишу и подскажет, где ИИ-агент даст реальный результат именно в вашем случае. Написать менеджеру