Яндекс ускорил QA на 30%: как ИИ-агенты изменили тестирование и высвободили сотни часов

Яндекс внедрил ИИ-агентов в процесс тестирования, что привело к ускорению написания автотестов на 30% и генерации сотен чек-листов ежедневно. Теперь QA-инженеры тратят на рутину вдвое меньше времени, сосредотачиваясь на более сложных и креативных задачах, а общая экономия времени измеряется сотнями часов в месяц.

В крупной IT-компании, такой как Яндекс, рутина в QA-процессах, это не просто потеря часов, это прямой удар по скорости вывода продуктов на рынок. Бесконечные ручные проверки, однотипные тест-кейсы, монотонное написание автотестов, всё это отвлекает квалифицированных инженеров от действительно важных задач, тормозит релизы и увеличивает затраты. Так быть не должно, и сегодня эту проблему можно решить с помощью ИИ-агентов, которые возьмут на себя до 80% рутинных операций.

Где у Яндекса утекало время: тестирование как полигон для ИИ

Яндекс, с его обилием сервисов и постоянным развитием, сталкивался с типичной для крупной IT-компании проблемой: рутина в процессах тестирования. Область QA, с её чёткой структурой, повторяющимися паттернами и высокой гранулярностью задач, давно рассматривалась как идеальный кандидат для применения генеративных нейросетей. Инженеры QA тратили значительную часть своего времени на:

• Ручное создание чек-листов и тест-кейсов. Процесс, требующий внимания к деталям, но часто повторяющийся для схожих функций.
• Написание типовых автотестов. Кодирование, которое следует определённым шаблонам и может быть автоматизировано.
• Выполнение рутинных регрессионных тестов. Монотонная проверка уже существующих функций после каждого обновления.

Эти задачи, хоть и критически важные для качества продукта, поглощали ценное время высококвалифицированных специалистов, отвлекая их от более сложных аналитических и исследовательских задач. Проблема заключалась не только в потере времени, но и в потенциальном выгорании сотрудников и замедлении темпов разработки.

От «зоопарка» прототипов к масштабируемому решению

Первые MVP, созданные в разных департаментах Яндекса, показали, что ИИ-агенты могут успешно генерировать простые автотесты и приличные чек-листы. Однако масштабирование выявило серьёзную проблему: качество работы ИИ резко падало при выходе за рамки узких сценариев. То, что хорошо работало для одного инженера, не подходило для команды из 15 человек, не говоря уже о тысяче тестировщиков по всей компании.

Быстрое появление множества ИИ-прототипов привело к «зоопарку» технологий, где каждая команда создавала свои собственные решения. Это порождало сложности с поддержкой, стандартизацией и отсутствием общих метрик качества. Чтобы избежать административного давления и сохранить мотивацию команд к инновациям, Яндекс принял компромиссное решение:

• Центральная команда взяла на себя инфраструктуру данных, разработку базовых моделей и измерение качества.
• Локальные команды получили свободу для экспериментов с промптами и агентами, адаптируя их под свои специфические нужды.

Ключевым элементом стала система управления тестированием (TMS), интегрированная с ИИ-инструментами. TMS превратилась в центральную точку для оркестрации всех сценариев использования ИИ в тестировании, обеспечивая бесшовную работу, контроль и стандартизацию процессов.

Как спроектировали ИИ-агентов для QA

ИИ-агенты были спроектированы как многофункциональные помощники, глубоко интегрированные в существующие QA-процессы. Их основная задача — автоматизировать рутинные и повторяющиеся действия, освобождая инженеров. Были выделены три ключевых направления работы:

1. Генерация чек-листов и тест-кейсов. Агенты, интегрированные с TMS, Трекером задач, репозиториями кода и внутренней Wiki, получили доступ ко всей необходимой информации о продукте и изменениях. От них требовалось генерировать полные и релевантные чек-листы, сокращая время на их создание. Для обеспечения качества использовался подход LLM-As-A-Judge: одна модель проверяет результаты другой по набору критериев, сравнивая сгенерированные кейсы с эталонными, созданными опытными тестировщиками. Это позволило создать гибкую систему, где для сложных сценариев используются специализированные модели, а для остальных — базовая модель, постоянно дообучаемая центральной командой.
2. Генерация E2E-автотестов. Здесь агенты выступали в роли умных ассистентов для кода. От них требовалось не просто генерировать фрагменты кода, но и понимать контекст, предлагать оптимальные решения для End-to-End тестов, учитывая архитектуру приложения.
3. Прохождение ручных тестов. Это наиболее амбициозное направление. Агенты должны были обучаться функциональному тестированию в вебе и мобильных приложениях, самостоятельно взаимодействуя с интерфейсом, выявляя ошибки и документируя их. Цель — максимально сократить человеческое участие в регрессионном тестировании.

Внедрение и результаты

Внедрение проходило поэтапно, начиная с наименее рисковых, но наиболее трудоёмких задач. Первым шагом стала интеграция ИИ-агентов для генерации чек-листов. После того, как этот процесс показал стабильные результаты, ИИ-ассистенты были внедрены в процесс написания автотестов. Параллельно велась разработка и дообучение агентов для прохождения ручных тестов.

Ключевым фактором успеха стало обучение команд. Центральная команда проводила специализированные тренинги, чтобы инженеры QA могли эффективно использовать новые инструменты и доверять им. Такой подход позволил не только внедрить технологию, но и изменить культуру работы, сделав ИИ естественной частью повседневной деятельности.

Благодаря внедрению ИИ-агентов, Яндекс добился значительных результатов:

• Экономия времени. Сокращение времени на создание чек-листов на 50% и ускорение написания автотестов на 30% высвободило сотни часов QA-инженеров, которые теперь могут сосредоточиться на более сложных задачах, таких как исследовательское тестирование и анализ инцидентов.
• Масштабирование. Ежедневная генерация более 200 чек-листов позволила поддерживать высокий темп разработки без увеличения штата QA.
• Повышение качества. Система LLM-As-A-Judge обеспечивает высокий уровень качества генерируемых артефактов, а постоянное дообучение агентов улучшает их точность.
• Будущие перспективы. Текущая точность в 45% для прохождения ручных тестов, это уже значительный шаг. Цель в 80% позволит в будущем запускать большую часть регрессионных тестов без участия людей, сократить цикл обратной связи и доработки новых функций.

Как перенести это на ваш бизнес

Кейс Яндекса показывает, что ИИ-агенты могут радикально изменить подходы к QA, делая процессы быстрее, эффективнее и менее затратными. Если ваша команда QA сталкивается с похожими проблемами рутины, вот с чего можно начать:

• Определите самые рутинные задачи. Начните с процессов, которые отнимают больше всего времени и имеют чёткие, повторяющиеся шаблоны, например, генерация базовых тест-кейсов или написание типовых автотестов.
• Интегрируйте ИИ-агентов в существующую инфраструктуру. Чем меньше сотрудникам придётся менять свои привычки и осваивать новые инструменты, тем быстрее пройдёт адаптация. Используйте уже имеющиеся TMS, репозитории и Wiki.
• Начните с «мягкого» внедрения. Не пытайтесь автоматизировать всё сразу. Запустите пилоты для отдельных задач, покажите команде реальную выгоду, и дайте им возможность участвовать в развитии агентов.
• Развивайте культуру доверия к ИИ. Проводите обучение, объясняйте принципы работы агентов и показывайте, как они помогают, а не заменяют человека.
• Используйте подход LLM-As-A-Judge. Для критически важных задач, где качество имеет первостепенное значение, настройте систему, в которой один агент проверяет работу другого или сравнивает её с эталонами, созданными людьми.

Если этот кейс похож на то, что происходит у вас, наш менеджер поможет разобраться: бесплатно проанализирует ваш бизнес и нишу и подскажет, где ИИ-агент даст реальный результат именно в вашем случае. Написать менеджеру