Яндекс ускорил QA на 30%: как LLM-агенты изменили тестирование

Яндекс внедрил LLM в процесс тестирования, что привело к ускорению написания автотестов на 30% и генерации сотен чек-листов ежедневно. Теперь QA-инженеры тратят на рутину вдвое меньше времени, сосредотачиваясь на более сложных и креативных задачах.

Если ваша команда QA утопает в рутине и теряет время на однотипных задачах, напишите нашему менеджеру, он проведёт бесплатный анализ вашего бизнеса и ниши и расскажет, как именно в вашем случае получить реальный бизнес-результат от ИИ-агента, а не красивую картинку. Написать менеджеру

С чего всё начиналось: тестирование как идеальный полигон для ИИ

В Яндексе давно задумывались о внедрении генеративных нейросетей. Область QA, с её чёткой структурой, повторяющимися паттернами и высокой гранулярностью задач, оказалась идеальным кандидатом для экспериментов. Первые MVP, созданные в разных департаментах, показали, что LLM-аагенты могут успешно генерировать простые автотесты и приличные чек-листы.

Однако масштабирование выявило проблему: качество работы ИИ резко падало при выходе за рамки узких сценариев. То, что хорошо работало для одного инженера, не подходило для команды из 15 человек, не говоря уже о тысяче тестировщиков.

Как справились с «зоопарком» технологий и добились масштаба

Быстрое появление ИИ-прототипов привело к «зоопарку» технологий, где каждая команда создавала свои собственные ИИ-агенты. Это создавало проблемы с поддержкой, стандартизацией и отсутствием общих метрик качества. Чтобы избежать административного давления и сохранить мотивацию команд, Яндекс принял компромиссное решение:

• Центральная команда взяла на себя инфраструктуру данных и измерение качества.
• Локальные команды получили свободу для экспериментов с промптами и агентами.

Ключевым элементом стала система управления тестированием (TMS), интегрированная с ИИ-инструментами. TMS стала центральной точкой для оркестрации всех сценариев использования ИИ в тестировании, обеспечивая бесшовную работу и контроль.

Результаты внедрения ИИ-агентов

Генерация чек-листов и тест-кейсов

ИИ-агенты, интегрированные с TMS, Трекером задач, репозиториями и внутренними Wiki, ежедневно генерируют более 200 чек-листов. Это сокращает время на их создание в среднем на 50%.

Для обеспечения качества используется подход LLM-As-A-Judge: одна модель проверяет результаты другой по набору критериев, сравнивая сгенерированные кейсы с эталонными, созданными опытными тестировщиками. Это позволило создать гибкую систему, где для сложных сценариев используются специализированные модели, а для остальных — базовая модель, постоянно развиваемая центральной командой.

Генерация E2E-автотестов

Интеграция ИИ-ассистента для кода (Yandex Code Assistant) значительно ускорила написание E2E-автотестов. После специализированных тренингов, проводимых центральной командой, доля активного использования ИИ в командах увеличивается с 30% до 60%, а скорость написания кода возрастает в среднем на 30%.

Прохождение ручных тестов ИИ-агентом

Это направление является наиболее наукоёмким и потенциально прибыльным. Яндекс использует собственного ИИ-агента, который дообучается для функционального тестирования в вебе и мобильных приложениях. Несмотря на текущую точность в 45% (цель — 80%), в будущем это позволит:

• запускать большую часть регрессионных тестов без участия людей;
• сократить цикл обратной связи и доработки новых функций;
• высвободить QA-инженеров от рутины для анализа инцидентов, исследовательского тестирования и улучшения стратегии качества.

Источник: habr.com

Хотите узнать, как внедрить ИИ-агентов в ваш процесс тестирования и получить аналогичные результаты? Напишите менеджеру. Мы бесплатно разберём ваш кейс и покажем, где лежат точки роста.