Westpac сократил время реакции на ИТ-инциденты с часов до секунд: как ИИ-агент добавил контекст к оповещениям

В крупном банке Westpac, одном из лидеров австралийского финансового рынка, время реакции на критичные ИТ-инциденты сократилось с часов до секунд. Если раньше оповещение о перегрузке CPU или памяти могло пролежать в очереди до получаса или часа, пока проблема не решалась сама собой или не приводила к сбою, то теперь весь цикл от сбора данных до прикрепления контекста к заявке занимает мгновения. Это стало возможным благодаря внедрению ИИ-агента, который автоматизировал процесс обработки событий и добавил глубокий контекст к каждой заявке в ServiceNow.

В ИТ-инфраструктуре банка инциденты не ждут. Каждая минута простоя, это не только финансовые потери, но и репутационные риски, которые могут стоить дороже денег. Традиционная схема, где оповещение превращается в заявку, а потом ждёт человека, который её разберёт, слишком медленная и неэффективная. Люди тратят часы на рутинный сбор данных, которые можно получить автоматически. Это не просто неудобно, это прямые потери, которых можно избежать.

Проблема: почему ИТ-инциденты стоили банку дорого

ИТ-инфраструктура такого гиганта, как Westpac, это сложнейшая система с тысячами взаимосвязанных компонентов. Ежедневно генерируются сотни, если не тысячи, оповещений о потенциальных проблемах: перегрузка процессора, нехватка оперативной памяти, сбои в работе сервисов. Каждое такое оповещение требовало внимания инженера.

В отсутствие автоматизации процесс выглядел так: система мониторинга фиксирует проблему и генерирует оповещение. Это оповещение превращается в заявку в системе управления инцидентами (ServiceNow). Затем эту заявку берёт в работу дежурный специалист (L1/L2 поддержка). Он начинает вручную собирать контекст: что именно произошло, какие процессы потребляют ресурсы, есть ли ошибки в логах, какие сервисы затронуты. На это уходило драгоценное время — от получаса до часа, а иногда и больше. За это время проблема могла усугубиться, привести к каскадным сбоям или, наоборот, разрешиться сама собой, оставив инженера с уже неактуальной информацией.

Такой подход приводил к нескольким критическим проблемам: высокая стоимость реакции на инциденты из-за ручного труда, задержки в устранении проблем, высокий риск человеческой ошибки и, как следствие, снижение общей стабильности ИТ-систем.

Путь к ИИ-агенту: от простой автоматизации к контексту

Westpac уже давно использовал автоматизацию для управления ИТ-инфраструктурой. У них была внедрена платформа автоматизации, которая позволяла выполнять заранее определённые скрипты и рабочие процессы. Однако эта автоматизация была реактивной и не обладала достаточным уровнем интеллекта.

Компания понимала, что для действительно эффективной работы необходимо перейти от простой автоматизации к событийно-ориентированной архитектуре (event-driven automation) и ИИ-агентам (AIOps). Идея заключалась в том, чтобы не просто реагировать на события, а обогащать их контекстом, анализировать и принимать более обоснованные решения, причём делать это автоматически и в реальном времени. Таким образом, цель была не просто ускорить выполнение задач, а повысить качество и глубину анализа инцидентов до того, как к ним подключится человек.

Как проектировали ИИ-агента для обработки инцидентов

ИИ-агент был спроектирован как промежуточное звено между инструментами мониторинга (observability tooling) и системой управления инцидентами ServiceNow. Его основная задача — принимать оповещения, обогащать их детальной информацией и передавать в ServiceNow уже с полным контекстом. Архитектура решения включала несколько ключевых компонентов:

• Событийно-ориентированная автоматизация: агент настроен на перехват оповещений от систем мониторинга. Как только приходит новое событие, оно сразу же попадает в рабочий процесс агента.
• Сбор детального контекста: при получении оповещения (например, о высокой загрузке CPU), агент немедленно запускает скрипт, который выполняет комплексную проверку конечной точки. Он собирает данные о процессах, использующих CPU и память, проверяет загрузку хранилища, анализирует журналы событий. Этот этап занимает секунды.
• Интеграция с ИИ-платформой: собранные данные с проверки затем отправляются на внутреннюю ИИ-платформу банка. Здесь ИИ-модели анализируют эти данные и генерируют рекомендации или советы. Важно отметить, что ИИ не принимает окончательных решений, а предоставляет дополнительную информацию и аналитику.
• Обогащение заявки в ServiceNow: вся собранная информация — результаты комплексной проверки и рекомендации ИИ — автоматически прикрепляется к новой заявке в ServiceNow. Это позволяет специалистам L1/L2 поддержки сразу же получить полный контекст проблемы, не тратя время на ручной сбор данных.

Таким образом, агент превратился в интеллектуального помощника, который не просто фиксирует факт инцидента, но и предоставляет глубокий анализ его причин и рекомендации по устранению.

Внедрение и осторожный подход к ИИ

Внедрение происходило поэтапно, начиная с наиболее критичных и частых сценариев, таких как оповещения о загрузке CPU и памяти. Это позволило быстро продемонстрировать ценность решения и отладить процессы. Команда Sean Dudding, ответственная за автоматизацию, подчеркивала важность осторожного подхода к использованию ИИ, особенно в банковской сфере.

Они признавали, что разные ИИ-модели имеют «свою индивидуальность» и могут «галлюцинировать». Поэтому ключевым принципом стало использование ИИ не для принятия решений, а для предоставления советов и контекста. Специалисты банка тщательно изучали поведение моделей, чтобы убедиться в их надёжности и минимизировать риски. Человек оставался в контуре как окончательный арбитр, но его работа стала значительно эффективнее благодаря полной и своевременной информации от ИИ-агента.

Также был протестирован ИИ-помощник для написания кода автоматизации. Вывод был однозначен: он не позволяет каждому писать автоматизацию, но делает опытных разработчиков более эффективными, позволяя им быстрее создавать сложные сценарии в рамках заданных гайдлайнов.

Результаты

Главным результатом стало резкое сокращение времени реакции на ИТ-инциденты. От оповещения до получения полной картины проблемы теперь проходят секунды, а не часы. Это позволяет инженерам быстрее приступать к устранению сбоев, предотвращать их эскалацию и значительно повышать стабильность всей ИТ-инфраструктуры.

Кроме того, собранные артефакты — комплексные отчёты с контекстом и советами ИИ — не только полезны в моменте, но и служат ценным источником данных для последующего анализа. Это позволяет банку выявлять наиболее проблемные сервисы, находить новые возможности для автоматизации и постоянно улучшать свою операционную эффективность.

Как перенести это на ваш бизнес

Кейс Westpac показывает, что ИИ-агенты могут радикально изменить подход к управлению ИТ-инфраструктурой, даже в самых консервативных отраслях. Если в вашей компании есть процессы, где ручной сбор данных или медленная реакция на события приводят к потерям, рассмотрите следующие шаги:

• Идентифицируйте рутинный сбор данных. Где ваши специалисты тратят время на поиск информации, которую можно получить автоматически? Это идеальный кандидат для внедрения ИИ-агента.
• Начните с обогащения контекста. Вместо того чтобы сразу отдавать ИИ принятие решений, используйте его для сбора и анализа данных, предоставления рекомендаций. Это снизит риски и повысит доверие к технологии.
• Интегрируйте агента в существующие инструменты. Не заставляйте людей осваивать новые платформы. Встройте ИИ-агента в те системы, которыми они уже пользуются (например, системы мониторинга, тикетные системы).
• Обучайте и тестируйте ИИ-модели. Будьте осторожны и методичны. Тестируйте поведение моделей, изучайте их «личность» и избегайте галлюцинаций. Человек должен оставаться в контуре как контролёр.

Если этот кейс похож на то, что происходит у вас, наш менеджер поможет разобраться: бесплатно проанализирует ваш бизнес и нишу и подскажет, где ИИ-агент даст реальный результат именно в вашем случае. Написать менеджеру