Отслеживание сбоев в работе умного дома

1. Подготовка

Как мы рассказывали в практической работе Отладка умного дома, мы публикуем показатели и журналы в ваших проектах умного дома. Показатели помогают определить, где у вашего действия умного дома возникают проблемы, а журналы полезны при глубоком погружении в решение этих проблем.

dd44868a4ff2df6e.png

Вы можете настроить оповещения на основе показателей, доступных в вашем проекте, чтобы автоматически отслеживать сбои и получать уведомления о них. Мы публикуем показатель достоверности, чтобы выделить сбои в вашем проекте. В этой практической работе мы расскажем о нем и о других инструментах оповещения, доступных в Google Cloud.

Требования

Что вы узнаете

  • Как отслеживать проблемы производительности и сбои в работе сервисов в проекте.
  • Как создать оповещение на основе порогового значения и получать уведомления о сбоях.
  • Как использовать показатель достоверности, предоставленный вашему проекту, для обнаружения сбоев.

2. Отслеживание эффективности

Мониторинг производительности имеет решающее значение для успешной интеграции с экосистемой Google Home. Мы предоставляем разработчикам умного дома набор инструментов мониторинга на платформе Google Cloud. Эти инструменты помогут вам оценить эффективность проекта.

Как получить доступ к сводкам

Чтобы получить доступ к данным, сначала проверьте главные панели Google Home. Для этого войдите в консоль Google Cloud и перейдите в Operations (Операции) > Monitoring (Мониторинг) > Dashboards (Панели). Вы увидите, что доступно несколько сводок, а сводки для умного дома имеют префикс Google Home Analytics.

317697e52ced2437.png

Мы создали отдельные панели для каждого типа интеграции. Для интеграций Cloud, Local и Matter предусмотрены отдельные панели управления, а данные о протоколах трансляции с камеры представлены на панели управления качеством камеры. Данные в этих сводках будут доступны, только если у вас есть интеграция соответствующего типа и работающий проект, выполняющий запросы.

Когда вы откроете одну из этих сводок, вы увидите следующее:

f8bfd69286c569a4.png

На панелях управления есть различные диаграммы, на которых показаны подробные сведения о запросах, обработанных вашим проектом. На каждой панели управления интеграцией вы увидите диаграмму, показывающую общее количество запросов, обработанных вашим проектом, диаграмму, показывающую долю успешных запросов для этого типа интеграции, и несколько диаграмм, показывающих типы и характеристики задействованных устройств.

Для оценки эффективности действий умного дома важны три диаграммы:

f511fafd3aaaa1eb.png

Во время сбоев вы обычно будете видеть нисходящие тренды на диаграмме процента успешных запросов и восходящие тренды на диаграмме ошибок. Отслеживание процента успешных выполнений помогает заметить сбой, а просмотр основных ошибок в разбивке ошибок может помочь в отладке. Кроме того, во время сбоев может наблюдаться тенденция к увеличению задержки, что можно увидеть на диаграммах задержки запросов.

Обратите внимание, что представление по умолчанию с диаграммами, которое вы видите на панелях мониторинга Google Home Analytics, – это просто представление, которое мы создали для вашего проекта с использованием данных показателей умного дома. Вы также можете использовать Metrics Explorer, чтобы создавать собственные диаграммы на основе тех же показателей и сохранять их в сводках.

Metrics Explorer

Metrics Explorer – это инструмент для визуализации срезов набора данных проекта. Инструмент доступен в консоли Google Cloud в разделе Operations (Операции) > Monitoring (Мониторинг) > Metrics Explorer (Проводник по показателям).

Google Cloud предоставляет множество различных показателей, в том числе не связанных с умным домом. Показатели, которые мы предоставляем для умного дома, перечислены в ресурсе actions.googleapis.com/smarthome_action/… Их можно легко найти, введя smarthome в поле выбора показателей.

538d851edfd34764.png

По запросу "smarthome" вы увидите все показатели умного дома, которые мы предоставляем для вашего проекта. Подробную информацию о каждом показателе можно найти в разделах Мониторинг и Ведение журналов нашей документации.

Для мониторинга проекта проще всего использовать показатель Количество запросов (дельта-показатель). Этот показатель регистрирует запись для каждого выполнения умного дома, инициированного вашими пользователями, и записывает такие поля, как тип устройства, признак, тип выполнения, связанный с выполнением, и поле статуса, которое показывает результат.

Если вы выберете этот показатель, то увидите экран с сегментами данных, похожий на следующий:

b1c18141d15a0e09.png

По сути, для каждой комбинации ярлыков данных, представленных в этом показателе, существует сегмент, который регистрирует изменение (дельту) между предыдущим и текущим временными интервалами. Вы можете группировать или отфильтровывать эти сегменты, чтобы получить нужный срез данных. Кроме того, данные выравниваются по выбранным временным интервалам с помощью функции выравнивания (DELTA, MEAN, MEDIAN, SUM). Если нет других требований, то обычно с дельта-показателем используется дельта-выравнивание.

В Metrics Explorer можно создать большинство диаграмм, доступных в сводках Google Home Analytics, и сохранить их для последующего использования в специальной сводке. Чтобы получить более сложные представления, например диаграмму соотношения, вам нужно будет использовать MQL – язык запросов мониторинга.

3. Значения успеха

Чтобы отслеживать успешность интеграции, вы можете использовать долю успешных запросов, которую мы рассчитываем на основе количества запросов, или вероятность успеха.

Доля успешных запросов

Доля успешных запросов рассчитывается для всех интеграций путем деления количества успешных запросов на общее количество запросов. Вы можете получить к нему доступ из диаграммы «Доля успешных выполнений» на панели аналитики Google Home.

55ea8930fbf48d9e.png

Диаграмма "Доля успешных выполнений" очень полезна для отслеживания эффективности проекта, но не очень подходит для создания собственных панелей управления или настройки оповещений. Поскольку доля успешных запросов рассчитывается на основе количества запросов, а не является отдельным показателем, вам нужно будет воссоздать ее с помощью MQL (Monitoring Query Language) в Metrics Explorer, чтобы использовать с любой из этих функций.

Кроме того, мы считаем, что для отслеживания сбоев в работе вашего проекта необходим более специализированный подход. Поэтому мы создали показатель надежности, который меняется в зависимости от того, насколько текущая доля успешных выполнений отклоняется от исторических норм.

Показатель достоверности

Сбои в проектах могут быть разными по форме и масштабу. Они могут длиться от нескольких часов до нескольких минут, что затрудняет их выявление. Для этого мы создали в вашем проекте показатель достоверности, который предоставляет нормализованное значение для прогнозирования надежности на основе прошлых результатов. Чтобы посмотреть показатель достоверности, введите smarthome в поиске в Metrics Explorer и выберите Execution success confidence (Достоверность успешного выполнения).

ab467a1777281526.png

Если интеграция умного дома работает на уровне статистики эффективности (среднее значение за 7 дней) или выше, этот показатель будет иметь максимальное значение (1,0). Если процент успешных запросов отклоняется более чем на четыре стандартных отклонения (также рассчитывается за семь дней), этот показатель выводит минимальное значение (0,0). Если стандартные отклонения слишком малы (менее 2,5 %), то значение 0,0 будет соответствовать снижению процента успешных попыток на 10 %.

Во всех остальных случаях значение показателя находится в диапазоне от 1,0 (полная уверенность в отсутствии сбоя) до 0,0 (максимальная уверенность в наличии сбоя).

Поэтому при настройке оповещения (описано в следующем разделе) мы рекомендуем использовать значение 0,5 в качестве порогового. Это будет соответствовать двум стандартным отклонениям или снижению на 5 % (в зависимости от того, что больше).

4. Настройка оповещений

Теперь используйте все, что вы узнали в предыдущем разделе, чтобы настроить оповещения для проекта.

Создание правила оповещений

Автоматические оповещения в Google Cloud настраиваются с помощью правил оповещений. Чтобы перейти к правилам оповещений, в боковом меню выберите Operations (Операции) > Monitoring (Мониторинг) > Alerting (Оповещения). Чтобы создать новое правило оповещений, нажмите + СОЗДАТЬ ПРАВИЛО. Откроется экран создания правила оповещений.

6e417d88c2274b3d.png

Создание правила оповещений состоит из трех частей. Сначала нужно определить, что вы хотите отслеживать, добавив условие. При нажатии кнопки ADD CONDITION (ДОБАВИТЬ УСЛОВИЕ) откроется окно, похожее на Metrics Explorer, с дополнительными элементами управления для настройки условия:

df1ccf7da741e1c7.png

В качестве цели выберите показатель достоверности, о котором мы говорили в предыдущем разделе. Убедитесь, что для выравнивателя задано значение delta с использованием этого показателя (Показать расширенные настройки > Выравниватель). Следующим шагом является настройка условия оповещения и использование следующих настроек:

4192e0f4ea00dd28.png

Условие срабатывает, если – это основная настройка, определяющая, когда срабатывают оповещения. Выбор варианта Any time series violates (Нарушение любого временного ряда) будет работать, поскольку мы собираемся установить пороговое значение для нашего показателя и отслеживать, будет ли оно превышено.

Условие. Мы хотим, чтобы оповещение срабатывало, когда значение падает ниже порогового, поэтому выберем ниже. В нашем показателе 1,0 означает, что интеграция работает нормально, а 0,0 указывает на определенный сбой.

Порог. Мы создали показатель достоверности, чтобы обеспечить наилучшие результаты, когда это значение равно 0,5. Если вы хотите получать оповещения чаще и даже о незначительных инцидентах, попробуйте увеличить это значение (максимум 1,0). Если вы хотите получать меньше оповещений, только о более серьезных проблемах, попробуйте уменьшить это значение (минимум 0,0).

For (Для). Здесь можно указать, через какое время после начала сбоя вы получите оповещение. Рекомендуем оставить значение Most recent value (Последнее значение), чтобы получать оповещения о любом пересечении порогового значения. Показатель достоверности публикуется каждые 15 минут и отражает средний уровень успешности за этот период.

После добавления условия выберите канал уведомлений. Самый простой способ – оповещения по электронной почте. Вы можете выбрать адрес электронной почты, указанный в меню Notification Channels (Каналы уведомлений):

3cc10629830e7f13.png

Если вы установите флажок Уведомлять о закрытии инцидента, то после закрытия инцидента будет отправлено ещё одно уведомление. В этом случае вам также следует выбрать Incident autoclose duration (Продолжительность до автоматического закрытия инцидента). По умолчанию она составляет 7 дней.

На последнем шаге укажите название оповещения и добавьте документацию, которую нужно включить в уведомления.

686fb1c537fee10.png

Рекомендуется предоставить документацию, особенно если оповещение будете получать не вы. Добавление таких шагов, как проверка во время инцидента, а также сортировка и отладка, может помочь во время сбоя. При необходимости вы можете воспользоваться руководством по устранению неполадок.

После сохранения правила оповещений будут перечислены в разделе "Правила" на странице "Оповещения".

c71a001e4df035ee.png

5. Устранение сбоев

После настройки оповещений вы будете получать уведомления о сбоях по указанным каналам, а на странице "Оповещения" будет создаваться запись об инциденте.

Получение оповещений

В этой практической работе мы использовали электронную почту. Надеемся, что после настройки вы не будете получать оповещения (то есть сбоев не будет), но если это произойдет, уведомление будет выглядеть следующим образом:

43217b0a145c2cd.png

Обратите внимание, что в уведомлении указано наблюдаемое значение, пересекающее заданный вами порог, а также временная метка, указывающая, когда инцидент начался.

Инциденты с мониторингом

По мере возникновения инцидентов они также будут учитываться в разделе инцидентов на странице оповещений.

fdd883a9604ed981.png

Нажмите на инцидент, чтобы посмотреть подробности, например продолжительность или серьезность сбоя.

Помните, что при получении оповещений лучше всего сначала посмотреть на показатели, а затем найти в журналах ошибки, способствующие сбою. Освежить знания можно в практической работе Отладка умного дома.

6. Поздравляю!

17d485868a6771bc.png

Поздравляем! Вы научились настраивать оповещения на основе показателей, доступных в вашем проекте, чтобы автоматически отслеживать сбои и получать уведомления о них.

Дальнейшие действия

Опираясь на эту практическую работу, попробуйте выполнить следующие упражнения и изучите дополнительные ресурсы:

  • Вы можете объединить то, что узнали из этой практической работы, с другими показателями, доступными в вашем проекте. Полный список доступных показателей приведен в разделе Поддерживаемые показатели на странице Мониторинг.
  • Ознакомьтесь с другими типами каналов уведомлений для оповещений, которые описаны на странице Варианты уведомлений в документации Google Cloud.