Главная мысль
Связывайте каждое оповещение с влиянием на сервис и ответственным. Сначала найдите затронутый сервис и зависимость, затем подтвердите причину показателями сервера, сети и облака.
Свяжите показатели сервера с состоянием сервиса
CPU, память, объём и задержка диска, сетевой трафик и состояние процессов показывают использование ресурсов сервера. Отдельный показатель не доказывает отказ приложения: сопоставьте его со временем ответа, количеством ошибок и доступностью сервиса. История измерений помогает понять пики и потребность в ресурсах, но отдельно учитывайте сезонность, релизы и ожидаемый рост трафика. Для разных ролей серверов задавайте собственные пороги и ответственных.
Ресурс
CPU, память, свободное место, I/O и трафик интерфейса.
Сервис
Доступность, время ответа, ошибки, глубина очереди и состояние зависимости.
Изменение
Связывайте релиз, перезапуск и изменение ресурсов с временными метками.
Различайте сетевые измерения
ICMP ping даёт ограниченный сигнал о сетевой достижимости и времени прохождения пакета туда и обратно (RTT); отсутствие ответа само по себе не доказывает отказ узла или приложения. SNMP позволяет получать состояние интерфейсов и счётчики с поддерживаемых маршрутизаторов, коммутаторов и межсетевых экранов; проверьте версию, аутентификацию, шифрование и контроль доступа. NetFlow и другие источники данных о потоках суммируют объём и направление трафика, но не показывают полное содержимое пакетов. Захват пакетов даёт больше деталей, однако требует ограничения объёма и защиты конфиденциальных данных.
ICMP
Сетевая достижимость и время прохождения пакета туда и обратно; на результат влияют межсетевой экран и политика узла.
SNMP
Статус и счётчики управляемых устройств — в пределах поддерживаемых объектов и прав.
Данные о сетевых потоках
Метаданные о направлении и объёме трафика, а не полный просмотр содержимого приложения.
Проверьте границы облачного мониторинга
Облачная панель может объединять показатели виртуальных машин, Kubernetes, хранилищ, баз данных, сети и приложений. Охват зависит от API провайдера, агента, разрешений, региона и выбранных метрик. Состояние инфраструктуры провайдера не отражает все пользовательские сценарии вашего приложения. Сравнивайте стоимость и использование ресурсов с производительностью; автоматическое масштабирование требует отдельных правил и проверки. AWS CloudTrail помогает установить действия с ресурсами, а AWS Config — их конфигурацию и её изменения. Эти источники не заменяют метрики ресурсов.
Метрики инфраструктуры
Ёмкость, состояние и производительность виртуальных машин, хранилищ, баз данных и сети.
Телеметрия приложения
Время ответа, ошибки и путь запроса; может потребоваться отдельная настройка сбора данных и разрешений.
Журналы учётной записи и аудита
Отвечают, кто изменил ресурс; нужны для расследования безопасности и изменений.
Делайте оповещения полезными для действий
Оповещение должно описывать значимое для пользователей состояние сервиса, доходить до ответственного и подсказывать следующий шаг проверки. Повышайте срочность сигнала о CPU, когда установлена связь с риском для сервиса; учитывайте длительность отклонения и обычный уровень нагрузки. Показатели результата — успешности запросов, задержки и доступности — дополняют показатели ресурсов. Документируйте проверку, временное отключение и условие снятия каждого оповещения.
Определите влияние
Укажите сервис, группу пользователей и затронутую операцию.
Назначьте ответственного и порядок эскалации
Выберите маршрут уведомления с учётом смен, дежурств и зависимости от провайдера.
Повторно оцените шум
Разберите ложные и оставшиеся без ответа оповещения, скорректируйте условие и длительность.
Используйте историю для планирования мощности
История серверных и сетевых показателей помогает увидеть повторяющиеся пики, свободные ресурсы и постепенно растущую задержку. Сравнивайте одинаковые периоды трафика и версии приложения; смотрите не только среднее, но и пики и распределение. Ограничивайте количество имён метрик и комбинаций значений меток: каждый дополнительный временной ряд требует памяти и вычислений. Не используйте ID пользователя, адрес электронной почты или произвольный URI как метки метрик. При необходимости сохраняйте эти сведения в журналах или трассировках с ограниченным доступом и согласно правилам обработки данных.