Аналитика, смещение и статистический разброс

Вопрос аналитики определяет нужный ответ

Начните с измеримого вопроса. «Что произошло?» — это описательная аналитика, «почему это изменилось?» — диагностический анализ. Вопрос «что может произойти дальше?» требует прогноза и оценки его неопределённости; «что предпринять?» — правила решения и сравнения действий. Например, подсчёт попыток входа за прошлую неделю описывает прошлое, а оценка вероятности захвата аккаунта — прогнозирует будущее. Результат одного вида аналитики сам по себе не отвечает на следующий вопрос.

Стройте прогнозный проект вокруг измеримой цели

Сначала определите объект и горизонт прогноза: например, каким аккаунтам может потребоваться дополнительная проверка в ближайшие 30 дней. Соберите и очистите подходящую историю, отделите обучающие данные от оценочных и начните с простой модели под задачу. Проверяйте её на ранее не встречавшихся примерах и сравнивайте операционные последствия ложноположительных и ложноотрицательных результатов. Если качество на обучающих данных намного выше, чем на отложенных примерах, модель могла переобучиться. Сильно связанные предикторы могут сделать отдельные коэффициенты нестабильными; проверьте их взаимосвязь и пересмотрите набор переменных. По мере изменения поведения следите за качеством и распределением результатов; при сдвиге пересматривайте порог или модель.

1. 01

   Определите цель

   Запишите целевой показатель, период и решение, которое будет опираться на прогноз.

2. 02

   Подготовьте данные

   Проверьте даты, метки и пропуски; отделите обучающую и тестовую выборки.

3. 03

   Проверьте и отслеживайте

   Измеряйте типы ошибок, результаты для разных групп и изменения со временем.

Регрессия моделирует связь, но не доказывает причинность

Регрессия описывает уравнением связь выбранного результата с одним или несколькими факторами. Линейная регрессия может оценить непрерывное значение, например объём запросов в следующий час; логистическая — вероятность двоичного события. Если число неудачных входов и захватов аккаунтов растёт одновременно, эта связь помогает начать расследование. Но оба показателя могут меняться из-за сезона, кампании или скрытого фактора. Корреляция показывает совместное изменение; причинность требует обоснованного плана исследования, временной последовательности и проверки альтернативных объяснений.

Отличайте смещение от разброса и проверяйте группы

Систематическое влияние данных или измерения, сдвигающее результат в одну сторону, — это bias, или смещение; случайная ошибка может менять результат в разных направлениях. Большее число наблюдений может уменьшить случайную ошибку оценки среднего, но само по себе не исправляет систематическое смещение из-за непредставленной группы или ошибочного измерения. Проверяйте модель не только по средней точности, но и по релевантным группам и реальным условиям применения. Для оценки качества результата используйте представительные тестовые примеры и анализируйте показатели по группам.

Дисперсия измеряет разброс; стандартное отклонение сохраняет исходные единицы

Дисперсию генеральной совокупности получают, разделив сумму квадратов отклонений от её среднего на N. Для несмещённой оценки этой дисперсии по выборке сумму квадратов отклонений от выборочного среднего делят на n−1 (при n > 1). Поэтому единица дисперсии равна квадрату исходной единицы, например минут². Стандартное отклонение — квадратный корень из дисперсии, поэтому оно выражается в минутах. Дисперсия суточного объёма входов показывает изменчивость базового поведения, но высокое значение само по себе не доказывает атаку. Учитывайте объём, тип события и размер выборки, сопоставляя их со средним, медианой и другими показателями.