Главная мысль
При сборе данных определяйте владельца, цель, чувствительность, качество и срок хранения: большой объём сам по себе не означает управляемое хранилище.
BI превращает исходные данные в основу для решений
Бизнес-аналитика (business intelligence, BI) собирает и согласует данные из разных систем, а затем показывает прошлые и текущие показатели в запросах и отчётах. Например, финансовая команда может сравнить продажи и возвраты на одной панели, а группа безопасности — события конечных устройств и сети во времени. Панель показывает измеренный показатель, но сама по себе не доказывает его причину или будущий результат. Для таких выводов нужны аналитическое исследование, надёжные измерения и контекст.
Соберите
Собирайте из CRM, ERP, приложений и телеметрии только данные, необходимые для поставленной задачи.
Согласуйте
Стандартизируйте поля, выявляйте дубли и пропуски.
Проанализируйте и решите
Подберите запрос и график под вопрос, а решение принимайте с ответственной командой.
Data lake и data warehouse решают разные задачи
Озеро данных (data lake) хранит данные разных форматов в исходном или малообработанном виде; схема часто применяется при чтении. Это удобно для исследования и подготовки моделей, но усложняет отслеживание источника, владельца и содержимого. Хранилище данных для аналитики (data warehouse) обычно содержит очищенные и структурированные данные для определённых отчётов; схема задаётся до загрузки. Организация может использовать оба подхода: lake сохраняет широкий набор источников, а warehouse предоставляет отобранные показатели для отчётности.
| Характеристика | Data lake | Data warehouse |
|---|---|---|
| Данные | Исходные данные разных форматов | Очищенные и структурированные |
| Схема | Применяется при чтении | Задаётся до загрузки |
| Типичное применение | Исследование, наука о данных, гибкий анализ | BI-отчёты и согласованные метрики |
Отслеживайте путь данных от источника до использования
Озеро данных обычно принимает данные пакетами или в реальном времени, хранит их в зонах исходных, подготовленных и проверенных данных, при необходимости очищает и обогащает, затем передаёт в аналитику, BI или модель. Фиксируйте изменения, владельца и доступ на каждом этапе. Добавление источников без проверки может создать противоречивые метрики, пропуски и неверные метки. Прежде чем считать показатель надёжным, проверьте происхождение данных, время обновления и последовательность преобразований.
Сбор
Фиксируются источник, время и владелец данных.
Подготовка
Очистка, нормализация и преобразования должны быть отслеживаемыми.
Использование
Панели, аналитики и модели должны обращаться только к проверенным источникам и нужным полям.
Защищайте централизованное хранилище данных
Объединяя данные нескольких систем, озеро данных становится ценной целью для злоумышленников: взлом хранилища может открыть доступ к чувствительной информации из разных источников. Классифицируйте данные при поступлении, предоставляйте пользователям и сервисам только необходимые поля и операции, шифруйте данные при передаче и хранении. Регистрируйте изменения разрешений, необычное чтение и экспорт, подключение новых источников. Без владельца, срока хранения и правил удаления lake может превратиться в неуправляемое «болото данных». Проверяйте и целостность поступающей телеметрии безопасности.
Доступ и конфиденциальность
Настройте ролевые и атрибутные разрешения, классификацию и подходящий срок хранения.
Мониторинг
Отслеживайте необычные запросы, экспорт и изменения в самом хранилище.
Качество данных
Сохраняйте владельца источника, формат, время обновления и историю преобразований.