Əsas fikir
Məlumatı toplayarkən sahibi, məqsədi, həssaslığı, keyfiyyəti və saxlanma müddətini də müəyyən edin; böyüyən anbar avtomatik idarə olunan anbar deyil.
BI xam məlumatı qərar üçün görünən edir
Biznes analitikası (business intelligence, BI) müxtəlif sistemlərdən məlumat toplayıb uyğunlaşdırır, sorğular və hesabatlarla keçmiş və cari göstəriciləri göstərir. Məsələn, maliyyə komandası satış və qaytarılmaları eyni paneldə müqayisə edə bilər; təhlükəsizlik qrupu son nöqtə və şəbəkə hadisələrini zaman üzrə görə bilər. Panel ölçülmüş göstəricini təqdim edir; təkbaşına onun səbəbini sübut etmir və gələcək nəticəni proqnozlaşdırmır. Bu suallar üçün analitik araşdırma, etibarlı ölçmə və kontekst lazımdır.
Topla
CRM, ERP, tətbiq və telemetriya mənbələrindən yalnız məqsədə uyğun məlumatı alın.
Uyğunlaşdır
Sahələri standartlaşdırın, təkrarları və çatışmayan dəyərləri aşkar edin.
Təhlil et və qərar ver
Sorğunu və qrafiki sualla uyğunlaşdırın, sonra qərarı məsul komanda ilə verin.
Data lake və data warehouse fərqli ehtiyaclara xidmət edir
Data lake müxtəlif formatlı məlumatı ilkin və ya az işlənmiş halda saxlayır; sxem çox vaxt oxuma zamanı tətbiq olunur. Bu, araşdırma və model hazırlığına çeviklik verir, amma mənbəni, sahibini və məzmunu izləməyi çətinləşdirə bilər. Data warehouse isə adətən müəyyən hesabatlar üçün təmizlənmiş və strukturlaşdırılmış məlumatı saxlayır; sxem yazmadan əvvəl müəyyən edilir. Eyni təşkilat hər ikisindən istifadə edə bilər: lake geniş mənbələri saxlayır, warehouse seçilmiş göstəriciləri hesabat üçün təqdim edir.
| Xüsusiyyət | Data lake | Data warehouse |
|---|---|---|
| Məlumat | Xam və müxtəlif formatlı | Təmizlənmiş və strukturlaşdırılmış |
| Sxem | Oxuma zamanı şərh edilir | Yükləmədən əvvəl müəyyən edilir |
| Tipik istifadə | Araşdırma, məlumat elmi, çevik təhlil | BI hesabatları və sabit göstəricilər |
Məlumat axını mənbədən istifadəyə qədər izlənməlidir
Tipik lake axını məlumatı paketlərlə və ya real vaxtda qəbul edir, onu ilkin, hazırlanmış və yoxlanmış məlumat zonalarında saxlayır, ehtiyac olduqda təmizləyib zənginləşdirir və analitika, BI və ya modelə ötürür. Hər mərhələdə dəyişiklikləri, məlumat sahibini və girişi qeydə alın. Məlumatı yoxlamadan çoxlu mənbə əlavə etmək ziddiyyətli göstəricilər, çatışmayan dəyərlər və səhv etiketlər yarada bilər. Göstəriciyə güvənməzdən əvvəl məlumatın mənşəyini, yenilənmə vaxtını və çevirmə tarixçəsini yoxlayın.
Qəbul
Mənbə, vaxt və məlumat sahibi qeydə alınır.
Hazırlama
Təmizləmə, normallaşdırma və çevirmələr izlənə bilən olmalıdır.
İstifadə
Panel, analitik və ya model yalnız təsdiqlənmiş mənbələrə və uyğun sahələrə çıxmalıdır.
Mərkəzləşmiş məlumatın özünü qoruyun
Bir neçə sistemin məlumatını toplayan məlumat gölü hücumçular üçün dəyərli hədəfə çevrilir: anbarın ələ keçirilməsi müxtəlif mənbələrdən həssas məlumatı aça bilər. Həssas məlumatı daxilolma zamanı təsnif edin, istifadəçiyə və xidmətə yalnız tələb olunan sahə və əməliyyatı açın, ötürülmə və saxlanma zamanı şifrələməni tətbiq edin. İcazələrin dəyişməsini, qeyri-adi oxu və ixracı, yeni mənbə qoşulmasını jurnallaşdırın. Sahib, saxlanma müddəti və silmə qaydası müəyyən edilməyən lake idarə olunmayan “data swamp”a çevrilə bilər. Təhlükəsizlik telemetriyasının öz mənbədə dəyişdirilmədiyini də yoxlayın.
Giriş və məxfilik
Rol və atribut əsaslı icazəni, təsnifatı və uyğun saxlanma müddətini seçin.
Monitorinq
Anbarın özündə qeyri-adi sorğu, ixrac və dəyişiklikləri izləyin.
Məlumat keyfiyyəti
Mənbə sahibini, formatı, yenilənmə vaxtını və çevirmə tarixçəsini saxlayın.