Gyűjtögessük az adatokat Business case nélkül?

Hányszor, de hányszor hallani, hogy az adatokban óriási potenciál van. Hogy pakoljuk be őket egy Data Lake-be, vagy egy adattárházba, hogy legyen adata az üzletnek amikor majd felébred. Hogy amikor kér, akkor tudjunk neki adni. Azonnal, mert neki azonnal fog kelleni.

De érdemes-e erre készülni? Hányszor futottunk bele abba, hogy azonnal kéne valamilyen múltbéli adat. Különösen válsághelyzetekben, amikor tényleg létkérdés, hogy lásson a vezetés, hogy fel tudjon készülni a károkra, hogy csökkenteni tudja azok hatását. És hányszor és hányszor hallottam, hogy de jó, hogy van adatunk, mert ha most nem lenne, akkor sokkal nagyobb bajban lennénk.

Ha innen nézzük, akkor érdemes már most elkezdeni gyűjtögetni az adatokat. Csakhogy az adatok menedzselése nem annyira olcsó. Kell, hogy legyen az adatnak felelőse, kell hogy legyen egy architektúrája ami menti a forrásadatokat, azokat fel is kéne címkézni és historizálni. Ezek nehéz és költséges dolgok. Korántsem csak annyiról van szó, hogy mentegessük az adatokat. A látszólag egyszerű folyamat ugyanis egyáltalán nem ilyen egyszerű. Egy ilyen architektúra összerakása technológiailag majdnem ugyanolyan nehéz, mint egy adattárház összerakása. Az architektúrának ugyanis historizáltnak kell lennie, auditálhatónak kell lennie, stb

Ennek ellenére kezdjük el gyűjtögetni az adatokat? Vagy várjuk meg amig kiköveteli az üzlet? Szerintem meg kell várni. De ettől függetlenül el kell kezdenünk gondolkodni egy olyan architektúrában, ami egy rendszeren belül megoldja az adatgyűjtést és a forrásrendszeri adatokat egységesítve, historizáltan auditálható formában tárolja. Fel kell készülnünk arra, hogyha kérnek, akkor AZONNAL tudjuk adni nekik, és olyan architektúrát kell kialakítanunk, ami erre képes.

Tizenpár éve írtam le ezt először egy nagyvállalat adatstratégiájába. Akkor azt vizionáltuk, hogy az adatot szolgáltatásként „értékesítjük” majd az adatot igénylőknek. Ez aztán nem valósult meg, viszont az architektúra elkészült, és ha az üzlet adatot kér, akkor pár napon belül megkapja.

Akkor ez a gondolkodás még fehér hollónak számított és nagyon sok ellenzője volt: A nyers adatokat nem tudja majd használni senki, minden adatnak adattárházban a helye, a STAGE területről nem adunk adatokat, stb. Mára azonban már az adattárház csak egy része lett a vállalati adatarchitektúrának, felnőtt egy újabb generáció, akinek elég a nyers adat és ők majd kitúrják maguknak ami kell, és a technológia is nagyon sokat egyszerűsödött és egyre inkább erre megy…

Összefoglalva: Nem az adatokat kell gyűjtögetnünk, hanem olyan architektúrát kell építenünk, amely igény (business case) esetén pár órán belül, ütemezetten tud adatot adni (nyers formájában de közös platformon) az igénylőnek. Ez lehet egy historikus STAGE vagy egy Perzisztens STAGE, vagy egy Delta Lake. Bármi amit elér az igénylő terület és egy rendszerben historikusan, auditálhatóan tárolja az adatokat.