Az extraktálás kockázatának csökkentése

Adott egy adattárház projekt. Ennek az első lépése, hogy valahogy kinyerjük az adatokat a forrásrendszerekből. Ezt a kinyerést rábízhatjuk

• az adattárház szállítójára,
• az adattárház megrendelőjére,
• a forrásrendszer szállítójára, aki kiteszi az extraktumokat valahová, ahonnan az adattárház szállítója elveszi

Ez utóbbi a leggyakoribb, telis-tele kockázatokkal: Közös lónak túrós a háta, érdekellentétek kerülnek felszínre, amelynek legfőbb oka, hogy a forrásrendszer szállítójának nem érdeke, hogy más hajtson hasznot az ő adataiból, nem szereti ha más kutakodik a tábláiban stb. Persze megcsinálja, de nem ez lesz a fő prioritása. Majd beütemezi valahova, majd valamikor, valahogyan megcsinálja, de ez egy futó adattárház projekt kellős közepén óriási kockázat.

Hogyan csökkenthetjük ezt a kockázatot?

Leválasztjuk az extraktálást az adattárház projektről. Azaz kettévágjuk felelősségek mentén az adattárház projektet extraktálásra és adatárház építésre. Ez amellett, hogy gyakorlatilag zéróra csökkenti a kockázatot, szabványosíthatja az exportálást ha annak specifikálását adattárház szakértőkre bízzuk, és utat nyithat a kétsebességes architektúrák felé. (Kétsebességes architektúráknak nevezzük azokat az architektúrákat, amelyeknek van egy gyors ága, amellyel nagyon gyorsan tudunk adatot adni az adatrambóknak)

Egyre több helyen építünk „adatplatformot”, Delta Lake-et, historizált stage-et, nevezzük bárhogy, amely gyakorlatilag egy historizált változata az extraktumoknak. Terveim szerint sokat fogok foglalkozni mostanában a témával, mert sok helyen eljött már a régóta működő adattárházak cseréjének ideje, és itt újra fókuszba kerül a téma, a szeptember 25.-i BI és adattárház projektvezető képzés anyagát is nagyon masszívan átírom az új irányoknak megfelelően, és sok ilyen úgynevezett „kétsebességes” architektúrát építünk mostanában. Szóval sok erő hat most abba az irányba, hogy újra elővegyük az adattárház témát. Aztán persze lehet hogy az egész csak terv marad, van csomó más érdekes téma is :-)

Mindegy is. A lényeg, - és ezért született a cikk - , hogy ha adattárház bevezetésen gondolkodik, akkor gondolkodjon el azon is, hogy levágja az adattárház projektről az exportálást, azt kiszervezi egy külön projektbe, mert nagyon sok kockázattól meg tudja szabadítani a méregdrága adattárház projektet.

Üdv újra itt a BI projekt blogon :-)