Önkiszolgáló ETL

Az első dolog ami bevillan az ember agyába az önkiszolgáló ETL (adatbetöltés) kapcsán, az az, hogy vajon érdemes-e egyáltalán az üzleti felhasználók kezébe olyan eszközt adni, amellyel betöltés közben transzformálhatják az adatokat. Képes-e vajon az üzleti felhasználó adatbetöltőket írni? Egyáltalán akar-e olyan, (tőle távol álló) tudást felszedni, amellyel adatbetöltők írására lesz képes?

Nos. Ha BI-os fejjel gondolkodunk, akkor válasz mindkét kérdésre egy hatalmas nem: Se nem érdemes, se nem képesek felszedni az üzleti felhasználók olyan tudást, amivel betöltőket tudnak írni. Ismerjük az ETL eszközöket, tudjuk mire képesek, és tudjuk azt is, hogy nem való üzleti felhasználók kezébe.

De vajon így gondolkodnánk-e akkor is, ha lenne egy olyan ETL eszköz, ami sokkal egyszerűbb lenne a mi ETL eszközeinknél és ami még fontosabb: nem mérnököknek készülne, hanem üzleti felhasználóknak? Az ő szájízüknek megfelelően lenne kialakítva, az ő gondolkodásukat tükrözné vissza a felhasználói felület, stb.

Mert az üzleti felhasználók teljesen máshogy gondolnak az adatmozgatásról, mint mi. Nagyon máshogy. Mondok egy példát:

Melyik az üzleti felhasználó legkedvesebb ETL funkciója?

Ctrl+C majd Ctrl+V

És ez nem vicc. Az üzleti felhasználó számára az ETL nem más mint adatmásolás egyik helyről a másikra. Az ő világukban betöltőírás helyett az a természetes hogy fogják a tábla tartalmát kiteszik a vágólapra, majd beillesztik a saját rendszerükbe. Akár több tízezer sort is mozgatnak így. Mi is így csináltuk ezt az önkiszolgáló BI workshopon: Megfogunk 130 ezer sort, kimásoljuk a vágólapra, majd beillesztjük a memóriában futó adatbázisba. Úgy, ahogy ez az üzleti felhasználóknak teljesen természetes.

De mondok egy másik példát is

Adattípus konvertálás

Hogyan konvertálja át egy oszlop tartalmát más adattípusra az üzleti felhasználó? Megváltoztatja az oszlop formátumát. Így csinálta az Excelben is. Csinálnánk mi ilyet? Nem hiszem. Még úgy sem, hogy fogunk egy szöveges oszlopot és átmásoljuk egy egész szám típusú oszlopba, mert megtanultuk, hogy ez veszélyes lehet. A klasszikus ETL eszközök nincsenek felkészítve az ilyen típusú konvertálásra. Az önkiszolgáló BI eszközök viszont eleve ilyen típusú felhasználásra lesznek tervezve. Mi keressük a convert függvényt, a convert taszkot az ETL eszközünkben, az üzleti felhasználó pedig azt keresi, hogy hol tudja megváltoztatni az oszlop formátumát.

Egyszóval nagyon máshogy kell gondolkodni az önkiszolgáló ETL eszközökről. Mások lesznek a felhasználói és másra is fogják használni, mint használjuk mi ma az ETL eszközeinket. Ezért örülök annak, hogy a Microsoft teljesen új filozófiával állt neki egy önkiszolgáló ETL eszköz kifejlesztéshez. Kihozhatta volna az Integration Services butított változatát az üzleti felhasználóknak. De nem ezt tette, hanem Data Explorer néven új önkiszolgáló ETL eszköz fejlesztésébe kezdett...

A cikk itt folytatódik: Data Explorer