Önkiszolgáló ETL újratöltve

2008 körül lehetett (Lassan már ez is tíz éve volt :-) ), amikor kint jártam az USÁban MVP meetingen. 2008-ban még nem volt piacon a Power Pivot, de tudni már lehetett arról, hogy jönni fog. Tehát kipróbálni még nem tudtuk, de már arról faggattak minket, hogy mit kéne tartalmazni majd a második (!) verziónak.

Itt kérdezték meg azt is, hogy fontosnak tartjuk-e, hogy a felhasználók kapjanak egy önkiszolgáló ETL eszközt, amellyel saját maguk tudják az adatokat betölteni a Power Pivotba, betöltés során transzformálni, megtisztítani az adatokat.

Nem mondtam, de azt gondoltam, hogy kész öngyilkosság a felhasználók számára ETL eszközt fejleszteni. Ne felejtse el, hogy 2008-at írunk. Önkiszolgáló BI irány még nincs, Az önkiszolgáló BI-t még mindenki fertőnek tartja a korábbi Access-Exceles világ rossz tapasztalatai miatt. Ebben az időben mindenki a központi adattárházakban, IT vagy külső szállítók által fejlesztett riportokban, adatpiacokban gondolkodik. Abban sem vagyunk még biztosak, hogy a felhasználók képesek lesznek saját maguk mini adatpiacokat fejleszteni, nemhogy abban hogy bonyolult ETL transzformációkat fognak tudni majd írni...

Azt gondoltuk, hogy az adattranszformáció megírása egy fejlesztő feladata, nem egy felhasználóé. Azt gondoltuk, hogy egy üzleti felhasználó számára sosem lehet olyan szoftvert készíteni, amely felhasználóbarát annyira, hogy egy üzleti felhasználó is meg tudjon vele írni egy bonyolult transzformációt.

Tévedtünk. Ahogy elkezdtük élesben használni a Power Pivotot rá kellett jönnünk, hogy nagyon nagy szükség van az önkiszolgáló BI világában egy önkiszolgáló ETL eszközre. A valós feladatok megoldása során kiderült, hogy az önkiszolgáló BI világának adattárházon kívüli forrásadatai MINDIG(!) dzsuvásak, mocskosak, éppenhogy strukturáltak. Logfájlokból, naplókból, ripoirtokból, xml-ből, és teljesen egzotikus forrásokból kell dolgoznunk. Önkiszolgáló ETL eszközök nélkül pedig a feladatok megoldása az üzleti felhasználóknak lehetetlennek bizonyult...

Egy évvel később már nagyon vártam hogy megjelenjen a Power Query elődjének (Data Explorer) béta változata. Olyannyira lelkes voltam, hogy a megjelenése után a második önkiszolgáló BI workshop bónusztémájaként már oktattam a használatát és a segítségével weboldalakról töltöttünk be adatokat a Power Pivotba, duplikációkat szűrtünk ki az import során...

Aztán megjelent a végleges bővítmény már Power Query néven. Élesben már használtuk és az on-the-job Power Pivot tréningeken már oktattam. SAP riportokat, gépek logfájljainak százait, és egész egzotikus források adatait töltöttük be a segítségével, de a standard oktatás részévé nem tudtam tenni. Próbálkoztam vele, de mindig úgy éreztem, hogy még korai. Elég nagy kulturális sokk volt többmillió sort kezelni az Excelben és az is, ahogy a különböző forrásból származó adatokat összefűztük és másodperces válaszidőkkel elemeztük. Nem akartam még azzal is bombázni a kontrollereket, hogy ez még mind semmi, mert a Power Query-vel már betöltés közben tudtok joinolni, adatot tisztítani, transzformálni.

De ma már 2016-ot írunk. Sok minden megváltozott és már ott tartunk, hogy a Power Query natív része az Excel 2016 Professional Plus-nak. Igaz, neve már nincs, de név nélkül ott virít Beolvasás és átalakítás (Get & Transform) eszközcsoport néven az adatok fülön:

Sokat változtak a felhasználók, sokat változtak az eszközök is. Az ami anno nagyon újnak, szokatlannak, nehéznek tűnt ma már nem az. Úgyhogy megpróbálkozunk újra az oktatásával. Olyan problémák megoldására fogjuk használni, mint a könyvtárból történő beolvasás, Hadoop fájlrendszerben tárolt JSON dokumentumok feldolgozása, weboldalak adatainak beolvasása és tisztítása, logfájlok és SAP riportfájlok importálása. Az első teszteken már túl vagyunk, a tapasztalatok biztatóak. Remélem hosszabb távon is megállja a helyét és szeretni fogják a résztvevők...