Data Explorer

Folytassuk az önkiszolgáló ETL-ről szóló cikket egy konkrét önkiszolgáló ETL eszközzel, a Data Explorerrel.

Először is le kell szögezzem, hogy a korábban Montego néven futó, ma már Data Explorer névre hallgató eszköz még nem termék. Sőt. Nem is biztos, hogy az lesz belőle. A Data Explorer egy koncepció. Egyelőre csak SQL Azure Labs keretein belül futó projekt melynek eddigi eredményterméke a Data Explorer.

Mire lehet használni a Data Explorert?

Ugyanarra, mint egy ETL eszközt: Különböző forrásokból származó adatokat beolvasni, azokon transzformációkat végrehajtani, majd az eredmény valahova kitenni. Mindezt reprodukálhatóan, azaz a teljes betöltési folyamat újrafuttathatóan.

A Data Explorernek két fajtája létezik.

1. Dektop kliens (Excel bővítmény)
2. Felhőben futó kliens

A kettő között a különbség jelen pillanatban annyi, hogy míg a felhőben futó Data Explorer tud a felhőbe publikálni, addig a desktop kliens változat csak az Excelnek tudja visszaadni az adatokat. (Persze a mélyben óriási különbség van a két technológia között, de jelen cikk szempontjából ez nem érdekes)

A Desktop klienst bárki kipróbálhatja most is (Letölthető itt) a felhőben futó verzió kipróbálásához előzetes regisztráció kell.

Milyen a Data Explorer? (Tapasztalatok)

Lassú, kevés forrást támogat, nehézkes a publikáció, nincs időzítés, nincs SQL végpont, a magyar ékezetes betűket az objektumnevekben nem nagyon szereti, nem párhuzamosítható, a nagy testvér Integration Services-hez képest még keveset tud, stb.

De. Olyan egyszerűen kezelhető ergonomikus felületet kapott, amit az erősebb üzleti felhasználók fognak tudni használni. Ráadásul nem kell telepíteni hozzá semmit. Bárki számára elérhető, ingyenes. Tud dolgozni sok más forrás mellett a vágólapról, tud szűrni, aggregálni, deduplikálni, konvertálni, rendezni stb.

A wikipédiáról származó lakosság adatok beolvasása a Data Explorerrel

Mire tudjuk majd használni a Data Explorert?

Mondok gyorsan néhány példát. Az önkiszolgáló BI workshop elemzéseihez szükségem volt megyénkénti népesség adatokra. Forrásként a Magyarország megyéi wikipédia oldalt használtam.

Innen olvastam be a táblázatot, majd levágtam a sorokban szereplő mértékegységet, számmá konvertáltam szövegeket, stb. és utána megosztottam az eredményt mint adatforrás.

A másik példa szintén az önkiszolgáló BI workshophoz kapcsolódik. Éles gyógyszerforgalmi adatokkal dolgoztunk, de az duplikációkat tartalmazott. A feladat az volt, hogy megkeressük a duplikált sorokat majd szűrjük ki azokat. Mindezt a Data Explorer desktop klienssel oldottuk meg.

Meg lehetett volna csinálni Excellel is? Meg. De százszor bonyolultabban, és minden egyes adatfrissítés után meg kellett volna csinálni újra.

Mennyivel elegánsabb az Excel helyett erre a célra egy felhőben futó ETL eszközt használni. Nem kell hozzá telepíteni semmit. Fogjuk az adatokat, feltoljuk a felhőbe (vagy eleve onnan vesszük őket) átalakítjuk és megosztjuk mint adatforrás. Legközelebb, ha frissülnek az adatok, csak rá kell nyomni a frissítés gombra és kész. A felhőben futó ETL eszköz felszívja az adatokat, transzformálja őket a kívánt formára és megosztja az eredményt mint adatforrás az arra jogosultak számára.

És végül még egy példa: Adatbányászat. A Microsoftnak több, mint 10 éve van adatbányász motorja, amely ráadásul az SQL Server programcsomag részét képezi, így az aki rendelkezik SQL Serverrel, annak ingyenesen rendelkezésre áll az adatbányász motor is. Mindebből arra következtethetnénk, hogy előbb utóbb minden cégnél felüti majd a fejét az adatbányászat.

A valóság azonban nem ez. A Microsoft adatbányászat nem tudott az elmúlt 10 évben elterjedni. Ennek sok oka van, de az egyik valószínűleg az üzleti felhasználók számára tervezett ETL eszköz hiánya. Az üzleti felhasználók ugyanis nem szeretnének az Integration Service-zel dolgozni. Értik ők, hogy ez az ETL eszköz mindent tud, de nekik nem „minden" kell. Hanem egy egyszerű, a számukra érthető, átlátható, könnyen kezelhető eszköz.

Összefoglalva: A Data Explorer még nem termék. Egyelőre nem tudni, hogy az lesz-e belőle, és ha igen, akkor milyen üzleti modell lesz mögötte. Azt sem látni még, hogy hogyan fog integrálódni a Microsoft stratégiájába, de az már látszik, hogy az önkiszolgáló BI erősödését elő fogja segíteni. Ingyenesen hozzáférhető, nem kell hozzá telepíteni semmit, könnyen kezelhető, egyszerű, stb. Érdemes lesz rá odafigyelni.

Kapcsolódó anyagok:

• Önkiszolgáló ETL