Adatbetöltés (ETL)

Cikkek az adattárház és üzleti intelligencia rendszerek feltöltéséről, az adatbetöltések szintjeiről, fajtáiról, módszereiről és az architekturális kérdéseiről

Önkiszolgáló ETL újratöltve

Adatbetöltő programokat eddig tipikusan az IT/BI fejlesztők írták. Ma azonban már elérhetőek azok az önkiszolgáló ETL eszközök, amelyekkel az elemzők saját maguk képesek adatbetöltőket írni, adatot tisztítani, transzformálni. Kérdés csak az, hogy képesek-e/akarják-e magukra húzni ezt a feladatot is. Ennek járunk utána

Tovább

GRAPHISOFT BI és adattárház esettanulmány

A GRAPHISOFT-nál a BI bevezetés indikátora ugyanaz volt, mint bármely más hasonló cég esetében: Hozzáférést szerettek volna kapni saját adataikhoz. Nem riportokra vágytak, hanem egy adattárházra, amelyből minden kérdésükre nagyon rövid időn belül választ kaphatnak. Ebben eddig nincs semmi különös. Abban azonban már igen, ahogyan az adattárházukat fel akarták építeni. Ők ugyanis saját maguk szerették volna felépíteni a világ minden tájáról táplált, budapesti központú adattárházukat. Nem szállítót vagy erőforrást kerestek a probléma megoldásra, hanem szaktudást. Így találtunk egymásra 2012 tavaszán...

Tovább

UPC BI esettanulmány

A UPC-s BI projektet anno nagyon szerettem volna megnyerni… Megnyertük. Aztán megcsináltuk. Ma pedig ott tartunk, hogy esettanulmány is készült belőle. Olvassa el. Sokat tanulhat belőle és betekinthet a kulisszák mögé, amire ritkán nyílik csak lehetőség.

Tovább

MS BI és adattárház best practice cikkek

A most következő cikkel az a célom, hogy bemutassam a legjobb best practice tanulmányokat és ezáltal segítsek az adattárház fejlesztőknek, hogy jó, szerethető és sikeres BI rendszereket vagy adattárházakat építsenek. Olyanokat amelyre évek múltán visszatekintve is büszkék lesznek. És nem csak ők, hanem a megrendelőik is.

Tovább

SSIS 2012 újdonságok - Paraméterátadás

SSIS csomagoknak eddig (2005- 2008 R2 verziók) paramétert kétféleképpen tudtunk átadni:1. Hívó SSIS csomag változóin keresztül2. Az SSIS csomagok konfigurációjávalNézzük az elsőt:Paraméterátadás a hívó SSIS csomag változóin keresztülA hívott SSIS ...

Tovább

SSIS 2012 újdonságok: Üzemeltetői riportok

Az adattárház betöltőinek naplózásával szorosan összefügg az üzemeltetői riportok kérése is. Ahogy a korábbi SSIS verziókkal fejlesztett adattárházak esetén saját naplózási szolgáltatást kellett fejlesztenünk az általunk e...

Tovább

SSIS 2012 újdonságok: Naplózás

Az Integration Services korábbi verzióinak naplózási szolgáltatása kevés volt ahhoz, hogy csak azok segítségével valósítsuk meg az adattárház betöltésének naplózását. Olyannyira, hogy a gyári beépített naplót csak a betöltési hibák rögzítésére has...

Tovább

SSIS 2012 újdonságok: Kifejezés jelölők

Az SQL Server 2012 Integration Services megjelöli azokat az objektumokat (connection menedzsereket, változókat, taszkokat), amelyek tartalma nincs fixen beégetve az objektumokba, hanem futás közben kapnak értéket. Így például ha egy változó egy ki...

Tovább

Data Explorer

A Data Explorer a Microsoft új önkiszolgáló, felhőben futó ETL eszköze. Még nem termék. Nem is biztos, hogy az lesz belőle. De aki üzleti intelligenciával foglalkozik, annak érdemes egy kicsit megismerkednie vele és elgondolkoznia azon, hogy hol, mire fogja tudni használni majd. Ha nem is magát a terméket, akkor azt a szemléletet ami a Data Explorer koncepciója mögött található.

Tovább

Önkiszolgáló ETL

Az önkiszolgáló ETL kapcsán elgondolkodunk azon, hogy vajon érdemes-e az adatbetöltő eszközt adni az üzleti felhasználók kezébe, és ha igen, akkor milyet.

Tovább

SSIS komponensek Microsoft termékekben

Eddig nem tudtam, hogy az Integration Services-ből ismert- Fuzzy Lookup taszk segít a Bing Map-nek a beírt kérésekhez megtalálni a megfelelő koordinátákat, - a Fuzzy Grouping taszk segít a Bing Shopping-nak kiszűrni a duplikált termék neveket és l...

Tovább

SSIS újdonságok: Visszavonás/Mégse (Undo/Redo)

Az SQL Server következő verziójában lehetőségünk lesz a betöltő csomagok szerkesztése közben végrehajtott műveletek visszavonására és a visszavont művelet visszavonására (Undo/Redo) Nagyjából úgy, ahogy az Officeban megszoktuk:Nagyon hiányzott ez ...

Tovább

Balanced Data Distributorn

Az SQLCat-os fejlesztők készítettek egy SSIS komponenst, amellyel párhuzamosíthatók a transzformációk és ezzel - bizonyos esetekben – gyorsíthatóak a betöltések. Maga a Balanced Data Distributor komponens nem soronként, hanem az SSIS pipeline-ba b...

Tovább

Money, Money, Money...

Megmondom őszintén eddig nem nagyon használtam sem a money adattípust a relációs oldalon, sem a currency adattípust a többdimenziós oldalon. Miért? Nem tudom. Egyszer biztos rossz élményem volt vele, mert tudatosan nem használom. Pedig érdemes len...

Tovább

Miért naplózzuk az adattárház betöltését?

Az adattárház betöltésének naplózásakor naplót vezetünk a betöltés során keletkezett minden egyes eseményről. Felírjuk, hogy mikor indult egy folyamat, mikor állt le, mennyi ideig futott, milyen eredménnyel fejeződött be, hány rekordot olvasott be...

Tovább

Adattárház könyvek: Microsoft adattárházak

Amíg csak adattárház elméletről, módszertanról keresünk könyvet addig viszonylag egyszerű dolgunk van: ki kell választanunk egyet Inmon vagy Kimball könyvei közül, és kész. Nem nagyon tudunk mellényúlni. Ha azonban olyan könyvet keresünk, amely megmutatja azt is, hogy hogyan kell felépíteni egy adattárházat a rendelkezésre álló Microsoft szoftverek felhasználásával, akkor már komoly problémákba ütközünk. Túl sok könyv létezik ugyanis, és ezek közül nehéz kiválasztani azt, amely valóban segíteni tud egy adattárház felépítésében. Ebben próbálok most segíteni

Tovább

Adattárház könyvek: Általános adattárház elmélet

Még februárban kezdtem el írni egy cikket annak apropóján, hogy Kimball-nak új adattárház könyve jelent meg, de végül nem publikáltam. Nem publikáltam, mert 1) akartam még érlelni egy kicsit az első benyomásaimat 2) írni akartam még azokról az adattárház könyvekről is, amelyekről azt gondolom, hogy segítséget fognak nyújtani másoknak is. Ezek következnek most.

Tovább

Oldalak