Adatbetöltés (ETL)

Cikkek az adattárház és üzleti intelligencia rendszerek feltöltéséről, az adatbetöltések szintjeiről, fajtáiról, módszereiről és az architekturális kérdéseiről

Megdőlt az SSIS 1 terabájtos betöltési rekordja

Kővári Attila 2010. április 27.
Megdőlt az SSIS 1 terabájtos betöltési rekordja. Nem is kicsit. A korábbi 30 perc körüli betöltési idő most 10 perc alatt jár, ami 3,5 szörös teljesítménynövekedés. A megdöntő ETL eszköz az SSIS, a megdöntő gép egy Unisys masina. Mint az a 3,5 szö...

Tovább

Adattárház-építés lépésről lépésre

Kővári Attila 2009. február 14.
Most látom, hogy megjelentek elektronikus formában is a TechNet magazinban publikált cikkeim. Az alapozónak szánt cikkek az adattárházak, üzleti intelligencia rendszerek feltöltésének és a többdimenziós (OLAP) adatbázisok építésének alapjait járja körül.

Tovább

Registry-ben könyékig, avagy Excel betöltések buktatói

Kővári Attila 2008. december 14.

Az Excel fájlok betöltése az adattárházba számos buktatót tartogat az ETL fejlesztőknek és az adattárház üzemeltetőknek egyaránt. Az egyik ilyen buktató maga a Jet OLE DB provider, amely saját maga próbálja meg kideríteni az Excelben tárolt adatok adattípusát. Ez néha sikerül neki, de néha nem, s ha nem akkor lehal az adattárház feltöltése. A most következő cikkből megtudhatja, hogy hogyan segíthetünk a Jet OLE DB providernek, hogy eltalálja az Excel fájlokban tárolt adatok adattípusát.

Tovább

Fut az adattárház betöltése, vagy már rég lefagyott?

Kővári Attila 2008. november 30.
A minap az egyik kollega megkérdezte, hogy honnan tudja megállapítani, hogy futnak-e az adattárház betöltő SSIS csomagjai, ha azok már régóta nem adtak életjelet magukról. Azt válaszoltam neki, hogy sajnos sehonnan. Kivéve, ha Integration Services 2008-at használ. Annak ugyanis van egy parancssori Dump utasítása, ami kimásolja a memória tartalmát egy txt fájlba…

Tovább

Az "Early Arriving Facts" adattárház probléma megoldása

Kővári Attila 2006. október 8.
Előfordul, hogy az üzleti folyamatok olyanok, hogy a tranzakció keletkezésekor még fogalmunk sincs arról, hogy például ki a vevő. (Így viselkednek egyes hűségprogramok) Persze később majd kiderül, hogy ki áll a vásárlási tranzakció mögött, csakhogy addigra mi már betöltöttük az adott vásárlást az adattárházba egy ismeretlen vevőre. Olvassa el a cikket, és megtudja, hogy milyen technikák léteznek az ilyen problémák leküzdésére

Tovább

SSIS csomagok ABC szerinti rendezése

Kővári Attila 2006. szeptember 23.
Az adattárház töltő Integration Services csomagok a BI Developmnet Studio-ban (az SSIS fejlesztőkörnyezetében) létrehozásuk dátumának megfelelő sorrendben jelennek meg. Ez nem lenne probléma, csakhogy a fejlesztőkörnyezet nem ajánlja fel az ABC szerinti rendezés lehetőségét. A cikkben mutatok egy trükköt, amellyel rábírhatjuk a BI Studio-t az ABC szerinti rendezésre...

Tovább

Mikor használjunk stage területet?

Kővári Attila 2006. május 13.
Az Integration Services biztosítja számunkra a lehetőségeit, hogy adatainkat betöltés közben, még a memóriában transzformáljuk. Vajon az új szolgáltatások megszüntetik a stage szükségességét?

Tovább

Oldalak