Adatbetöltés (ETL)

Cikkek az adattárház és üzleti intelligencia rendszerek feltöltéséről, az adatbetöltések szintjeiről, fajtáiról, módszereiről és az architekturális kérdéseiről


Letölthető a Teradata és az Oracle connector-ok 1.1-es verziója

Letölthető az Oracle és Teradata connector-ok 1.1-es verziója. A hír azoknak lehet érdekes, akik Oracle-ös vagy Teradatás adatokat mozgatnak az Integration Services segítségével.
Elolvasom a teljes cikket
2010. április 04.

Integration Services tanulmány Oracle 10g adatok betöltéséhez

Letölthető egy 24 oldalas Integration Services tanulmány (angol), amely kifejezetten olyan szakembereknek szól, akik ORACLE adatbázisokból akarnak adatokat átemelni az SQL Serverbe. Bár a cikk külön nem tér ki az ORACLE és az SQL Server közti adat...
Elolvasom a teljes cikket
2010. február 28.

Az SQL Server 2008 R2 Integration Services (SSIS) újdonságai

Rövid bejegyzés következik, hiszen az SQL Server 2008 R2 Integration Services (SSIS) semmilyen eget rengető újdonságot nem tartalmaz az előző, 2008-as verzióhoz képest. Sőt. Néhány kisebb módosítást leszámítva a 2008-as, és a 2008 R2-es Integratio...
Elolvasom a teljes cikket
2009. december 27.

Adatintegrációs szoftverek a Gartner mágikus négyzetén

Megjelent a Gartner idei elemzése az adatintegrációs eszközökről. A vezető kvadránsban található az Informatica, az IBM, az Oracle és az SAP Business Objects. Az Integration Services-t egy hajszál választja el a vezető kvadránstól: Via: dwbi blog
Elolvasom a teljes cikket
2009. december 04.

A Decathlon hűségprogramja és egy adattárház probléma

A minap a Decathlonban jártam és egy olyan adattárház problémába botlottam, amelyet a sportáruház példáján keresztül remekül lehet szemléltetni. Ez következik most.
Elolvasom a teljes cikket
2009. szeptember 20.

Adattárház-építés lépésről lépésre

Most látom, hogy megjelentek elektronikus formában is a TechNet magazinban publikált cikkeim. Az alapozónak szánt cikkek az adattárházak, üzleti intelligencia rendszerek feltöltésének és a többdimenziós (OLAP) adatbázisok építésének alapjait járja körül.
Elolvasom a teljes cikket
2009. február 14.

Registry-ben könyékig, avagy Excel betöltések buktatói

Az Excel fájlok betöltése az adattárházba számos buktatót tartogat az ETL fejlesztőknek és az adattárház üzemeltetőknek egyaránt. Az egyik ilyen buktató maga a Jet OLE DB provider, amely saját maga próbálja meg kideríteni az Excelben tárolt adatok adattípusát. Ez néha sikerül neki, de néha nem, s ha nem akkor lehal az adattárház feltöltése. A most következő cikkből megtudhatja, hogy hogyan segíthetünk a Jet OLE DB providernek, hogy eltalálja az Excel fájlokban tárolt adatok adattípusát.
Elolvasom a teljes cikket
2008. december 14.

Fut az adattárház betöltése, vagy már rég lefagyott?

A minap az egyik kollega megkérdezte, hogy honnan tudja megállapítani, hogy futnak-e az adattárház betöltő SSIS csomagjai, ha azok már régóta nem adtak életjelet magukról. Azt válaszoltam neki, hogy sajnos sehonnan. Kivéve, ha Integration Services 2008-at használ. Annak ugyanis van egy parancssori Dump utasítása, ami kimásolja a memória tartalmát egy txt fájlba…
Elolvasom a teljes cikket
2008. november 30.

Integration Services 2008 újdonságok – Tökéletesített Data Flow taszk

Tudta, hogy az Integration Services 2008 adatbetöltő taszkja sokkal jobban ki tudja használni a szerver erőforrásait, mint elődje tette? A miértekről és a képekkel alátámasztott eredményekről a cikkben olvashat.
Elolvasom a teljes cikket
2008. szeptember 09.

SSIS 2008 újdonságok – továbbfejlesztett lookup komponens

Már nagyon vártam az új lookup komponenst, hiszen van egy olyan speciális adattárház töltő problémánk, amelyre a 2005-ös lookup komponens csak olyan teljesítménnyel adott megoldást, hogy az SSIS helyett inkább maradtunk a jó öreg TSQL-nél...
Elolvasom a teljes cikket
2008. június 22.

Adatprofilozás az Integration Services 2008 segítségével

Megjelent egy cikkem a TechNet magazinban, amely az adatprofilozást és az azt támogató adatprofilozó taszk szolgáltatásait járja körül. Olvassa el.
Elolvasom a teljes cikket
2008. május 18.

ETL Betöltési rekordot állított fel az SSIS 2008

A hír nem új, de érdemes átnézni, hogy milyen konfigurációval érték el az 1 terabájtnyi textfájl begyömöszölését egy SQL Server 2008-as adatbázisba 25 perc 20 másodperc alatt
Elolvasom a teljes cikket
2008. május 15.

Két tuti módszer a betöltési anomáliák azonosítására

Egyik ügyfelemnél Isten tudja miért elkezdtek hektikusan ingadozni a betöltési idők. Először csak néhány napon lassult le a BI rendszer, aztán eljött az az idő, amikor már egyetlen nap sem futott le határidőre. Eljött hát az idő a beavatkozásra...
Elolvasom a teljes cikket
2008. március 17.

Az adattisztítás magyar nyelvi kérdései

A magyar adattárházak nyelvi problémáinak vizsgálatát ez alkalommal adattisztítás oldaláról járjuk körül és arra keressük a választ, hogy az SQL Server milyen segítséget nyújt az ékezetes adatok tisztításához.
Elolvasom a teljes cikket
2007. november 26.

Havi vagy napi legyen az adattárház betöltése?

Valószínűleg sokan meg fognak rám orrolni azért amit most fogok írni, de szükségesnek tartom hogy beszéljünk erről a témáról. Havi legyen az adattárház feltöltése vagy napi?
Elolvasom a teljes cikket
2007. október 29.

MNB árfolyamok letöltése – Közvetlenül az MNB-től

Megmutatom Önnek hogyan férhet hozzá az MNB rendszerében tárolt hivatalos deviza árfolyamokhoz. Legyen szó akár a mai napi aktuális árfolyamokról, akár az 1950. október 2-i jugoszláv dinár árfolyamáról.
Elolvasom a teljes cikket
2007. július 29.

Rugalmas adatbetöltők készítése (Package configuration)

A következő cikkből megtudhatja, hogyan készíthet olyan rugalmas adattárház betöltőket, amelyek a fejlesztői, teszt, és éles környezetében is, változtatás nélkül futni fognak...
Elolvasom a teljes cikket
2007. április 01.

Excel 2007-es adatok beolvasása az SSIS segítségével

Az Excel 2007-es adatok nem érhetőek el SSIS Excel Source Connection-én keresztül. A következő cikkben megismerheti mindazon lépéseket, amelyek az Excel 2007 eléréséhez szükségesek...
Elolvasom a teljes cikket
2007. március 18.

Betöltés közbeni adattípus konverziók problémái

Implicit SSIS konverziók esetén előfordulhat, hogy az adat „nem szándékoltan” mindenféle hibaüzenet nélkül csonkolódik. Még akkor is, ha a két adattípus csak hosszában tér el (pl float(4), float(8))...
Elolvasom a teljes cikket
2007. március 11.

Excel fájlok betöltésének buktatói – és hogyan kerülje el őket?

Az Excel fájlok kötetlen struktúrájú állományok, melyek betöltése közben számtalan hibába ütközhet az adatbetöltő program (SSIS csomag). Melyek a legjellemzőbb hibák, és hogyan kerülheti el őket? Erről szól a most következő cikk...
Elolvasom a teljes cikket
2007. január 14.

Hogyan kapcsoljon ki egy SSIS task-ot?

Az SSIS csomagok, task-ok futásának kikapcsolása egy egyszerű szolgáltatás, ami megkönnyíti az adattárház fejlesztési munkát, és ami nagyon hiányzott a régi DTS-ekből…
Elolvasom a teljes cikket
2007. január 09.

Az "Early Arriving Facts" adattárház probléma megoldása

Előfordul, hogy az üzleti folyamatok olyanok, hogy a tranzakció keletkezésekor még fogalmunk sincs arról, hogy például ki a vevő. (Így viselkednek egyes hűségprogramok) Persze később majd kiderül, hogy ki áll a vásárlási tranzakció mögött, csakhogy addigra mi már betöltöttük az adott vásárlást az adattárházba egy ismeretlen vevőre. Olvassa el a cikket, és megtudja, hogy milyen technikák léteznek az ilyen problémák leküzdésére
Elolvasom a teljes cikket
2006. október 08.

SSIS csomagok ABC szerinti rendezése

Az adattárház töltő Integration Services csomagok a BI Developmnet Studio-ban (az SSIS fejlesztőkörnyezetében) létrehozásuk dátumának megfelelő sorrendben jelennek meg. Ez nem lenne probléma, csakhogy a fejlesztőkörnyezet nem ajánlja fel az ABC szerinti rendezés lehetőségét. A cikkben mutatok egy trükköt, amellyel rábírhatjuk a BI Studio-t az ABC szerinti rendezésre...
Elolvasom a teljes cikket
2006. szeptember 23.

Látja a gyerek package a szülő package változóit?

A hívott package (gyerek) látja a szülő (hívó) package változóit illetve azok tartalmát. Kivéve, ha a szülő és gyerek package változóinak neve azonos...
Elolvasom a teljes cikket
2006. május 28.

Tranzakció kezelés SSIS csomagokban

Ahhoz, hogy az adattárház betöltése közben keletkező esetleges hiba esetén vissza tudjuk állítani az eredeti állapotot (ROLLBACK), betöltő csomagjainkat tranzakcióssá kell tennünk...
Elolvasom a teljes cikket
2006. május 21.

Állomásoztatás (Staging) Raw fájl formátumban

A raw fájl szerkezete, felépítése az SSIS számára szinte fordítás és ellenőrzés nélkül írható és olvasható, minek segítségével jelentősen gyorsíthatjuk adatbetöltéseinket...
Elolvasom a teljes cikket
2006. május 14.

Miért nem tudom megnyitni mások SSIS csomagjait?

Az adattárház töltő SSIS csomagok mentésükkor, vagy exportálásukkor alapértelmezettként letárolják létrehozójuk, vagy módosítójuk személyes információt....
Elolvasom a teljes cikket
2006. április 23.

Van elég szabad helyünk a következő betöltés futtatásához?

Az adattárház vagy az OLAP rendszer egyre több helyet foglal a merevlemezen. Mérete folyamatosan nő és egyszer csak el fogja foglalni az egész lemezt...
Elolvasom a teljes cikket
2006. április 17.

Adatforrások cseréje futásidőben (SSIS package-ek dinamikus konfigurálása)

...Célunk, hogy az adattárház betöltő SSIS csomagokban tárolt (beégetett) szerver neveket a betöltő csomag módosítása nélkül is megváltoztathassuk ...
Elolvasom a teljes cikket
2006. április 09.

Paraméterátadás SQL Task-nak

Ha SQL Task-nak akarunk átadni paramétert, akkor adatforrás típusonként más és más paraméter megnevezést kell használnunk...
Elolvasom a teljes cikket
2006. március 27.

POWER BI WORKSHOP

Tudjon meg többet az itt elhangzottakról! Jöjjön el a 2017. november 30.-i Power BI workshopra. Részletek >>