Cikkek BI & DWH tervezőknek és fejlesztőknek

Az alábbi oldalon összeszedtem minden olyan infót, BI és adattárház oktató anyagot, amely a BI/adattárház bevezetések műszaki/technológiai oldalával foglalkozik és elsősorban leendő adattárház tervezők, architektek, fejlesztők és dba-k fognak belőle profitálni.

Könyvek

Az utóbbi időben rám a legnagyobb hatással az alábbi könyvek voltak:

  • Dan Linstedt: Building a Scalable Data Warehouse with Data Vault 2.0 című könyve. Szívből ajánlom azoknak is, akik nem Data Vault módszertan alapján modellezik adattárházukat.
  • Ralph kimball: The Microsoft Data Warehouse Toolkit-jét szintén rongyosra olvastam anno. Aki csillagsémás adattárháztat épit Microsoft-os környezetben annak kötelező. 

 

Adattárház tervezéssel és fejlesztéssel foglalkozó cikkek

Barangolások a 4 Tera feletti adattárházak világában

Kővári Attila 2010. december 14.
Nemrég lehetőségem nyílt közelebbről is szemügyre venni egy Fast Track Data Warehouse referencia architektúra alapján összeállított adattárházat, és ennek tapasztalatairól szeretnék most beszámolni. Elsősorban arra keresem a választ, hogy mit tudunk átvenni a nagyoktól és mit tudunk a referencia architektúra ajánlásaiból használni akár kisebb méretekben is.

Tovább

A Microsoft referencia adattárház architektúrája

Kővári Attila 2010. november 30.
Nemrég jelent meg a Microsoft adattárház appliance-e, a Parallel Data Warehouse Edition és ennek kapcsán egy kicsit szemügyre vesszük a kistesót, a magyarországi méretekhez jobban passzoló 4-48 terára optimalizált Fast Track Data Warehouse referencia adattárház architektúrát.

Tovább

Tegyünk természetes kulcsot a ténytáblákba?

Kővári Attila 2010. november 12.
A tankönyvek szerint ne. Elmondom, hogy ennek ellenére mégis miért igen:1. Százszor egyszerűbb megoldani a mesterséges kulcsok kikeresését (lookup) a dimenziótáblából, ha a ténytáblában ott van a természetes kulcs2. Százszor egyszerűbb tesztelni, ...

Tovább

Hány kockát építhetünk egy adatbázisban?

Kővári Attila 2010. november 9.
Összesen 2^31-1 azaz kicsit több, mint kétmilliárd kockát építhetünk egy Analysis Services-en alapuló BI megoldásba. Jó tudni, nehogy a kockák gyártása közben véletlenül túlszaladjunk ezen a korláton. JAz Analysis Services felső korlátairól a Maxi...

Tovább

Egy nagy kocka vagy sok kicsi - A fejlesztői élmény

Kővári Attila 2010. szeptember 20.
A múlt heti cikkben a „sok kis adatkocka vagy egy nagy” dilemmát az üzleti felhasználók oldaláról közelítettük meg. Azt vizsgáltuk, hogy a felhasználói élmény szempontjából melyik a jobb megoldás. Most átülünk a fejlesztők székébe és a technológia lehetőségei felöl közelítjük meg a problémát...

Tovább

Egy nagy kocka vagy sok kicsi - Tervezés

Kővári Attila 2010. szeptember 13.
Most, hogy újra elolvastam az „Egy nagy adatkocka vagy sok kicsi - felhasználói élmény” című cikket, eszembe jutott még valami. Írom, hogy az üzleti felhasználók szempontjai miatt érdemes egy nagy kockában gondolkodni, de nem írtam arról, hogy hog...

Tovább

Egy nagy kocka vagy sok kicsi - A felhasználói élmény

Kővári Attila 2010. szeptember 11.
Adatpiacok, vezetői információs rendszerek tervezése során gyakran felmerül a kérdés, hogy egy nagy adatkockát építsünk, vagy szakterületenként/üzleti folyamatonként egy-egy kicsit. A most következő cikkben ennek járunk utána, és első körben a felhasználók szempontjából vizsgáljuk meg a problémát

Tovább

Szülő/gyerek hierarchiák historizálása

Kővári Attila 2010. szeptember 5.
A könnyedebb témákról átmegyünk egy kicsit az adattárház adatmodell tervezési kérdéseire, és megvizsgáljuk, hogy milyen lehetőségeink vannak a szervezet/dolgozók/üzletkötők, ... típusú hierarchiák modellezésére.

Tovább

Adattárház könyvek: Általános adattárház elmélet

Kővári Attila 2010. július 26.
Még februárban kezdtem el írni egy cikket annak apropóján, hogy Kimball-nak új adattárház könyve jelent meg, de végül nem publikáltam. Nem publikáltam, mert 1) akartam még érlelni egy kicsit az első benyomásaimat 2) írni akartam még azokról az adattárház könyvekről is, amelyekről azt gondolom, hogy segítséget fognak nyújtani másoknak is. Ezek következnek most.

Tovább

Tegyünk idegen kulcsot a csillagsémára?

Kővári Attila 2010. május 28.
Megmondom őszintén én nem szoktam soha. Régen úgy tanultam, hogy feleslegesen terheli a procit, hogy az integritás biztosiasa az ETL folyamatok feladata, stb. De most olvastam egy internetes közvélemény kutatást (Nem reprezentatív!), amiből az der...

Tovább

Az Excel nem kezeli a szakadozott hierarchiákat. Vagy mégis?

Kővári Attila 2009. november 23.
Az Excel 2007 néha jól jeleníti meg a szakadozott hierarchiákat, néha nem. Első ránézésre nem is érti az ember, hogy amit egyszer jól csinál másszor miért nem. Aztán ha kicsit utánajár a témának, akkor még jobban elkeseredik. A leírt működés ugyanis nem egy hiba következménye, hanem az Excel alapból nem támogatja a szakadozott hierarchiák megjelenítését. Miért működik akkor néha mégis jól? Ennek járunk most utána.

Tovább

Stabilizáció

Kővári Attila 2009. október 6.
Nem, most nem a válságról lesz szó, hanem egy olyan adattárház építési feladatról, amely nagyon fontos, mégis sokszor kimarad az adattárház projektek scope-jából. A téma aktualitását pedig az a projektünk adja, ahol az adattárház feltöltésének időszükséglete a vártnál rosszabbra sikerült.

Tovább

Analysis Services alapú BI rendszerek oldalra skálázása

Kővári Attila 2009. szeptember 7.
A nemrég pályázatot írtam és arra kért az ajánlatkérő, hogy fejtsük ki az általunk javasolt üzleti intelligencia megoldás skálázhatóságát. Azt tudtam, hogy az Analysis Services fölfelé az operációs rendszer korlátjáig skálázható, de az oldalra skálázhatóság tekintetében voltak kétségeim. Ennek jártam most utána.

Tovább

Stressz teszt

Kővári Attila 2009. június 30.
Gyakran emlegetett fogalom ma a stressz teszt mely során nyomáspróbának vetik alá bankrendszert, hogy megállapítsák: mennyire tudnak a pénzintézetek ellenállni a gazdasági visszaesés okozta megpróbáltatásoknak. Nos. Lovagoljuk meg ezt a hullámot és nézzük meg, hogy hogyan lehet a bankrendszerekhez hasonlóan az üzleti intelligencia rendszerek stressztűrő képességét tesztelni és meggyőződni arról, hogy az OLAP alapú üzleti intelligencia rendszerünk bírni fogja-e a felhasználók rohamát...

Tovább

Az Analysis Services fekete doboza

Kővári Attila 2009. június 19.
Az Analysis Services-nek, mint a repülőgépeknek van egy fekete doboza (flight recorder). Ebbe a dobozba gyűjti működése során keletkezett információkat, így amikor összeomlik a szerver pontosan meg tudjuk mondani, hogy milyen események következtek be a „lezuhanás” előtt. Egy kis átalakítással azonban utasainkról, azaz a felhasználókról is gyűjthetünk a segítségével információkat. Erről szól a cikk

Tovább

Átfúrás OLAP-ból a részletes adatokhoz (Drillthrough Action)

Kővári Attila 2009. április 20.
Adott a következő probléma: Az üzleti terület látni szeretné, hogy egy adott könyvelési tétel milyen tranzakciókból tevődött össze, ki könyvelte azt a tételt stb. Mindezt úgy, hogy „rákattintva a könyvelt értékre feljöjjenek azok a számlák, amelyek a könyvelési tételt kiadják”. A most következő cikkben ezt a témát járjuk körül. (Plusz elkészült és felkerült az új adattárház projektvezetői tanfolyam tematikája is. Nézze meg őket)

Tovább

Néhány érdekes dimenzióelem tulajdonság

Kővári Attila 2009. március 15.
Az átadás előtti pillanatokban az ember kapkod. Nincs idő minden alternatívát gondosan végiggondolni, sokszor csípőből kell dönteni. Ilyenkor fordul elő, hogy az ember a FORMAT C: parancs „Biztos vagy benne?” kérdésére kapásból rányomja a 3 YES-t! Aztán fogja a fejét, hogy mit tett. A minap ezt csináltam én is. A teszt adatbázis dimenziótáblája helyett az éles adattárház dimenziótábláját töröltem… A most következő cikkből megismerheti, hogy hogyan lehet visszafejteni az OLAP adatbázisból a törölt dimenziótábla tartalmát...

Tovább

Az adatmodell tervezés folyamata - A fizikai adatmodell

Kővári Attila 2009. február 19.
Az adattárház lelke az adatmodell. Ha az jó, akkor az adattárház felhasználói szeretni fogják az adattárházat. Ha nem, akkor az adattárház szép lassan el fog halni. Ennek az adatmodellnek a sikeressége elsősorban két dologtól függ: Egyrészt attól, hogy az adatmodell „üzletileg” mennyire jó másrészt attól, hogy az adatmodell fizikai valójában mennyire hatékonyan támogatja azt, amit az üzleti terület megálmodott. Jelen cikk ez utóbbiról, a fizikai adatmodell tervezésről fog szólni.

Tovább

Miért használjunk mesterséges kulcsot a dátum dimenzióban?

Kővári Attila 2009. január 14.
Adattárházak betöltése során a forrásrendszerekben tárolt természetes azonosítókat (pl vevőkód, cikkszám, számlaszám, …) betöltés közben lecseréljük jelentés nélküli mesterséges azonosítókra, és utána ezen mesterséges azonosítókat használjuk a dimenzió- és ténytáblák közti kapcsolat megteremtésére. Miért tesszük mindezt és a válasz ismeretében vajon érdemes-e minden természetes azonosítót, így például a dátumokat is lecserélni jelentés nélküli mesterséges azonosítókra? A cikkből mindezen kérdésekre választ kaphat

Tovább

SQL Server 2005 SP3, BOL frissítés és SQL 2008 újdonságok

Kővári Attila 2009. január 4.
Adattárház fejlesztők és üzemeltetők figyelmébe: Megjelent az SQL Server 2005 SP3, azaz az SQL Server 2005 harmadik javítócsomagja és az SQL server 2005 helpjének, a books online-nak (BOL) a legújabb frissítése, valamint új konnektorokat kapott az Integration Services 2008 ORACLE-höz és Teradatához

Tovább

Registry-ben könyékig, avagy Excel betöltések buktatói

Kővári Attila 2008. december 14.

Az Excel fájlok betöltése az adattárházba számos buktatót tartogat az ETL fejlesztőknek és az adattárház üzemeltetőknek egyaránt. Az egyik ilyen buktató maga a Jet OLE DB provider, amely saját maga próbálja meg kideríteni az Excelben tárolt adatok adattípusát. Ez néha sikerül neki, de néha nem, s ha nem akkor lehal az adattárház feltöltése. A most következő cikkből megtudhatja, hogy hogyan segíthetünk a Jet OLE DB providernek, hogy eltalálja az Excel fájlokban tárolt adatok adattípusát.

Tovább

Oldalak