Data Webhouse
Emlékszik még valaki az előző évtized weblog elemzési hype-jára? Túl voltunk már a 2000-es év problémájának (Y2K) megoldásán és mindenki arról beszélt, hogy a következő „nagy kihívás” a Web által támasztott igények kielégítése lesz. A Web (így nagy W-vel) ugyanis nem csak egy új technológia, hanem egy új és a korábbinál sokkal olcsóbb kommunikációs forma amely forradalmat fog csinálni (Web revolution), társadalmakat fog megváltoztatni, és mint ilyen hatással lesz a BI és adattárház piacra is. Ebben az új webes világban a weblog lesz az „új olaj” amelynek elemzése fogja majd megkülönböztetni a győztes vállalatokat a lemaradóktól.
Így lett? Nem. Nem épültek tömegesen Data Webhouse-ok. Pedig voltak rá kísérletek nálunk is (ennek az eredménye pl. ez a cikk is), de a várva várt áttörés nem következett be. Ennek több oka is volt:
- A 2000 es évek nagyvállalatai nem a weben éltek. A web csak egy kommunikációs csatorna volt számukra, egy digitális prospektus, egy alternatív csatorna a hagyományos személyes és telefonos csatornák mellett, amely ráadásul elenyészően kicsi részesedéssel részesült a többi csatorna forgalmából.
- A legkisebb problémájuk is nagyobb volt annál, minthogy a weblogok elemzéséből nyert információkkal növeljék a nyereségüket. Bőven voltak, más az alaptevékenységet érintő területek, amelyek hatékonyságának növelésével sokkal gyorsabban és jobban volt javítható az eredmény, mint ahogyan a weblog elemzésből nyert tudással javíthatóak lettek volna.
- Megjelent a Google Analytics és szép lassan egyre jobb és jobb lett. Vagy legalábbis annyira jó lett, hogy a vállalatok megelégedtek az általa ingyenesen kínált elemzési lehetőségekkel.
De nem csak ezek a „hagyományos” vállalatok nem haraptak a weblog elemzésre, hanem azok sem amelyek forgalmának jelentős része a webről származott. Ezek a fiatal, már-már a webre épülő vagy a web előnyeit nagyon erősen kihasználó cégek sem kértek a Data Webhouse-ból. Miért?
- Nekik is volt még bőven tartalékuk az alapfolyamatokban így nyereséget azok javításával könnyebb volt elérni, mint webanalatikával.
- Ezekben az években elsődleges céljuk a gyors növekedés volt és ennek oltárán feláldozták az információgyűjtést. Nem kértek regisztrációt, vagy ha igen akkor is csak a legszükségesebb adatokat kérték be és emiatt eleve korlátozva volt az elemzési lehetőségek tárháza.
- Ár: Egy Data Webhouse felépítése drága volt: Szerver + tárkapacitás + adatbázis kellett hozzá amelyek már önmagában jelentős költséget képviseltek és ehhez még hozzá kellett számolni az azon fejlesztők költségét is, akik felépítik a Data Webhouse-t megírják annak betöltőit, elkészítik rá a riportokat. Ezek így együtt elég szép summát eredményeztek
- Méret: Csak egy-két hónapnyi weblogot tudtunk az elemzésre használt adatbázisban tárolni. Hosszabb trendek megfigyelésére a 10 évvel ezelőtti technológia még nem biztosított ésszerű lehetőségeket.
- Késleltetés: Nem tudtunk megoldást adni a real time típusú döntéstámogatási problémákra. Maga az architektúra ugyanis nem tudta volna olyan sebességgel kiszolgálni a real time igényeket, mint amilyenekre szükség lett volna. Mondok egy példát: Azokat a tranzakciókat kellett kiszűrnünk, amelyeket lopott hitelkártyával fizettek, de nem utólag – ahogy a kor technológiája lehetővé tette - hanem valós időben, amikor a vevő még a webshopban tartózkodik.
Mindezeknek az lett az eredménye, hogy nem építettünk Data Webhouse-okat. Igény lett volna rá, de az akkori technológiák felhasználásával csak olyan költségszinten tudtuk volna ezeket kielégíteni, amely egész egyszerűen nem érte meg.
De mindez már 10-15 éve történt, nézzük meg mi változott azóta:
- Megjelentek a Big Data technológiák és ma már nem kell a weblogokat relációs adatbázisba tölteni ahhoz, hogy elemezni tudjuk az adatokat. Érdemes megnézni például a Yahoo! 24 terabájtos OLAP kockáját
- Megjelentek stream processing technológiák, amelyek már lehetőséget biztosítanak a valósidejű döntéstámogatási problémák megoldására.
- Megjelent a felhő is mint platform, infrastruktúra vagy szoftver így ma már nem probléma ezek beszerzése, üzemeltetése, felépítése. Ráadásul a weblogok nem tartoznak a vállalatok legérzékenyebb adatai közé, így valószínűleg ezen a területen kisebb lesz az ellenállás a felhővel szemben, mint a mondjuk a core tevékenységet lefedő alkalmazások felhőbe mozgatásával szemben.
- Egyszerűsödnek a technológiák: Ma már egyre könnyebben kezelhetőek lesznek a Big Data eszközök. Nem kell feketeöves programozóként Hadoop clustereket heggeszteni ahhoz, hogy egy Data Webhouse-t felépítsünk.
- Megjelentek az önkiszolgáló BI elemzőeszközök, amelyek segítségével az üzleti felhasználók saját maguk képesek az elemzések egy részét elkészíteni. Nem kell tehát kapásból azzal kezdeni, hogy felépítünk a historikus adatok elemzésére egy bitang nagy adattárházat, rá egy hatalmas kockát, kidolgozni az összes mutatószámot. A fejlesztés egy része ma már átadható az üzleti felhasználóknak.
- És ami szintén nagyon fontos, hogy mindezen technológiák elérhető áron és EGYSZERŰEN váltak bérelhetővé ami jelentősen lecsökkentette a belépési küszöböt.
Összefoglalva: A Big Data, a felhő, a stream processing, és az önkiszolgáló BI technológiák megjelenése lehetőséget biztosít arra, hogy újragondoljuk a weblogok elemzésének problémáját. Amit anno technológiai, költség vagy erőforrás korlátok miatt nem tudtunk megvalósítani, az nemsokára a tömegek számára is elérhető lesz...
Kővári Attila - BI projekt
hozzászólás
Czobor Zsuzsa
h, 04/27/2015 - 17:20
Permalink
Felhő technikák
Kővári Attila
h, 04/27/2015 - 21:37
Permalink
Köszönöm Zsuzsa!
Új hozzászólás