Az interaktív vörös térkép elkészülésének története

Szeretem a térképeket. Nem tudom mi vonz bennük, de valamiért szeretem őket. Így találtam pár éve a vörös térképre és a történelemben betöltött szerepére, és innen jött az ötlet: Meg kéne csinálni. Power BI-ban. Interaktívra…

Két koncepció járt a fejemben:

1. Meg kéne csinálni a 100 éves térképet mai modern eszközökkel, interaktívra, de végig törekedve az eredeti állapot hű tükrözésére. Lehessen benne keresni, területekre zoom-olni, nemzetiségekre szűrni, esteleg a nemzetiségi összetétel változását időben animálni, de kinézetre nagyon hasonlítson az eredeti térképre.
2. Készíteni kéne egy olyan térképes adatvizualizációt, amellyel villámgyorsan és átfogóan lehet tájékoztatni a politikai döntéshozókat. A cél tehát nem a vörös térkép reprodukálása, hanem annak eredeti célját mai modern eszközökkel megvalósítani.

Ez utóbbi azért is foglalkoztatott nagyon, mert ehhez hasonló szituációk az üzleti életben gyakran előfordulnak. Kaptam például már olyan megbízást, hogy készítsünk egy olyan adatvizualizációt amelyből az amerikai atyaúristen pillanatok alatt megérti a mondanivalónkat. 7 perc volt összesen a prezentációra, ezalatt a 7 perc alatt kellett úgy tájékoztatnunk, hogy átlássa a kialakult helyzetet. Hasonló célt megvalósítása azonban sokkal több gondolkodást, kutatást és fejelesztést igényel mint a vörös térkép reprodukálása, úgyhogy (egyelőre) szkippeltem a témát és eldöntöttem, hogy inkább az interaktív reprodukció felé fordulok. 

Sokáig azonban nem történt semmi érdemi. Keresgéltem, kutakodtam de idő hiányában nem jutottam egyről-kettőre. Aztán mind népszámlálás, mind település adatokat találtam az MTA Társadalomföldrajzi Tudományos Bizottság Történeti Földrajzi Albizottsága oldalán az OTKA-projekt anyagai között, úgyhogy az adatok beszerzése áthidalta a projekt legnehezebb problémáját. Birtokon belül kerültek az adatok, kezdődhetett az érdemi munka.

Az első cél a történelmi magyarország településeinek térképre helyezése volt.

Shape Map

Elsőként a Shape Map-hez nyúltam. Ezt oktatom Power BI workshopokon, úgyhogy azt hittem otthonosan mozgok benne. Egy dolgot azonban nem tudtam: Max 1500 pontot tud megjeleníteni, ami kevés a történelmi Magyarország 12000-es településszámához. De erre már csak akkor jöttem rá, amikor majdnem kész volt a térkép …

Ezek után már óvatosabban lépkedtem, és megnéztem a Power BI vizualizációk limitációit

Bing Map

A Bing Map alapértelmezetten csak 3500 pontot tud megjeleníteni. kapásból kilőttem.

ArcGIS

Az ingyenes licensszel 3 500 pontot tudok megjeleníteni, a Plus-szal 5 000-et, az Enterprise-zal 10 000-et. Mindegyik kevés a 12 ezres település számhoz. Kilőve

Synoptic panel

A következő próbálkozás a Synoptic Panel volt. Szintén oktatom a Power BI workshopon, szeretem is és a megjeleníthető képpontok száma 35000, bőven elég történelmi Magyarország 12 ezer településéhez.  

A Synoptic panel működéséhez szükséges SVG fájlokat a MapShaper-rel állítottam elő az OTKA projekt alapadatiból.

Itt azért már jött egy kis szenvedés, bele kellett nyúlni kézzel az SVG fájlokba hogy a köröknek színt meg rádiuszt adjak, de úgy nézett ki, hogy meg fogom tudni csinálni vele a vörös térképet. Aztán amikor elkezdtem kipakolni a térképre a nemzetiségeket, akkor jött a feketeleves. Nem jöttem rá hogy miért, de valamiért nem jelent meg az összes település ha a szeletelőkkel szűrtem. Szemmel nem nagyon volt látható, de ha belenagyított az ember a térképbe, akkor már előjött, hogy bizony nem jelenít meg minden települést. 

Feltételes formázással tudtam színezni minden gond nélkül, de a feltételes formázással csak a 4 fő nemzetiséget tudtam megjeleníteni… A vörös térképen pedig 9 nemzetiség volt anno ábrázolva…

Nagyon elkeseredtem. Szenvedtem még vele egy darabig, aztán rájöttem, hogy nem fogom tudni vele olyan minőségben megcsinálni, az interaktív vörös térképet, ahogy szeretném. Úgyhogy feladtam. Az időm is elfogyott, a lelkesedésem is alábbhagyott.

Aztán persze nem hagyott nyugodni a dolog és pár hónappal később, keresgetés közben megláttam ezt az oldalt ami újabb lökést adott ahhoz, hogy meg kell csinálni az interaktív vörös térképet Power BI-ban.

MapBox

A MapBox volt az utolsó lehetőség, amit még nem próbáltam. Nem ismertem, épp itt volt az ideje, hogy megismerkedjek vele. Azt már tudtam, hogy az egykori magyar településnevekkel nem megyek semmire, mert a mai térképek nem ismerik azokat, úgyhogy a shape fájlból próbáltam visszanyerni a települések koordinátáit. Ehhez a QGIS szoftvert használtam és azt csináltam ami itt le van írva. De nem ment. Nem tudtam kinyerni a shape fájlból a koordinátáit fokokban.

Szenvedtem vele pár napig, aztán feladtam. Nagyon bántott a dolog, mert nagyon sok energiát beleöltem, de rá kellett jönnöm, hogy nem értek a térinformatikához. Ráadásul az évszámot is benéztem, mert azt hittem, hogy a vörös térkép 1920 februárjában lett bemutatva. De nem. A 100 éves évforduló 2019-ben volt, azt pedig már lekéstem. Úgyhogy megint feladtam.

Aztán idén februárban újra elővettem a témát. Zavart, hogy nem tudtam megcsinálni, és támadt egy új ötletem: Megvannak a régi települések mai nevei, keressünk ahhoz koordinátákat. 

Találtam egy plusz adatforrást is: A Határon túli magyar helységnévszótárt. Tele egykori, mai és alternatív településnevekkel, település összeolvadások előtti és utáni nevekkel. Ráadásul Power Query-ben tudtam írni egy olyan ciklus, ami 30 soronként végiglapozta a weboldalt és egy nap alatt lementette a szükséges adatokat. Ez újabb lendületet adott a projektnek. 

A régi településnevekhez megvoltak már a mai településnevek, már csak a koordinátáik kellettek. Ehhez is találtam adatbázist a Geonames.org-on. Letöltöttem a környező országok helységeinek koordinátáit. Így meg lettek a mostani települések koordinátái, volt egy szótáram amely tartalmazta a mostani települések eredeti neveit, így össze tudtam kötni a mostani településeket a 100 évvel ezelőtti települések népszámlálás adataival.

Legalábbis elsőre úgy tűnt. De a sok átnevezés, település összevonás, írásmódváltozás, adatbázis hibák, duplikációk és hiányosságok miatt újabb akadályokba ütköztem.

Nem akarom hosszúra nyújtani, de két nap alatt sem tudtam összerakni belőlük egy normális adatbázist. Szenvedtem, szenvedtem aztán megint feladtam. Fáradt voltam, dühös voltam, elegem lett. Nem ez lesz az első hobby projekt amelyet nem fejezek be...

Aztán június 1.-én este ránéztem a naptárra, és konstatáltam hogy már június van, és csak 3 nap van a trianoni 100 éves évfordulóig. Nem igaz, hogy nem tudom megcsinálni… Vagy most, vagy soha. Karanténban vagyok, rátolok még három napot + három éjszakát és ha most sem megy, akkor végleg elengedem a témát…

Újból kezdtem az egészet. Elölről. Visszatértem az alapkoncepcióhoz, mert azt tartottam továbbra is a legegyszerűbbnek, hogy QGIS-sel kinyerjem a shape fájlokból a földrajzi koordinátákat. Nagyjából egy napom ment rá, hogy át tudjam konvertálni az SHP fájlban lévő koordinátákat olyan koordinátákká, amelyet a Power BI Mapbox vizualizációja megesz. De sikerült. Reprodukálni nem tudtam, de sikerült. Elkészült az adatbázis. 7 települést leszámítva mind a 12 ezer egykori magyar településnek meglettek a koordinátái. Megugrottam azt, ami korábban sosem sikerült: Térképre került a 12 ezer település...

A következő probléma a területarányos ábrázolás megoldása volt. Az eredeti vörös térképen 1 négyzetmilliméternyi beszínezett terület száz lakost jelölt. Ezt szerettem volna reprodukálni, de nem tudtam megugrani. (Ötlet volt (van) a megvalósításra, de a sebesség még borzalmas...) Úgyhogy végül a körök nagyságával jelöltem a lakosságszámot és a körök színe a többség színét kapta. Ez azonban azt jelenti, hogy

• ha például Budapesten élt x magyar és y német, akkor az y német nem jelenik meg a térképen (Csak a tooltipben jelenik meg, ha Budapest felé visszük az egeret)
• ha két nagy lélekszámú település közel van egymáshoz, akkor a körök átfedhetik egymást.

Tehát ez a térkép inkább azt mutatja, hogy egy település milyen többségű volt 1910-ben mint azt, hogy az adott településen milyen nemzetiség élt. Ez jelentős torzítás az eredeti koncepcióhoz képest, de nem tudtam sajnos területarányosan bemutatni a nemzetségeket. Pedig nagyon szerettem volna, mert a vörös térképnek anno pont ez adta a zsenialitását...

Ugyanakkor ki tudtam cserélni az országhatárokat szaggatott vonalra, ami azért volt fontos, mert akkor ezek a határok akkor még nem léteztek, át tudtam állítani a térkép hátterét az eredeti vörös térkép háttér színére hajazó színűre, kattinthatóvá tudtam tenni a jelmagyarázatot még ha gagyi módon is és gyorsan töltődik a térkép szűréskor és nagyításkor is. Úgyhogy összességében nagyon meg vagyok elégedve a Mapbox-szal. Kenterbe veri az összes fent említett térképes Power BI alkalmazást.

A végeredmény itt látható:

Az interaktív vörös térkép teljes méretében itt próbálható ki:

Interaktív vörös térkép

Innen távolról nézve jó kis hobby projekt volt jó sok szívással… Nem sikerült 100%-osan elérni amit szerettem volna, de nagyon sokat tanultam az úton. Nem csak Power BI-t, hanem magyar történelmet is. És ahogy anno engem is inspirált, hogy az IQSys-esek megcsinálták a hadifogoly adatbázist úgy szeretném én is inspirálni, hogy csináljon történelmi vagy más, nem üzleti témájú hobby projektet.