Close
Geokodowanie i wizualizacja instalacji posiadających pozwolenie zintegrowane

Geokodowanie i wizualizacja instalacji posiadających pozwolenie zintegrowane

W ostatnim czasie na portalu Otwarte Dane, w kategorii Środowisko została zamieszczona aktualizacja listy instalacji posiadających pozwolenie zintegrowane. O tym czym jest to narzędzie w ochronie środowiska pisałem już trzy lata temu. Zainteresowanych szczegółami oczywiście odsyłam do tego wpisu, gdzie wyjaśniam w przypadku jakich instalacji wymaga się uzyskania takiego pozwolenia. Przy okazji będzie to też możliwość zweryfikowania stanu obecnego ze stanem na dzień 31 marca 2019 r., bowiem poprzedni wpis dotyczył właśnie tamtego okresu.

Wpis na blogu można znaleźć pod adresem:

Przepisy prawne oraz linki do materiałów dotyczących pozwoleń zintegrowanych nie uległy zmianie od tego czasu, także podane wówczas informacje są aktualne.

W tym wpisie, korzystając z aktualizacji danych dotyczących listy instalacji posiadających pozwolenie zintegrowane w serwisie rządowym, przedstawię sposoby na geokodowanie, a następnie wizualizacje instalacji.

Geokodowanie instalacji posiadających pozwolenie zintegrowane

Geokodowanie to ustalenie współrzędnych geograficznych na podstawie innych danych geograficznych. Jak uzyskać wartości tych współrzędnych? Generalnie istnieją dwa sposoby. Ręczny, czyli wpisujemy adres do aplikacji takiej jak np. www.google.com/maps i ona zwraca nam współrzędnem które zapisujemy. Taki sposób jest uciążliwy i niezmiernie pracochłonny. W przypadku dużych zbiorów danych całkowicie bezproduktywny. Stąd konieczna jest automatyzacja czynności, która w porównaniu z ręcznym przetwarzaniem jest oczywiście szybsza. Automatyczna metoda odbywa się poza nadzorem, i następnie wymaga ingerencji operatora w przypadkach, gdy dane wejściowe potrzebne do geokodowania były niewystarczające lub po prostu złe. A to mimo wszystko dzieje się dość często. Na szczęście dostępne usługi do geokodowania identyfikują taki stan dość dobrze.

Lokalizację instalacji posiadających pozwolenie zintegrowane przy poprzednim wpisie przeprowadziłem z wykorzystaniem usługi Google. Wówczas była ona usługą darmową, obecnie jest płatną. Wszystkie szczegóły związane z realizacją usługi przez Google są dobrze opisane na stronie: https://developers.google.com/maps/documentation/geocoding

Konieczność płatności za usługę geokodowania w Google skierowała mnie do poszukiwania innych sposobów na przeprowadzenie geolokalizacji, w tym przypadku instalacji posiadających pozwolenie zintegrowane. Pierwsze co przyszło mi do głowy to skorzystanie z usługi oferowanej przez Główny Urząd Statystyczny. GUS udostępnia taką usługę zwaną jako Przestrzenne Dane Statystyczne. Jest ona umieszczona pod adresem: https://geo.stat.gov.pl/app/geokodowanie/index.html

a zasady poruszania się po aplikacji znajdujemy pod adresem: https://geo.stat.gov.pl/pomoc/aplikacja/geokodowanie/

Korzystanie z usługi jest dość proste, zresztą cel jaki realizuje aplikacja także. Usługa umożliwia dołączenie informacji przestrzennej do wczytanego zbioru danych tabelarycznych, w oparciu o usługi serwera wyszukiwania tj. przypisanie lokalizacji przestrzennej punktom adresowym opisanym tekstowo.

Przestrzenne Dane Statystyczne - Geokodowanie

Nie pozostawało zatem nic innego jak zaimportować do aplikacji plik danych z informacjami o instalacjach posiadających pozwolenie zintegrowane pobrany ze strony dane.gov.pl. Z podanej strony rządowej dane można eksportować do wielu formatów, w tym: formatu Excela, pliku tekstowego csv, lub json.

Aktualnie w danych zamieszczona jest tylko informacja o miejscowości i kodzie pocztowym gdzie znajduje się instalacja. Poprzednio można było jeszcze uzyskać informację o adresie instalacji, w postaci ulicy i numeru. Stąd też na początku połączyłem te dane w jeden plik i pozwoliłem go wczytać aplikacji. Z pliku zostały wczytane do przeprowadzenia geolokalizacji 5654 rekordy.

Kreator geokodowania GUS instalacji posiadających pozwolenie zintegrowane
Geokodowanie GUS instalacji posiadających pozwolenie zintegrowane

Kreator procesu geokodowania w aplikacji składa się z czterech etapów. W pierwszym określamy rodzaj danych, w drugim przeprowadzamy mapowanie kolumn na atrybuty adresu, w trzecim dokonujemy ewentualnego zastępowania znaków, czyli np. skrót al. zamieniamy na aleja, a w czwartym, końcowym uruchamiamy proces automatycznego geokodowania. I już ...

Pierwsze rozczarowanie to, że dane identyfikujące muszą być szczegółowo zgodne z systemem TERYT. Niestety w przypadku listy instalacji posiadających pozwolenia zintegrowane tak nie ma. Nawet, jak wspomniałem, obecnie w pliku podawany jest tylko kod i miejscowość jako określenie lokalizacji instalacji. W rezultacie efekt geolokalizacji przeprowadzony z wykorzystaniem aplikacji GUS był mizerny. Początkowo błąd geokodowania wynosił aż 88%.

Główny Urząd Statystyczny udostępnia usługę o nazwie Przestrzenne Dane Statystyczne

I mimo zmian, takich jak wyodrębnienie ulic, numeru domów lub działek nie udało się uzyskać błędu poniżej 80%. Aby ją uzyskać należałoby podać: nazwę województwa, nazwę powiatu, nazwę gminy, miejscowości, nazwy ulicy oraz numeru domu. To z kolei wymagało by katorżniczej pracy z przeglądaniem każdego dostępnego zezwolenia zintegrowanego, które publikowane są na stronie Głównego Inspektora Ochrony Środowiska https://www.gios.gov.pl/pl/kontrola/instalacje-ippc.

Postanowiłem zatem skorzystać z usługi geokodowania oferowanej przez Główny Urząd Geodezji i Kartografii.

Tak przy okazji GUGiK oferuje ciekawy zasobowo katalog szeregu innych aplikacji, polecam zajrzeć pod adres: https://capap.gugik.gov.pl/cat.

A wracając do naszego zadania to dzięki szerszemu wachlarzowi opcji uzyskany efekt geokodowania był już znacznie bardziej zadawalający. Liczba błędów była na poziomie 45%. Jednak i to było dość dużo, weryfikacja ponad 2500 lokalizacji zajęłaby sporo czasu.

Geokodowanie Główny Urząd Geodezji i Kartografii instalacji posiadających pozwolenie zintegrowane

Nie ma to jak Google Geocoding API

W rezultacie postanowiłem wrócić do geokodowania z Google. Skorzystałem w tym celu z biblioteki ggmap z pakietu R pisząc krótki kod.

W wyniku kilku powtórzeń i modyfikacji zapytań udało się osiągnąć błąd poniżej 7%, co było najlepszym rezultatem ze wszystkich stosowanych sposobów. Pozostałe rekordy, dla których nie udało się przeprowadzić poprawnej automatycznej geolokalizacji poddano ręcznej identyfikacji. Przy okazji przeprowadziłem również wybiórczą weryfikację lokalizacji zgeokodowanych przez Google. W większości była poprawna, jednak należy założyć, że błędy mogą się przytrafić.

Tak przy okazji zasygnalizuję także, że w aktualnym rejestrze są pozwolenia dla instalacji, które już fizycznie nie istnieją. Oznacza to, że podczas likwidacji zakładu bądź instalacji pozwolenie nie zostało wygaszone i ciągle w rejestrze tkwi. Niestety aktualizacja danych w wielu rejestrach to ciągły problem.

Wizualizacja lokalizacji instalacji posiadających pozwolenie zintegrowane

Posiadając współrzędne geograficzne instalacji można przeprowadzić wizualizację, a także wykorzystać do dowolnych analiz przestrzennych, np. wpływu na aspekty środowiskowe. Poniżej, tak jak zaznaczyłem na początku wpisu, przedstawię tylko kilka sposobów przygotowania mapy.

Google Maps

Jak geolokalizacja z Google, to wspomnę, że firma Google udostępnia usługę o nazwie Moje mapy, gdzie w prosty sposób mapę przedstawiajacą określone informacje można utworzyć. Jak to zrobić opisane jest w przewodniku pod adresem: https://support.google.com/mymaps/answer/3024454/

Zatem moja mapa przedstawiająca lokalziację instalacji posiadających pozwolenie zintegrowane przedstawia się następująco:

Pełna mapa

MapCreator

mapCreator to aplikacja internetowa służąca do tworzenia i zarządzania mapami interaktywnymi, coś na kształt rozwiązania oferowanego przez Google. System mapCreatora zresztą oparty jest na Google Maps Javascript API v3, i oferowany w kilku wersjach, w tym także darmowej. Więcej na temat mapCreatora można znaleźć pod adresem: https://www.mapcreator.pl/. A ponieważ otrzymuje się coś na kształt przedstawionej mapy Googla tutaj go nie prezentuję.

PowerBi Desktop

Ze względu na to, że uwielbiam oprogramowanie PowerBi Desktop m.in za przyjazny interfejs, prostotę i moc w przeprowadzaniu dowolnych analiz, w tym także przestrzennych to nie mogło zabraknąć tego rozwiązania i tutaj. A wizualizację przestrzenną w powerBi można zrealizować za pomocą wbudowanego w oprogramowanie obiektu wizualnego Map.

W pierwszym kroku wczytujemy plik z danymi do aplikacji, następnie przeprowadzamy kategoryzację danych identyfikując współrzędne geograficzne. To pozwoli nam później na bezproblemowe zastosowanie wspomnianego wyżej obiektu Map.

Kategoryzacja danych instalacji posiadających pozwolenie zintegrowane

Dalej na karcie przygotowania raportu wybieramy obiekt Map i odpowiednio przeciągamy do pól kolumny identyfikujące długość i szerokość geograficzną. W efekcie uzyskujemy mapę na której możemy już pracować.

Oczywiście wszelkie możliwości edycyjne formatujące mapę są dostępne po prawej stronie pod ikoną pędzla. A zakładka z filtrami pozwala na przeprowadzenie identyfikacji różnego rodzaju instalacji.

Korzystając z darmowej wersji PowerBi, czyli PowerBi Desktop nie ma się możliwości udostępniania. Zatem efekt pracy przedstawiam jedynie w postaci poniższej grafiki

Wizualizacja Map PowerBi

Plotly.express

Nie sposób ominąć także możliwości wykorzystania biblioteki plot.ly, która została stworzona właśnie po to, by pomóc we wizualizacji danych.

A w zasadzie skorzystam z plotly.express, modułu skonstruowanego po to by tworzony kod opisujący tworzoną grafikę był jeszcze czytelniejszy i łatwiejszy do analizy. Opis można znaleźć pod adresem: https://plotly.com/python/plotly-express/

A zatem korzystając z metody scatter_mapbox ze wspomianego modułu

https://plotly.github.io/plotly.py-docs/generated/plotly.express.scatter_mapbox.html

kod jest banalnie prosty,

i jego wykonanie daje rezultat w postaci:

''

Jak zatem widać możliwości jest dość sporo, i z pewnoscią każdy znajdzie własny sposób postępowania. Jeżeli stosujecie inne inne, sprytne metody lub narzędzia do geokodowania czy wizualizacji danych przedstrzennych przydatnych dla Data Analyst/Data Science to zachęcam do podzielenia się nimi w komentarzach.

Dodatkowe odnośniki

https://ekordo.pl/za-pozwoleniem-zintegrowanym/

dr hab. inż., prof. Politechniki Częstochowskiej; zainteresowania: aspekty środowiskowe, gospodarowanie odpadami (praktyczne), danologia (hobbystycznie)

Leave a Reply

Your email address will not be published. Required fields are marked *

Witryna wykorzystuje Akismet, aby ograniczyć spam. Dowiedz się więcej jak przetwarzane są dane komentarzy.