W najnowszym odcinku serii „Big Data – Big Challenges – and Real Success” przedstawione zostają wyzwania związane z realizacją projektów Big Data, ich specyfika oraz kluczowe umiejętności potrzebne w tej dziedzinie.
Gościem odcinka jest Paweł Matławski, Product Owner w Sofixit, doświadczony specjalista w obszarze analityki biznesowej i projektowania produktów. W rozmowie dzieli się swoimi doświadczeniami, omawiając największe trudności w projektach Big Data oraz różnice między projektami danych a innymi projektami IT.
Prowadzący przybliżają również kluczowe kompetencje analityków danych, narzędzia i technologie wspierające pracę z Big Data oraz kierunki, w których rozwija się branża. Na koniec Paweł poleca cenne źródła wiedzy dla tych, którzy chcą zgłębiać temat analizy i zarządzania danymi.
🎧 Zapraszamy do słuchania!
👉 Spotify
👉 YouTube z napisami po angielsku
Sofixit to firma technologiczna tworząca innowacyjne rozwiązania w obszarze danych i sztucznej inteligencji. Więcej na www.sofixit.pl.
Wnioski i materiały z webinarium przygotowanego przez: Jarosław Banaś, Karol Berłowski, Andrzej Burzyński, Arkadiusz Dąbkowski, Filip Dzięcioł, Wojciech Łachowski w ramach współpracy DAMA Chapter Poland oraz sieci Analityków danych miejskich prowadzonej przez Instytut Rozwoju Miast i Regionów.
Niewidzialna ręka urzędów JST
Ogromne wolumeny danych wpływające na organizację życia każdego mieszkańca w Polsce są przetwarzane w urzędach Jednostek Samorządu Terytorialnego (JST) czyli w urzędach miast, województw, powiatów, gmin. JST gromadzą i przetwarzają dane nie tylko w zakresie bezpośrednio dotyczącym osób fizycznych np. danych meldunkowych, ale prawie w każdym zakresie dotyczącym naszego otoczenia np. architektury, transportu, edukacji, ochrony środowiska, bezpieczeństwa, wodociągów i wielu innych. Dane te służą podejmowaniu decyzji wpływających na organizację życia lokalnej społeczności np. dotyczące lokalizacji szkoły lub tras autobusów. Wybrane dane są przekazywana do rejestrów rządowych stanowiąc podstawę do decyzji na poziomie całego kraju lub Unii Europejskiej. Wybrane dane są udostępniane publicznie stanowiąc źródło referencyjnych danych dla wielu firm. Przetwarzanie danych w JST jest uregulowane licznymi branżowymi przepisami.
Ile Ładu danych jest w JST?
Według badań Unii Europejskiej w 2024 r. Polska zajęła 2 miejsce w badaniu dojrzałości otwierania danych państw UE, co może świadczyć znakomitym zarządzaniu danymi w polskiej administracji publicznej.
Nieliczne dostępne krajowe badania zarządzania danymi w JST (naukowe oraz kontrole Najwyższej Izby Kontroli) koncentrują się najczęściej na zarządzaniu bezpieczeństwem informacji. Zgodnie z rozporządzeniami w sprawie Krajowych Ram Interoperacyjności od 2012 r. wszystkie JST powinny posiadać wdrożone Systemy Zarządzania Bezpieczeństwem Informacji (SZBI). Mimo tego obowiązku tylko ok 44-75% JST (w zależności od badanej grupy w okresie 2012-2024 r.) wdrożyło SZBI, a przy tym w większości niekompletnie. Wymagania ww. Rozporządzenia dla SZBI są oparte o normę ISO 27001 i są spójne z elementami bezpieczeństwa Ładu Danych opisanymi w Data Management Body of Knowledge (DMBoK). Obszar bezpieczeństwa jest jednym z fundamentów Ładu Danych. Części wspólne wymagań ww. Rozporządzenia oraz Ładu Danych obejmują kluczowe konieczności: określenia ról, przypisania odpowiedzialności, prowadzenia ewidencji (metadanych), określenia zasad dostępu i wielu innych regulacji organizacji pracy z danymi. Powyższe oznacza że badania zarządzanie bezpieczeństwem informacji mogą być wskaźnikiem wdrażania Ładu Danych w urzędach, a ich dostępne wyniki świadczą o znacznych problemach.
O Ładzie danych interaktywnie
Podczas webinarium „Czy Ład Danych w samorządzie jest możliwy?” przedstawiciele DAMA Poland Chapter podjęli dyskusję nad problematyką wdrożenia Ładu Danych w JST. Webinarium zostało zorganizowane 25.04.2025 jako spotkanie w ramach sieci Analityków danych miejskich prowadzonej przez Instytut Rozwoju Miast i Regionów. O potrzebie organizacji spotkania świadczy frekwencja – webinarium zainteresowało 156 przedstawicieli z 70 jednostek samorządowych.
Podczas spotkania Wojciech Łachowski przedstawił korzyści jakie może przynieść Ład Danych w JST, w tym: lepsze decyzje, transparentność, większa efektywność, rozwój usług cyfrowych. Zidentyfikował także główne bariery wprowadzania Ładu Danych w JST analogiczne do generalnych problemów transformacji cyfrowej JST, m.in. brak środków finansowych, opór przed zmianami, problem z zapewnieniem odpowiednich kompetencji, niejasne przepisy, dług technologiczny, zła organizacja pracy. Karol Berłowski rozwinął wybrane problemy. Działalność JST jest wręcz przeregulowana przez liczne, niespójne lub nawet sprzeczne przepisy branżowe. Powyższe jest m.in. przyczyną rozległego problemu ustalenia jednolitej definicji dla jakości danych i operacyjnego właścicielstwa danych. Znaczące nieustrukturyzowanie danych powoduje komplikacje technologiczne zarządzania. JST mają trudność aby pozyskać specjalistów i zaoferować warunki pracy konkurencyjne lub zbliżone wobec sektora prywatnego.
Źródło: opracowanie W. Łachowski, K. Berłowski
Mimo wielu problemów w niektórych urzędach podejmuje sią zaawansowane działania w celu usprawnienia zarządzania danymi czego przykładem jest Urząd Miasta Krakowa
Fundamenty
Podczas spotkania Filip Dzięcioł uwzględnił podstawy teoretyczne wskazując na kluczowe aspekty Ładu Danych wg. DMBoK, takie jak strategia, polityka, standardy, nadzór. Omówił podstawowe obszary Ładu Danych: architektura, modelowanie, składowanie i operacje, bezpieczeństwo, integracja i interoperacyjność, zarządzanie zawartością, dane główne i referencyjne, hurtowanie i analityka, metadane, zarządzanie jakością. Zaznaczył problematykę wdrożeniową w organizacji która już przetwarza dane, przedstawił koncepcję wdrożenia piramidy Aikena oraz wskazał rekomendacje implementacyjne.
Źródło: opracowanie F. Dzięcioł
Sprawdzone rozwiązania
Problemy są podobne w każdym urzędzie. Bazując na swoich doświadczeniach jako eksperta Urzędu Komisji Nadzoru Finansowego, potwierdzonych przykładami z realizacji podobnych projektów w administracji publicznej oraz instytucji finansowych, Andrzej Burzyński przedstawił praktyczne możliwości wdrożenia Ładu Danych. Rozpoczęcie wdrożenia można zacząć od pryncypiów uzgodnionych z kierownikami poszczególnych obszarów merytorycznych. To zapewnia identyfikację rzeczywistych potrzeb i umożliwia określenie ogólnej polityki zarządzania danymi, z której będą wynikały zasady zarządzania danymi. Potrzebne jest uwzględnienie ludzi – ról i odpowiedzialności, potrzeb procesów oraz modelu informacyjnego który usprawni dostęp do potrzebnych danych. Ogólne dokumenty strategiczne są niezbędne do realizacji działań w postaci projektów i usług. Konieczne jest zaangażowanie kadry kierowniczej, w tym najwyższego szczebla, z uwagi na potrzebę wprowadzenia struktury organizacyjnej zarządzania danymi – przypisania odpowiedzialności dla poszczególnych osób za zarządzania danymi, np. w poszczególnych komórkach merytorycznych właścicieli danych. Potrzebne jest powołanie zespołu prowadzącego zagadnienia wdrażania Ładu Danych, skupiającego kompetencje w tym obszarze, stanowiący wsparcie dla pozostałej części jednostki. Zespół wspiera rozwiązywanie szczegółowych problemów np. zarządzania jakością danych. Inne niezbędne działania to m.in. wdrożenie katalogu danych, zidentyfikowanie obszarów tematycznych danych, opracowanie definicji, określenie danych referencyjnych, opracowanie zasad przepływu danych. Wprowadzenie Ładu Danych nie wymaga znaczącego zwiększenia zatrudnienia lub radykalnej zmiany sposobu działania lecz skoordynowania i uspójnienia bieżącej działalności. Wprowadzenie może nastąpić małymi krokami w drodze ewolucji oraz pracy zespołowej całej organizacji. Podmioty przetwarzające dane dla swojej bieżącej działalności mają już pewne elementy organizacyjne które można wykorzystać, zmodyfikować lub rozwinąć w celu osiągnięcia Ładu Danych. Istnieje dużo gotowych metodyk i narzędzi informatycznych wspierających działania.
Źródło: opracowanie A. Burzyński
Wsparcie jest dostępne
Podczas spotkania omówiono potrzeby zarządzania danymi w JST, problemy oraz ich teoretyczne i praktyczne rozwiązania na prawdziwych przykładach. Przykłady rzeczywistego wdrożenia Ładu Danych w polskiej administracji publicznej stanowią dowód że jest to dostępna i już sprawdzona metoda zarządzania także dla podobnych podmiotów – Jednostek Samorządu Terytorialnego. Arkadiusz Dąbkowski wskazał że gotowe wzorce zarządzania danymi można znaleźć w DMBoK, a kompetencje można rozwijać w społeczności DAMA Poland https://damapoland.org/.
Ład danych odpowiedzią bieżące potrzeby JST
Wobec planowanych zmian w przepisach dotyczących bezpieczeństwa informacji w JST (nowelizacji Ustawy o z dnia 5 lipca 2018 r. o krajowym systemie cyberbezpieczeństwa) wprowadzanie zmian zarządzania danymi w obszarze bezpieczeństwa danych staje się dla JST koniecznością. Zmieniając sposób zarządzania danymi w obszarze bezpieczeństwa, JST muszą wprowadzić wewnętrzne regulacje i podjąć działania skutkujące jednoczesnym wprowadzeniem elementów Ładu Danych. Te elementy stanowią znakomity przyczółek do objęcia Ładem Danych także innych obszarów, jak np. dokumenty strategiczne, jakość, zarządzanie danymi podstawowymi i referencyjnymi.
źródło: pixabay.com
Nagranie z webinarium jest dostępne na youtube:
Źródła przywoływanych badań:
D. Lisiak-Felicka, M. Szmit, Systemy Zarządzania bezpieczeństwem informacji w administracji samorządowej w Polsce – badanie empiryczne, „Przegląd Organizacji”, TNOiK 2023
D. Lisiak-Felicka, M. Szmit, Zarządzanie Bezpieczeństwem Informacji w Urzędach administracji samorządowej. Główne problemy, „Współczesny człowiek wobec wyzwań: szans i zagrożeń w cyberprzestrzeni aspekty społeczne-techniczne-prawne”, praca zbiorowa pod redakcją A. Kamińska-Nawrot, J. Grubicka, Uniwersytet Pomorski w Słupsku, Słupsk 2021
A. Sobczak, Ład danych jako element wdrażania koncepcji otwartego rządu, Roczniki Kolegium Analiz Ekonomicznych nr 46/2017, Kolegium Analiz Ekonomicznych Szkoły Głównej Handlowej w Warszawie,
W najnowszym odcinku podcastu Sofixit „Tworzenie organizacji opartej na danych jako klucz do zwiększenia jakości danych oraz jakości systemów sztucznej inteligencji” przyglądamy się temu, dlaczego data-driven business to przyszłość każdej firmy.
Gościem odcinka jest Paweł Lubiński, Head of Data Science w GC ENERGY, ekspert w dziedzinie sztucznej inteligencji, który dzieli się swoimi spostrzeżeniami na temat kluczowej roli jakości danych w tworzeniu skutecznych systemów AI.
W rozmowie poruszane są największe wyzwania transformacji cyfrowej, sposoby skutecznego wdrażania podejścia data-driven oraz to, jak organizacje mogą wykorzystać potencjał danych, by zwiększyć swoją konkurencyjność. Paweł wskazuje także, jakie korzyści mogą osiągnąć firmy, które potrafią efektywnie zarządzać swoimi danymi i dlaczego jakość danych jest fundamentem dla rozwoju sztucznej inteligencji.
🎧 Posłuchaj i dowiedz się, jak przekształcić swoją organizację w data-driven enterprise!
W tym odcinku podcastu Sofixit „Czy każda DATA musi być BIG? I czy bez zmiany mindset’u możliwe są jakościowe i etyczne projekty w obszarze zarządzania danymi?” poruszany jest temat, jak podejście do danych wpływa na jakość projektów.
Gościem odcinka jest Wiktoria Gromowa-Cieślik, doświadczona liderka technologiczna, która dzieli się swoimi spostrzeżeniami na temat roli zmiany sposobu myślenia w zarządzaniu danymi oraz znaczenia etyki w projektach data-driven.
W rozmowie poruszane są pytania, czy każda „data” musi być „big”, jakie wyzwania niesie za sobą podejście do zarządzania danymi w różnych organizacjach oraz dlaczego przyszłość widzi w rozwiązaniach chmurowych. Wiktoria opowiada również o swojej misji wspierania kobiet w technologii i inspiruje do nowego spojrzenia na świat danych.
To odcinek, który może zmienić sposób myślenia o tym, jak tworzyć bardziej etyczne i wartościowe projekty data-driven.
W najnowszym odcinku podcastu Sofixit przyglądamy się temu zagadnieniu w rozmowie „Gdzie obecnie powinniśmy pozycjonować obszar Data w organizacjach?”.
Gościem odcinka jest Łukasz Wróblewski, menadżer z wieloletnim doświadczeniem w obszarze danych, który dzieli się swoimi spostrzeżeniami na temat różnych modeli organizacyjnych dla zespołów odpowiedzialnych za dane.
Prowadzący omawiają zalety i wyzwania wynikające z umiejscowienia tych zespołów w działach IT, biznesowych lub jako oddzielnej jednostki organizacyjnej. Rozmowa dotyczy także kluczowych kompetencji zespołów danych, roli odpowiedniego sponsora projektów oraz sposobów na efektywne budowanie współpracy między działami biznesowymi a IT.
To wartościowa rozmowa dla liderów, menedżerów i wszystkich, którzy zastanawiają się, jak najlepiej wykorzystać potencjał danych w organizacji.
🔊 Nowy odcinek podcastu Sofixit! Tym razem tematem rozmowy są „Potoki etykietowania danych dla uczenia maszynowego” – kluczowy element sukcesu modeli AI.
Gościem odcinka jest Marcin Bera, ekspert z kilkunastoletnim doświadczeniem w dziedzinie nauki o danych, który dzieli się swoją wiedzą na temat zarządzania potokami danych i ich wpływu na skuteczność modeli uczenia maszynowego.
W rozmowie prowadzący omawiają najlepsze praktyki projektowania potoków etykietowania, procesy tworzenia etykiet i ich automatyzację, a także znaczenie jakości danych w kontekście uczenia maszynowego. Marcin wskazuje, jak skutecznie organizować przepływ danych, aby zapewnić niezawodność i wydajność modeli AI.
Odcinek jest pełen technicznej wiedzy i praktycznych wskazówek dla osób zainteresowanych sztuczną inteligencją, przetwarzaniem danych i budowaniem efektywnych systemów AI.
🔊 Kolejny odcinek podcastu Sofixit! Tym razem tematem rozmowy jest „Jak Architektura Danych wspiera Organizację, i jak Organizacja może wesprzeć Architekturę Danych”.
Gościem odcinka jest Filip Dzięcioł, Senior Data Architect w firmie Billenium, który opowiada o kluczowej roli architektury danych w organizacjach oraz wzajemnych korzyściach wynikających z jej wsparcia.
W rozmowie prowadzący omawiają praktyczne aspekty budowania i utrzymania architektury danych, wyzwania związane z integracją i jakością danych oraz trendy kształtujące przyszłość tej dziedziny. Filip dzieli się także doświadczeniami z wdrażania nowoczesnych rozwiązań oraz wskazuje, jak sztuczna inteligencja może wspierać architekturę danych.
Odcinek zawiera również rekomendacje wartościowych źródeł wiedzy dla osób rozwijających się w świecie danych, a także praktyczne wskazówki dla architektów i liderów technologicznych.
W najnowszym odcinku serii „Big Data – Big Challenges – and Real Success” poruszamy zagadnienie bliskie każdemu pasjonatowi danych, czyli „Big Data i Sztuczna Inteligencja” – rozmowa z Magdaleną Cebulą, w której prowadzący analizują wpływ jakości danych na wydajność AI.
Dyskutują o różnicach między Big Data a zwykłymi danymi, technologiach wykorzystywanych do ich zbierania i przetwarzania, wyzwaniach związanych z integracją danych z różnych źródeł oraz technikach czyszczenia danych.
W odcinku przedstawiają proces budowy modeli uczenia maszynowego, najlepsze praktyki monitorowania modeli i zapewniania jakości danych. Dodatkowo, poruszają temat kariery w data science – jakie umiejętności są kluczowe i jak skutecznie wejść w świat danych.
W pierwszym odcinku serii „Big Data – Big Challenges – and Real Success” przedstawiona zostaje DAMA Chapter Poland – nasza organizacja, która zrzesza ekspertów zajmujących się danymi i wspiera rozwój najlepszych praktyk w tej dziedzinie w Polsce.
Gościem odcinka jest Arkadiusz Dąbkowski, Lead Architect w The Stepstone Group oraz członek zarządu DAMA Chapter Poland. W rozmowie opowiada o znaczeniu DAMA dla profesjonalistów zajmujących się zarządzaniem danymi oraz o tym, jak dołączyć do tej społeczności.
W odcinku poruszane są kluczowe zagadnienia: 📌 Czym jest DAMA Chapter Poland i jakie cele realizuje? 📌 Historia DAMA International i jej działalność w Polsce 📌 DAMA-DMBOK – „Biblia” zarządzania danymi i jej praktyczne zastosowanie 📌 Korzyści płynące z członkostwa w DAMA Chapter Poland 📌 Egzamin Certified Data Management Professional (CDMP) – dlaczego warto go zdać i jak się do niego przygotować?
📢 To odcinek dla każdego, kto chce rozwijać swoje kompetencje w zarządzaniu danymi i dołączyć do grona profesjonalistów!
Ład Danych (Data Governance) oraz Zarządzanie Danymi (Data Management) to koncepty mocno ze sobą powiązane, przez co często używane są zamiennie. W języku polskim jest to jeszcze bardziej mylące, ponieważ można o nich mówić jako o Zarządzaniu – co nie jest aż tak drastycznie nieprawdziwe.
Zacznijmy od książkowych definicji z DMBOK.
“Data Governance to sposób sprawowania zwierzchnictwa oraz kontroli (planowania, implementacji, monitoringu, wykonywania) zarządzania zasobów informacyjnych.”
“Data Management to rozwój, wykonywanie, nadzór planów, polityk, programów i praktyk dostarczających, kontrolujących, chroniących oraz zwiększających wartość zasobów informacyjnych w trakcie trwania ich życia.”
Definicje te zatem można zwizualizować następująco:
Jak to wygląda w praktyce
Zespół Ładu Danych jako scentralizowana jednostka spotyka się raz w tygodniu, aby zrobić przegląd aktualnych postępów związanych z Danymi w organizacji. Przegląd zawiera zagregowane metryki dotyczące zespołów oraz produktów informacyjnych, a także wszelkich inicjatyw z nimi związanych. Jeżeli coś wymaga poprawy, zmiany lub restrukturyzacji to ten zespół powinien jasno zdefiniować swoje rekomendacje oraz przekazać je do zespołów Zarządzania Danymi.
Zespoły Zarządzania Danymi jako zdecentralizowana jednostka spotyka się raz dziennie w celu zrozumienia aktualnych priorytetów, projektów oraz potencjalnych zagrożeń, aby odpowiednio pracować ze swoimi zespołami w celu dostarczenia wartości z danych. Ich praca musi być zgodna z wizją zespołu Ładu Danych, od którego otrzymują rekomendacje.
Podsumujmy
Warto zwrócić uwagę na sposób współpracy: scentralizowany zespół ma lepszy ogląd na całokształt, dlatego też są w stanie wystosować trafne rekomendacje (nie nakazy), których wykonanie leży po stronie wielu mniejszych zespołów Zarządzania Danymi, bądź po prostu samych przedstawicieli domen, którzy dzielą pracę pomiędzy swoje mniejsze zespoły.
Proces ten będzie różny w zależności od wielkości organizacji – mniejsze będą miały mniej poziomów, natomiast większe powinny zadbać o to, aby wysokość hierarchii nie zablokowała transferu wiedzy oraz komunikacji wzwyż i wszerz.
Słuchajcie i rozwijajcie się z nami!
