Group2k

Dama Day Prague 2024

by with One Comment Artykuły

Ostatniego dnia września w pięknej Pradze czeskiej odbyła się jednodniowa konferencja Dama Day 2024 zorganizowana przez czeski oddział DAMA International. W wydarzeniu uczestniczyło ok 100 osób, którym zaproponowano 14 sesji w dwóch równoległych strumieniach, od 8.00 do 17.00 + 2h egzamin CDMP dla chętnych. W kuluarach mieli swoje stoiska sponsorzy konferencji. Miałem przyjemność być tam i ja, wraz z silna reprezentacją polskiej DAMA’y.

Tematyka była bardzo szeroka, tak że każdy pasjonat świata danych mógł znaleźć coś dla siebie. Omawiano zagadnienia podstawowe, jak choćby wartość ładu danych (Data Governance) czy jakości danych dla biznesu organizacji, poprzez historię, aż do kwestii etycznych czy też zaawansowanych zagadnień modelowania danych. Nie zabrakło też będącej dziś na topie Sztucznej Inteligencji (AI) i jej zastosowań. Poza bardzo ciekawymi prezentacjami merytorycznymi i kontaktami osobistymi, mieliśmy okazję uczestniczyć w dwóch ważnych wydarzeniach. Jednym z nich było ogłoszenie dorocznych nagród DAMA, o czym pisze Marilu Lopez tu. Drugie ważne wydarzenie to egzamin CDMP w trybie PIYP (Pay if you pass). Frekwencja na egzaminie była bardzo duża, a zdawalność wysoka – o czym pisał Arek tu.

Poniżej kilka bardziej szczegółowych i subiektywnych notatek, które mam nadzieję będą zachętą aby wziąć udział w następnym DAMA Day – być może tym razem w Polsce :).

Po oficjalnym otwarciu konferencji i ogłoszeniu nagród rocznych skoczyliśmy od razu na głęboką wodę. Peter Aiken w “Connecting Data Governance & Quality to Organizational Values” pokazał nam jak zarobić ponad 1,5 * 10^9 USD za pomocą usprawnień w zarządzaniu danymi (inaczej mówiąc, poprzez wdrożenie Data Governance w organizacji i poprawę jakości danych). Wiele przykładów sięgało do dość dalekiej historii (kto dziś pamięta problem roku 2000?), przy okazji pokazując że problemy w informatyce są w dużej części uniwersalne. Choć technologia się zmienia bardzo szybko, to jednak wypracowane metody i rozwiązania warto przynajmniej znać, a może nawet wykorzystać.

W “History & Evolution of the DMBOK and CDMP” Chris Bradley (Vice-president, DAMA-I), jako uczestnik i świadek (44 lata pracy w organizacji DAMA), przedstawił drogę jaka standardy i organizacja DAMA przeszła. Opowiedział o tym jak postanowiono wypełnić lukę braku standardów i przede wszystkim wspólnej terminologii w obszarze zarządzania danymi, o powstaniu kolejnych wersji słownika, body of knowledge i innych publikacji, o certyfikacji CDMP i innych.

W “Leveling-Up Data Culture in SMEs: A Different Path to Maturity” Petr Mikeška (CEO Dawiso) przedstawił swoje spostrzeżenia i doświadczenia dotyczące różnic miedzy firmami dużymi i małymi w obszarach: analizy dojrzałości, wymagań i oczekiwań dot. narzędzi wspierających Zarządzanie Danymi (Data Management) . Jeśli zastanawiasz się czy w tym przypadku lepiej wielkość firmy mierzyć przychodem, ilością pracowników a może jeszcze inaczej, to zachęcam do zapoznania się z tą właśnie prezentacją.

W “Metadata 360 – Empowering the Stakeholders” Peter Vennel (Data Strategist, Equifax) omówił rozwiązania jakie Equifax stosuje m.in. w obszarze metadanych. Jeśli interesuje cię jakiego rodzaju analizy dot. konsumentów i ich zdolności kredytowej czy wiarygodności są robione i w oparciu o jakie dane, albo jakie narzędzia można przy tak rozbudowanym zarządzaniu danymi pobieranymi głównie z zewnętrznych baz, polecam ten wykład. W kwestii metadanych prowadzący zwrócił uwagę na konieczność gromadzenia w katalogu wielu ich rodzajów, zarówno biznesowych jak i technicznych (z ciekawszych to podstawa prawna i powód przetwarzania), a także na konieczność powszechnego rozumienia wykorzystywanego narzędzia.

Na zakończenie Michel Hebert poszerzył naszą wiedze o egzaminach CDMP, a następnie sprawnie przeprowadził egzamin w formule PIYP (Pay If You Pass).

Oto pełna agenda konferencji. Niestety nie mam jeszcze materiałów pokonferencyjnych, stąd brak linków do prezentacji – artykuł zostanie zaktualizowany jak tylko je otrzymamy.

data_mesh_20240904

Wprowadzenie do Data Mesh

by with One Comment Artykuły

Data Mesh to zdecentralizowane podejście do zarządzania danymi w dużej skali opierające się o cztery filary mające za zadanie wytworzenie pewnej kultury i jakości pracy.

Oznacza to, że:

  1. Jest to podejście skierowane nie tylko na technologię, ale przede wszystkim na ludzi.
  2. Jest to podejście pracy zdecentralizowanej, gdzie autonomia jest na dole organizacji.
  3. Jest to podejście stosowane w dużej skali.

Pomysłów na pracę z danymi w organizacji jest wiele, ten jednak proponuje skupienie się na zasobach ludzkich, które, dzięki zaakceptowaniu prawa Conway’a1, mogą być efektywnie wykorzystane bez wiecznej walki z naturą człowieka, jak i przedsiębiorstwa.

Data Mesh rekomenduje iteracyjną ewolucję organizacji w kierunku wyznaczonym przez liderów zarządzania informacją w rozproszonych środowiskach. Transformacja ta opisana została czterema filarami, które są zestawem rekomendacji i próbą utworzenia nowych najlepszych praktyk w świecie danych.

Cztery Filary Data Mesh

Domeny

Organizacje wymagają coraz większej skali oraz dynamiki swojej działalności. Aby to osiągnąć poszczególne departamenty muszą redukować oczekiwanie na inne zespoły oraz decyzje płynące z zewnątrz. Sprawia to, że autonomia jest głównym czynnikiem napędzającym biznes. Okazuje się, że zorientowanie domenowe znacznie wspiera te postulaty.

Podejście domenowe pojawiło się już w 2003 roku w kontekście programistycznym, natomiast w przypadku organizacji, w prostych słowach, oznacza tyle, że należy zapewnić wykonywanie przepływu pracy od początku do końca wewnątrz jednego zespołu (lub grupie zespołów) złożonego ze wszystkich wymaganych na co dzień kompetencji. Pozwala to na dużą autonomię oraz znacząco zmniejsza liczbę nieporozumień, jako że łatwiej się porozumiewać jednym językiem, w jednym kontekście. Jest to również zgodne z Prawem Conway’a2 oraz Liczbą Dunbar’a3. Ostatecznie powinniśmy otrzymać tzw. Agile Release Train4, który jest wirtualną organizacją złożoną z zespołów Agile.

Dane jako Produkt

Od lat podejście projektowe w stylu kaskadowym przekształcane jest w podejście oparte o produkty żyjące zgodnie z metodykami zwinnymi. Dane jednak od zawsze były produktem pobocznym, odkładanym na dysku i czekającym na dalsze procesowanie.

W przypadku Data Mesh chcemy zadbać o jakość, niezawodność oraz transparentność informacji, a do tego potrzebne jest zaaplikowanie podejścia inżynieryjnego do samych danych i tego, co za nimi idzie.

Dziś dane to monetyzowalny produkt o konkretnej wartości, który jest stale udoskonalany przez konkretną domenę oraz posiada całą charakterystykę pełnoprawnego modułu składającego się z kodu, danych oraz wszystkich innych wymaganych artefaktów.

Koncept Data Mesh jest wspierany przez takie pojęcia jak Data Product, Data Ownership czy Data Contract.

Samoobsługowa Scentralizowana Platforma Danych

Dane niosą coraz większą wartość, od prostej analityki i diagnostyki, aż po skomplikowane algorytmy predykcyjne i kognitywne wymagające bardzo wysokiej jakości ogromnych stale przetwarzanych informacji. Organizacja musi mieć zapewnione miejsce, w którym może odnaleźć dane, wstępnie się im przyjrzeć, ustalić z kim o nich rozmawiać oraz na jakich zasadach można z nich korzystać. Z pomocą przychodzi Platforma Danych oraz Katalog Danych.

Platforma Danych pozwala na autonomię osób poszukujących danych. Jest to bardzo duża zmiana kulturowa, ponieważ taka zdolność organizacji zwiększa ilość oraz jakość inicjatyw, promuje przejrzystość prac i zachęca do rozwoju, a nawet zdrowej rywalizacji, w czym pomóc może m.in. Grywalizacja5.

Federacyjne Ustalanie i Zarządzanie Praktykami

Ostatecznym filarem jest zarządzanie praktykami (Governance). Zespół wspierający złożony z najbardziej doświadczonych osób, w tym członków domen, ustala to, w jaki sposób warto pracować oraz jak kontrolować rozwój domen w dobrym kierunku. Jest to ogromne wsparcie, zwłaszcza w wysoce uregulowanych środowiskach, gdzie część zasad zależy od domeny, jednak wiele zależy od całej branży. Spojrzenie z góry nie tylko pomaga znaleźć wąskie gardła oraz problemy, lecz także dobre praktyki, które warto rozdystrybuować w całej organizacji. Wymiana doświadczeń, wspólne spojrzenie na przedsiębiorstwo, oraz aplikowanie coraz to nowszych wymagań i praktyk z zewnątrz to przykłady korzyści wynikające ze współpracy zespołu wspierającego.


Podsumowanie zasad, zależności oraz korzyści płynących z wykorzystania Data Mesh6

Rozpoczęcie Prac

Implementacja tak dużych zmian wymaga przygotowania strategii, planowania oraz nauki na każdym poziomie całego przedsiębiorstwa. Data Mesh stawia przed nami bardzo wymagające założenia, wdrożenie których może się zwyczajnie nie udać, choćby przez sam fakt częstych zmian na stanowiskach decyzyjnych, nie mówiąc o ciągłym rozwoju oraz zmianach kierunku organizacji.

Nie bez powodu Gartner umieścił Data Mesh jako “obsolete before plateau”, które może zostać osiągnięte za kilka lub kilkanaście lat.

Coroczny Hype Cycle Zarządzania Danymi na rok 2023, Gartner7

Bez względu na eksperymentalność tego podejścia wiele organizacji decyduje się na implementację, aby potencjalnie zyskać ogromną przewagę na rynku8.

Rozpoczynając implementację należy zadbać o 4 ważne aspekty:

  • Wsparcie sponsora C-Level
  • Ustalenie zespołu odpowiedzialnego za inicjatywę (Data Mesh Council)
  • Wykonanie warsztatów w celu zrozumienia AS-IS oraz TO-BE
  • Znalezienie (i/lub wyszkolenie) osób potrafiących i chcących szerzyć dobre praktyki

Wdrażanie Data Mesh nie jest tanie, ani szybkie, dlatego też decyzja ta musi być dobrze uzasadniona i zaplanowana. Bez względu na podejście warto pamiętać, że zasady wymienione w poprzednim rozdziale są uniwersalne i ich implementacja – zarówno pod pełnym szyldem Data Mesh, bądź osobno jako innowacje – dają ogromne korzyści na polu technologicznym oraz kulturowym.

Odnośniki

  1. https://www.melconway.com/Home/Committees_Paper.html ↩︎
  2. https://martinfowler.com/bliki/DomainDrivenDesign.html ↩︎
  3. https://emilywebber.co.uk/social-group-sizes-dunbars-number-and-implications-for-communities-of-practice ↩︎
  4. https://scaledagileframework.com/agile-release-train/ ↩︎
  5. https://www.gamify.com/what-is-gamification ↩︎
  6. https://atlan.com/data-mesh-principles/ ↩︎
  7. https://www.denodo.com/en/document/analyst-report/gartner-hype-cycle-data-management-2023 ↩︎
  8. https://datameshlearning.com/community-getting-started/user-stories/ ↩︎
DALL·E 2024-03-24 16.32.51 - Illustrate the essence of data ethics in the Healthcare Life Science industry, focusing on the fundamental role of ethical data-handling in elevating

Data Ethics and Data Principles in Healthcare and Life Sciences Industry / Etyka danych w branży Healthcare and Life Sciences (HCLS)

by with No Comment Artykuły
DALL·E 2024-03-16 20.45.46 - Visualize the concept of a Data Strategy being a key to success in a modern, complex, and competitive business environment, where managing and utilizi

Dlaczego Strategia Danych ważna jest?

by with No Comment Artykuły

W dzisiejszym świecie Strategia Danych jest kluczowym elementem

 sukcesu dla organizacji. Określa ona sposób, w jaki firma gromadzi, przechowuje, zarządza i wykorzystuje dane, aby osiągnąć swoje cele biznesowe, w tym jak przygotowuje swoje dane pod katem ML/AI oraz systematycznie eliminuje tzw. obszary ‘Dark Data’:

W związku z powyższym, rozwinięcie klarownej i spójnej strategii danych staje się priorytetem dla każdej organizacji, która chce pozostać konkurencyjna i zrównoważona na dzisiejszym dynamicznym środowisku biznesowym.

Istnieje kilka obszarów, dla których Strategia Danych jest szczególnie ważna w dzisiejszych czasach:

Wielkość i złożoność danych: Wraz z rosnącą ilością danych generowanych przez firmy, konieczne jest posiadanie jasnej strategii, aby skutecznie nimi zarządzać. Strategia danych pomaga w zorganizowaniu i uporządkowaniu tych danych, umożliwiając ich efektywne wykorzystanie

Konkurencyjność rynku: Współczesne firmy konkurują na coraz bardziej zglobalizowanym rynku, gdzie dane są kluczowym narzędziem do podejmowania inteligentnych decyzji biznesowych. Firmy posiadające dobrze przemyślaną strategię danych są w stanie wykorzystać swoje dane jako strategiczny zasób, dając im przewagę konkurencyjną.

Innowacje i personalizacja: Dostęp do danych o klientach pozwala firmom na tworzenie bardziej spersonalizowanych i dostosowanych produktów oraz usług. Strategia danych umożliwia zbieranie, analizę i interpretację tych danych, co z kolei prowadzi do lepszego zrozumienia potrzeb klientów i innowacyjnych rozwiązań

Bezpieczeństwo danych: W obliczu rosnących zagrożeń związanych z cyberbezpieczeństwem i przepisami dotyczącymi ochrony danych osobowych, strategia danych staje się kluczowym narzędziem w zapewnieniu bezpieczeństwa i zgodności z przepisami.

Warto zwrócić uwagę na fakt, iż brak odpowiednej Strategii Danych może prowadzić do powstawania tzw. ‘Technical Dept’ oraz ‘Data Spaghetti’.

Strategii Danych typu ‘Data Spaghetti’:

co w konsekwencji może się wiązać zarówno z negatywnym wpływem na nasze procesy biznesowy jak i wyniki finansowe:

Aby w pełni wykorzystać Strategię Danych w ramach poszczególnych obszarów musimy wpierw zaadresować nasze potrzebny w odpowiedni sposób skupiając się przynajmniej na trzech poniższych elementach:

     

      • Ludzie, gdzie ludzie zapewniają odpowiedni know-how i podejście do pracy

      • Procesy, które wpierają wykorzystanie danych

      • Technologia, która umożliwia sprawniejsze wykorzystanie procesowanych danych

    Należy tutaj zaznaczyć, iż nasza Strategia Danych powinna być podzielona na odpowiednie fazy, aby odpowiednio zaadresować nasze potrzeby w czasie, gdzie możemy wyróżnić następujące fazy:

       

        • Taktyczna, w której skupiamy się na zadaniach, które umożliwiają na zrozumienie danych np. narzędzia typu Data Catalog, Data Quality lub Data Lineage oraz odpowiednie zarządzanie nimi, czyli np: Data Storage, Data Integration, Reporting platforms

        • Strategiczna, w której możemy skupić się na poprawie tego co udało nam się „odkryć” (discovery), a wiec np. zaadresowanie Data Factory i Data Mesh potrzeb

        • Wizja, która w dużej mierze powinna pokrywać sie ze strategia firmy, jako ze w dłuższym okresie czasu trudno jest bezpośrednio zaadresować strategii danych w przeciwieństwie do startego biznesowej, która może określać gdzie firma chciała by się znaleźć ze pięć lat:

      Mając tak zdefiniowane krytyczne obszary, elementy, fazy itp. możemy pokusić się o określenie naszych docelowych celów strategicznych dla danych płynących np. z metodologii DAMA,  tak aby nasze dane były:

         

          • łatwe do zidentyfikowania

          • łatwe do zrozumienia

          • poprawne

          • kompletne

          • spójne

          • możliwe do śledzenia

          • chronione

        W ślad za tak określona strategią dla danych, każda firma może zdefiniować odpowiednie przesłanki jak osiągnąć te cele zatrudniając odpowiednich ludzi, wprowadzając wymagane polityki, procedury i procesy oraz implementując narzędzia, które następnie wesprą nas przy wprowadzenia ww. założeń i pozwolą zmierzyć się ze wszystkimi wyzwaniami płynącymi z wdrażania Strategii Danych po stronie Data Governance jako czynniki umożliwiający realizacje Strategii Danych.

        _123d5c94-2a3a-4a7a-b680-1aa8e841bb60

        Monetyzacja danych, a jakość danych – przykład na bazie zarządzania ryzykiem kredytowym w banku

        by with No Comment Powiązane z DMBOK Wheel

        Co to jest monetyzacja danych ?

        Monetyzacja danych oznacza wykorzystywanie zgromadzonych informacji i danych klientów w celu generowania przychodów lub zysków. Jest to praktyka, która staje się coraz bardziej popularna w erze cyfrowej, gdzie przedsiębiorstwa gromadzą ogromne ilości danych o swoich klientach i ich transakcjach. Oto kilka produktów, dla których można ‘monetyzować’ dane na przykładzie branży bankowej:

        1. Personalizacja ofert i usług: Banki mogą wykorzystywać dane o zachowaniach finansowych klientów, aby dostosować oferty i usługi do ich indywidualnych potrzeb
        2. Analiza ryzyka i ocena kredytowa: Dane klientów pozwalają bankom na dokładniejszą analizę ryzyka i ocenę kredytową. Dzięki temu mogą one podejmować bardziej trafne decyzje dotyczące udzielania kredytów i innych produktów finansowych
        3. Sprzedaż danych: Banki mogą zdecydować się na sprzedaż anonimizowanych lub agregowanych danych klientów innym firmom, takim jak firmy badawcze, agencje marketingowe lub instytucje rządowe
        4. Programy partnerskie i marketing: Banki mogą nawiązywać współpracę z firmami zewnętrznymi i oferować im dostęp do swojej bazy klientów w zamian za udział w przychodach lub opłaty za reklamę.
        5. Rozwój nowych produktów i usług: Dostęp do danych klientów może pomóc bankom w identyfikowaniu nowych trendów i potrzeb rynkowych
        6. Zwiększona retencja klientów: Banki mogą wykorzystywać dane do analizy zachowań klientów i identyfikowania tych, którzy są zagrożeni odejściem do konkurencyjnych instytucji finansowych

        Warto zaznaczyć, że monetyzacja danych musi być przeprowadzana z uwzględnieniem przepisów dotyczących ochrony danych osobowych, takich jak RODO / GDPR w Europie, aby zapewnić prywatność i bezpieczeństwo klientów.

        Zanim przejedziemy dalej wyjaśnienia wymaga jeszcze pojęcie ‘Data Product’ (ang.) użytego na potrzeby tego artykułu. ‘Produkt Danych’ to rodzaj produktu lub usługi zbudowanej wokół wykorzystania danych i analiz w celu zapewnienia wartości użytkownikom lub klientom. Na ‘Data Product’ mogą się składać się takie elementy jak: dane, procesy biznesowe, właścicielstwo danych, metryki jakościowe, raporty, modele danych, systemy, interfejsy, powiązane metadata, definicje i słowniki danych itp., a więc wszystko co łączy się bezpośrednio, lub bezpośrednio z ‘DAMA Wheel’

        Przykład analizy Ryzyka i Ocena Kredytowa

        1. Wprowadzenie

        W niniejszym artykule skupimy się na przykładzie ‘Produktu Danych’ dot. Ryzyka Kredytowego i Oceny Zdolności Kredytowej Dla Klienta Biznesowego, ale w analogiczny sposób można przeprowadzić analizę dla każdego innego produktu, klienta lub segmentu zarówno z obszaru danych branży finansowej jak i nie finansowej, jednak należy zaznaczyć, iż kluczem do sukcesu jest zrozumienia wszystkich elementów związanych z danym produktem.

        2. Business Case

        W ramach omawianego przykładu bierzemy pod uwagę proces kalkulacji ratingu klienta biznesowego w oparciu o dane pochodzące z systemów źródłowych Banku i wpływu tej kalkulacji na inne modele takie jak Risk Weight Asset (RWA) oraz Economic Capital (EC) przy uwzględnieniu procesów agregacji i transformacji danych wykorzystujących tzw. ‘Critical Data Elements’ (CDE) – w naszym przypadku ‘Typ Księgowości’ (Accouting Type), gdzie błąd w danych prowadzi do zniekształcenia danych, a co za tym idzie dalszych błędnych wyników końcowych. Warto nadmienić, iż CDEs powinny zostać skatalogowane w dedykowanym Katalogu Danych

        Poniżej znajduje się uproszczony diagram (diagram nr 1) pokazujący wpływ ww. błędu w polu ‘Accouting Type’ (3) (Typ Księgowości) na poszczególne modele, a w następstwie na wyliczanie parametrów RWA i Economic Capital Demand (EC) – oczywiście jest to wersja ‘bardzo’ uproszczona 🙂

        W praktyce każda zmienna tzw. ‘Input Variable’, która wpływa na jakikolwiek model danych (LGD, PD, EL etc.) włączając w to modele ML/AI niesie za sobą ryzyko błędnej kalkulacji modelu i wzrostu ponoszonych kosztów np. rezerwy, wymogi kapitałowe itp. lub błędnych decyzji podjętych przez człowieka lub… komputer w oparciu o te dane :warning:.

        Aby uniknąć takich ‘błędów’ oraz pomyłek, które mogą generować straty finansowe, Regulator w ramach m.in regulacji BCBS239 ustalił 3 główne obszary , które winny być monitorowane wraz z określonymi wymogami (BCBS239 Priniciples from 1 to 11).

        Obszary te możemy podzielić na:

        BCBS239 Principles

        Warto nadmienić, iż przy wprowadzeniu powyższych wymogów pomoże nam DAMA jako, że zawiera wszystkie elementy potrzebne do wypełnienia postanowień BCBS 239 po stworzeniu odpowiedniego ‘Planu i Konceptu Wdrożenia BCBS 239’

        W dalszej kolejności DAMA może nam pomóc zaadresować inne wymogi regulacyjne np. BCBC239, GDPR , Target Review Internal Model (TRIM) , IFRS9 requirements, Capital Requirements Regulation (CRR) lub wiele innych, które można znaleźć na poniższej stronie: Interactive Single Rulebook

        3. Analiza i działania

        3.1 Analiza Przyczyny Błędu (Root Cause Analysis):

        Brak wprowadzonego we właściwy sposób ‘Typu Księgowości’ przez pracownika banku (1 minute task) dla jednego klienta w systemie operacyjnym, którego ekspozycja wynosi 1 mln EUR skutkuje brakiem możliwości użycia ‘technik redukcji ryzyka’ i zgodnie z wymogami BASEL dotworzeniem rezerw, a przez to dodatkowych Wymogów Kapitałowych również na poziomie 1 mln EUR :warning:.

        3.2 Wniosek pokontrolny:

        Jeżeli w Banku byłoby takich 100 klientów, dla których brak jest wprowadzonej poprawnej wartości tylko w jednym polu :warning: to Bank musi dotworzyć z dnia na dzień o ca 95% więcej rezerw i wymogów kapitałowych niż to jest wymagane przez regulatora dla danej ekspozycji, jeżeli błąd nie istnieje :warning:.

        3.3 Rekomendowane Działania:

        1. Zbudowanie ‘Przepływu Procesu Danych’ dla każdego modelu (Data Lineage)
        2. Identyfikacja zmiennych wpływających na model i zaszeregowanie ich jako tzw. ‘Critical Data Elements’ (CDE) (patrz również drugi diagram – część Model Owner)
        3. Identyfikacja i dokumentacja sposobów agragacji, transofrmacji i właścicielstwa danych przy pomocy ‘Procesu Przypływu Danych’ (Data Lineage) i Katalogu Danych (Data Katalog)
        4. Określenie wymogów na potrzeby ‘Monitorowania Jakości Danych’ (Data Observability) np. Business DQ Rules, Technical DQ Rules, Integgration DQ Rules i wdrożenie w narzędziu do ‘Monitorowania Jakości Danych’ na poszczególnych etapach ‘Lineage’ (patrz również drugi diagram – część DQ Ownership & Issue)
        5. Porównując dane (przed błędem vs po błędzie) możemy określić wpływ, a więc dokonać ‘monetyzacji’ oraz wyliczyć ROI dla Data Governance*

        *Należy pamiętać, żę aby wyliczyć ROI dla Data Governance, warto wdrożyć wszystkie wymagane elementy #DAMA (Data Governance, Data Quality & Data Operation), gdyż trudno jest wyliczyć ROI i tylko dla jednego z nich :warning:

        Załączniki

        Wykres 1 – Mapa Danych / Model Koncepcyjny:

        Wykres 2 – Przykład Przepływu Danych (Data Lineage Topic):

        DAMA DMBOK

        DMBok o Data Governace

        by with One Comment DMBOK Wheel

        W dzisiejszej erze cyfrowej, dane stały się jednym z najcenniejszych zasobów dla organizacji. Właściwe zarządzanie danymi staje się nieodzowne, aby wykorzystać ich pełen potencjał i osiągnąć strategiczne cele biznesowe. W ramach tego procesu, dwie kluczowe praktyki wyłaniają się na pierwszy plan: #DataGovernance #DataStewardship. Te dwie koncepcje są nieodłącznie powiązane i razem tworzą fundament skutecznego zarządzania danymi.

        Ważne jest zrozumienie, że zarządzanie danymi nie jest izolowanym procesem, lecz ściśle związane z kontekstem organizacji. Nie wystarczy jedynie posiadać technologiczne rozwiązania do przechowywania i analizy danych. Efektywne zarządzanie danymi wymaga uwzględnienia szerokiego spektrum czynników, takich jak strategia biznesowa, strategia IT, polityki i standardy organizacji oraz kultura biznesowa i otoczenie.

         

        #DMBOK przedstawia następującą definicję data governance i data stewardship: “Wykonywanie władzy, kontroli oraz podejmowania wspólnych decyzji (planowanie, monitorowanie i egzekwowanie) w zakresie zarządzania aktywami danych.”

        Według #DMBOK, istnieją trzy podstawowe cele strategiczne #DataGovernance #DataStewardship:

            • Umożliwienie organizacji zarządzania danymi jako aktywem.

            • Określanie, zatwierdzanie, komunikowanie i wdrażanie zasad, polityk, mierników, narzędzi i odpowiedzialności dotyczących zarządzania danymi.

            • Monitorowanie i kierowanie zgodnością z politykami, wykorzystaniem danych oraz działaniami zarządzania.

          Określanie, zatwierdzanie, komunikowanie i wdrażanie zasad, polityk, narzędzi i mierników dotyczących zarządzania danymi jest niezwykle istotne dla utrzymania spójności i skuteczności w obszarze danych. Również monitorowanie i kierowanie zgodnością z politykami, wykorzystaniem danych oraz działaniami zarządzania pomaga w utrzymaniu wysokiej jakości danych i zgodności z przepisami. Te cele są kluczowe dla organizacji dążących do efektywnego wykorzystania swoich zasobów danych. 

          #DataGovernance #DataStewardship

          Implementacja data governance i data stewardship generuje różnorodne produkty, które pomagają organizacjom w skutecznym zarządzaniu danymi. Niektóre z tych produktów to:

            • Strategię zarządzania danymi;
            • Strategię danych;
            • Mapę strategiczną strategii biznesowej i zarządzania danymi;
            • Zasady danych, polityki zarządzania danymi, procesy;
            • Ramy operacyjne dla danych;
            • Mapę strategiczną i strategię wdrożenia, itp.

            Wszystkie te produkty pozwalają na wcielenie w życie data governance w całej organizacji oraz na monitorowanie i ocenę jej efektywności.

            #DMBOK definiuje również szereg aktywności, które wynikają bezpośrednio z data governance i data stewardship. Niektóre z tych aktywności to:

              • Określenie zarządzania danymi dla organizacji.
              • Opracowanie strategii zarządzania danymi.
              • Przeprowadzenie oceny gotowości/dojrzałości data governance
              • Przeprowadzenie analizy i dopasowania do biznesu.
              • Opracowanie punktów styku w organizacji.
              • Określenie ram operacyjnych zarządzania danymi.
              • Opracowanie celów, zasad i polityk.
              • Zapewnienie wsparcia projektom zarządzania danymi.

              Podzielcie się w komentarzach swoimi praktykami dotyczącymi data governance – jak to wygląda w Waszych organizacjach? Czekamy na Wasze cenne doświadczenia i opinie!

              Nie przegapcie kolejnego artykułu: będzie poświęcony katalogom danych w #DMBOK

              image-2

              Omówienie one-pagerów (diagramów kontekstowych) w DMBoK

              by with One Comment DMBOK Wheel

              Czy kiedykolwiek zastanawiałeś się, jak skutecznie zarządzać danymi w swojej firmie? Metoda DAMA DMBOK to jedna z najpopularniejszych i najskuteczniejszych metod na świecie, która umożliwia skuteczne zarządzanie danymi. W tym artykule dowiesz się, jak diagramy kontekstowe DAMA pomogą Ci w zrozumieniu podstawowych elementów metodyki i jak wykorzystać je w praktyce. Bez względu na to, czy dopiero zaczynasz przygodę z zarządzaniem danymi, czy szukasz sposobu na usprawnienie procesów w swojej firmie – diagramy kontekstowe DAMA są narzędziem, które warto poznać!

              W ramach metodyki zarządzania danymi wg DAMA (Dama-DM BOK Framework) zdefiniowano spójne obszary tematyczne zwane Data Management Knowledge Area. 

              Omówienie obszarów tematycznych stanowi podstawową zawartość DMBOK-a. Każdy z obszarów tematycznych opisywany jest w oddzielnym rozdziale.

              We wstępie do każdego z tych rozdziałów prezentowany jest diagram kontekstowy dla rozdziału. Diagram ten w zwięzłej i ustandaryzowanej dla DMBOK-a formie wykazuje podstawowe definicje i cele dla wszystkich obszarów.

              Ze względu na duże zainteresowanie diagramami DAMA International zdecydował się je opublikować.

              Ich komplet znajdziesz tutaj: https://www.dama.org/cpages/dmbok-2-image-download

              Diagramy kontekstowe to wiedza w pigułce z każdego obszaru tematycznego DAMA-DMBOK-a. Dla osób mających dostęp do DMBOK-a mogą służyć jako kompendium zawierające najważniejsze elementy metodyki czy podręczna ściąga przy wdrażaniu zarządzania danymi. Z kolei dla tych, którzy jeszcze nie zdecydowali się na zakup podręcznika DMBOK-a dają możliwość poznania podstawowych elementów metodyki, kluczowych dla zarządzania danymi. 

              Na przykładzie diagramu dla obszaru Data Governance i Stewardship omówię ich elementy.

              Jak widzicie diagramy dostarczają wiele użytecznych informacji. Zachęcamy do ich pobrania i wykorzystywania w codziennej praktyce.

              #Jeśli interesujesz się zarządzaniem danymi i chcesz rozwijać swoją wiedzę na ten temat, to dołączenie do społeczności DAMA może być dla Ciebie idealnym rozwiązaniem. Jako członek będziesz miał dostęp do najnowszych trendów i najlepszych praktyk związanych z zarządzaniem danymi, a także do innych profesjonalistów z branży. Zachęcamy do kontaktu z DAMA Poland i dołączenia do naszej społeczności.