_123d5c94-2a3a-4a7a-b680-1aa8e841bb60

Monetyzacja danych, a jakość danych – przykład na bazie zarządzania ryzykiem kredytowym w banku

Co to jest monetyzacja danych ?

Monetyzacja danych oznacza wykorzystywanie zgromadzonych informacji i danych klientów w celu generowania przychodów lub zysków. Jest to praktyka, która staje się coraz bardziej popularna w erze cyfrowej, gdzie przedsiębiorstwa gromadzą ogromne ilości danych o swoich klientach i ich transakcjach. Oto kilka produktów, dla których można ‘monetyzować’ dane na przykładzie branży bankowej:

  1. Personalizacja ofert i usług: Banki mogą wykorzystywać dane o zachowaniach finansowych klientów, aby dostosować oferty i usługi do ich indywidualnych potrzeb
  2. Analiza ryzyka i ocena kredytowa: Dane klientów pozwalają bankom na dokładniejszą analizę ryzyka i ocenę kredytową. Dzięki temu mogą one podejmować bardziej trafne decyzje dotyczące udzielania kredytów i innych produktów finansowych
  3. Sprzedaż danych: Banki mogą zdecydować się na sprzedaż anonimizowanych lub agregowanych danych klientów innym firmom, takim jak firmy badawcze, agencje marketingowe lub instytucje rządowe
  4. Programy partnerskie i marketing: Banki mogą nawiązywać współpracę z firmami zewnętrznymi i oferować im dostęp do swojej bazy klientów w zamian za udział w przychodach lub opłaty za reklamę.
  5. Rozwój nowych produktów i usług: Dostęp do danych klientów może pomóc bankom w identyfikowaniu nowych trendów i potrzeb rynkowych
  6. Zwiększona retencja klientów: Banki mogą wykorzystywać dane do analizy zachowań klientów i identyfikowania tych, którzy są zagrożeni odejściem do konkurencyjnych instytucji finansowych

Warto zaznaczyć, że monetyzacja danych musi być przeprowadzana z uwzględnieniem przepisów dotyczących ochrony danych osobowych, takich jak RODO / GDPR w Europie, aby zapewnić prywatność i bezpieczeństwo klientów.

Zanim przejedziemy dalej wyjaśnienia wymaga jeszcze pojęcie ‘Data Product’ (ang.) użytego na potrzeby tego artykułu. ‘Produkt Danych’ to rodzaj produktu lub usługi zbudowanej wokół wykorzystania danych i analiz w celu zapewnienia wartości użytkownikom lub klientom. Na ‘Data Product’ mogą się składać się takie elementy jak: dane, procesy biznesowe, właścicielstwo danych, metryki jakościowe, raporty, modele danych, systemy, interfejsy, powiązane metadata, definicje i słowniki danych itp., a więc wszystko co łączy się bezpośrednio, lub bezpośrednio z ‘DAMA Wheel’

Przykład analizy Ryzyka i Ocena Kredytowa

1. Wprowadzenie

W niniejszym artykule skupimy się na przykładzie ‘Produktu Danych’ dot. Ryzyka Kredytowego i Oceny Zdolności Kredytowej Dla Klienta Biznesowego, ale w analogiczny sposób można przeprowadzić analizę dla każdego innego produktu, klienta lub segmentu zarówno z obszaru danych branży finansowej jak i nie finansowej, jednak należy zaznaczyć, iż kluczem do sukcesu jest zrozumienia wszystkich elementów związanych z danym produktem.

2. Business Case

W ramach omawianego przykładu bierzemy pod uwagę proces kalkulacji ratingu klienta biznesowego w oparciu o dane pochodzące z systemów źródłowych Banku i wpływu tej kalkulacji na inne modele takie jak Risk Weight Asset (RWA) oraz Economic Capital (EC) przy uwzględnieniu procesów agregacji i transformacji danych wykorzystujących tzw. ‘Critical Data Elements’ (CDE) – w naszym przypadku ‘Typ Księgowości’ (Accouting Type), gdzie błąd w danych prowadzi do zniekształcenia danych, a co za tym idzie dalszych błędnych wyników końcowych. Warto nadmienić, iż CDEs powinny zostać skatalogowane w dedykowanym Katalogu Danych

Poniżej znajduje się uproszczony diagram (diagram nr 1) pokazujący wpływ ww. błędu w polu ‘Accouting Type’ (3) (Typ Księgowości) na poszczególne modele, a w następstwie na wyliczanie parametrów RWA i Economic Capital Demand (EC) – oczywiście jest to wersja ‘bardzo’ uproszczona 🙂

W praktyce każda zmienna tzw. ‘Input Variable’, która wpływa na jakikolwiek model danych (LGD, PD, EL etc.) włączając w to modele ML/AI niesie za sobą ryzyko błędnej kalkulacji modelu i wzrostu ponoszonych kosztów np. rezerwy, wymogi kapitałowe itp. lub błędnych decyzji podjętych przez człowieka lub… komputer w oparciu o te dane :warning:.

Aby uniknąć takich ‘błędów’ oraz pomyłek, które mogą generować straty finansowe, Regulator w ramach m.in regulacji BCBS239 ustalił 3 główne obszary , które winny być monitorowane wraz z określonymi wymogami (BCBS239 Priniciples from 1 to 11).

Obszary te możemy podzielić na:

BCBS239 Principles

Warto nadmienić, iż przy wprowadzeniu powyższych wymogów pomoże nam DAMA jako, że zawiera wszystkie elementy potrzebne do wypełnienia postanowień BCBS 239 po stworzeniu odpowiedniego ‘Planu i Konceptu Wdrożenia BCBS 239’

W dalszej kolejności DAMA może nam pomóc zaadresować inne wymogi regulacyjne np. BCBC239, GDPR , Target Review Internal Model (TRIM) , IFRS9 requirements, Capital Requirements Regulation (CRR) lub wiele innych, które można znaleźć na poniższej stronie: Interactive Single Rulebook

3. Analiza i działania

3.1 Analiza Przyczyny Błędu (Root Cause Analysis):

Brak wprowadzonego we właściwy sposób ‘Typu Księgowości’ przez pracownika banku (1 minute task) dla jednego klienta w systemie operacyjnym, którego ekspozycja wynosi 1 mln EUR skutkuje brakiem możliwości użycia ‘technik redukcji ryzyka’ i zgodnie z wymogami BASEL dotworzeniem rezerw, a przez to dodatkowych Wymogów Kapitałowych również na poziomie 1 mln EUR :warning:.

3.2 Wniosek pokontrolny:

Jeżeli w Banku byłoby takich 100 klientów, dla których brak jest wprowadzonej poprawnej wartości tylko w jednym polu :warning: to Bank musi dotworzyć z dnia na dzień o ca 95% więcej rezerw i wymogów kapitałowych niż to jest wymagane przez regulatora dla danej ekspozycji, jeżeli błąd nie istnieje :warning:.

3.3 Rekomendowane Działania:

  1. Zbudowanie ‘Przepływu Procesu Danych’ dla każdego modelu (Data Lineage)
  2. Identyfikacja zmiennych wpływających na model i zaszeregowanie ich jako tzw. ‘Critical Data Elements’ (CDE) (patrz również drugi diagram – część Model Owner)
  3. Identyfikacja i dokumentacja sposobów agragacji, transofrmacji i właścicielstwa danych przy pomocy ‘Procesu Przypływu Danych’ (Data Lineage) i Katalogu Danych (Data Katalog)
  4. Określenie wymogów na potrzeby ‘Monitorowania Jakości Danych’ (Data Observability) np. Business DQ Rules, Technical DQ Rules, Integgration DQ Rules i wdrożenie w narzędziu do ‘Monitorowania Jakości Danych’ na poszczególnych etapach ‘Lineage’ (patrz również drugi diagram – część DQ Ownership & Issue)
  5. Porównując dane (przed błędem vs po błędzie) możemy określić wpływ, a więc dokonać ‘monetyzacji’ oraz wyliczyć ROI dla Data Governance*

*Należy pamiętać, żę aby wyliczyć ROI dla Data Governance, warto wdrożyć wszystkie wymagane elementy #DAMA (Data Governance, Data Quality & Data Operation), gdyż trudno jest wyliczyć ROI i tylko dla jednego z nich :warning:

Załączniki

Wykres 1 – Mapa Danych / Model Koncepcyjny:

Wykres 2 – Przykład Przepływu Danych (Data Lineage Topic):

Katalog Danych (Data Catalog)

W dzisiejszym świecie dane odgrywają kluczową rolę, jednak ich interpretacja może być utrudniona ze względu na ilość różnorodność struktur danych (ustrukturyzowane/nieustrukturyzowane dane).

Według metodologii DAMA, aby uporządkować ten potencjalny ‘chaos’, potrzebujemy jednolitego i zaufanego źródła informacji, z którego wyciągniemy wszystkie interesujące nas informacje w wygodny i przyjazny sposób – takim rozwiązaniem jest m.in ‘Katalog Danych‘, który zawiera informacje pochodzące zarówno z tzw. ‘Słowników Biznesowych’ (Business Glossary) jaki i obszaru zarządzania ‘Metadata’ a które to obszary są częścią tzw. ‘DAMA Wheel

Jednym z obszarów jest obszar ‘METADATA’, który to pokrywa m.in obszar ‘Słowników Biznesowych’ (Business Glossary)

Tutaj warto przypomnieć, iż ‘Słowniki Biznesowe’ oraz ‘Metadata‘ są również jednym z elementów ‘Diagramu Kontekstowych’ (Generic Contect Diagram) , które służą pomocą przy wdrażaniu poszczególnych obszarów z punktu widzenia potrzebnych środków w zakresie: Ludzi, Procesów i Technologii

20230818_dama_2

Co to jest Katalog Danych?

Katalog Danych jest to scentralizowane rozwiązanie, które umożliwia Waszej firmie dostęp do najbardziej aktualnych i wiarygodnych informacji biznesowych. Winien być traktować jako “produkt”, posiadający swojego dedykowanego właściciela, który dba o cały cykl życia tego produktu

Dzięki Katalogowi Danych, zarówno użytkownicy biznesowi, jak i techniczni, mogą łatwo wyszukiwać, żądać i otrzymywać zestawy danych potrzebne do codziennych zadań biznesowych, zarządzania projektami oraz generowania raportów analitycznych. Katalog Danych gwarantuje przejrzystość definicji danych i prezentuje szczegóły dotyczące zasobów w łatwo przyswajalny sposób.

Ponadto Katalog Danych może być powiązany z innymi elementami zarzadzania danymi takimi jak: Jakość Danych (Data Quality) , Ochrona Danych Osobowych (Data Privacy) , Proces Przepływu Danych (Data Lineage), Zarządzanie Danymi Podstawowymi i Referencyjnymi (MDM / RDM) lub Procesami Biznesowymi (BPM) etc., dlatego Katalog Danych powinien być kluczową częścią ‘Strategii Danych’ kążdej organizacji.

Katalog Danych może być utrzymywany w sposób ‘ręczny’, albo w pól-zautomatyzowany, aby odzwierciedlać to co dzieje się z danymi w przedsiębiorstwie.

Dlaczego potrzebujemy Katalogu Danych ?

  1. Do wydajnego wyszukiwania i filtrowania informacji – katalog danych umożliwia łatwe wyszukiwanie interesujących nas informacji takich jak: definicje, właścicielstwo systemów i danych na różnych poziomach szczegółowości
  2. Do efektywniejszych czynności związanych z dbałością o jakość danych – dzięki informacją zawartymi w Data Katalogu jesteśmy w stanie zrozumieć, czego dotyczy zidentyfikowany błąd, kto jest właścicielem, gdzie się pojawia, a obsługa wymiany informacji pomiędzy użytkownikami zwiększa efektywność i komfort pracy z danymi
  3. Do zwiększenie świadomości danych – szeroki dostęp do danych dla całej organizacji eliminuje potencjalną możliwość duplikowania danych i przyspiesza procesy wewnętrzne umożliwiając lepszą współpracę w organizacji

Jak działa Katalog Danych ?

Katalog Danych może łączyć się z różnymi źródłami danych, wyodrębniać z nich potrzebne informacje (metadata) oraz przechowywać je w uporządkowany sposób, co ułatwia filtrowanie i lokalizowanie szukanych elementów. Wyodrębnione informacje nazywamy ‘metadata’, które często są określane jako „dane o danych”.

Jakie rodzaje ‘metadata’ Katalog Danych może przechowywać

Przykłady ‘metadata’ określanych jako ‘biznesowe’:

  • Terminy i definicje biznesowe
  • Tytuły i opisy
  • Tagi zdefiniowane przez użytkownika
  • Zasady biznesowe
  • Właścicielstwo danych
  • Numer incidentu związanego z problemem danych

etc.

Przykłady ‘metadata’ określanych jako ‘techniczne’:

  • Typy danych zdefiniowane w źródle danych
  • Nazwy schematów, partycji, tabel, kolumn i atrybutów
  • Informacje o kluczach
  • Prawa dostępu, grupy i role
  • ID modelu ‘przepływu danych’

etc.

DMBOK wielokrotnie odnosi się do pojęcia ‘metadata ‘np. w sekcji ‘6.2 Documentation of Metadta Solutions’ , a przez to do ‘Katalogu Danych’, który może być również zawany ‘Repozytorium Metadata’, przyczym tutaj nazewnictwo jak i sama implementacja zależy od danej firmy i ogólnie przyjętych zwyczajów

Przykład użycia Katalogu Danych

Automatyzując Katalog Danych możemy pobierać informacje z różnych dostępnych żródeł np. Snowflake, a nastepnie przypisać właścicielstwo danych, połączyć wprowadzone definicje bezpośrednio z zaimportowanymi danymi (business & technical metadata), zaimplementować reguły potrzebne do monitorowania jakości danych, śledzić i reagować na zidentyfikowane anomalie przez model uczenia maszynowego (ML), wprowadzić pożądane klasyfikacje danych, zarzadzać przydzielonymi zadaniami, a następnie zintegrować zebrane informacje z innymi platformami np.

  • narzędzia raportujące (BI)
  • narzedzia umożliwiające śledzenie przepływu danych (Lineage)
  • narzedziami typu Export – Transfer – Load (ETL)
  • platformami do zarządzania ‘danymi jako produkt’ (data product)

etc.

budując w ten sposób ‘Fabrykę Danych’ (Data Factory)

Wykorzystanie danych z Katalogu Danych wraz z diagramem ‘Przepływu Danych’

Z uwagi na fakt, iż aby w pełni zrozumieć i wykorzystać wiedzę w zakresie tego, co dzieje się z naszymi danymi, Katalog Danych powinien być w pełni zintegrowany z innymi narzędziami do zarządzania danymi jak np. do zarządzania Jakością Danych, Śledzenia Przepływu Danych, Raportowania bądź zarządzania danymi z punktu widzenia RODO (GDPR).

Warto zwrócić uwagę na fakt, iż obecnie niektóre Katalogi Danych posiadają powyższe funkcjonalności zaimplementowane jako dodatkowe moduły, ale wciąż niektóre elementy mogą wymagać zewnętrznych integracji.

Mając zintegrowane informacje jesteśmy w stanie w sposób bardziej efektywny m.in rozwiązywać problemy związane z jakością danych.

Podsumowanie

Patrząc na rosnące zapotrzebowanie na demokratyzację danych i udostępnianie danych, Katalog Danych dobrze wpasowuje się w ten koncept, włączając w to takie funkcjonalności jak przygotowywanie danych, monitorowanie jakości danych, a także klasyfikację danych opartej na sztucznej inteligencji.

Obecnie na rynku jest wiele rozwiązań na różnym stadium rozwoju produktu, aczkolwiek cel jest jeden: ‘Make the data great again’ ! 🙂

#DAMAPoland, #DAMA, #DataGovernance, #DataQuality, #DataLineage, #DataUniverse, #DataManagement