{"id":21096,"date":"2022-05-16T11:11:00","date_gmt":"2022-05-16T09:11:00","guid":{"rendered":"https:\/\/www.sysbus.eu\/?p=21096"},"modified":"2022-05-09T10:23:56","modified_gmt":"2022-05-09T08:23:56","slug":"dezentral-statt-zentral-warum-data-mesh-etablierte-data-repositories-abloesen-wird","status":"publish","type":"post","link":"https:\/\/www.sysbus.eu\/?p=21096","title":{"rendered":"Dezentral statt zentral: Warum Data Mesh etablierte Data Repositories abl\u00f6sen wird"},"content":{"rendered":"\n

Autorin\/Redakteur: Adriana Calomfirescu, Group Head of Data Delivery bei Endava<\/a>\/gg<\/p>\n\n\n\n

Mit Data Mesh scheint sich bei der Datenspeicherung und -verarbeitung ein Paradigmenwechsel anzubahnen. Statt zentraler Data Repositories, wie Data Warehouses oder Data Lakes, k\u00f6nnten Unternehmen in Zukunft auf eine verteilte Datenarchitektur setzen, um endlich das volle Potenzial ihrer Daten aussch\u00f6pfen zu k\u00f6nnen. Dieser Artikel erkl\u00e4rt die Grunds\u00e4tze dieses neuen Datenarchitekturkonzepts, welche Vorteile es bietet und was bei der Entscheidung, ob es zu einem Unternehmen passt, zu beachten ist.<\/p>\n\n\n\n

\"\"<\/a>
Bild: Endava<\/figcaption><\/figure>\n\n\n\n\n\n\n\n

\u201eDaten sind das neue \u00d6l\u201c \u2013 dieses Zitat des britischen Mathematikers Clive Humby ist mittlerweile \u00fcber 15 Jahre alt und die meisten Unternehmen haben seitdem die Bedeutung seiner Worte durchaus erkannt: Sie versuchen, das Potenzial ihrer Daten zu nutzen. Daf\u00fcr sammeln sie immer gr\u00f6\u00dfere Datenbest\u00e4nde in zentralen Datenspeichern, die dort bereinigt und aufbereitet werden, damit sie im Anschluss als qualitativ hochwertige Daten weiterverarbeitet werden k\u00f6nnen.<\/p>\n\n\n\n

Die Daten stammen dabei aus internen operativen und transaktionalen Systemen und Dom\u00e4nen, die f\u00fcr den Gesch\u00e4ftsbetrieb essenziell sind. Aber auch Daten aus externen Quellen, die Unternehmen zus\u00e4tzliche Informationen bieten, werden in das Data Warehouse oder den Data Lake eingespeist.<\/p>\n\n\n\n

Die Datenmengen werden f\u00fcr Data Repositories zum Problem<\/strong><\/p>\n\n\n\n

Unternehmen sto\u00dfen bei dieser monolithischen Datenplattform-Architektur jedoch langsam an Grenzen \u2013 und erreichen oft gar nicht erst die gew\u00fcnschten Ergebnisse. Sie stehen vor der Herausforderung, ihre immer gr\u00f6\u00dfer werdenden Datenmengen zu kontrollieren und harmonisieren, um ihr volles Potenzial zu entfalten. Zudem kostet dieser Prozess Zeit und Geld. Daher ist ihre F\u00e4higkeit eingeschr\u00e4nkt, flexibel und schnell auf die steigende Anzahl an internen und externen Datenquellen zu reagieren und diese mit ihren Daten zu verbinden.<\/p>\n\n\n\n

Dar\u00fcber hinaus l\u00e4sst sich die Herkunft von Daten in diesen Speichern oft nicht vollst\u00e4ndig nachvollziehen, also beispielsweise: Aus welchem System stammen sie urspr\u00fcnglich? Durch welche weiteren Systeme sind sie gewandert? Wann wurden sie wie ver\u00e4ndert und von wem? Diese Informationen sind wichtig, um eine hohe Qualit\u00e4t der Daten sicherstellen zu k\u00f6nnen. Jedoch werden sie aufgrund der gro\u00dfen Datenmengen, die im Repository landen \u2013 als auch aufgrund der Geschwindigkeit, mit der sich die Daten ver\u00e4ndern \u2013 manchmal vernachl\u00e4ssigt und nicht vollst\u00e4ndig nachverfolgt und verzeichnet. Dies f\u00fchrt in der Regel dazu, dass kleine und mittelst\u00e4ndische Unternehmen (KMUs), die mit den Daten arbeiten sollen, diese nur z\u00f6gerlich nutzen.<\/p>\n\n\n\n

Infolgedessen f\u00e4llt es Unternehmen schwer, aus ihren Daten aussagekr\u00e4ftige Insights zu generieren und neue Use Cases \u2013 etwa neue Produkte oder Services f\u00fcr ihre Kunden \u2013 zu identifizieren. Zudem braucht es Zeit, die Daten zu transformieren und f\u00fcr Kunden aufzubereiten. Das ist vor allem dann der Fall, wenn ein Unternehmen nicht gen\u00fcgend Data Scientists oder Engineers besch\u00e4ftigt, die genau wissen, wie die Daten verarbeitet werden m\u00fcssen, um ihren Zweck zu erf\u00fcllen. W\u00e4hrend eines akuten IT-Fachkr\u00e4ftemangels<\/a> ist das leider nicht unwahrscheinlich.<\/p>\n\n\n\n

Mehr aus den Daten herausholen<\/strong><\/p>\n\n\n\n

Mit dem Data-Mesh-Konzept wird versucht, sich diesen Herausforderungen zu stellen, indem Daten als Produkt verwaltet werden. Dabei werden die Daten nicht l\u00e4nger in einem zentralen Data Repository zusammengef\u00fchrt, sondern als Data Domains strukturiert, mit Data Owners versehen und ordnungsgem\u00e4\u00df katalogisiert, damit jeder im Unternehmen einfach auf die Metadaten zugreifen kann. Das Team gilt als Data Owner und muss seine Daten so aufbereiten, dass andere Datenkonsumenten im Unternehmen mit den Datenprodukten zufrieden sind und sie problemlos \u00fcber Self-Service-Optionen verwenden k\u00f6nnen. Um dies zu erreichen, m\u00fcssen sie bei der Erstellung und Verwaltung ihrer Datenprodukte eine Reihe von Grunds\u00e4tzen erf\u00fcllen, zum Beispiel Datenintegrit\u00e4t, Auffindbarkeit, Selbstbeschreibung und Interoperabilit\u00e4t. Dies steigert das Vertrauen der Konsumenten in die Produkte.<\/p>\n\n\n\n\n\n\n\n

Damit sind die Verantwortlichkeiten klar definiert, was sicherstellt, dass die Mitarbeiter ihre Daten und deren Qualit\u00e4t nicht nur als Nebens\u00e4chlichkeit betrachten, sondern als spezifische und vor allem wichtige Aufgabe, um die sie sich k\u00fcmmern m\u00fcssen. Der gr\u00f6\u00dfte Vorteil dabei: Die datenproduzierenden Abteilungen kennen ihre Daten nat\u00fcrlich am besten. Entsprechend f\u00e4llt es ihnen leichter, neuen Nutzen aus ihnen zu ziehen und neue Anwendungsm\u00f6glichkeiten zu entwickeln.<\/p>\n\n\n\n

In dieser neuen Datenarchitektur ver\u00e4ndert sich auch die Rolle der Data Scientists und Engineers: Sie sind nicht l\u00e4nger als Mittelsm\u00e4nner zwischen den datenproduzierenden und datenkonsumierenden Teams t\u00e4tig, sondern werden selbst Teil von ersterem. Dadurch erlernen sie das notwendige Dom\u00e4nenwissen, um ihre neuen Teamkollegen bestm\u00f6glich bei der Aufbereitung der Datenprodukte zu unterst\u00fctzen. Dies vereinfacht und beschleunigt den gesamten Prozess, was gleichzeitig zu geringeren Gesamtkosten f\u00fchrt.<\/p>\n\n\n\n

Zentrale Standards und ein zentrales Register<\/strong><\/p>\n\n\n\n

Der Data-Mesh-Ansatz eignet sich vor allem f\u00fcr gr\u00f6\u00dfere Unternehmen, die mit sehr gro\u00dfen Datenbest\u00e4nden und einer Vielzahl von Datenquellen arbeiten. Kleinere Firmen kommen dagegen in der Regel auch weiterhin mit einem zentralen Datenspeicher aus. Bei der Umsetzung sollten Unternehmen zwei Punkte ber\u00fccksichtigen, um die notwendigen Prozesse einzurichten:<\/p>\n\n\n\n