Dezentral statt zentral: Warum Data Mesh etablierte Data Repositories ablösen wird

Damit sind die Verantwortlichkeiten klar definiert, was sicherstellt, dass die Mitarbeiter ihre Daten und deren Qualität nicht nur als Nebensächlichkeit betrachten, sondern als spezifische und vor allem wichtige Aufgabe, um die sie sich kümmern müssen. Der größte Vorteil dabei: Die datenproduzierenden Abteilungen kennen ihre Daten natürlich am besten. Entsprechend fällt es ihnen leichter, neuen Nutzen aus ihnen zu ziehen und neue Anwendungsmöglichkeiten zu entwickeln.

In dieser neuen Datenarchitektur verändert sich auch die Rolle der Data Scientists und Engineers: Sie sind nicht länger als Mittelsmänner zwischen den datenproduzierenden und datenkonsumierenden Teams tätig, sondern werden selbst Teil von ersterem. Dadurch erlernen sie das notwendige Domänenwissen, um ihre neuen Teamkollegen bestmöglich bei der Aufbereitung der Datenprodukte zu unterstützen. Dies vereinfacht und beschleunigt den gesamten Prozess, was gleichzeitig zu geringeren Gesamtkosten führt.

Zentrale Standards und ein zentrales Register

Der Data-Mesh-Ansatz eignet sich vor allem für größere Unternehmen, die mit sehr großen Datenbeständen und einer Vielzahl von Datenquellen arbeiten. Kleinere Firmen kommen dagegen in der Regel auch weiterhin mit einem zentralen Datenspeicher aus. Bei der Umsetzung sollten Unternehmen zwei Punkte berücksichtigen, um die notwendigen Prozesse einzurichten:

• Ein zentrales Data-Governance-Modell: Data Mesh funktioniert nur, wenn alle Datenprodukte innerhalb eines Unternehmens einheitliche Standards und Richtlinien einhalten. Nur so sind sie interoperabel und Datenkonsumenten können mehrere Datenprodukte zusammenführen und entsprechend ihrer Anforderungen mit ihnen arbeiten. Daher müssen Unternehmen zunächst Standards und Richtlinien definieren, die festlegen, wie Datenprodukte kategorisiert, verwaltet und abgerufen werden.

• Ein zentraler Datenkatalog: Damit Datenkonsumenten in der Lage sind, Datenprodukte zu finden, brauchen Unternehmen einen zentralen Datenkatalog. In diesem werden alle existierenden Datenprodukte verzeichnet, einschließlich zusätzlicher Informationen wie der Datenherkunft. Zudem können die Data Owner auch Beispieldatensätze ergänzen, mithilfe derer die Datenkonsumenten das Produkt ausprobieren können, bevor sie eigene Datensätze verwenden.

Fazit: Der Paradigmenwechsel steht bevor und nur wenige sind bereit, diese unvermeidliche Marktveränderung zu nutzen

Data Mesh ist ein neuer, dezentraler Ansatz für die Speicherung und Verarbeitung von Daten, der noch keine breite Anwendung gefunden hat. Aber je mehr Unternehmen feststellen, dass Data Repositories, die sich in den letzten Jahren etabliert haben, für ihre Anforderungen nicht mehr ausreichen, desto mehr werden sich nach Alternativen umsehen. Data Mesh bietet ihnen dabei die Möglichkeit, mehr aus ihren vorhandenen Daten herauszuholen und gleichzeitig Mitarbeiter effizienter einzusetzen sowie interne Prozesse effektiver und flexibler zu gestalten.