Sieben MLOps Mythen, die die Verantwortlichen vor dem Einsatz ihrer KI-Projekte kennen sollten

Autor/Redakteur: Dr.-Ing. Sebastian Werner von der Everyday AI Plattform Dataiku/gg

Die Nutzung von Künstlicher Intelligenz (KI) beziehungsweise Maschinellem Lernen (ML) im betrieblichen Umfeld gewinnt ständig an Bedeutung. Viele Unternehmen haben bereits erste Erfahrungen in sogenannten Proof-of-Concept (PoC) mit KI gesammelt. Mehr und mehr kommen KI-Projekte auch in den produktiven Einsatz – ohne klar strukturierte MachineLearning Operations (MLOps) laufen Unternehmen allerdings Gefahr, dass KI-Projekte nie wertbringend eingesetzt werden und somit auch keinen tatsächlichen Geschäftswert erzielen. Das Problem dabei: Einige Mythen über MLOps halten sich hartnäckig und erschweren es Unternehmen, maximalen Wert aus ihren ML-Projekten zu generieren. Dieser Artikel erklärt, warum es bei MLOps nicht nur um die Modellierung geht und welche Arbeit nach der Integration von MLOps auf Unternehmen zukommt.

Mythos 1: Bei MLOps geht es nur um die Modellierung

Bei der Planung KI-gestützter Datenprojekte neigen viele Unternehmen dazu, sich auf das Modell als primäres oder sogar einziges Ergebnis des gesamten Projekts zu konzentrieren. Doch um ein Modell produktiv und auch langfristig wertbringend einzusetzen ist deutlich mehr nötig – und hier setzt dann MLOps an. Diese Arbeiten gehen weit über Modellbildung hinaus und umfassen auch die Datenvorbereitung, Konfiguration, Datenerfassung, Merkmalsextraktion (Feature Engineering), Datenüberprüfung, die Auswahl von Analyse- und Prozessmanagement-Tools, die Verwaltung der Maschinenressourcen und die Bereitstellung der Infrastruktur bis hin zur Überwachung des Betriebs. Damit ein Modell also auch tatsächlich erfolgreich in die Produktion gebracht und operationalisiert werden kann, müssen alle diese Arbeiten berücksichtigt werden. Spannenderweise funktioniert die MLOps Methodik auch bei reinen ETL pipelines oder Dashboards. Denn bei allen “Datenprodukten” gilt: Es ist kein Projekt, das abgeschlossen ist, sondern ein Produkt.

Mythos 2: Modellentwürfe können einfach in die Produktionsumgebung kopiert werden

Zu häufig wird beim Entwerfen von Modellen nur eine Trainings / PoC Umgebung berücksichtigt – ein ausschlaggebender Faktor für das Scheitern solcher Projekte. Erfahrungsgemäß ist die Produktionalisierung der mit Abstand schwierigste Schritt: Schließlich müssen Pipelines und Modelle nicht bloß in der “Offline”-Testumgebung mit sorgsam ausgewählten Testdaten funktionieren, sondern auch in der Produktionsumgebung mit der vollen Realität. Vergessen Entwicklerteams beim Planen der Modelle allerdings, die Übertragbarkeit dieser in den spezifischen Kontext sicherzustellen, ergeben sich neue Probleme in den Folgeschritten. Wird das Modell anschließend im Modellzustand an die Produktionsteams weitergegeben, können diese damit nicht arbeiten und das Projekt wird nicht weiter verfolgt – das Modell bleibt im Proof-of-Concept hängen. Pipelines und Modelle sollten aus diesem Grund in beiden Umgebungen funktionieren und von vornherein so entworfen sein. Für das Entwicklerteam bedeutet das, alle Artefakte, die in die Erstellung des Modells eingeflossen sind, ebenfalls zu übertragen. Wenn das Modell dann vollständig trainiert und auf dem neuesten Stand ist, müssen die Daten bei jedem einzelnen Schritt bereinigt und gegebenenfalls angepasst werden, um reale Ergebnisse und Vorhersagen möglich zu machen.

Mythos 3: Ist ein Modell in die Produktion integriert worden, ist das Projekt abgeschlossen.

Viele Unternehmen glauben, dass mit der Modellintegration das Projekt abgeschlossen ist. Allerdings geht es bei den meisten MLOps nicht um die Bereitstellung an sich, sondern vielmehr darum, die Projekte im Laufe der Zeit in ihrem Produktionszustand zu erhalten. Bei genauerer Betrachtung fällt auf: Modelle sind kein “Projekt”, sondern ein “Produkt” – es gibt also einen Lebenszyklus, und “über den Zaun werfen” wird nicht zum Erfolg führen. Deshalb ist es wichtig, über die Bereitstellung hinaus zu denken und sich mit dem tatsächlichen Modelllebenszyklusmanagement zu befassen. Selbst wenn der Entwurfsprozess nur ein paar Wochen gedauert hat, wird das Modell – im besten Fall –  jahrelang laufen. In dieser Zeit sollte es weiterhin skalierbare, relevante Erkenntnisse liefern können. Langfristig geht es bei MLOps darum, Parameter immer wieder anzupassen und sorgsam zu überwachen und so nachhaltige Erfolge zu erzielen. So kann das Modell im Laufe der Zeit an Genauigkeit und Leistung gewinnen.

Mythos 4: Genauigkeit ist die einzig wichtige Kennzahl

Oft wird davon ausgegangen, dass Genauigkeit des Modells die wichtigste Kennzahl bei MLOps Projekten ist. Das mag initial vielleicht stimmen, doch spielen die Erkennung von Datendrifts, die Pipeline und die Funktionsfähigkeit von Services eine auf Dauer wesentlich wichtigere Rolle. Langfristig kommt es auf Robustheit an. Gerade Datendrifts können für Projekte ein schwerwiegendes Problem darstellen. Ein Beispiel: In einem Projekt wird ein ML-Modell zur Bilderkennung entwickelt. Das Modell wird darauf trainiert, originale Picasso-Bilder von erwiesenermaßen gefälschten Picasso-Bildern zu unterscheiden. In der Produktion wird das Modell dann erstmals mit einem Van-Gogh Bild konfrontiert. Dieses erkennt es jedoch nicht, da es nur auf Picasso trainiert wurde – es entsteht ein sogenannter Datendrift. ​Überwachungspraktiken und eine gute Infrastruktur, die eine schnelle Anpassung ermöglichen, sollten also noch vor der Genauigkeit priorisiert werden.