Storage-Technologie für KI muss leistungsfähig und nachhaltig sein
Autor/Redakteur: Markus Grau, Principal Technologist bei Pure Storage/gg
Künstliche Intelligenz hat enormes Potenzial in vielerlei Szenarien, stellt Unternehmen aber auch vor technologische Herausforderungen. KI und maschinelles Lernen (ML) haben das Potenzial als Grundlage für große Fortschritte in viele Anwendungsbereichen, um die großen Probleme der Welt zu lösen, seien es Gesundheit, Umwelt- und Klimaschutz oder Ernährung. KI basiert jedoch auf der Interpretation riesiger Mengen höchst unterschiedlicher unstrukturierter Daten wie Texte, Bilder, Audio-Aufnahmen oder Messreihen. Hierbei kommen neuronale Netze zum Einsatz, um Muster und Strukturen in vorhandenen Datensätzen zu erfassen und neue, eigene Inhalte zu generieren. Die Herausforderung besteht jetzt in der Fähigkeit, die enorme Flut an unstrukturierten Daten zu bewältigen, also diese überhaupt speichern und damit arbeiten zu können.
Generative KI ist besonders anspruchsvoll
Die Herausforderungen der Datenspeicherung bei KI-Anwendungsszenarien beginnen beim maschinellen Lernen, das einen großen Trainingsdatensatz voraussetzt. Bei der aktuell vieldiskutierten generativen KI – Stichwort ChatGPT – sind die Datensätze besonders groß und komplex, was unterschiedliche Datentypen miteinschließt. Komplexe Datenmodelle und Algorithmen mit verschiedensten Paramatern sind die Arbeitsmittel in dieser höchst anspruchsvollen Disziplin. Die KI muss dabei diese Parameter „erlernen“. Mit zunehmenden Merkmalen, Ergebnisvariablen und Trainingsdurchläufen steigt bis zur ultimativen Erkenntnis zunächst vor allem eines – die Datenmenge.
Generative KI zielt darauf ab, auf Basis von Datensätzen eine fundierte Vermutung aufzustellen oder die Datensätze mittels Extrapolation, Klassifizierung oder Regression zu durchleuchten und zu strukturieren. Wie genau und erkenntnisreich ein Ergebnis ausfällt, hängt von der verfügbaren Datenmenge für ein Modell und der Fehlerminimierung ab. LLMs (Large Language Models) – als Basis für generative KI-Plattformen – haben zuletzt massiv zugenommen an Volumen und Komplexität. Die während des Trainings der KI-Modelle erlernten Wissensmuster erfordern enorme Speicherkapazitäten, woraus sich erhebliche Herausforderungen für die Storage-Infrastruktur ergeben. Dies gilt insbesondere beim Checkpointing riesiger, komplexer Modelle, weil sich ein Modell erst fortführen lässt, wenn alle Daten im Checkpoint abgelegt sind. Checkpoints sind zugleich als Reboot- oder Wiederherstellungspunkte wichtig, falls ein Job abstürzt oder der Fehlergradient keine Anzeichen einer Verbesserung zeigt.
Speicherdichte und Effizienz immer wichtiger
Enorm zunehmende Datenvolumina rücken die Speicherdichte und Effizienz von Storage-Lösungen in den Fokus. Rechenzentrumsbetreiber, die auf wassergekühlte Systeme zurückgreifen, sehen sich mit dem Vorwurf eines hohen Wasserverbrauchs konfrontiert. Hinzu kommt das Problem, dass herkömmliche Speichertechnologien auch viel Stellfläche benötigen, was den ökologischen Fußabdruck von Rechenzentren zusätzlich belastet.
Wie lassen sich angesichts enorm steigender Datenmengen der Energieverbrauch, Flächenbedarf und die Klimatisierung bewältigen, um die KI-Innovation nicht auszubremsen? Nachhaltigkeit wird zum entscheidenden Kriterium, das Hersteller zeitgemäßer Storage-Lösungen bereits beim Produktdesign maßgeblich berücksichtigen. Dass All-Flash-Speicher generell effizienter ist als HDD-Speicher steht hier außer Frage, denn längst geht es bereits darum, All-Flash noch besser zu machen. Diesen Weg schlagen innovationsstarke Storage-Hersteller ein, die statt handelsüblicher SSDs eigenentwickelte Flash-Module nutzen, die direkt mit dem Flash-Speicher kommunizieren. Das Ergebnis ist eine noch leistungsfähigere und energieeffizientere All-Flash-Technologie mit besonders hoher Speicherdichte. Diese Technologie vergrößert nicht nur den Abstand zu HDD- und Hybrid-Lösungen, sondern auch zu herkömmlichen All-Flash-Lösungen.
KI-typische Herausforderungen bewältigen
Die Storage-Branche trägt den KI-Boom mit, denn anspruchsvolle KI-Projekte sind nur mit All-Flash-Technologie der neuesten Generation realisierbar. Entscheidend ist hier die Verknüpfung von KI-gestützten Anwendungen oder von KI-Modellen mit der Datengrundlage. Dies setzt die Unterstützung verschiedener Datentypen, eine große Streaming-Bandbreite für Trainingsjobs, gewaltige Schreibleistung für Checkpointing und Checkpoint-Restores sowie die erforderliche zufällige Leseleistung für Inferenzen voraus. Entscheidend ist hierbei ein nahtloser Datenzugriff unabhängig von den jeweils zugrundeliegenden Anwendungen und Datensilos.
KI-Anwendungen sind sehr ressourcenintensiv hinsichtlich Rechenleistung und Speichernutzung. Die Bewältigung der Datenflut und die Verarbeitung datenintensiver Workloads schafft heute bereits ein Abwärmeproblem in vielen Rechenzentren. Neben stromfressenden Klimaanlagen kommt auch die durchaus effektive Verdunstungskühlung zum Einsatz, die jedoch aufgrund des Wasserverbrauchs in der Kritik steht. Die Umstellung auf moderne, besonders effiziente All-Flash-Lösungen entschärft das Klimatisierungsproblem im Rechenzentrum, da deutlich weniger Abwärme entsteht.
Moderne Storage-Technologie spielt entscheidende Rolle
KI-Anwendungen stellen neue, besonders hohe Anforderungen an Storage-Lösungen. Es geht um Leistung, Skalierbarkeit und Zuverlässigkeit, aber vor allem um Effizienz und Nachhaltigkeit, um das Potenzial von KI trotz ambitionierten Klimazielen und strengerer Umweltauflagen auszuschöpfen. Dass diese Ziele heute bereits vereinbar sind, zeigen spannende Beispiele für die praktische Anwendung von KI, Big Data und Analytik in der DACH-Region, unterstützt durch zeitgemäße Storage-Technologie. Hierbei kommt die Unified Fast File and Object Store (UFFO)-Plattform FlashBlade von Pure Storage bei diesen Kunden zum Einsatz.
Das DKFZ (Deutsches Krebsforschungszentrum) widmet sich der Erforschung der Krebsentwicklung und der Faktoren, die das Krebsrisiko beeinflussen, durch fortschrittliche KI- und ML-Modelle. Die Forschungsteams können sich auf eine zuverlässige Infrastruktur verlassen, um entscheidende neue Erkenntnisse aus den riesigen Datenmengen zu ziehen. In Österreich betreibt SmartDigital auf seiner modernen Storage-Infrastruktur ein innovatives Geschäftsmodell basierend auf UAVs (Unmanned Aerial Vehicles), Fernerkundung und Geo-Digitalisierung. Das Health 2030 Genome Center, ein Schweizer Forschungs-Hub für Genomsequenzierung und -analyse, führt mit Unterstützung der UFFO-Plattform DNA-Sequenzierungsanalysen für die Patientendiagnose durch.
Diese anspruchsvollen Anwendungsbeispiele zeigen die entscheidende Rolle, die moderne Storage-Technologie heute einnimmt, um moderne KI-Workloads zu unterstützen. Entscheidend ist dabei, dass es in der Praxis bereits möglich ist, besonders hohe Anforderungen an Leistung und Skalierbarkeit mit guter Effizienz und Nachhaltigkeit zu vereinen.
