{"id":26068,"date":"2024-02-12T10:41:02","date_gmt":"2024-02-12T09:41:02","guid":{"rendered":"https:\/\/www.sysbus.eu\/?p=26068"},"modified":"2024-02-05T11:07:25","modified_gmt":"2024-02-05T10:07:25","slug":"storage-technologie-fuer-ki-muss-leistungsfaehig-und-nachhaltig-sein","status":"publish","type":"post","link":"https:\/\/www.sysbus.eu\/?p=26068","title":{"rendered":"Storage-Technologie f\u00fcr KI muss leistungsf\u00e4hig und nachhaltig sein"},"content":{"rendered":"\n

Autor\/Redakteur: Markus Grau, Principal Technologist bei Pure Storage<\/a>\/gg<\/p>\n\n\n\n

K\u00fcnstliche Intelligenz hat enormes Potenzial in vielerlei Szenarien, stellt Unternehmen aber auch vor technologische Herausforderungen. KI und maschinelles Lernen (ML) haben das Potenzial als Grundlage f\u00fcr gro\u00dfe Fortschritte in viele Anwendungsbereichen, um die gro\u00dfen Probleme der Welt zu l\u00f6sen, seien es Gesundheit, Umwelt- und Klimaschutz oder Ern\u00e4hrung. KI basiert jedoch auf der Interpretation riesiger Mengen h\u00f6chst unterschiedlicher unstrukturierter Daten wie Texte, Bilder, Audio-Aufnahmen oder Messreihen. Hierbei kommen neuronale Netze zum Einsatz, um Muster und Strukturen in vorhandenen Datens\u00e4tzen zu erfassen und neue, eigene Inhalte zu generieren. Die Herausforderung besteht jetzt in der F\u00e4higkeit, die enorme Flut an unstrukturierten Daten zu bew\u00e4ltigen, also diese \u00fcberhaupt speichern und damit arbeiten zu k\u00f6nnen.<\/p>\n\n\n\n

\"\"
Quelle: Pure Storage<\/figcaption><\/figure>\n\n\n\n\n\n\n\n

Generative KI ist besonders anspruchsvoll<\/strong><\/p>\n\n\n\n

Die Herausforderungen der Datenspeicherung bei KI-Anwendungsszenarien beginnen beim maschinellen Lernen, das einen gro\u00dfen Trainingsdatensatz voraussetzt. Bei der aktuell vieldiskutierten generativen KI \u2013 Stichwort ChatGPT \u2013 sind die Datens\u00e4tze besonders gro\u00df und komplex, was unterschiedliche Datentypen miteinschlie\u00dft. Komplexe Datenmodelle und Algorithmen mit verschiedensten Paramatern sind die Arbeitsmittel in dieser h\u00f6chst anspruchsvollen Disziplin. Die KI muss dabei diese Parameter \u201eerlernen\u201c. Mit zunehmenden Merkmalen, Ergebnisvariablen und Trainingsdurchl\u00e4ufen steigt bis zur ultimativen Erkenntnis zun\u00e4chst vor allem eines \u2013 die Datenmenge.<\/p>\n\n\n\n

Generative KI zielt darauf ab, auf Basis von Datens\u00e4tzen eine fundierte Vermutung aufzustellen oder die Datens\u00e4tze mittels Extrapolation, Klassifizierung oder Regression zu durchleuchten und zu strukturieren. Wie genau und erkenntnisreich ein Ergebnis ausf\u00e4llt, h\u00e4ngt von der verf\u00fcgbaren Datenmenge f\u00fcr ein Modell und der Fehlerminimierung ab. LLMs (Large Language Models) \u2013 als Basis f\u00fcr generative KI-Plattformen \u2013 haben zuletzt massiv zugenommen an Volumen und Komplexit\u00e4t. Die w\u00e4hrend des Trainings der KI-Modelle erlernten Wissensmuster erfordern enorme Speicherkapazit\u00e4ten, woraus sich erhebliche Herausforderungen f\u00fcr die Storage-Infrastruktur ergeben. Dies gilt insbesondere beim Checkpointing riesiger, komplexer Modelle, weil sich ein Modell erst fortf\u00fchren l\u00e4sst, wenn alle Daten im Checkpoint abgelegt sind. Checkpoints sind zugleich als Reboot- oder Wiederherstellungspunkte wichtig, falls ein Job abst\u00fcrzt oder der Fehlergradient keine Anzeichen einer Verbesserung zeigt.<\/p>\n\n\n\n

Speicherdichte und Effizienz immer wichtiger<\/strong><\/p>\n\n\n\n

Enorm zunehmende Datenvolumina r\u00fccken die Speicherdichte und Effizienz von Storage-L\u00f6sungen in den Fokus. Rechenzentrumsbetreiber, die auf wassergek\u00fchlte Systeme zur\u00fcckgreifen, sehen sich mit dem Vorwurf eines hohen Wasserverbrauchs konfrontiert. Hinzu kommt das Problem, dass herk\u00f6mmliche Speichertechnologien auch viel Stellfl\u00e4che ben\u00f6tigen, was den \u00f6kologischen Fu\u00dfabdruck von Rechenzentren zus\u00e4tzlich belastet.<\/p>\n\n\n\n

Wie lassen sich angesichts enorm steigender Datenmengen der Energieverbrauch, Fl\u00e4chenbedarf und die Klimatisierung bew\u00e4ltigen, um die KI-Innovation nicht auszubremsen? Nachhaltigkeit wird zum entscheidenden Kriterium, das Hersteller zeitgem\u00e4\u00dfer Storage-L\u00f6sungen bereits beim Produktdesign ma\u00dfgeblich ber\u00fccksichtigen. Dass All-Flash-Speicher generell effizienter ist als HDD-Speicher steht hier au\u00dfer Frage, denn l\u00e4ngst geht es bereits darum, All-Flash noch besser zu machen. Diesen Weg schlagen innovationsstarke Storage-Hersteller ein, die statt handels\u00fcblicher SSDs eigenentwickelte Flash-Module nutzen, die direkt mit dem Flash-Speicher kommunizieren. Das Ergebnis ist eine noch leistungsf\u00e4higere und energieeffizientere All-Flash-Technologie mit besonders hoher Speicherdichte. Diese Technologie vergr\u00f6\u00dfert nicht nur den Abstand zu HDD- und Hybrid-L\u00f6sungen, sondern auch zu herk\u00f6mmlichen All-Flash-L\u00f6sungen.<\/p>\n\n\n\n

KI-typische Herausforderungen bew\u00e4ltigen<\/strong><\/p>\n\n\n\n

Die Storage-Branche tr\u00e4gt den KI-Boom mit, denn anspruchsvolle KI-Projekte sind nur mit All-Flash-Technologie der neuesten Generation realisierbar. Entscheidend ist hier die Verkn\u00fcpfung von KI-gest\u00fctzten Anwendungen oder von KI-Modellen mit der Datengrundlage. Dies setzt die Unterst\u00fctzung verschiedener Datentypen, eine gro\u00dfe Streaming-Bandbreite f\u00fcr Trainingsjobs, gewaltige Schreibleistung f\u00fcr Checkpointing und Checkpoint-Restores sowie die erforderliche zuf\u00e4llige Leseleistung f\u00fcr Inferenzen voraus. Entscheidend ist hierbei ein nahtloser Datenzugriff unabh\u00e4ngig von den jeweils zugrundeliegenden Anwendungen und Datensilos.<\/p>\n\n\n\n

KI-Anwendungen sind sehr ressourcenintensiv hinsichtlich Rechenleistung und Speichernutzung. Die Bew\u00e4ltigung der Datenflut und die Verarbeitung datenintensiver Workloads schafft heute bereits ein Abw\u00e4rmeproblem in vielen Rechenzentren. Neben stromfressenden Klimaanlagen kommt auch die durchaus effektive Verdunstungsk\u00fchlung zum Einsatz, die jedoch aufgrund des Wasserverbrauchs in der Kritik steht. Die Umstellung auf moderne, besonders effiziente All-Flash-L\u00f6sungen entsch\u00e4rft das Klimatisierungsproblem im Rechenzentrum, da deutlich weniger Abw\u00e4rme entsteht.<\/p>\n\n\n\n

Moderne Storage-Technologie spielt entscheidende Rolle<\/strong><\/p>\n\n\n\n

KI-Anwendungen stellen neue, besonders hohe Anforderungen an Storage-L\u00f6sungen. Es geht um Leistung, Skalierbarkeit und Zuverl\u00e4ssigkeit, aber vor allem um Effizienz und Nachhaltigkeit, um das Potenzial von KI trotz ambitionierten Klimazielen und strengerer Umweltauflagen auszusch\u00f6pfen. Dass diese Ziele heute bereits vereinbar sind, zeigen spannende Beispiele f\u00fcr die praktische Anwendung von KI, Big Data und Analytik in der DACH-Region, unterst\u00fctzt durch zeitgem\u00e4\u00dfe Storage-Technologie. Hierbei kommt die Unified Fast File and Object Store (UFFO)-Plattform FlashBlade von Pure Storage bei diesen Kunden zum Einsatz.<\/p>\n\n\n\n

Das DKFZ (Deutsches Krebsforschungszentrum) widmet sich der Erforschung der Krebsentwicklung und der Faktoren, die das Krebsrisiko beeinflussen, durch fortschrittliche KI- und ML-Modelle. Die Forschungsteams k\u00f6nnen sich auf eine zuverl\u00e4ssige Infrastruktur verlassen, um entscheidende neue Erkenntnisse aus den riesigen Datenmengen zu ziehen. In \u00d6sterreich betreibt SmartDigital auf seiner modernen Storage-Infrastruktur ein innovatives Gesch\u00e4ftsmodell basierend auf UAVs (Unmanned Aerial Vehicles), Fernerkundung und Geo-Digitalisierung. Das Health 2030 Genome Center, ein Schweizer Forschungs-Hub f\u00fcr Genomsequenzierung und -analyse, f\u00fchrt mit Unterst\u00fctzung der UFFO-Plattform DNA-Sequenzierungsanalysen f\u00fcr die Patientendiagnose durch.<\/p>\n\n\n\n

Diese anspruchsvollen Anwendungsbeispiele zeigen die entscheidende Rolle, die moderne Storage-Technologie heute einnimmt, um moderne KI-Workloads zu unterst\u00fctzen. Entscheidend ist dabei, dass es in der Praxis bereits m\u00f6glich ist, besonders hohe Anforderungen an Leistung und Skalierbarkeit mit guter Effizienz und Nachhaltigkeit zu vereinen.<\/p>\n","protected":false},"excerpt":{"rendered":"

K\u00fcnstliche Intelligenz hat enormes Potenzial in vielerlei Szenarien, stellt Unternehmen aber auch vor technologische Herausforderungen. KI und maschinelles Lernen (ML) haben das Potenzial als Grundlage f\u00fcr gro\u00dfe Fortschritte in viele Anwendungsbereichen, um die gro\u00dfen Probleme der Welt zu l\u00f6sen, seien es Gesundheit, Umwelt- und Klimaschutz oder Ern\u00e4hrung. KI basiert jedoch auf der Interpretation riesiger Mengen h\u00f6chst unterschiedlicher unstrukturierter Daten wie Texte, Bilder, Audio-Aufnahmen oder Messreihen. Hierbei kommen neuronale Netze zum Einsatz, um Muster und Strukturen in vorhandenen Datens\u00e4tzen zu erfassen und neue, eigene Inhalte zu generieren. Die Herausforderung besteht jetzt in der F\u00e4higkeit, die enorme Flut an unstrukturierten Daten zu bew\u00e4ltigen, also diese \u00fcberhaupt speichern und damit arbeiten zu k\u00f6nnen.<\/p>\n","protected":false},"author":81,"featured_media":26070,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"colormag_page_container_layout":"default_layout","colormag_page_sidebar_layout":"default_layout","footnotes":""},"categories":[8,10036],"tags":[17845,14010,1152,61,6255],"class_list":["post-26068","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-artikel","category-kuenstliche-intelligenz","tag-all-flash-2","tag-pure-storage","tag-rechenzentrum","tag-speicher","tag-storage"],"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts\/26068","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/users\/81"}],"replies":[{"embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=26068"}],"version-history":[{"count":1,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts\/26068\/revisions"}],"predecessor-version":[{"id":26075,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts\/26068\/revisions\/26075"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/media\/26070"}],"wp:attachment":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=26068"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=26068"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=26068"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}