{"id":25416,"date":"2023-11-24T10:14:25","date_gmt":"2023-11-24T09:14:25","guid":{"rendered":"https:\/\/www.sysbus.eu\/?p=25416"},"modified":"2023-11-16T10:32:08","modified_gmt":"2023-11-16T09:32:08","slug":"die-ki-cloud-bietet-grosses-potenzial","status":"publish","type":"post","link":"https:\/\/www.sysbus.eu\/?p=25416","title":{"rendered":"Die KI-Cloud bietet gro\u00dfes Potenzial"},"content":{"rendered":"\n

Autor\/Redakteur: Sven Breuner, Field CTO International bei VAST Data<\/a>\/gg<\/p>\n\n\n\n

St\u00e4ndig neue Fortschritte bei der k\u00fcnstlichen Intelligenz wecken gro\u00dfe Erwartungen an eine KI-gest\u00fctzte Zukunft in vielen Branchen. Generative KI ist im Begriff, jede Branche zu ver\u00e4ndern. Viele Unternehmen haben das transformative Potenzial erkannt und KI als Teil ihrer strategischen Initiativen eingef\u00fchrt. Die f\u00fcr die Umsetzung der KI-Strategie erforderliche Infrastruktur zu bereitzustellen, hat sich jedoch als schwierig erwiesen. Hinzu kommt, dass die Technologie f\u00fcr die meisten Unternehmen neu ist, was die Implementierung \u00e4u\u00dferst komplex macht.<\/p>\n\n\n\n

\"\"<\/a>
Quelle: Sven Breuner<\/figcaption><\/figure>\n\n\n\n\n\n\n\n

Die Einstiegsh\u00fcrde in dieser Disziplin ist f\u00fcr viele Unternehmen hoch. Neue Workloads f\u00fcr maschinelles Lernen wie das Training generativer KI-Modelle \u00fcbersteigen die Leistungs- und Skalierungsm\u00f6glichkeiten herk\u00f6mmlicher Infrastrukturen. HPC-Systeme (High-Performance Computing), die auf parallelen Dateisystemen basieren, bieten zwar eine angemessene Leistung, sind aber aufgrund ihrer Komplexit\u00e4t und des Mangels an Unternehmensfunktionen f\u00fcr viele IT-Teams schwer zu unterst\u00fctzen. In der Regel setzen Unternehmen eine Kombination aus HPC-Speicher f\u00fcr leistungsstarken Ephemeral-Scratch-Speicherplatz und kosteng\u00fcnstigerem NAS f\u00fcr die langfristige Datenspeicherung ein. Das Ergebnis sind komplizierte und langwierige Datenpipelines, bei denen die Daten von Storage-Tier zu Storage-Tier kopiert werden m\u00fcssen, bevor das KI-Training \u00fcberhaupt beginnen kann.<\/p>\n\n\n\n

Speziell f\u00fcr gro\u00dfangelegte KI-Projekte optimierte Cloud-Infrastrukturen sollen Unternehmen k\u00fcnftig intuitiver, agiler und effektiver machen, wenn es darum geht, immer wieder neue Gesch\u00e4ftsherausforderungen zu bew\u00e4ltigen. Hierbei gilt es, eine zentrale Datenbasis f\u00fcr ein Netzwerk von KI-Supercomputern zu schaffen und mitunter Hunderte von Petabytes an Daten zu speichern und daraus zu lernen.<\/p>\n\n\n\n

Was eine zeitgem\u00e4\u00dfe KI-Infrastruktur bieten muss<\/strong><\/p>\n\n\n\n

Eine zeitgem\u00e4\u00dfe KI-Infrastruktur muss parallelen Dateizugriff, GPU-optimierte Leistung f\u00fcr das Training neuronaler Netze und Inferenzen auf unstrukturierten Daten sowie einen globalen Namensraum bieten, der hybride Multi-Cloud- und Edge-Umgebungen abdeckt. Dies alles sollte vereint sein in einem einfach zu verwaltenden Angebot, um f\u00f6deriertes Deep Learning zu erm\u00f6glichen. Um ein solches Hochleistungs-Computing-System in der Cloud zu betreiben, ist eine zentrale, mandantenf\u00e4hige und sichere Datenplattform n\u00f6tig, die in der Lage ist, Kapazit\u00e4t und Leistung zu skalieren. Weitere Anforderungen sind Einfachheit, Skalierbarkeit, Ausfallsicherheit und vertretbare Gesamtbetriebskosten.<\/p>\n\n\n\n

Eine Datenplattform f\u00fcr die KI-Cloud muss hochgradig skalierbar sein, um die n\u00f6tige Leistung aus einer extrem dichten, kostenoptimierten NVMe-Infrastruktur (Non-volatile Memory Express) bereitzustellen. Multi-Tenancy-Unterst\u00fctzung erm\u00f6glicht eine sichere Isolierung von Mandanten und Workloads mit QoS-Richtlinien. Upgrades und Erweiterungen erfolgen stets online und unterbrechungsfrei, was anspruchsvolle SLAs erm\u00f6glicht, selbst bei Ausf\u00e4llen eines Teils der Hardware oder bei Software- oder Hardware-Upgrades. Multi-Protokoll-Unterst\u00fctzung erlaubt das Schreiben in einem Protokoll und das Lesen in einem anderen Protokoll \u2013 alles auf derselben Plattform. Die L\u00f6sung muss softwaredefiniert sein, damit sie auf der vom Kunden erworbenen Hardware betrieben werden kann, wobei die Software ausschlie\u00dflich nach der tats\u00e4chlichen Kapazit\u00e4tsnutzung lizenziert wird.<\/p>\n\n\n\n

Eine KI-geeignete Infrastruktur muss zudem das gesamte Datenspektrum nat\u00fcrlicher Daten abzudecken, also unstrukturierte und strukturierte Datentypen in Form von Video, Bildmaterial, freiem Text, Datenstr\u00f6men und Instrumentendaten. Die Daten k\u00f6nnen aus der ganzen Welt stammen, um sie dann in Echtzeit zu verarbeiten. Dieser Ansatz zielt darauf ab, die L\u00fccke zwischen ereignis- und datengesteuerten Architekturen zu schlie\u00dfen. Es geht darum, nat\u00fcrliche Daten zu verstehen, indem eine abfragbare semantische Schicht in die Daten selbst eingebettet wird. Die kontinuierliche und rekursive Berechnung von Daten erfolgt in Echtzeit und entwickelt sich mit jeder Interaktion weiter. Der Zugriff auf die Daten und deren Verarbeitung kann dabei in der Cloud erfolgen, die somit zur KI-Cloud wird.<\/p>\n\n\n\n

All-Flash-Datenplattform basierend auf einer neuen Architektur<\/strong><\/p>\n\n\n\n

Ein vielversprechender Ansatz zur Realisierung einer KI-Cloud ist eine vollst\u00e4ndig Flash-basierte Datenplattform, die ein einfaches Enterprise-NAS mit der Leistung und Skalierbarkeit f\u00fcr besonders anspruchsvolle KI-Anwendungen mit revolution\u00e4ren Dateneffizienztechnologien kombiniert. Wenn alle Daten f\u00fcr das Hochleistungstraining zur Verf\u00fcgung stehen, sind Workflows f\u00fcr maschinelles Lernen einfach zu verarbeiten und die Time-to-Insight, also \u201eZeit bis zur Erkenntnis\u201c verk\u00fcrzt sich. <\/p>\n\n\n\n

Die Disaggregated Shared-Everything (DASE)-Architektur liefert hierbei die Basis, um Skalierbarkeit in Bezug auf Leistung und Gr\u00f6\u00dfe bereitzustellen, die f\u00fcr Exascale AI und High-Performance Computing (HPC) erforderlich ist. Dar\u00fcber hinaus bietet sie einen globalen Namensraum und die f\u00fcr Zero-Trust-Cloud-Umgebungen erforderlichen Multi-Tenancy-Funktionen. Eine moderne Datenplattform dieser Art beschleunigt die Time-to-Insight f\u00fcr Workload-intensive Anwendungen und bietet skalierbare Leistung, einfaches Datenmanagement und verbesserte Produktivit\u00e4t. Die softwaredefinierte KI-Datenplattform l\u00e4uft auf Hardware der Enterprise-Klasse. Zus\u00e4tzlich zu Funktionen auf Enterprise-Niveau k\u00f6nnen Cloud-Service-Provider ein flexibles Lizenzierungsmodell auf Basis der tats\u00e4chlich gespeicherten Daten sowie die Datenreduzierung nutzen, um ihre Kosteneffizienz zu optimieren.<\/p>\n\n\n\n

Damit steht eine einheitliche Multiprotokoll-Plattform f\u00fcr unstrukturierte \u2013 NFS, SMB und S3 \u2013 sowie strukturierte Daten \u2013 native SQL-Anwendungen und Abfrage-Engines \u2013 bereit. Ein KI-optimierter Client-Zugriff durch die Unterst\u00fctzung von RDMA- und GPUDirect-Storage-Zugriff sorgt f\u00fcr die schlanke Benutzererfahrung einer NAS-L\u00f6sung, jedoch mit der Leistung eines parallelen Dateisystems ohne dessen Komplexit\u00e4t. Die Multi-Tenancy-Infrastruktur erm\u00f6glicht es, dedizierte Frontend-Server-Leistung f\u00fcr die wichtigsten Projekte bereitzustellen. Mittels Server-Pooling ist ebenso dedizierte Quality of Service f\u00fcr konkurrierende Projekte machbar. Vereinfachte Datenpipelines machen zeitaufwendige Datenkopier-Workflows \u00fcberfl\u00fcssig, indem alle Daten in Echtzeit zur Verf\u00fcgung stehen und ein Hochleistungszugriff \u00fcber Infiniband und Ethernet m\u00f6glich ist. Ein Echtzeit-Datenkatalog erm\u00f6glicht tiefgreifende analytische Abfragen von Trainingsdaten und aus dem maschinellen Lernen abgeleiteten Metadaten. Ein globaler Namespace f\u00fcr Cloud, Edge und Core vereinfacht den Datenzugriff von \u00fcberall aus.<\/p>\n\n\n\n

Bahnbrechender Ansatz f\u00fcr datenintensives Computing<\/strong><\/p>\n\n\n\n

Im Gegensatz zu parallelen Dateisystem-basierten Architekturen bietet eine All-Flash-Plattform dieser Art nicht nur die Leistung, um anspruchsvolle KI-Workloads zu bew\u00e4ltigen, sondern auch einen unterbrechungsfreien Betrieb und eine hochgradige Betriebszeit. All das wird bereitgestellt auf einem System, das f\u00fcr datenhungrige Modelle problemlos auf Petabytes skaliert werden kann. Dies ist ein bahnbrechender Ansatz f\u00fcr datenintensives Computing. Damit l\u00e4sst sich eine umfassende Infrastruktur f\u00fcr die Erfassung, Katalogisierung, Verfeinerung, Anreicherung und Aufbewahrung von Daten durch Echtzeit-Tiefenanalyse und Deep Learning aus der Cloud bereitstellen.<\/p>\n","protected":false},"excerpt":{"rendered":"

St\u00e4ndig neue Fortschritte bei der k\u00fcnstlichen Intelligenz wecken gro\u00dfe Erwartungen an eine KI-gest\u00fctzte Zukunft in vielen Branchen. Generative KI ist im Begriff, jede Branche zu ver\u00e4ndern. Viele Unternehmen haben das transformative Potenzial erkannt und KI als Teil ihrer strategischen Initiativen eingef\u00fchrt. Die f\u00fcr die Umsetzung der KI-Strategie erforderliche Infrastruktur zu bereitzustellen, hat sich jedoch als schwierig erwiesen. Hinzu kommt, dass die Technologie f\u00fcr die meisten Unternehmen neu ist, was die Implementierung \u00e4u\u00dferst komplex macht.<\/p>\n","protected":false},"author":81,"featured_media":25418,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"colormag_page_container_layout":"default_layout","colormag_page_sidebar_layout":"default_layout","footnotes":""},"categories":[8,10036],"tags":[6257,1905,4281,2539,10027,17437],"class_list":["post-25416","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-artikel","category-kuenstliche-intelligenz","tag-cloud","tag-ethernet","tag-gpu","tag-hpc","tag-infiniband","tag-vast-data"],"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts\/25416","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/users\/81"}],"replies":[{"embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=25416"}],"version-history":[{"count":1,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts\/25416\/revisions"}],"predecessor-version":[{"id":25419,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts\/25416\/revisions\/25419"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/media\/25418"}],"wp:attachment":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=25416"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=25416"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=25416"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}