Supermicro, IBM und NVIDIA entwickeln gemeinsame KV-Cache-Lösung für schnellere KI-Inferenz
Supermicro hat gemeinsam mit IBM und NVIDIA eine neue Storage-Lösung für die KI-Inferenz vorgestellt, die insbesondere bei Anwendungen mit langen Kontextfenstern deutliche Leistungsvorteile erzielen soll. Die Architektur kombiniert Petascale-All-Flash-Storage-Server von Supermicro mit AMD-EPYC-9005-Prozessoren, IBM Storage Scale, der Inferenzsoftware NVIDIA Dynamo und der Netzwerktechnik NVIDIA Spectrum-X Ethernet. Ein zentraler Bestandteil ist ein persistenter KV-Cache, der bereits berechnete Kontextinformationen speichert und für nachfolgende Anfragen wiederverwendet. Dadurch lassen sich redundante Berechnungen reduzieren und die Auslastung der verfügbaren GPU-Ressourcen verbessern. Die drei Unternehmen haben die integrierte Lösung gemeinsam unter verschiedenen Lastbedingungen getestet.
Bis zu 56-mal kürzere Antwortstartzeit
Bei gemeinsamen Leistungstests von Supermicro und NVIDIA mit einem Sprachmodell mit 120 Milliarden Parametern erreichte die Lösung bei Prompts mit 130.000 Token eine bis zu 56-mal kürzere Time-to-First-Token (TTFT) als ein System ohne KV-Cache. Wurde die Eingabelänge von 30.000 auf 130.000 Token erhöht, stieg die TTFT mit aktiviertem KV-Cache lediglich um 0,377 Sekunden. Ohne KV-Cache betrug der Anstieg dagegen 29,55 Sekunden. Die Ergebnisse verdeutlichen das Potenzial der Technologie für KI-Anwendungen, bei denen umfangreiche Kontextinformationen wiederholt verarbeitet werden müssen.
Persistenter Speicher für komplexe KI-Workloads
Bei der Inferenz von Large Language Models entstehen in zwei Phasen, Prefill und Decode, sogenannte Key-Value-Zwischenzustände. Diese enthalten bereits verarbeitete Kontextinformationen, die bei weiteren Interaktionen erneut benötigt werden können. Ein persistenter KV-Cache speichert diese Daten außerhalb des lokalen GPU-Speichers und macht sie über ein gemeinsames Netzwerk-Storage verfügbar.
Das ist insbesondere für Agentic-AI-Workflows, Programmierassistenten, Retrieval-Augmented Generation (RAG) mit langen Kontexten und multimodale KI-Anwendungen relevant. Solche Workloads verarbeiten häufig große Mengen an Code, Dokumenten, Konversationen und Bilddaten. Die dabei entstehenden KV-Zustände können die verfügbaren Speicherressourcen von GPU und CPU schnell überschreiten.
Die gemeinsame Lösung soll durch die Auslagerung und Wiederverwendung dieser Informationen die GPU-Leerlaufzeiten reduzieren, den Inferenzdurchsatz erhöhen und eine höhere Parallelität ermöglichen. Darüber hinaus unterstützt die persistente Storage-Ebene den gemeinsamen Zugriff auf zwischengespeicherte Daten über mehrere GPU-Knoten und Cluster hinweg. Die Unternehmen verweisen außerdem auf Hochverfügbarkeit und eine verbesserte Ausfallsicherheit.
Supermicro, IBM und NVIDIA haben die Architektur auch unter hoher Parallelität und bei sogenannten Noisy-Neighbor-Bedingungen getestet, bei denen konkurrierender Netzwerkverkehr die Leistung beeinflussen kann. Die werkseitige Rack-Integration und die Vor-Ort-Bereitstellungsdienste von Supermicro sollen zudem die Implementierungszeit von mehreren Wochen auf wenige Tage verkürzen.
Weitere Informationen zur gemeinsamen Lösung: Supermicro und IBM Storage Scale.
Das IBM Redbook mit den technischen Details und Testergebnissen ist unter Context without Limits: A High-Performance KV Cache Platform for Large-Scale AI Inference verfügbar.
