Kaytus K24V3 im Fokus

High-Density-Multi-Node-Server für hohe Leistung im Rechenzentrum

Autoren: Denise Cezanne-Güttich, Dr. Götz Güttich

Der K24V3 ist Bestandteil der V3-Server-Familie von Kaytus, die das Ziel verfolgt, offene, umweltfreundliche und skalierbare Infrastrukturen bereitzustellen. Es handelt sich bei dem Produkt um einen 4-Node-Server, der in einem Gehäuse mit zwei Höheneinheiten (2U) kommt und für High Performance Computing (HPC) entwickelt wurde. Besonders interessant: Der Server lässt sich sowohl mit einer Flüssig- als auch mit einer Luftkühlung betreiben.

Für unseren Bericht haben wir den K24V3 in der Benchmark-Testumgebung im NEC-Testlabor in Leinfelden-Echterdingen unter die Lupe genommen. In diesem Testlabor werden Neuentwicklungen verschiedener Hersteller für diverse Einsatzgebiete geprüft, bevor die Installation der Produkte bei den Kunden von NEC stattfindet.

Die Architektur

Pro 2U-Chassis unterstützt der K24V3 bis zu acht Intel-Xeon-6-CPUs oder acht AMD-EPYC-9005-Prozessoren der 5. Generation und kann so eine sehr hohe Rechenleistung liefern. Entscheiden sich die IT-Administratoren für die Version mit Flüssigkühlung, so kühlt diese im Betrieb sowohl CPU und Arbeitsspeicher als auch die VR-Module (Voltage Regulator Modules). Das soll den Energieverbrauch des Systems deutlich senken, die Betriebsgeräusche verringern und die Anforderungen an niedrige PUE-Werte (Power Usage Effectiveness) erfüllen. Folglich lassen sich die K24V3-Systeme hervorragend in modernen, hochverdichteten und energiesparenden Rechenzentren nutzen.

Die Architektur des K24V3 ermöglicht einen Multi-Host-Betrieb mit einer Knoten-Interkonnektivität, die über eine sehr hohe Bandbreite verfügt. Laut Hersteller steht für die Multi-Host-Interconnect-Architektur pro Node eine NDR-Übertragungsrate (Nettodatenrate) von 200 Gb/s bereit. Darüber hinaus erreicht das System durch die Integration von bis zu acht aktuellen Prozessoren in einem 2U-Gehäuse eine außergewöhnlich hohe Raumausnutzung. Im Vergleich zu klassischen 2U2S-Rack-Servern – also Servern, die in einem Gehäuse mit zwei Höheneinheiten kommen und zwei Server-Knoten enthalten – vervierfacht das Kaytus-System die Deployment-Dichte. Auf diese Weise lassen sich die bestehenden Rack-Flächen effizient nutzen. Der K24V3 lässt sich sowohl in 19- als auch in 21-Zoll-Racks verwenden.

Jeder Node des K24V3 unterstützt drei Laufwerksschächte – zwei an der Front und einen intern. Insgesamt (vier Nodes) stehen damit bis zu zwölf Laufwerksschächte zur Verfügung. Die Kapazität pro Laufwerk reicht von 480 GByte bis 15,36 TByte und höher.

Wartung und Bereitstellung

Der K24V3 besteht aus vier unabhängigen, hot-swappable Nodes. Die einzelnen Komponenten wie Netzteile, Kühlelemente und Mainbords wurden pro Node getrennt ausgeführt, so dass die Möglichkeit besteht, einzelne Nodes zu warten, ohne dass dabei die Arbeit der übrigen Nodes beeinträchtigt wird. Es ist also nicht erforderlich, für die genannten Wartungsarbeiten das Gesamtsystem herunterzufahren. Die einzelnen Nodes wiegen jeweils weniger als zehn Kilogramm und lassen sich horizontal entnehmen beziehungsweise einführen, was eine komfortable Wartung ermöglicht, ohne dass die zuständigen Mitarbeiter den Server dazu aus dem Rack entfernen müssen. Redundante Netzteile stellen gleichzeitig einen stabilen Betrieb sicher.

Die Vorteile der Flüssigkühlung

Dank der in das System integrierten Cold-Plate-Technologie arbeitet der Server selbst bei hohen Kühlmitteleintrittstemperaturen bis hin zu 50 Grad zuverlässig (mittel- und hochtolerante Kühlung). Die genannte Technologie kühlt – wie angesprochen – CPUs, DIMMs und VR-Module. Diese Komponenten machen zusammen mindestens 80 Prozent des Gesamtstromverbrauchs aus.

Die Flüssigkühlung macht eine höhere Packungsdichte möglich und senkt gleichzeitig den Energieverbrauch, nach Herstellerangaben um bis zu 80 Prozent. Da im Betrieb die Kühlleistung optimiert wird, reduziert sich auch die Lüfterdrehzahl, wodurch sich dadurch das durch die Lüfter erzeugte Geräuschvolumen verringert. Rechenzentren werden so in die Lage versetzt, ihren PUE-Wert und ihren CO2-Fußabdruck zu minimieren. Hierbei gilt: Der PUE-Wert eines luftgekühlten Rechenzentrums liegt typischerweise über 1,5, während flüssiggekühlte Rechenzentren Werte bis hinunter zu 1,1 erreichen können.

Der K24V3 wurde für Betriebstemperaturen von um die 45 Grad ausgelegt. Die Reduzierung des Energieverbrauchs im Rechenzentrum ist nach Angaben des Herstellers drastisch: Zu den eben angesprochenen bis zu 80 Prozent weniger anfallender Kühlenergie kommt nochmals eine bis zu 15 Prozent geringere Leistungsaufnahme hinzu. Das gilt zum Beispiel für eine Konfiguration mit einer 400-W-TDP-CPU und 25 Grad Umgebungstemperatur. Hier verbraucht der flüssiggekühlte K24V3 mehr als 15 Prozent weniger Energie als das luftgekühlte Modell. Bei höheren Umgebungstemperaturen oder CPUs mit höherer TDP verstärken sich die Einsparvorteile der Flüssigkühlung.

Die Flüssigkühlung bringt aber auch Einschränkungen mit sich, so dass es in manchen Umgebungen sinnvoll sein kann, auf eine Luftkühlung zu setzen. So steigt durch den Einsatz von Flüssigkühlungskomponenten wie Kühlplatten und Leitungen die mechanische Komplexität im Inneren des Servers an. Bei jedem Node des K24V3 beanspruchen die Flüssigkühlleitungen einen PCIe-Steckplatz, sodass die flüssiggekühlte Variante über einen PCIe-Slot weniger verfügt als die luftgekühlte. Für hochverdichtete Multi-Node-Serverkonfigurationen mit CPU-TDP (Thermal Design Power) von größer gleich 400 Watt ist Flüssigkühlung aber zwingend erforderlich.

Absicherung der Flüssigkühlung

Ein spezielles System zum Erkennen von Leckagen macht die Echtzeiterkennung von Lecks im Flüssigkühlungssystem möglich. Da das Kaytus-Leckageüberwachungssystem direkt mit dem Baseboard Management Controller (BMC) des Servers verbunden ist, kann es bei einem Leck präzise den betroffenen Schrank und Server identifizieren und die Stromversorgung des entsprechenden Nodes automatisch abschalten. Gleichzeitig zeigt es eine Warnmeldung auf der Web-Oberfläche an. Darüber hinaus verschickt es auch eine Alert-E-Mail. Auf diese Weise lassen sich potenzielle Risiken effektiv minimieren.

Die V3-Serverfamilie

Die V3-Serverfamilie, zu der der K24V3 gehört, umfasst 17 verschiedene Servermodelle, die sich für allgemeines Computing, Multi-Node-Konfigurationen, kritisches Computing, Speicheroptimierung und den Einsatz in Rack-Scale-Systemen eignen. Die gesamte Familie wurde nach Herstellerangaben mit einer verbesserten Intelligenz und optimierten Kühllösungen ausgestattet, was eine nahtlose Unterstützung für diverse KI-Applikationen gewährleisten soll. Es stehen Dual-Socket-Modelle zur Verfügung, die bis zu 576 Kerne verfügen und Taktraten von bis zu 5,0 GHz erreichen.

Die V3-Server unterstützen eine Vielzahl an Rechenplattformen wie beispielsweise CPU, GPU und FPGA (Field Programmable Gate Array). Gleichzeitig fördern sie die Offenheit des gesamten IT-Systems über Firmware, Komponenten, Knoten und Rack-Scale-Systeme hinweg. Auf diese Weise bieten sie eine einheitliche Grundlage für die Recheneffizienz und ermöglichen nicht nur das Skalieren von Knoten, sondern auch das von Netzwerken und werden so den Skalierungsanforderungen von KI-Modellen gerecht.

Daten bilden das Rückgrat dieser KI-Modelle, weshalb die beschleunigte Datenverarbeitung eine wesentliche Rolle spielt. Die V3-Server wurden vollständig für die Speicherung von Daten optimiert und unterstützen Single-Drive-Kapazitäten von bis zu 128 TByte, wobei ein einzelner Server bis zu 6 PByte aufnehmen kann und ein einzelnes Rack eine 2,7-fache Steigerung der Speicherkapazität erreicht.

Fazit

Beim Kaytus K24V3 handelt es sich um einen High-Density-Multi-Node-Server, der eine hohe Rechenleistung mit einer effizienten Kühlung und einer flexiblen Wartung kombiniert. Insbesondere die flüssiggekühlten Modelle stellen eine interessante Alternative zu traditionellen 2U2S-Servern dar, da sie eine sehr hohe Energieeffizienz mit einer ebenso hohen Packungsdichte vereinen, was Rechenzentren in die Lage versetzt, mindestens 50 Prozent an Platz einzusparen. Damit eignen sich die Systeme vor allem für den Einsatz in KI-, HPC- und Cloud-Umgebungen, die auf eine hohe Leistung bei gleichzeitig möglichst geringen Betriebskosten angewiesen sind. Zu den Branchen, in denen sich das System nutzen lässt, gehören unter anderem Produktion, Wissenschaft und das Gesundheitswesen.

K24V3 – Technische Daten

High-Density-Server K24X3/K24E3 mit Intel- oder AMD-Prozessoren

Produktspezifikationen:

• 4 unabhängige, hot-swap-fähige Nodes in einem 2U-Chassis
• Speicheroptionen:
  • Konfiguration 1: 8 mal 2,5-Zoll-SATA/NVMe SSDs (7 Millimeter)
  • Konfiguration 2: 4 mal 2,5-Zoll-NVMe SSDs (15 Millimeter)
• Netzteile: Vier Titanium-PSUs mit N+N oder N+1 Redundanz
• Kühlung:
  • Luftkühlung: vier oder fünf 8086-Lüfter vorne (N+1)
  • Flüssigkühlung: vier Lüfter vorne (N+1), node-basierte Flüssigkühlung
• Maße:
  • 447 Millimeter (B) mal 87 Millimeter (H) mal 896 Millimeter (T) ohne Griffe
  • 447 Millimeter (B) mal 87 Millimeter (H) mal 921 Millimeter (T) mit Griffen
• Node-Formfaktor: 1U Half-Width, 2-Sockel
• Pro Node zwei Intel-Xeon-6-Prozessoren (AP) oder oder zwei AMD-EPYC-9005-Prozessoren der fünften Generation pro Node.
• Arbeitsspeicher: bis zu 24 mal DDR5-RDIMMs (6400 MHz) oder MCR-DIMMs (8800 MHz nur für Intel)
• PCIe-Erweiterung:
  • Luftkühlung: 2 mal PCIe 5.0 x8 oder 1 mal PCIe 5.0 x16
  • Flüssigkühlung: 1 mal PCIe 5.0 x16
• OCP: 1 mal OCP 3.0
• Front-I/O: 2 mal USB 2.0, 1 mal VGA, Power-Button, UID
• Rear-I/O: 1 mal RJ45, UID, Reset-Button, Micro-USB Debug, Micro-USB
• Interner Speicher je Node:
  • Konfiguration 1: 2 mal 2,5-Zoll-SATA/NVMe SSD (7 Millimeter)
  • Konfiguration 2: 1 mal 2,5-Zoll-NVMe SSD (15 Millimeter)
  • Zusätzlich 2 mal interne SATA/PCIe-M.2-SSDs pro Node (unter Luftkühlung ein M.2 nutzbar)
• BMC: Aspeed AST2600
• TPM 2.0
• Multi-Host-Modus: gemeinsamer Zugriff/Management von 2 Nodes über eine Multi-Host-NIC