Computational Storage, Data Processing Units und RAID-Karten haben eines gemeinsam: sie unterstützen daten- und speicherintensive Anwendungen und holen das Maximum an Leistung und Kapazität aus den teuren SSDs raus. Unterschiede gibt es bei Spezialisierung und Einsatzzweck der Technologie. Während Computational Storage eher in Richtung general purpose geht, sind DPUs in der Regel für einen ganz speziellen Einsatzzweck konzipiert.
Auch das israelische Startup PLiOPS hat sich auf einen ganz bestimmten Use Case fokussiert: Key Value Stores. Der Extreme Data Processor (XDP) des innovativen Unternehmens eignet sich für große Datenbanken, wie sie für HPC- sowie AI-Workloads zum Einsatz kommen, aber auch Storage-Engines wie RocksDB. Und anders als Software-basierte Beschleuniger ist der XDP schnell installiert und sofort einsatzfähig.
Die Herausforderung
Bei der Arbeit mit Datenbanken muss eine CPU neben der Verarbeitung der Daten noch viele weitere Berechnungen durchführen. Kombiniert man eine Multi-Petabyte-Datenbank dann noch mit NVMe-SSDs, ist die CPU mehr mit dem Storage-Management beschäftigt als dass sie ihre eigentliche Arbeit noch sinnvoll erledigen könnte. Das merken die Anwendungen und vor allem die Benutzer, die scheinbar ewig auf die Rückmeldung der Datenbank warten müssen.
Hier kommen Technologien wie Data Processing Units (DPU), Computational Storage oder der Extreme Data Processor (XDP) von PLiOPS ins Spiel.
Der XDP sorgt dafür, dass die CPU sich wieder um ihre eigentliche Aufgabe – der Verarbeitung der Daten – kümmern kann statt sich mit Dingen wie Compression, Metadaten-Management, Garbage Collection, Indexing u. ä. zu beschäftigen.
Die Sequentialisierung der Schreibvorgänge erhöht zudem die Lebensdauer der SSD und die Leistung bei Schreib- sowie Lesevorgängen um ein Vielfaches. Neben einer gleichmäßigen (konsistenten) Leistung für Random-Writes sorgt der XDP zudem für niedrige Latenzen auch auf vollen SSDs.
Wie sich das in der Praxis auswirkt, hat Western Digital am eigenen Leib erfahren. In deren Produktentwicklung können Systeme und Anwendungen mit bis zu 10.000 Geräten gleichzeitig getestet werden. Jedes einzelne davon kann dabei riesige Datenmengen über mehrere globale Standorte hinweg bewegen. Selbst die schnellsten NVMe-SSDs von Western Digital konnten nicht die Datengeschwindigkeiten liefern, zu denen sie tehoretisch fähig wären, ohne dass ständig weitere Server hinzugefügt und die NVMe-Laufwerke halb leer gehalten werden mussten. Die Tests waren in Folge unverhältnismäßig teuer und lieferten nur bescheidene Ergebnisse. Mit der XDP von PLiOPS konnte WD die Leistung und Effizienz seiner Testumgebung maßgeblich verbessern.
XDP ist das neue RAID
Moderne QLC-SSDs bieten einen beeindruckenden Mix aus Leistung und Kapazität. Das allerdings erfordert neue Werkzeuge für das Flash-Management. Herkömmliche RAID-Karten sind zu schwerfällig und die meisten Software-RAIDs können einen Großteil der Leistung nicht nutzen.
Der XDP skaliert nicht nur Workloads SSD-basierter Anwendungen ohne Änderungen an der Software. Der Data Processor sorgt auch für eine bessere Auslastung der NVMe-Drives und verlängert deren Lebensdauer. Die Verbesserungen lassen sich sowohl in TLC- als auch QLC-NAND-Flash spürbar messen.
Der XDP hilft unterm Strich, Overprovisioning von sowohl Netzwerk-, Speicher-, SSD- als auch CPU-Kapazitäten zu vermeiden und senkt so die TCO merklich.
Beschleunigung RocksDB-basierter Datenbanken
Auf dem letzten OCP Summit 2022 hat PLiOPS nun eine weitere XDP vorgestellt. Mit dem XDP-Rocks will PLiOPS Ineffizienzen und Leistungsnachteile von Software-Storage-Engines wie RocksDB, InnoDB und WiredTiger eliminieren. Die neue Generation der XDP kann mehrere Workloads verwalten. Das ist ein entscheidender Vorteil gegenüber den Storage Engines, die für Verwaltung und Abruf spezifischer Workloads optimiert sind. Die neuartige hardwarebeschleunigte Key-Value-Storage-Engine abstrahiert den Zugriff auf Flash-Speicher mit beeindruckendem Ergebnis:
- 14-fache Leistungssteigerung gegenüber RocksDB
- 50-fache Reduzierung der Tail-Latenzen
- 7-fache Steigerung der Ausdauer von Flash-Speichern
- Ständig aktive Komprimierung ohne System-Overhead
Weitere Details können auf der Herstellerseite im Solution Brief zum XDP-Rocks nachgelesen werden.
XDP-Rocks ist API-kompatibel mit RocksDB, dem De-facto-Standard der Open-Source-Storage-Engine-Technologie.
Mit XDP-Rocks bieten wir einen Sprung nach vorn bei der Verbesserung der Dateninfrastrukturleistung bei gleichzeitiger Senkung der damit verbundenen Kosten. Wir arbeiten ständig daran, unsere Datenservice-Engines in Bezug auf Wert und Funktionen zu verbessern – und die Einführung von XDP-Rocks ist nur die Spitze des Eisbergs. XDP-Rocks ermöglicht es unseren Kunden, Key-Value-basierte Anwendungen wie MySQL, MyRocks, Redis, KV-Rocks, TiDB, Kafka, Spark und viele andere zu vereinfachen und zu beschleunigen.
Uri Beitler, Gründer und CEO von PLiOPS
Belastbare Benchmarks
PLiOPS betreibt ein eigenes Labor für seine aufwendigen Benchmarks. Dort finden sich nicht nur rackweise Referenzinstallationen großer Key-Value-Stores wie redis, sondern auch Testaufbauten für alle gängigen SSD-Hersteller.
Nur so gelingen dem inovativen Hersteller immer wieder weitere Produktverbesserungen und die Kompatibilität mit den Herstellern und Anbietern gängiger Enterprise-Technologie.
Wir durften das Labor besuchen und sprachen mit Chairman Aryeh Mergi, CEO Uri Beitler und CBO Steve Fingerhut im April 2022 in Israel im Rahmen der IT Press Tour.
