Quantum macht HPC cloudfähig und ermöglicht gesetzeskonforme Public-Cloud-Plattformen für Unternehmen – unter Anderem
Es gibt nicht mehr viele Entwickler von Tape-Libraries. Quantum ist einer. Das traditionsreiche Unternehmen kann allerdings sehr viel mehr. Davon konnten wir uns bereits letztes Jahr auf der ISC überzeugen. Damals stellte der HSM-Spezialist mit Myriad eine Storage-Software für hochperformante Workloads vor. Revolutionär sind in dem Konzept die Verwendung von Container-Technologie im Backend und BGP-Routing für den Lastausgleich. In diesem Artikel stellen wir das Portfolio und die Neuigkeiten 2024 vor.
KI als Treiber
KI verspricht ungeahnte, neue Möglichkeiten – nicht nur bei der Analyse von Informationen. Die Arbeit mit Daten macht wieder Spaß. Dazu wollen datenintensive und HPC-Workloads immer öfter gleichzeitig ein und denselben Speicherpool nutzen. Anwender aus Biowissenschaften, der Genomik, im High-Performance-Computing oder in Branchen wie Medien & Unterhaltung erkennen zunehmend die Vorteile von NFS und SMB. Immer leistungsfähigere Hardware, neue Architekturansätze im Rechenzentrum wie disaggregated composable, Weiter- und Neuentwicklungen von Protokollen (NFSv4, NVMe, CXL) und die moderne Methoden für die Organisation von Workloads eröffnen neue Möglichkeiten in der Datenverarbeitung. Als Sekundär- oder kalter Speicher schon fast in der Versenkung verschwunden, erleben Tape & Co als neuer Primärspeicher eine Renaissance. Die Erforschung neuer Medien für Langzeitspeicher wie DNA oder Glas ist nur ein Zeichen für die neue Relevanz aller Daten.
Die Kosten im Zaum halten
Eine wichtige Rolle im neuen Datenuniversum spielen Dateisysteme. In fast allen modernen Lösungen (u. a. Hammerspace oder VAST) spielen parallele (oder verteilte) Dateisysteme die Hauptrolle. Parallele Filesysteme erlauben zeitgleiche Zugriffe auf Datensätze unabhängig von Rolle, Raum und Anwendung. Konflikte oder Kollisionen gelten als äußerst unwahrscheinlich; müssten dazu doch zwei unterschiedliche Anwendungen exakt in derselben Mikrosekunde auf dasselbe Bit schreibend zugreifen. Geht man von dieser Unwahrscheinlichkeit aus, können Speichersysteme wesentlich günstiger entwickelt werden. Und genau das hat Quantum mit Myriad getan.
Intern nutzt Myriad Microservices auf Containerbasis mit Kubernetes als Scheduler für einzelne Workloads. Das macht die Plattform extrem flexibel und skalierfähig. Es hat aber noch einen weiteren Vorteil: Der Einsatz von de-Facto-Standards wie Kubernetes und Containern erlaubt die Nutzung von kostengünstiger Standard-Hardware. Die All-Flash-Appliances nutzen die PCIe-basierte NVMe-Protokollerweiterung.
Für das Load Balancing setzt Quantum bei Myriad auf Peering und BGP-basiertes Routing. Das kennt man sonst vor allem aus dem Carrierumfeld und großen Telekommunikationsnetzen. Dort werden Daten mit Peering zwischen Netzen ausgetauscht. Das Border Gateway Protocol (BGP) sorgt für die nötige Agilität und verteilt Daten automatisiert über den am schnellsten verfügbaren Weg. Die Lastverteilung auf Netzebene ist weniger komplex und wesentlich robuster als vergleichbare Ansätze auf der Anwendungsebene.
Zielgruppe sind Anwender mit hohen Anforderungen an NFS-Storage mit geringer Latenz. Myriad fügt sich nahtlos in das Portfolio von Quantum ein. So kann z. B. ActiveScale als Data Lake genutzt werden. Quantum-Storage ist kompatibel mit den gängigsten Anwendungen wie Airflow, Spark, PySpark, Tensorflow, mlflow oder PyTorch.
Effektiver Mix verschiedener Speichermedien als Schlüssel zu Einsparungen
Quantum sieht eine effektive Kombination verschiedener Speichermedien und -technologie als Schlüsselelement der Kosteneffizienz. Mit dem richtigen Mix lassen sich laut dem Hersteller ~60% der Kosten gegenüber reinen All-Flash-Speichern einsparen. Quantum geht dabei davon aus, dass auf ca. 30% der Daten zwar regelmäßig, aber eher selten zugegriffen werden muss. Dennoch müssen die Daten gepflegt werden. Etwas mehr als die Hälfte der Daten werden als Archivdaten (also wirklich kalte Daten) betrachtet. Mit ungefähr 10% der Daten arbeiten Unternehmen aktiv. Die Zahlen basieren auf Erfahrungen und Beobachtungen in freier Wildbahn (aka Praxis).
Mit der neuen ActiveScale Z200-Appliance erweitert Quantum sein Portfolio um einen All-Flash-Objektspeicher für S3-native Anwendungsfälle (z. B. geschäftskritische KI- und Massendaten-Workflows). Das neue Produkt soll mit hohem Durchsatz und einer Transaktionsleistung im Exabyteberauch beim Aufbau großer Data Lakes und Storage Clouds helfen und die Speicherung bzw. Aufbereitung großer Mengen von Rohdaten, den Aufbau von KI-Pipelines oder datenintensive Workflows optimieren.
KI und andere datenintensive Geschäftsinitiativen verlangen nach einer einfacheren, leicht zugänglichen Infrastruktur, die sowohl Leistung als auch Kosteneffizienz im großen Maßstab bietet
Bruno Hald, Vice President of Secondary Storage bei Quantum
Die einfach zu verwaltende Plattform nutzt Industriestandard-Server und skaliert nahtlos bei konsistenter Leistung. Milliarden von Objekten, TBs bis EBs sollen in einem einzigen Namespace verwaltet werden können. Das System ist tolerant gegenüber Ausfällen mehrerer Komponenten und ermöglicht rolling Updates sowie unterbrechungsfreie Erweiterungen. Die Verfügbarkeit soll bis zu 19 9s betragen (aktuell bieten die Hyperscaler 11 9s). Erasure Coding mit Geospreading soll unnötige Replikation – und damit vermeidbaren Kosten durch zu viele Kopien – der Daten vorbeugen. Versionierung und Object Lock sorgen für den nötigen Compliance-Faktor. Daten und ihre Bewegungen werden proaktiv überwacht und sind Ende-zu-Ende-verschlüsselt. ActiveStor ist S3/S3 Glacier-kompatibel.
Public Cloud as a Service
Organisationen nutzen Public Clouds häufig als Backup-Ziel oder für die Archivierung. MR Datentechnik wollte seinen Kunden eine sichere Plattform bieten und entwickelte einen Speicherdienst für Backup und Wiederherstellung, Archivierung und Datensicherheit. Der neue Dienst sollte S3-Anwendungen bzw. -Workflows unterstützen und mit gängigen Backup-Lösungen wie z. B. Veeam zusammenarbeiten können. Bei der Entwicklung entschied sich das MR-Datentechnik-Team für Quantum ActiveScale Object Storage als Basis für seinen Datenschutz-konformen Cloudspeicher.
Quantum ActiveScale bietet den zuverlässigen, hoch skalierbaren S3-kompatiblen Objektspeicher, den wir für den Aufbau unseres neuen Speicherdienstes benötigten. Die Plattform ist auch unter hoher Last stabil und bietet eine ausgefeilte Software, die für unsere mandantenfähige Umgebung äußerst nützlich ist.
Jochen Kraus, Geschäftsführer von MR Datentechnik
Vom Edge über die Cloud zum Core
Neu im Portfolio von Quantum sind All-Flash-Backup-Appliances für einen leistungsstarken Schutz und die Wiederherstellung kritischer IT-Infrastrukturen. Die schlüsselfertigen DXi-Boxen gibt es in unterschiedlichen Größen für den Einsatz entweder am Edge oder im Rechenzentrum. DXi Cloud Share unterstützt als Ziel sowohl AWS S3 als auch natürlich die eigene ActiveScale-Welt.
Wir trafen Quantum-CEO Jamie Lerner im März 2024 im Rahmen der IT Press Tour in Denver/Colorado.
Außerdem erhielten wir einen Blick in das beeindruckende Lab des Unternehmens:
