Große Datenmengen in Unternehmen verursachen schnell die ein oder andere Herausforderung. Storage benötigt Platz und kostet Geld. Regulatorische Vorgaben oder langfristige Projekte erfordern die Aufbewahrung von Daten über teils sehr lange Zeiträume. Bis zu 70% der Daten sind inaktiv, auf bis zu 20% wird nur selten zugegriffen.
Hierarchisches Storage Management (HSM) unterstützt Unternehmen nicht nur dabei, Daten intelligent zu verwalten und bei der Einhaltung rechtlicher Vorschriften. Es hilft vor allem, die Kosten im Zaum zu halten.
Legen Sie keine Objekte in Dateisystemen ab. Setzen Sie einen S3-Dienst nicht auf ein Dateisystem.
Thomas Thalmann, Geschäftsführer von PoINT
Was macht ein HSM?
HSM legt Daten automatisiert auf dem am besten geeigneten Speichermedium ab. Dabei berücksichtigt das HSM, wie häufig auf die Daten zugegriffen wird:
- Daten im regelmässigen Zugriff (heiße Daten) werden nahe an der Anwendung oder dem Anwender gespeichert. Um die Zugriffszeiten weiter zu verkürzen, kommen hierbei oft teure SSDs oder Storage Class Memory zum Einsatz.
- Für Daten, auf die nur gelegentlich zugegriffen werden muss (warme Daten), werden häufig günstigere HDD mit höheren Kapazitäten verwendet, die in der Hierarchie nicht so nah an Anwendungen liegen.
- Archivdaten (kalte Daten) werden oft in Tape-Libraries oder extrem günstigem S3-Cloudspeicher (z. B. Amazon S3 Glacier) abgelegt.
Moderne HSM-Systeme bewegen die Daten automatisiert zwischen den verschiedenen Speicherebenen.
Dazu nutzen viele Anbieter Mechanismen des maschinellen Lernens. Neben Zugriffshäufigkeit und Größe der Daten spielen dabei auch Priorität und Compliance-Vorgaben eine Rolle. Mithilfe heuristische Schwellenwerte können sogar Vorhersagen für die Bewegung der Daten getroffen werden (Predictive Analytics).
Intelligente Speicherverwaltung made in Europe
PoINT hat sich von Anfang an auf unstrukturierte Daten konzentriert. Bereits seit 1985 entwickelte man erfolgreich Produkte im Bereich Storage Management und Archivierung – zunächst im Bereich der optischen Speicher, später kamen weitere Medien hinzu. Mit der Entwicklung von innovativen Softwareprodukten für die Archivierung auf optischen Medien hat das Team bei Philips und Digital Equipment maßgeblich bei der Bereitstellung und Standardisierung wesentlicher CD-Technologien mitgewirkt und diese beeinflusst. Im Dezember 1994 als PoINT Software & Systems GmbH gegründet, konzentriert die Firma sich heute auf drei Produkte: Storage Manager, Archival Gateway und Data Replicator.
Mit Version 3.0 hat PoINT den Funktionsumfang seines Tape-basierten Objektspeichers PoINT Archival Gateway erheblich erweitert. Der hochperformante und flexibel skalierbare Objektspeicher nutzt die standardisierte S3 Schnittstelle und kann Daten ohne Zwischenspeicherung auf Festplatten direkt auf Tape schreiben.
Mit der Version 3.0 werden u. a. Object Locking und Object Tagging unterstützt. Object Locks können ein vorzeitiges Löschen von Objektversionen verhindern und stellen so die Einhaltung von Ablauf- oder Sperrfristen sicher. Die Locks können sowohl auf Objekt- als auch auf Bucket-Ebene konfiguriert werden. Neben der Umsetzung rechtlicher Vorgaben erhöhen Objektsperren zudem den Schutz vor Ransomware. Mit Hilfe von Objektmarkierungen (Object Tags) lassen sich gezielt Objekte löschen. Das hilft bei der Festlegung und Umsetzung von Objekt-Lifecycle-Richtlinien.
Außerdem wurde mit der neuen Version die Verarbeitungsgeschwindigkeit gleichzeitiger Anfragen wesentlich gesteigert. Eine andere Erweiterung steigert das Processing insbesondere bei kleineren Objekten und verbessert so die Lastverteilung über mehrere Nodes. Das neu integrierte Syslog-Protokoll schließlich kopiert Systemprotokoll- und Ereignismeldungen in einen zentralen Syslog-Server.
„Für die Weiterentwicklung unserer Software-Lösungen stehen wir immer in engem Kontakt mit unseren Kunden. Mit der neuen Version 3.0 von PoINT Archival Gateway haben wir entscheidende Verbesserungen im Hinblick auf Datensicherheit und Performance erreicht. Die Lösung erfüllt die Anforderungen der Anwender und unterstützt sie auch bei der Bewältigung künftiger Herausforderungen im Storage-Bereich.“
Sebastian Klee, Leiter Marketing & Sales bei PoINT Software & Systems
PoINT Archival Gateway – Unified Object Storage ist ein Software-definierter S3 Objektspeicher, der die Speicherklassen Disk und Tape in einem Single Namespace kombiniert. Die Erweiterung ermöglicht auch Konfigurationen wie Tape-only und Disk-only, mit der Option der späteren Erweiterung um die jeweils andere Speicherklasse. Die Objekte werden mittels AWS S3 kompatibler Lifecycle Policies zwischen den Speicherklassen verschoben. So können die Speichertechnologien ihren spezifischen Eigenschaften entsprechend optimal genutzt werden. In Expiration Policies können Aufbewahrungsfristen festgelegt und die fristgerechte Löschung von Objekten umgesetzt werden.
Keine Einbahnstraße
Objekte, die auf Tape verschoben wurden, können direkt von Tape wieder gelesen werden. Ein Restore auf Festplatte ist ebenfalls möglich. Außerdem kann PoINT Archival Gateway – Unified Object Storage eine automatische Replikation auf Disk und Tape durchführen.
Die Erweiterung um eine Festplatten-Speicherklasse Anwendern eine Vielzahl an weiteren Use Cases. Insbesondere Applikationen, die niedrige Latenzen erwarten, wie z.B. HPC File Systems, bestimmte Backup-Anwendungen und Data Management Lösungen können PoINT Archival Gateway – Unified Object Storage als Zielspeichersystem einsetzen.
Mit der sofortigen Archivierung werden neue Dateien sofort ins Archiv geschrieben. Basierend auf einem Standardprotokoll und der „Pass Through on Read“-Funktion haben Anwendungen und Anwender jederzeit transparenten Zugriff auch auf archivierte Daten. Mit der integrierten Versionierung wird die ursprünglichen Dateiversion bei der Bearbeitung beibehalten. WORM schützt archivierte Dateien vor Änderungen. Mit dem Retention Management können anwendungsgesteuerte Aufbewahrungsfristen durch Setzen des Nur-Lese-Flags und der Zugriffszeit (Mindest-/Standardfrist) konfiguriert werden. Verfallsrichtlinien steuern automatisiertes Löschen oder Verschieben von Objekten, z. B.: Migration von Objekten vom Datenträger auf Band 30 Tage nach Erstellung oder Löschen von Objekten ein Jahr nach Erstellung. Die Produkte nutzen Erasure Coding zum Schutz der Daten.
Kognitives Datenmanagement
Für PoINT stellt Forschung ein zentrales Element dar. Das Unternehmen beteiligt sich an Forschungsprojekten und arbeitet mit renommierten Universitäten zusammen, wie der TU Dresden. Im Rahmen dieser Forschungsprojekte lernt eine kognitiven KI, welche Objekte wo und wann sinnvoll gespeichert werden. Der Launch ist für Q2 2023 geplant.
Auswahlkriterien für eine HSM-Lösung
HSM-Systeme unterscheiden sich meist in der Leistung aber auch in ihrem Funktionsumfang. Folgende Eigenschaften sollte eine geeignete Lösung mindestens haben:
- Verarbeitung von Daten aus unterschiedlichen Quellen und Kanälen
- einheitlicher Namensraum über alle Medien
- Verschlüsselung der Daten
- Schutz vor Ransomware
- Fähigkeit, Daten wiederherzustellen (Disaster Recovery)
- Einsatz on-premises
- Umsetzung gesetzlicher Vorschriften und Richtlinien
- Datenintegritätsfunktionen wie Hashes, Zeitstempel und Journale
- Metadatenindex direkt aus den zu verwaltenden Systemen
- Skalierbareit im PB-Bereich sowie für Milliarden von Objekten
- Herstellerunabhängigkeit
- Einblicke in Merkmale wie Alterung, Zugriffshäufigkeit, Dateitypen, Dateigrößen, usw.
- Verwendung offener oder standardisierter Protokolle
- Redundanz
Cloud is not a storage media!
Wir trafen Thomas Thalmann, Geschäftsführer von PoINT, und Sebastian Klee, Leiter Marketing & Sales, im Rahmen einer IT Press Tour 2023 in Paris.
Mehr von PoINT auf unserem YouTube-Kanal:
Weitere Anbieter von S3-fähigen Bandarchiven sind u. a. StrongLink, XenData sowie die ebenfalls aus Deutschland stammende Lösung XtreemStore von GRAU DATA
