S3 Objektspeicher für Unternehmens-IT

Objektspeicher für Anwendungen, Archive und geschützte Daten

S3 speichert Daten als Objekte in Buckets und stellt sie über eine API bereit. Er eignet sich hervorragend für moderne Anwendungen, Backup-Repositories und große unstrukturierte Datensätze und kann über AWS CLI oder ein integriertes S3 File Manager verwaltet werden

ANWENDUNGEN
BACKUP
AWS CLI + DATEIMANAGER
S3 API · ZUGRIFFSSCHLÜSSEL · RICHTLINIEN
ARCHIVIEREN
BACKUP
APP-DATEN
VERTEILTER OBJEKTSPEICHER · VERSIONIERUNG · AUFBEWAHRUNG
AWS CLI-kompatibelVertraute S3-Befehle
Integrierter DateimanagerNicht herstellerübergreifend standardisiert
SchutzmechanismenVersionierung und Object Lock
Unabhängiges WachstumScale-out-Kapazität
Das Speichermodell

Was unterscheidet ein Objekt?

Ein S3-Objekt kombiniert die Daten selbst, beschreibende Metadaten und einen eindeutigen Schlüssel. Anwendungen greifen über HTTP-basierte API-Operationen auf Objekte zu, anstatt eine herkömmliche Festplatte einzubinden oder ein POSIX-Dateisystem zu durchsuchen

Buckets bilden die oberste administrative Grenze für Zugriff, Kontingente, Versionierung, Lebenszyklus und Aufbewahrungseinstellungen

Ein Objekt besteht aus drei wesentlichen Teilen:

1
NutzdatenDie Datei, das Bild, das Sicherungssegment oder die Anwendungsdaten
2
MetadatenInformationen, die zur Beschreibung, Klassifizierung oder Verarbeitung des Objekts verwendet werden
3
SchlüsselDie eindeutige Kennung, über die die API das Objekt abruft
Zugriffsmodell auswählen

Block, Datei und Objekt ergänzen sich

Die richtige Wahl hängt davon ab, wie die Anwendung auf Daten zugreifen und diese organisieren möchte
Modell Anwendung sieht Am besten geeignet für Wichtige Überlegung
Block Rohdatenvolumen Virtuelle Maschinen, Datenbanken und Host-Dateisysteme Der Host besitzt das Dateisystem und die Struktur
Datei Dateien und Verzeichnisse Benutzerfreigaben, kollaborative Workflows und Anwendungen, die SMB/NFS erwarten Verzeichnis- und Sperrsemantik sind Teil des Dienstes
Objekt / S3 Buckets, Objekte und Metadaten über eine API Anwendungen, Backup, Archiv und große unstrukturierte Datensätze Anwendungen müssen die S3-Semantik oder eine geeignete Integration verwenden
S3 ist kein herkömmliches eingebundenes Dateisystem. Ein Browser ermöglicht die gewohnte Interaktion mit Dateien, während Anwendungen weiterhin die S3-API nutzen
Passt das gut oder schlecht?

Nutzen Sie S3, wenn sein Betriebsmodell einen Mehrwert bietet

Optimale Eignung

  • Backup- und Langzeitarchivierungsspeicher
  • Anwendungsdaten, auf die über eine S3-API zugegriffen wird
  • Archive und große unstrukturierte Datensätze
  • Mediendateien, Forschungsdaten und Datenpipelines
  • Workloads, die von Objektmetadaten und Lebenszyklusregeln profitieren

Betrachten wir ein anderes Zugriffsmodell:

  • Anwendungen, die ein rohes Blockgerät benötigen
  • VM-Datenspeicher, die Block- oder unterstützte Shared-File-Protokolle erwarten
  • Workflows, die von traditionellen Dateisperrungen und POSIX-Semantik abhängig sind
  • Häufige In-Place-Änderungen kleiner Bereiche innerhalb großer Dateien
  • Legacy-Software ohne S3-Unterstützung oder ein qualifiziertes Gateway
Referenzarchitektur

Getrennter Clientzugriff vom verteilten Datenschutz

Der S3-Endpunkt akzeptiert API-Anfragen und leitet Operationen an die Objektschicht weiter. Anwendungen können sich direkt über die S3-API verbinden, während Benutzer ein separates S3 File Manager mit eigener Authentifizierung und Benutzeroberfläche verwenden können

S3-ClientsAnwendungen, Backup-Software, SDKs und AWS CLI verbinden sich direkt über HTTPS mit der S3-API
S3-Service-EndpunkteAuthentifizierung, Bucket-Richtlinien, Kontingente, Protokollierung und Lastverteilung werden auf der Serviceebene angewendet
ObjektdatenebeneObjekte werden mithilfe des ausgewählten Replikations- oder Erasure-Coding-Profils auf die Speicherknoten verteilt
Zwei Zugriffsmöglichkeiten für denselben geschützten Objektspeicher
Direkter Zugriff auf S3
Anwendungen und Tools Backup-Anwendungen, SDKs, AWS CLI und andere S3-kompatible Clients verwenden den für ihre Workload ausgegebenen Endpunkt und die Anmeldeinformationen

Dies ist der normale API-Pfad für automatisierte Systeme und bestehende S3-Integrationen

Separate Benutzeranwendung
Integriert S3 File Manager Der Dateimanager verfügt über ein eigenes Login und ist nicht Teil der Administratorkonsole. Autorisierte Benutzer verbinden sich direkt und arbeiten über einen Browser mit ihren zulässigen Buckets

Wie bei Diensten wie AWS oder Wasabi können Benutzer Buckets erstellen und verwalten, Dateien hoch- und herunterladen, Objekte organisieren und Freigabefunktionen entsprechend ihren Berechtigungen nutzen

AWS CLI mit dem privaten Endpunkt S3 verwenden

AWS CLI auf die Service-URL verweisen und die von der Plattform ausgegebenen Zugriffs- und geheimen Schlüssel verwenden. Bekannte Befehle wie ls, cp und sync Private S3-Speicher können dann adressiert werden, ohne den Datenpfad über AWS zu leiten
aws --endpoint-url https://s3.example.com s3 ls
Die S3-Kompatibilität unterstützt Standard-Workflows für S3, impliziert jedoch keine Unterstützung für jeden AWS-spezifischen Dienst oder jede Erweiterung. Für eine höhere Ausfallsicherheit können Zonen oder Standorte getrennt werden; Multi-Site-Architekturen erfordern eine explizite Bandbreiten-, Latenz- und Wiederherstellungsplanung
Schutz und Aufbewahrung

Versionierung, Object Lock und Backup sind nicht dasselbe

Jede Kontrollmaßnahme deckt ein anderes Risiko ab. Ein robustes Design kombiniert in der Regel mehrere Ebenen
1
Clusterredundanz Gewährleistet die Verfügbarkeit des Dienstes auch bei zulässigen Festplatten- oder Knotenausfällen
2
Versionierung Speichert mehrere Versionen, um einen früheren Objektzustand wiederherzustellen
3
Object Lock / WORM Verhindert bei korrekter Konfiguration das Löschen oder Ändern von Daten während eines definierten Aufbewahrungszeitraums
4
Unabhängige Kopie Schützt vor Datenverlust, administrativen Fehlern und Risiken außerhalb des Speicherclusters
Hochverfügbarkeit ist nicht gleichbedeutend mit Datensicherung Replikation und Erasure Coding gewährleisten die Kontinuität des Dienstes. Sie können jedoch auch versehentliches Löschen oder unerwünschte Änderungen verbreiten, sofern Versionierung, Aufbewahrung und unabhängige Kopien nicht Teil des Designs sind
Governance ohne unnötige Komplexität

Grafische Steuerung von Buckets, Benutzern und Aufbewahrung

Die routinemäßige Administration ist unabhängig von den Befehlszeilentools von S3. Eine grafische Servicekonsole kann Benutzer und Buckets erstellen, Zugriffsschlüssel ausgeben, Quoten anwenden und WORM, Richtlinien, CORS, Lebenszyklusregeln und Zugriffsprotokollierung konfigurieren
IdentitätBenutzer und Zugriffsschlüsselrotation
GrenzenBucket-Zugehörigkeit und -Kontingente
GovernanceRichtlinien, WORM und Lebenszyklus
SichtbarkeitZugriffsprotokollierung und Nutzung
Graphical S3 bucket administration with quota, WORM and lifecycle controlsBucket-Verwaltung in der eEKAS-ServicekonsoleDie Schnittstelle vereint gängige S3-Governance-Aufgaben in einer einzigen Betriebsansicht
Integrated end-user S3 File ManagerIntegrierte Endbenutzer-S3 File ManagerBrowserbasierter Zugriff auf Buckets und Objekte ohne separaten S3-Client
Eine Funktion, die nicht jeder Anbieter bietet:

S3-Zugriff für Benutzer – nicht nur für Anwendungen

Viele Objektspeicherprodukte stellen zwar eine S3-API und eine Administratorkonsole bereit, lassen Endbenutzer jedoch von Drittanbietersoftware abhängig. eEKAS beinhaltet eine browserbasierte S3 File Manager-Oberfläche, sodass autorisierte Benutzer über eine vertraute Schnittstelle mit ihren eigenen Buckets arbeiten können Für den täglichen Objektzugriff sind weder Kommandozeilenkenntnisse noch ein lokal installierter S3-Client erforderlich
  • Buckets und Ordner erstellen
  • Objekte hochladen, herunterladen, umbenennen, kopieren, verschieben und löschen
  • Ordner als ZIP-Archive herunterladen
  • Vorab signierte Links und kontrollierte öffentliche URLs erstellen
  • Objektdetails und verfügbare Versionen überprüfen
  • Bucket-Versionierung, WORM, Lebenszyklus- und Kontingentoptionen verwalten
Anwendungsmuster

Wo Enterprise S3 praktischen Nutzen bietet

Backup-Repositories Speichern von Backup-Objekten mit Versionsverwaltung und Aufbewahrungssteuerung gemäß der Backup-Anwendung und der Wiederherstellungsrichtlinie
Archivierung und Compliance Unveränderliche Objekte für definierte Zeiträume aufbewahren und Lebenszyklusübergänge oder Ablauf gezielt verwalten
Anwendungsdaten Bereitstellung eines S3-kompatiblen Endpunkts für Cloud-native und datenorientierte Anwendungen
Medienbibliotheken Organisieren großer Mengen an Bildern, Videos und Dokumenten mithilfe von Objektschlüsseln und Metadaten
Forschung und Analyse Skalierbare Repositories für Datensätze erstellen, die von mehreren Verarbeitungstools genutzt werden
Private Objektdienste Kontrollierten Zugriff innerhalb einer Organisation ermöglichen, ohne ausschließlich auf eine öffentliche Cloud angewiesen zu sein
Die passende Plattform auswählen

Premium, HA Cluster und eEKAS erfüllen unterschiedliche Anforderungen

Alle drei Plattformen bieten Zugriff und eine S3-Plattform, verwenden jedoch unterschiedliche Speicherarchitekturen und bieten unterschiedliche Kontingent- und Abrechnungsfunktionen
Plattform Architektur Kontingentoptionen S3 File Manager Abrechnungsfunktionen Empfohlene Verwendung
euroNAS Premium Einzelserver-Betriebssystem Storage Bucket-Kontingent Enthalten Nicht enthalten Standalone- oder interne Dienste S3 mit einfachen Anforderungen
euroNAS HA Cluster Hochverfügbares Speicherpaar Bucket-Anzahl-Kontingent Eingeschlossen Nicht eingeschlossen Interne S3-Dienste, die eine hohe Speicherverfügbarkeit erfordern
eEKAS Ceph-basierter verteilter Scale-Out-Cluster Storage-Kapazitäts- und Bucket-Anzahl-Kontingente Eingeschlossen Nutzungserfassung und Abrechnungsexport Scale-out Enterprise S3 und kundenorientierte MSP- oder Cloud-Provider-Dienste
Alle drei Plattformen beinhalten S3 File Manager. Premium und HA Cluster können die Anzahl der Buckets beschränken, weisen jedoch kein Speicherkapazitätskontingent zu und bieten keine Abrechnungsfunktionen. eEKAS unterstützt beide Kontingenttypen sowie die Nutzungserfassung und den Abrechnungsexport
Empfehlung für MSPs und Cloud-Provider: Verwenden Sie eEKAS Der auf der MSP-Seite beschriebene Workflow für die Kundenabrechnung, die Nutzungsberichte und die anpassbare Endbenutzer-Version von S3 File Manager gehören zum Servicemodell eEKAS. Premium und HA Cluster bleiben gültige S3-Optionen für einfachere interne Anforderungen, stellen jedoch nicht die empfohlene Grundlage für einen kommerziellen Mehrkunden-S3-Dienst dar.
Implementierungsbeispiel

eEKAS kombiniert Ceph-Objektspeicher mit einer operativen Serviceschicht

eEKAS wird hier als praktisches Beispiel verwendet, da euroNAS die Plattform ist, die wir im Detail kennen. Die zugrunde liegenden Konzepte – S3-Endpunkte, Buckets, Schlüssel, Richtlinien, Versionierung und Aufbewahrung – bleiben auch auf andere Enterprise-Objektspeicherarchitekturen anwendbar Die Plattform erweitert einen verteilten Ceph-Speichercluster um grafische Bereitstellung, Serviceüberwachung und lastverteilten Zugriff
S3-ServicekonsoleBenutzer, Buckets, Schlüssel, Kontingente und Richtlinien
Integrierter S3-BrowserBenutzerzugriff ohne Befehlszeilentools
SchutzfunktionenVersionierung, WORM- und Lebenszykluseinstellungen
ServiceausfallsicherheitLastverteilte Endpunkte und Optionen für mehrere Standorte
Objektsteuerung in Aktion

Versionsverlauf und Bucket-Verwaltung

Diese Ansichten zeigen, wie Benutzer eine frühere Objektversion wiederherstellen und den Schutz- und Lebenszyklusstatus eines Buckets überprüfen können
Andere Zielgruppe, separate Seite

Planen Sie, S3 als Managed Service anzubieten?

Die kommende MSP-Seite konzentriert sich auf die Kundentrennung, die Nutzungserfassung, den Export von Abrechnungsdaten und eine anpassbare, gebrandete Endbenutzer-Oberfläche für S3 File Manager
S3 für MSPs entdecken →

Definieren Sie den Dienst S3, bevor Sie die Kapazität auswählen

Aufbewahrung, Objektgröße, Zugriffsmuster, Wachstum, Standorttopologie und Wiederherstellungserwartungen bestimmen die richtige Architektur
Die technischen Konzepte basieren auf dem Zugriffsmodell S3 und dem verteilten Objektspeicher Ceph. Produktfunktionen und unterstützte Konfigurationen hängen von der aktuellen Version euroNAS und der qualifizierten Architektur ab. Die Kompatibilität mit S3 impliziert keine Zugehörigkeit zu Amazon Web Services.
Nach oben scrollen