Forschungsbericht 2011 - Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen (GWDG)

Herausforderungen moderner Datenspeicherung

Autoren
Eckhard Handke; Reinhard Sippel
Abteilungen
Arbeitsgruppe "IT-Infrastruktur" (AG-Leiter: Dr. Eckhard Handke)
Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen (GWDG)
Zusammenfassung
Die Datenflut im wissenschaftlichen Umfeld ist wegen ihres enormen Wachstums eine ständige Herausforderung an Speicherkonzepte. Der Artikel beschreibt das bei der GWDG eingesetzte Speichernetzwerk und globale Dateisystem mit integrierter Bandarchivierung. Diese Kombination ermöglicht es, den Instituten schnellen, ausfallsicheren und jederzeit erweiterbaren Speicher aktueller Technologie anzubieten.

1. Einleitung

Die „digitale Revolution“ ist in vollem Gange und erfasst inzwischen nahezu alle Wissenschaftsbereiche. Die damit einhergehende Flut an wissenschaftlichen Daten stellt schon auf Grund der schieren Menge und des enormen Wachstums – die Menge der zu speichernden Daten verdoppelt sich ca. alle 18 Monate – eine Herausforderung an Speichertechniken und -konzepte dar. Beispielsweise erzeugen moderne Sequenziermaschinen, wie sie in den Biowissenschaften (Life Sciences) in zunehmendem Maße bei der Genanalyse zum Einsatz kommen, einige TeraByte Primärdaten pro Tag. Diese Daten werden dann mithilfe leistungsfähiger Rechner (häufig Spezialsysteme wie Parallelrechner) zur weiteren Aufarbeitung aufwendigen numerischen Analysen unterzogen, um anschließend gemäß den DFG-Empfehlungen zur „Sicherung guter wissenschaftlicher Praxis“ für mindestens zehn Jahre auf haltbaren und gesicherten Trägern aufbewahrt zu werden. Die Datenspeicherung sollte daher so erfolgen, dass ein schneller, simultaner Zugriff von räumlich getrennten Instanzen (Sequenziermaschine im Labor und Parallelrechner im Rechenzentrum) möglich ist und darüber hinaus die automatische Abspeicherung der Primärdaten auf haltbare, sichere Medien (wie z. B. Magnetbandkassetten) sichergestellt ist. Traditionelle Speicherverfahren mittels zentraler, mit ausreichend Massenspeicher ausgestatteter Fileserver, auf die via Internet-Protokoll von den beteiligten Instanzen zugegriffen wird (NAS-Konzept), können diesen Anforderungen nur bedingt gerecht werden. Das wissenschaftliche Umfeld in Göttingen weist viele über das Stadtgebiet verteilte, aber in gemeinsamen Forschungsprojekten kooperierende Gruppen sowohl der Max-Planck-Gesellschaft als auch der Georg-August-Universität Göttingen auf. Hier können mit der GWDG als gemeinsamem IT-Service-Zentrum deutlich leistungsfähigere Konzepte realisiert werden. In diesem Artikel wird das mithilfe eines sogenannten Speichernetzwerkes (Storage Area Network, kurz SAN) und eines geeigneten SAN-Dateisystems für die Anforderungen der Göttinger Max-Planck- und Universitäts-Institute optimierte Speicherkonzept dargestellt.

2. Allgemeines über globale Dateisysteme

In einer SAN-Umgebung sind Rechner und Storagesysteme über Switches durch Fibre-Channel-Kabel (Glasfasernetz) verbunden. Ein solches Netzwerk wird Fabric genannt. Globale Dateisysteme ermöglichen in einer SAN-Umgebung mehreren Klienten von heterogenen Plattformen, gemeinsam auf dieselben Massenspeicherressourcen zuzugreifen.

Durch Verwendung eines globalen Dateisystems kann der Fileservice redundant aufgebaut werden, sodass beim Ausfall eines Rechners ein anderer die entsprechenden Funktionalitäten übernehmen kann. Die redundante Auslegung der Umgebung erlaubt die Wartung einzelner Systeme, ohne den Produktionsbetrieb zu unterbrechen. Aus Sicht des Nutzers bietet ein globales Dateisystem als wesentlichen Vorteil eine einheitliche und transparente Sicht von verschiedenen Systemen auf seine Daten.

Die SAN-Architektur, die Betriebsoberflächen der Speichersysteme und die globalen Dateisysteme stellen Administrationswerkzeuge zur Verfügung, mit deren Hilfe die Massenspeicherressourcen zentral verwaltet werden können. Die globalen Dateisysteme bieten die Möglichkeit, die Datenbereiche im laufenden Betrieb zu vergrößern.

Die Kombination von SAN mit einem globalen Dateisystem bietet somit für den Betrieb von Fileservern folgende Vorteile:

  • Erhöhung der Ausfallsicherheit
  • Reduzierung der Ausfälle wegen Wartung
  • Verbesserung der Datenzugriffszeiten
  • Verringerung des administrativen Aufwands
  • Verbesserung der Skalierbarkeit des Massenspeichers

3. Konzept des StorNext-Dateisystems

Als globales Dateisystem setzt die GWDG das StorNext-Filesystem (SNFS) der Firma Quantum ein. Die zentralen Komponenten der StorNext-Dateisystem-Umgebung bilden zwei Metadaten-Server, die als Cluster mit Fail-Over-Betrieb konfiguriert sind. Die Metadaten-Server werden auch als MDC (Meta Data Controller) bezeichnet. Zwischen den beiden  Metadaten-Servern besteht eine Heartbeat-Verbindung (über TCP/IP). Fällt ein Server aus, so werden dessen Funktionalitäten vom anderen Server übernommen. Um die Serverressourcen ökonomisch einzusetzen, betreibt die GWDG die Metadaten-Server als active-active-Cluster; das heißt, im Normalbetrieb (nicht Fail-Over-Fall) werden von beiden Servern aus Dateisysteme an die Klienten über das SAN zur Verfügung gestellt. Zur Lastverteilung wird die Menge der Dateisysteme etwa gleichmäßig auf die beiden Metadaten-Server verteilt.

Sowohl die Meta- als auch die Nutzdaten befinden sich auf Massenspeichersystemen, die am SAN angeschlossen sind. Der Zugriff auf die Daten erfolgt über Fibre Channel.

Die SAN-Klienten haben über Fibre Channel nur Zugriff auf die Nutzdaten. Die Synchronisation der Metadaten zwischen den beiden Servern sowie zwischen einem Server und einem SAN-Klienten erfolgt über TCP/IP.

Neben der Anbindung über Fibre Channel erlaubt das SNFS auch den Anschluss von Klienten über Ethernet. Dies wird durch sogenannte Distributed LAN Clients (DLC) ermöglicht. Für den Einsatz von DLCs müssen in der SNFS-Umgebung vorhandene SAN-Klienten als sogenannte Proxy Server oder Distributed LAN Client Server deklariert werden. Die Proxy Server haben die Platten über SAN im Zugriff. Die Versorgung der DLCs mit Massenspeicher geschieht dann über eine Ethernetverbindung zwischen DLC und Proxy Server.

4. Die StorNext-Umgebung der GWDG

Abbildung 1 gibt einen Überblick über die StorNext-Produktionsumgebung der GWDG. Die zentralen  Komponenten bilden die vier MDCs. Um die Anforderungen an den hohen Gesamtdurchsatz, insbesondere der Parallelrechner-Cluster, erfüllen zu können, werden zurzeit vier Rechner als MDC eingesetzt, wobei jeweils zwei als ein Cluster mit HA-Funktionalität (HA = High Availability) konfiguriert sind. Der Massenspeicher wird über zehn NFS-Server (neun bei der GWDG, einer am Max-Planck-Institut für biophysikalische Chemie (MBPC), Göttingen) und zwei Samba-Server für Windows-Anwendungen angeboten. Des Weiteren stehen sieben Proxy Server für die Anbindung der Parallelrechnerknoten als LAN-Klienten zur Verfügung. Das MBPC betreibt sieben XSAN-Klienten unter Mac OS X für den Fileservice des Medien-Service und der NMR2. Ein Rechner des Göttinger Digitalisierungszentrums (GDZ) ist als direkter SAN-Klient in die Umgebung eingebunden.

Eine Spezialanwendung bildet die Versorgung des NAS-Filer-Systems (BlueArc) mit externen NFS-Speichers über StorNext; dieser Speicher wird für Datenreplikationen genutzt.

Die zentralen Komponenten der integrierten HSM-Komponente für den Archivservice sind die MDCs, das Bandkassetten-Robotsystem und ein Rechner, der als sogenannter Data Mover eingesetzt wird. Der Data Mover transferiert die Daten von Platten auf Bänder. Um den Anwendern einen leistungsfähigen Zugang zu Archivdaten über FTP und NFS zu ermöglichen, wurde ein weiterer Rechner als FTP- und NFS-Server in die StorNext-Umgebung integriert. Von den Archivdaten wird jeweils eine Bandkopie an einem redundanten Standort gehalten.

Von den insgesamt 2.100 TeraByte Plattenplatz im SAN-System der GWDG werden 550 TeraByte durch StorNext zur Verfügung gestellt. Das über StorNext ebenfalls verfügbare Bandarchiv umfasst zurzeit 440 TeraByte.

4.1 Einbettung der StorNext-Umgebung in das SAN der GWDG

Auf die über das SAN zur Verfügung gestellten Speicherbereiche kann wie auf lokale Platten zugegriffen werden. Die SAN-Umgebung der GWDG ist redundant aufgebaut; das heißt, alle Rechner können über zwei völlig unabhängige Zugriffswege auf die Speichersysteme zugreifen. Fällt im Fehlerfall ein Weg aus, so erfolgt der Zugriff über den anderen und der Anwendungsbetrieb bleibt davon ungestört.

Im Speichernetz der GWDG sind Massenspeichersysteme integriert, die sich aus Gründen der Verfügbarkeit an räumlich getrennten Standorten befinden.

Um die Massenspeicherressourcen flexibel und effizient verwalten zu können, setzt die GWDG das Produkt NSS (Network Storage Server, IPStor) der Firma FalconStor als Speichervirtualisierung ein. In die Virtualisierung können Plattenbereiche von  Speichersystemen unterschiedlicher Hersteller eingebunden werden. Auf diesen physikalischen Speicherbereichen können logische Speicherbereiche definiert werden, die an Rechnern mit unterschiedlichen Hardware-Architekturen und unterschiedlichen Betriebssystemen freigegeben werden. Aus der Sicht der Rechner zeigt sich die Speichervirtualisierung wie ein großes, einheitliches Speichersystem.

4.2 Integration des Parallelrechner-Clusters in die StorNext-Umgebung

Die GWDG betreibt mehrere Parallelrechner-Cluster, bestehend aus ca. 500 Rechenknoten. Eine Herausforderung besteht darin, die erzeugten Daten auf Plattensystemen zu speichern. Um einen hohen Gesamtdurchsatz zu erzielen, ist es notwendig, die I/O-Last (I/O = Input/Output) über mehrere Massenspeichersysteme zu verteilen. Hierfür bietet StorNext die Möglichkeit, in einem Dateisystem sogenannte Stripe Groups zu definieren, die die Last über mehrere Plattensysteme verteilen. Zurzeit sind bei der GWDG die Dateisysteme so definiert, dass für ein einzelnes Dateisystem die I/O-Last über acht Plattensysteme verteilt wird.

Die Parallelrechnerknoten sind über LAN mit sieben Proxy Servern verbunden, die wiederum über SAN die Verbindung zu den Massenspeichersystemen herstellen.

Die Integration des Parallelrechner-Clusters in die StorNext-Umgebung bietet folgende Vorteile:

  • Die UNIX-Home-Directories für allgemeine und  Parallelrechner-Anwendungen werden unter einem gemeinsamen Dateisystem verwaltet.
  • Gute Performance-Werte: Durch den Einsatz von StorNext DLCs wird zur Zeit ein I/O-Gesamtdurchsatz von 1,6 GigaByte/s erreicht, der im ersten Quartal 2012 durch eine Umrüstung der SAN-Infrastruktur auf 3,2 GigaByte/s erhöht werden soll.
  • Gute Skalierbarkeit bezüglich des  I/O-Gesamtdurchsatzes
  • Der Einsatz von StorNext DLCs bietet ein Loadbalancing über die Knoten und vollständige HA-Funktionalität.
  • Durch die Integration in die Speichervirtualisierung kann Massenspeicher flexibel vergeben werden.
  • Gute Skalierbarkeit bezüglich Massenspeichervergrößerungen

Zukünftig werden Durchsatzraten von 10 GigaByte/s angestrebt.

5. Der StorNext Storage Manager

5.1 Die HSM-Funktionalität von StorNext

Der StorNext Storage Manager vereinigt das StorNext-Dateisystem mit einer HSM-Komponente (HSM = Hierarchical Storage Management). Unter einem hierarchischen Speichermanagement versteht man eine Speichertechnik, die es ermöglicht, Daten automatisch zwischen Speichermedien unterschiedlicher Zugriffszeiten zu verschieben. So können Daten, auf die über einen längeren Zeitraum nicht zugegriffen wurde, automatisch auf ein kostengünstigeres, aber weniger schnelles Speichermedium (z. B. Bandkassetten) ausgelagert werden. Die Auslagerung der Daten kann über anwendungsspezifische Regeln (Policies) gesteuert werden.

5.2 Einsatz des StorNext Storage Managers für den Archivservice

Der Archivserver dient der längerfristigen Massendatenhaltung. Er umfasst ein Bandkassetten-Robotsystem sowie einen Plattenspeicher. Mihilfe spezieller Speicherverwaltungssoftware  ist ein  transparenter Zugriff auf die im Archiv befindlichen Dateien realisiert. Bis auf längere  Zugriffszeiten (einige Minuten) bleibt dem Nutzer verborgen, dass es sich bei dem verwendeten Speichermedium um Bandkassetten handelt. Der Archivservice ist vollständig in das globale UNIX-Dateisystem integriert. Man kann mit dem Archiv wie mit einem gewöhnlichen UNIX-Verzeichnis arbeiten. Die Archivdaten können als ein Netzlaufwerk über Samba in Windows-Systeme eingebunden werden.

Der Plattenspeicher dient als Cache und damit der Zwischenablage archivierter Dateien: Im Archiv erzeugte Dateien werden zunächst im Cache gespeichert und erst anschließend automatisch auf Kassette kopiert. Die Verweildauer einer  Datei im Cache hängt von ihrer Größe, ihrem Alter und dem Füllungsgrad des Caches ab.

Seit vielen Jahren betreibt die GWDG einen Archivservice, der den Benutzern als UNIX-Home-Directory ($AHOME) zur Verfügung gestellt wird. Wegen des Ablaufs des Lizenzvertrages für  das Softwareprodukt DiskXtender (Unitree) wurde dieser Service jetzt auf das Produkt  StorNext Storage Manager umgestellt. Vorteile des StorNext Storage Managers gegenüber anderen Lösungen sind:

  • Die Möglichkeit der Binärkonvertierung der Archivdaten
  • Die Migration ist für die Benutzer völlig transparent; sie können wie gewohnt auf das Archiv über $AHOME zugreifen.
  • Das Archiv wird durch den  StorNext Storage Manager  vollständig in den UNIX-Fileservice (SNFS) integriert.
  • Gute Skalierbarkeit
  • Einfache Erweiterung um zusätzliche Funktionalitäten (z. B. Snapshots und Checksums)

Mittelfristig plant die GWDG, die HSM-Komponente des StorNext Storage Managers auch für  andere Dateisysteme als das Archiv einzusetzen. Hierdurch können effizientere Backup-Strategien verfolgt werden. Damit können dann auch sehr große Dateisysteme nach einem möglichen Ausfall von Massenspeicherkomponenten innerhalb kurzer Zeit wieder in Betrieb gehen.

6. Anwendungen in der StorNext-Umgebung

Das globale Dateisystem ermöglicht es der GWDG, den Instituten der Max-Planck-Gesellschaft Massenspeicherressourcen effizient zur Verfügung zu stellen. Aus Sicht des Nutzers handelt es sich dabei einfach um sein UNIX-Verzeichnis oder Windows-Netzlaufwerk, das beliebig vergrößert werden kann, automatisch gesichert wird und auf allen gewünschten Systemen nutzbar ist.

6.1 Anwendungen des globalen Dateisystems

Die folgenden von der GWDG angebotenen Dienste setzen auf das StorNext-Dateisystem auf:

  • Der UNIX-Fileservice
  • Der Samba-Service:  Zugriff auf UNIX-Dateisysteme vom Windows Active Directory
  • Fileservice für das Parallelrechner-Cluster
  • Archivservice
  • Virtuelle Webseiten
  • Speichern von Audio-, Video- und Bilddateien für das Max-Planck-Institut für Psycholinguistik, Nijmegen/Niederlande und das Max-Planck-Institut für biophysikalische Chemie, Göttingen

6.2 Massenspeicherzuweisung mithilfe von Funktions-Accounts

Eine einfache, aber sehr effiziente Methode der Massenspeicherzuweisung ist der NFS-Export von Benutzer-Home-Directories an Rechner in Instituten. Das Verzeichnis wird von einen NFS-Server (fs-user1) an die entsprechenden NFS-Klienten exportiert. Der Zugriff von mehreren Benutzern auf denselben Datenbereich kann durch die Einrichtung eines gemeinsamen Funktions-Accounts realisiert werden. Die Integration von Windows-Systemen erfolgt über den Samba-Service.

Die Vergrößerung des Massenspeicherbereichs wird einfach durch Erhöhung der User-Quota (durchaus viele TeraByte) durchgeführt. Dies ist möglich, da das auf dem NFS-Server eingesetzte StorNext-Dateisystem jederzeit im laufenden Produktionsbetrieb unterbrechungsfrei vergrößert werden kann.

Der Einsatz benutzerspezifischer NFS-Exports ist insbesondere für Applikationen in der Server-Virtualisierung interessant.

Zur Redakteursansicht