Hochleistungsrechnen, Datendienste und Visualisierung

1 Hochleistungsrechnen

Das RZG betreibt einen Hochleistungsrechnerkomplex, seit 2007 bestehend aus einem Blue-Gene/P-System mit 16.384 Prozessorkernen und einem Power6-System mit 6.624 Prozessoren. Als erster Teil eines Nachfolgesystems wurde im Oktober 2012 ein Intel-Sandy-Bridge-basiertes Linux-Cluster mit 9.700 Kernen in Betrieb genommen. Außerdem werden zahlreiche große Linux-Cluster verschiedener Institute betrieben. Eine wesentliche Aufgabe des RZG stellt die Anwendungsunterstützung dar. Diese umfasst

1)      die Optimierung von Codes, Mitwirkung bei Visualisierung und grafischer Aufbereitung von Daten, Evaluierung neuer paralleler Programmiertechniken und ‑modelle wie beispielsweise für den Einsatz von Beschleuniger-Coprozessoren für numerisch-intensive Applikationsteile,

2)      Projektunterstützung, vielfach in Kooperation mit mehreren Partnern an verschiedenen Instituten.

1.1 Anwendungsoptimierung im Hochleistungsrechnerbereich

Der Bereich der Anwendungsoptimierung am RZG beinhaltet vielfältige Herausforderungen mit unterschiedlichsten Anforderungsprofilen. So müssen zum Beispiel bereits parallele Codes, etwa aus der Materialforschung, der Plasmaphysik oder der Astrophysik, bezüglich ihrer Skalierbarkeit optimiert und algorithmisch für die Verwendung auf Supercomputern mit sehr hoher Prozessorzahl vorbereitet werden. Darüber hinaus werden existierende, sequenzielle Applikationen parallelisiert, durch algorithmische Maßnahmen beschleunigt und auf neue Hard- und Softwaretechnologien vorbereitet. Aktuell gilt es bei der Applikationsentwicklung unter anderem, den folgenden beiden Technologieentwicklungen im Hochleistungsrechnen zu berücksichtigen: Supercomputer der aktuellen Generation sind als sogenannte Cluster realisiert, deren einzelne Knoten jeweils ein oder mehrere Prozessoren mit Dutzenden von Kernen und einem gemeinsamen Hauptspeicher vereinen. Die Knoten ihrerseits sind über ein Kommunikationsnetzwerk verbunden. Dieser Topologie entsprechend werden zunehmend hybride Programmiermodelle favorisiert, die explizite Datenverteilung über die Prozessoren oder Knoten sowie Kommunikation mittels MPI (Message Passing Interface, der etablierte Standard für verteilte Parallelisierung) in Kombination mit Thread-basierter Programmierung (zum Beispiel OpenMP) innerhalb der einzelnen Prozesse beinhalten. Das sogenannte flache Programmiermodell, das auf reiner MPI-Kommunikation basiert, ohne explizit Bezug zur Knotenebene zu nehmen, beginnt insbesondere mit der immer größer werdenden Zahl von Prozessorkernen an seine Grenzen zu stoßen. Auf Ebene der Knoten beginnen sich sogenannte Beschleuniger-Coprozessoren zu etablieren, die ein großes Potenzial zur Steigerung der Rechenleistung eines Knotens bei gleichzeitig hoher Energieeffizienz versprechen. Im Folgenden werden exemplarisch ausgewählte Projekte zu diesen Themengebieten vorgestellt.

1.1.1 Hybride Parallelisierung eines Navier-Stokes-Codes für direkte numerische Simulationen (DNS)  von Turbulenzphänomenen

In der Max-Planck-Forschungsgruppe „Komplexe Dynamik und Turbulenz“ (Björn Hof, Max-Planck-Institut für Dynamik und Selbstorganisation, Göttingen) wurde ein pseudospektraler Simulationscode zur Lösung der Navier-Stokes-Gleichung für inkompressible Flüssigkeiten entwickelt. Der Code wird beispielsweise für grundlegende Untersuchungen zur Turbulenz bei hohen Reynoldszahlen in Rohren eingesetzt. Im originalen, reinen MPI-Code war die Zahl der MPI-Prozesse und damit die durch Parallelisierung maximal erzielbare Steigerung der Rechengeschwindigkeit durch die Zahl der radialen Zonen (typischerweise wenige Hundert) des numerischen Gitters begrenzt. Mithilfe von OpenMP wurde nun eine zusätzliche Ebene der Parallelität eingeführt, die dieses Hemmnis beseitigt. Die neue, hybride Parallelisierung erlaubt es etwa auf dem  Hochleistungsrechner der Max-Planck-Gesellschaft, jedem MPI-Prozess bis zu 16 Prozessorkerne beziehungsweise OpenMP-Threads zuzuweisen. Insgesamt wird damit – bei gegebener Problemgröße – bereits eine Beschleunigung des Codes um mehr als einen Faktor zehn erreicht. Zudem konnte demonstriert werden, dass das hybride Parallelisierungskonzept die erwarteten Vorteile bei der MPI-Kommunikation bringt. Der zu einer globalen Matrixtransposition verwendete, kollektive „MPI_alltoall“-Datenaustausch erfolgt nun nur noch zwischen ganzen Prozessoren und nicht mehr zwischen allen beteiligten Prozessorkernen, was die Kommunikationszeiten deutlich reduziert. Auf dem Hochleistungsrechner der Max-Planck-Gesellschaft werden damit neue Anwendungen mit bis zur maximalen Zahl von 8.192 Prozessorkernen bei hoher paralleler Effizienz möglich.

1.1.2 Neue Beschleuniger- beziehungsweise Coprozessorarchitekturen: NVidia GPU und Intel MIC (Xeon Phi)

Mit Grafikkarten (GPUs) und Coprozessoren, basierend auf Intels „Many Integrated Cores“-(MIC)-Architektur, haben zwei konzeptionell ähnliche, hochparallele Prozessorarchitekturen Einzug ins wissenschaftliche Hochleistungsrechnen genommen und werden weltweit bereits in vielen Großrechnern eingesetzt. Beiden Technologien ist gemein, dass sie – im Vergleich zu konventionellen Mehrkernprozessoren (CPUs) – mit sehr vielen, hinsichtlich Taktfrequenz und Instruktionssatz aber reduzierten Recheneinheiten sehr große Rechenleistungen erzielen können, und das mit hoher Energieeffizienz. Um dieser Entwicklung Rechnung zu tragen, wurden am RZG im Laufe des Jahres 2012 ausgewählte HPC-Applikationen hinsichtlich ihrer Eignung für solche Architekturen evaluiert. Für die in der Max-Planck-Gesellschaft entwickelten Applikationen GENE (Mikroturbulenz in magnetisierten Kernfusions- oder astrophysikalischen Plasmen, Max-Planck-Institut für Plasmaphysik) und VERTEX (Typ-II-Supernova, Max-Planck-Institut für Astrophysik) beziehungsweise MNDO (Quantenchemie, Max-Planck-Institut für Kohlenforschung) konnten auf mit jeweils zwei GPUs beziehungsweise Intel-MIC-Coprozessoren ausgestatteten Rechenclustern bereits Beschleunigungsfaktoren von etwa zwei erreicht werden.

1.1.3 Hoch-skalierbare Eigenwertlöser-Bibliothek ELPA

Im ELPA-Projekt waren – vom BMBF gefördert – hochskalierende direkte Eigenlöser für symmetrische Matrizen entwickelt worden. Die frei verfügbar gemachte Software wird inzwischen weltweit für verschiedenste Simulationssoftwarepakete auf Supercomputern eingesetzt. Je nach wissenschaftlicher Problemstellung kommen Matrizen ganz unterschiedlicher Größe und Art zum Einsatz. Bislang gab es nur Leistungsmessungen für die Lösung bestimmter Matrizen und unter Einsatz von Rechensystemen, die inzwischen nicht mehr zu den allerneuesten Architekturen zählen. Deshalb wurde für einen großen Matrizenbereich ein multidimensionaler Parameterraum zum ersten Mal systematisch vermessen (auf einem Intel-Sandy-Bridge-Cluster am RZG). Die ELPA-Löser wurden mit entsprechenden Routinen aus der Intel Math Kernel Library (MKL) verglichen. Variiert wurden die Matrizengrößen von 2.500 bis 100.000, die Zahl der zu berechnenden Eigenvektoren von 10 bis 100 Prozent, sowohl für reelle, wie für komplexe Fälle. Gemessen wurden Leistungen auf einem Rechenknoten (mit 16 Prozessorkernen) bis zu 128 Knoten (mit 2.048 Prozessorkernen). In allen Fällen war ELPA den entsprechenden MKL-Routinen deutlich überlegen. Die umfangreiche Studie wurde in Form einer Posterpräsentation auf der Supercomputing-Konferenz 2012 in Salt Lake City vorgestellt und stieß auf reges internationales Interesse.

1.2 Visualisierung wissenschaftlicher Daten

Das RZG betreibt für die Max-Planck-Gesellschaft und das Max-Planck-Institut für Plasmaphysik (IPP) eine zentrale Soft- und Hardwareinfrastruktur zur Visualisierung und quantitativen Analyse von Simulationsdatensätzen. Unabhängig vom Typ, der Leistung und dem Standort seines PCs kann ein Wissenschaftler über das Internet Simulationsdaten, die auf den Großrechnern des RZG generiert wurden, mithilfe der besonders leistungsfähigen Grafik-Hardware des Clusters interaktiv analysieren. Das RZG unterstützt Wissenschaftler bei der Nutzung dieser Ressourcen und übernimmt konkrete Visualisierungsprojekte.

Als aktuelles Beispiel sei hier ein gemeinsames Visualisierungsprojekt mit dem Max-Planck-Institut für Ornithologie genannt. Die Abteilung „Tierwanderungen und Immunökologie“ (Martin Wikelski) erforscht die Wanderungen und Überlebensstrategien von Individuen. Es werden unter anderem Vogelzüge mithilfe von GPS-Loggern aufgezeichnet. Die dadurch gewonnenen Daten werden dann mit Geo-Daten korreliert. Am RZG wurde zur Veranschaulichung der Methodik eine Animation erstellt. Sie zeigt zunächst eine Menge von Punkten im 3D-Raum. Sie symbolisieren die einzelnen Messpunkte eines GPS-Loggers, der auf dem Rücken eines Vogels angebracht wurde. Durch eine Verbindung dieser Punkte zeigt sich im Anschluss die Route des Vogels, danach erscheint das Gitternetz einer Erdkugel, gefolgt von einer farblich codierten 3D-Topografie. Zuletzt wird ein durch Pfeile visualisiertes Strömungsfeld der Winde eingeblendet. Der zweite Teil der Animation zeigt die genannten Elemente gemeinsam im Zeitverlauf. Die Flugroute des Vogels erschließt sich dem Betrachter als eine von den Windverhältnissen beeinflusste Reaktion auf die topographischen Gegebenheiten (Abb. 1).

2 Datendienste

Die Speicherung und Bereithaltung von komplexer und umfangreicher werdenden Datenmengen stellt für alle Wissenschafts- und Forschungsorganisationen eine große Herausforderung dar. Zahlreiche Institute der Max-Planck-Gesellschaft haben hohe Anforderungen im Datenbereich (Abb. 2), was zunehmend auch die Unterstützung durch die IT-Zentren der MPG erforderlich macht.

Das RZG beteiligt sich daher am Aufbau und der Verbesserung der Datenservice-Infrastruktur innerhalb der Max-Planck-Gesellschaft, beispielsweise um die Replikation von Daten zwischen Instituten und IT-Zentren für die Zwecke Datensicherung, Langzeitarchivierung und verteilte Verfügbarkeit zu vereinfachen. Die Bereitstellung von Forschungsdaten für die Wissenschaftler der Max-Planck-Gesellschaft und ihre nationalen und internationalen Kollaborationspartner steht dabei ebenso im Fokus wie diverse Unterstützungsleistungen bei Datenakquisition, ‑management, ‑suche, ‑auswertung und ‑aufbereitung. Daher arbeitet das RZG in entsprechenden Projekten von Max-Planck-Instituten mit. Darüber hinaus engagiert es sich in nationalen und europäischen Projekten und Initiativen, die auf die Lösung bestehender und zukünftiger Herausforderungen hinarbeiten. Generell werden die Dienste des RZG in drei Kategorien unterteilt: die Behandlung und Speicherung von Daten in Form von Bitströmen, die Behandlung von Datenobjekten mitsamt Metadaten sowie die projektspezifische Unterstützung.

2.1 Datenspeicherung – Datensicherung und Langzeitarchivierung

Die Datensicherung und insbesondere die langfristige Speicherung von Daten erfolgt am RZG auf der Basis des High Performance Storage System (HPSS), das sehr hohen Anforderungen hinsichtlich Speicherkapazität, Verfügbarkeit, Zuverlässigkeit, I/O-Performanz und Skalierbarkeit genügt und deshalb weltweit von großen Datenzentren eingesetzt wird. Neu akquirierte Daten werden zumindest als Replikate vornehmlich dort abgelegt. Ältere Datenbestände werden langfristig von anderen Speichermedien in dieses System überführt. Zur Erhöhung der Datensicherheit bei Langzeitarchivierung wird eine Kopie in das Archivsystem am Leibniz-Rechenzentrum abgelegt. Für die Übertragung in das HPSS stehen verschiedene Schnittstellen zur Verfügung. Am häufigsten wird derzeit die Möglichkeit genutzt, Dateien auf der Basis bestimmter Regeln transparent – also vom Nutzer unbemerkt – und automatisch zwischen dem auf Plattenspeichersystemen aufsetzenden Dateisystem GPFS (Global Parallel Filesystem) und dem HPSS zu übertragen (Datenmigration, hierarchisches Speichermanagement).

2.2 Datenmanagement – Daten und Metadaten

Die Behandlung von Daten und Metadaten erfordert im Allgemeinen die Zusammenarbeit mit den jeweiligen Dateneignern beziehungsweise Urhebern. Das RZG stellt allerdings Hilfsmittel bereit, die allgemein zur Ablage und Organisation unterschiedlich strukturierter Daten (und Metadaten) genutzt werden können. Im Wesentlichen sind dies verteilte, zum Teil hierarchische Dateisysteme (GPFS, AFS) und Datenbanken. Das RZG unterstützt auch die Entwicklung und den Betrieb von projektspezifischen Werkzeugen und Diensten für das Management von Daten.

Neben den verteilten Dateisystemen wird zunehmend die Software iRODS (integrated Rule-Oriented Data System) zur Replikation und Verteilung von Daten – auch zwischen HPSS und anderen Speichersystemen – eingesetzt. iRODS ermöglich es, Datenobjekte automatisiert auf der Grundlage von Regeln zu verarbeiten (replizieren, verteilen, aggregieren, prozessieren, kurieren). Letztlich sind damit komplexe Workflows möglich, da alle Daten einheitlich angesprochen werden können. Ein weiteres wichtiges Anwendungsbeispiel ist die automatische Zuordnung von Datenobjekten zu eindeutigen, persistenten Identifizierern (PID).

2.3 Nationale und internationale Datenprojekte mit Beteiligung des RZG

In dem europäischen Projekt EUDAT arbeiten Datenzentren wie das RZG und das Deutsche Klimarechenzentrum (DKRZ) und wissenschaftliche Institute wie das Max-Planck-Institut für Psycholinguistik und das Max-Planck-Institut für Meteorologie zusammen, um eine europäische Dateninfrastruktur aufzubauen. EUDAT beabsichtigt, die Organisation von Forschungsdaten und entsprechende Dienste in einer umfassenden, disziplinübergreifenden Weise abzudecken. Das betrifft unter anderem Klima-, Erdbeben- und Umweltforschung, Sprachwissenschaften sowie biologische und medizinische Forschung. Auch hier wird iRODS zur Verwaltung, Verarbeitung und Replikation von registrierten Daten verwendet, die über PIDs eindeutig und dauerhaft identifizierbar gemacht worden sind. Das RZG koordiniert den Aufbau des Betriebs der EUDAT-Infrastruktur und ist an der Bereitstellung von Datendiensten und der Weiterentwicklung benötigter Techniken führend beteiligt.

Das RZG ist in weitere Projekte mit ähnlichen Zielsetzungen involviert. Dies sind auf dem Gebiet der Geisteswissenschaften die Projekte Clarin-D und DARIAH-DE des Bundesministeriums für Bildung und Forschung (BMBF), die in die Planungen der ESFRI (European Strategic Forum on Research Infrastructures) eingebunden sind. Mit dem EU-Projekt iCORDI sollen auf globaler Ebene Dateninfrastrukturen interoperabel gemacht werden, damit Daten für viele Disziplinen weltweit gleichartig zur Verfügung stehen. Der erleichterte Austausch von Daten soll zudem die Vernetzung verschiedener wissenschaftlicher Disziplinen und dadurch auch die wissenschaftliche Qualität der Forschung stärken.

2.4 MPG-Datenprojekte mit Beteiligung des RZG

Neben diesen Aktivitäten, die vornehmlich noch Aufbau und Entwicklung einer Infrastruktur für das Datenmanagement adressieren, realisiert das RZG mit weiteren Instituten datenprojektspezifische Softwareentwicklungen. So wurde mit dem Max-Planck-Institut für Astrophysik im Projekt Galformod zusammengearbeitet. Zur weiteren Auswertung der astrophysikalischen Simulationsdaten werden diese über eine Datenbank auf Rechnern zur Verfügung gestellt, die den Nutzern komplexe Workflows zur Datenanalyse erlauben.

Zusammen mit dem Max-Planck-Institut für Ornithologie bietet das RZG verschiedene Dienste an. Für das Institut in Radolfzell wird eine Umgebung von Rechnern bereitgestellt, die Daten zur Dokumentation des Vogelflugs beziehungsweise von Tierbewegungen allgemein öffentlich verfügbar macht (movebank.org). Für das Institut in Seewiesen, an dem eine große Anzahl von Aufzeichnungen von Vogelstimmen vorliegt, wird gemeinsam eine Schnittstelle erarbeitet, mit der diese Daten leichter verwaltet werden können. Darüber hinaus wird das RZG auch eine zweite Kopie dieser Daten archivieren.

3 Projektbeteiligungen auf MPG-, nationaler und internationaler Ebene

Über die bereits vorgestellten Projekte mit Schwerpunkt im Datenmanagement hinaus ist das RZG an weiteren, EDV-basierten Projekten beteiligt, die etwa die Erarbeitung und den Einsatz neuartiger Software-Techniken oder die Inbetriebnahme umfangreicher Tools erfordern und vielfach eine Site-übergreifende Infrastruktur zum Ziel haben. So betreibt das RZG zusammen mit dem Max-Planck-Institut für Physik, dem Leibniz-Rechenzentrum (LRZ) und der Sektion Physik der LMU das Munich-Tier2-Gridzentrum für das Worldwide LHC Computing Grid (WLCG) des CERN. In diesem Projekt wird gemeinsame Rechenleistung für die Teilchenphysik-Experimente des CERN und die nötige Infrastruktur für den Zugriff auf die gemeinsamen Datenbestände bereitgestellt, die von vielen Instituten und Tausenden von Wissenschaftlern weltweit genutzt werden. Das RZG beteiligt sich auch am EU-Projekt PRACE (Partnership for Advanced Computing in Europe). Zusätzlich zu den neuen, dezidierten Tier-0-Systemen betreibt PRACE seit September 2011 die von früheren EU-DEISA-Projekten (ebenfalls unter Beteiligung des RZG) aufgebaute europäische Tier-1-Rechnerinfrastruktur, basierend auf nationalen HPC-Systemen. Wissenschaftler der Max-Planck-Gesellschaft beteiligten sich bereits rege an Projekten zur Nutzung der Tier-0- und Tier-1-Ressourcen von PRACE. Des Weiteren ist das RZG an zwei Projekten der Max-Planck-Gesellschaft beteiligt: MPG-AAI zum Aufbau einer MPG-weiten und föderalen Infrastruktur zur Zugriffskontrolle auf geschützte Web-Ressourcen sowie maxNet, dem internen sozialen Netzwerk der Max-Planck-Gesellschaft. Speziell für Bioinformatik-Anwendungen stellt das RZG eine umfangreiche Soft- und Hardwareinfrastruktur zur Verfügung und unterstützt zahlreiche Arbeitsgruppen aus der Max-Planck Gesellschaft (aktuell zum Beispiel das MPI für Biophysik, Frankfurt/Main; das MPI für Ornithologie, Außenstelle Radolfzell; das MPI für Biochemie, Martinsried; das MPI für Pflanzenzüchtungsforschung, Köln sowie das MPI für terrestrische Mikrobiologie, Marburg).