Forschungsbericht 2011 - Max Planck Computing and Data Facility (MPCDF)

Hochleistungsrechnen, wissenschaftliche Visualisierung und Datendienste

Autoren
Dohmen, Renate; Kennedy, John; Lederer, Hermann; Rampp, Markus; Reuter, Klaus; Schott, Andreas
Abteilungen
Rechenzentrum Garching, Garching
Zusammenfassung
Das RZG optimiert komplexe Anwendungscodes aus den Bereichen Plasmaphysik, Astrophysik, Materialwissenschaften und anderen Disziplinen für den Einsatz auf massiv-parallelen Hochleistungsrechnern und leistet Unterstützung für Visualisierung, Exploration und quantitative Analyse von Simulationsdaten. Einen weiteren Schwerpunkt bilden Datenmanagement und -services. In beiden Bereichen ist das RZG maßgeblich an Projekten auf MPG-, nationaler und europäischer Ebene beteiligt.

1 Hochleistungsrechnen

Das RZG betreibt einen Hochleistungsrechnerkomplex, bestehend aus einem Power6-System mit 6624 Prozessoren und einem Blue-Gene/P-System mit 16384 Prozessorkernen, sowie zahlreiche große Linux-Cluster, die mittlerweile auch dem Hochleistungsrechnen zugerechnet werden müssen. Neben der Administration der Systeme ist auch die Benutzerunterstützung eine wesentliche Aufgabe des RZG. Diese erfolgt durch die Applikationsgruppe, die vor allem Unterstützung für rechenintensive, in der Regel parallele Applikationen leistet. Die Arbeit gliedert sich in drei Teilbereiche:

•    Basisversorgung: Bereitstellung und Pflege von Entwicklungssoftware und Tools zur Erstellung und Optimierung von parallelen Programmen und zur Visualisierung von Simulationsergebnissen.
•    Anwendungsunterstützung im Hochleistungsrechnen: Optimierung von Codes, Behebung von Problemen zur Compile- und Laufzeit, Mitwirkung bei Visualisierung und graphischer Aufbereitung von Daten, Evaluierung neuer paralleler Programmiertechniken und -modelle und Beratung bei deren Einsatz. Aktuell wird z. B. die Eignung von Graphikprozessoren (GPUs) als Beschleunigerprozessoren für numerisch-intensive Applikationsteile untersucht.
•    Projektunterstützung: Beratung und Durchführung von EDV-basierten Projekten mit umfassenderen Anforderungen, vielfach in Kooperation mit mehreren Partnern an verschiedenen Instituten.

1.1 Anwendungsoptimierung im Hochleistungsrechnerbereich

Der Bereich der Anwendungsoptimierung am RZG beinhaltet vielfältige Herausforderungen mit unterschiedlichsten Anforderungsprofilen. So müssen z. B. bereits parallele Codes, etwa aus der Materialforschung, der Plasmaphysik oder der Astrophysik, bzgl. Skalierbarkeit optimiert und algorithmisch für die Verwendung auf Supercomputern mit sehr hoher Prozessorzahl vorbereitet werden. Darüber hinaus werden existierende, sequentielle Applikationen parallelisiert und durch algorithmische Maßnahmen beschleunigt. Im Folgenden werden zwei aktuelle Projekte zu ausgewählten Codes beschrieben.

1.1.1 S/PHI/nX-Code

Einen neuartigen Ansatz im Bereich des Hochleistungsrechnens verfolgt die S/PHI/nX-Bibliothek, die am Max-Planck-Institut für Eisenforschung (MPIE) zur Ab-initio-Berechnung von Materialeigenschaften entwickelt wird. Es handelt sich um eine C++-Klassenbibliothek, die es Anwendern erlaubt, nach kurzer Einarbeitungszeit eigene DFT-Simulationscodes in physiknaher Programmierweise zu schreiben. Die relativ einfache Nutzbarkeit der Bibliothek wird durch die Eigenschaften der Sprache C++ gewährleistet, während hohe Rechenleistung, die bisher meist reinen Fortran-Codes vorbehalten war, durch geschicktes Code-Design und die Nutzung von optimierten numerischen Bibliotheken erzielt wird.

Die ursprünglich serielle S/PHI/nX-Bibliothek wurde am RZG mithilfe des message passing interface (MPI) parallelisiert, wobei besonderes Augenmerk auf die Beibehaltung der klaren, nach Klassen gegliederten, objektorientierten Struktur gelegt wurde. Im aktuellen Entwicklungszustand können bereits einige Knoten eines typischen Linux-Clusters zur parallelen Berechnung effizient genutzt werden. Dadurch reduziert sich die Dauer von typischen Simulationen von Tagen auf wenige Stunden. Neben der Parallelisierung wurde zur Verbesserung der Performance Unterstützung für verschiedene maschinenoptimierte numerische Bibliotheken implementiert. Im Dialog mit den S/PHI/nX-Autoren am MPIE werden gegenwärtig Strategien zur weiteren Parallelisierung und Beschleunigung entworfen, die in Zukunft im Code umgesetzt werden sollen.

1.1.2 GPEC: Entwicklung eines schnellen Lösers für die Grad-Shafranov-Gleichung

In Tokamak-Fusionsmaschinen wie ASDEX Upgrade (AUG) spielen Methoden zur aktiven Beeinflussung des Fusionsplasmas eine immer entscheidendere Rolle. Um z. B. während einer Plasmaentladung störende Instabilitäten des Plasmagleichgewichts zu lokalisieren und aktiv „ausheizen“ zu können, muss die Verteilung des magnetischen Flusses bekannt sein. Dieser kann mithilfe von experimentell gemessenen Größen und der numerischen Lösung der Grad-Shafranov-Gleichung, einer partiellen Differentialgleichung zweiter Ordnung, in einem iterativen Verfahren berechnet werden. Die Lösung dieser zweidimensionalen Poissongleichung muss dabei notwendigerweise in „Echtzeit“, d. h. bei AUG auf einer Sub-Millisekunden-Zeitskala geschehen, was mit den bislang eingesetzten numerischen Verfahren nicht oder nur in grober Näherung möglich war. In Zusammenarbeit mit dem IPP wurde am RZG ein neuer, paralleler Algorithmus implementiert, der auf einem aktuellen Mehrkernprozessor bei einer typischen Gitterauflösung von 32x64 Zonen weniger als 0,05 Millisekunden für eine Lösung der Grad-Shafranov-Differentialgleichung benötigt. Damit ist es nun erstmals möglich, innerhalb des Steuerungszyklus von AUG (ca. 1 Millisekunde) zuverlässig konvergierte Lösungen der Grad-Shafranov-Gleichung zu erhalten und daraus die Steuerungsgrößen zu berechnen. Das neue Programm GPEC (Garching Parallel Equilibrium Code) beruht ausschließlich auf quelloffener Software, was insbesondere im Hinblick auf einen zukünftigen Einsatz beim europäischen Fusionsexperiment ITER eine unabdingbare Voraussetzung darstellt.

1.2 Visualisierung wissenschaftlicher Daten

Das RZG betreibt für die Max-Planck-Gesellschaft und das IPP eine zentrale Soft- und Hardwareinfrastruktur zur Visualisierung und quantitativen Analyse von Simulationsdatensätzen. Seit Oktober 2010 steht am RZG ein spezielles Visualisierungscluster für Remote-Visualisierung zur Verfügung. Unabhängig vom Typ, der Leistung und dem Standort des PCs eines Wissenschaftlers kann dieser über das Internet auf den Supercomputern des RZG generierte Simulationsdaten mithilfe der besonders leistungsfähigen Graphikhardware des Clusters interaktiv analysieren. Das RZG unterstützt Wissenschaftler bei der Nutzung dieser Ressourcen und übernimmt konkrete Visualisierungsprojekte. Eine Auswahl von Projekten mit wesentlichen Beiträgen durch das RZG-Visualisierungsteam ist unter http://ww.rzg.mpg.de/visualisation/scientificdata/projects dokumentiert.

Als aktuelles Beispiel sei hier ein gemeinsames Visualisierungsprojekt mit den Max-Planck-Instituten für extraterrestrische Physik (MPE) und für Astrophysik (MPA) skizziert: Zum Studium der Strukturbildung im frühen Universum werden dort Simulationen (SPH-Verfahren) durchgeführt, die sehr große Datenmengen (1-100 Terabytes pro Simulation) produzieren. Die Visualisierung derartiger Datensätze ist unerlässlich für den wissenschaftlichen Erkenntnisgewinn und für die Kommunikation der Resultate, gleichzeitig stellt sie wegen der Größe und Komplexität der Daten enorme Anforderungen an die beteiligte Hard- und Software und ist somit selbst als Teil des Höchstleistungsrechnens anzusehen. Um die Wissenschaftler hierbei zu unterstützen, beteiligt sich das RZG aktiv an der Weiterentwicklung und Parallelisierung des SPH-Raytracing-Tools Splotch, das ursprünglich am MPA entwickelt wurde. Als wichtigster technischer Beitrag ist hier die verteilte Parallelisierung der Teilcheninterpolation zu nennen, die es nun ermöglicht, Filme von aktuellen Simulationen mit mehreren Milliarden SPH-Teilchen rendern zu können. Dafür wird nahezu der gesamte Hauptspeicher des Visualisierungsclusters (ca. 1 TB) benötigt. In Kooperation mit der Max-Planck-Forschungsgruppe TMoX am MPE (Leitung: S. Khochfar) wurden damit bereits umfangreiche Datensätze aus den FiBY-Simulationen (FiBY: The First Billion Years) visualisiert (Abb. 1).

 

2 Datendienste

Datendienste in vielfältigen Formen sind für zahlreiche Projekte von stetig steigender Bedeutung. Insbesondere das exponentielle Wachstum der Datenmengen, die Notwendigkeit der Sicherstellung langfristig sicherer Archivierung bestimmter Daten und der abgesicherte weltweite Zugriff stellen Herausforderungen dar. Dem wird im RZG durch entsprechende Datendienste Rechnung getragen, von denen im Folgenden einige Aspekte näher ausgeführt werden.

2.1 Langzeitarchivierung

Garchinger Max-Planck-Institute nutzen die Möglichkeiten der Langzeitarchivierung schon seit Langem, mit gespeicherten Daten, die teilweise älter als 30 Jahre sind. Seit mehreren Jahren archivieren auch andere Max-Planck-Institute ihre wichtigen Daten langfristig am RZG (mindestens 50 Jahre). Zu den ersten Nutzern zählen vor allem geisteswissenschaftliche Institute: Das Deutsche Kunsthistorische Institut in Florenz speichert digitalisierte Bilder, die Biblioteca Hertziana in Rom Scans der Bibliotheksbestände, das MPI für Psycholinguistik in Nimwegen archiviert Video- und Tondokumente aussterbender Sprachen. Aus der technisch-physikalischen Sektion nutzt das Halbleiterlabor des MPE die Möglichkeit zur Speicherung der Messdaten vom SLAC. Zur Erhöhung der Datensicherheit werden seit Längerem die Archive zwischen RZG und Leibniz-Rechenzentrum (LRZ) gespiegelt. Um die Archivierung stark wachsender Datenmengen auch in Zukunft effizient handhaben zu können, wurde auf eine neue Archivierungssoftware (HPSS, High Performance Storage System) umgestellt, die an weltweit führenden Datenzentren eingesetzt wird.

2.2 Hierarchisches Filesystem

Für den Großteil der zu archivierenden Daten wird ein sogenanntes hierarchisches Filesystem zur Speicherung eingesetzt. Dabei werden die Daten automatisch von Plattensystemen auf Bänder aus- und auch wieder eingelagert. Sowohl das weltweit zugängliche AFS (Andrew File System) als auch das IBM GPFS (Global Parallel File System), die im RZG verwendet werden, haben eine entsprechende Schnittstelle verfügbar. Die Migration der Daten erfolgt seit 2011 im bereits erwähnten leistungsstarken HPSS.

2.3 Datenprojekte mit Beteiligung des RZG

Das RZG beteiligt sich aktiv an verschiedenen nationalen und internationalen Projekten, die sich mit den vielfältigen Herausforderungen auf dem Gebiet des Datenmanagements auseinandersetzen. Einige Projekte seien hier stellvertretend genannt:

•    Galformod (MPG-Projekt): In Zusammenarbeit mit dem Max-Planck-Institut für Astrophysik (MPA) wird eine Infrastruktur entwickelt und betrieben, die den Zugang und die Nutzung von international bedeutenden astrophysikalischen Simulationsdaten, die unter der Leitung von Simon White in einer Datenbank bereitgestellt werden, unterstützt. Über eine reine Datenbanklösung hinaus wird ein Framework, bestehend aus Datenbank, Rechen- und Speicherkapazität, zur Verfügung gestellt, das es dem Benutzer erlaubt, komplexe Workflows zur Datenanalyse aufzusetzen.
•    MPG-AAI (MPG-Projekt): Mit diesem Projekt soll zum einen der Zugang zu den Zeitschriften von außerhalb der Institute erleichtert werden. Zum anderen erlaubt die dabei implementierte Infrastruktur der Authentifizierung (Shibboleth) aber auch die Nutzung zur Kontrolle des Zugriffs auf andere Ressourcen. So wird damit z. B. auch der Zugriff auf die PyRAT-Datenbank für das MPI für Neurobiologie und das MPI für Biochemie kontrolliert und koordiniert.
•    Clarin-D (BMBF-Projekt): Schwerpunkt ist die Verbesserung der informationellen Infrastruktur für forschende Sozialwissenschaften bzw. allgemein der Geisteswissenschaften. Dies geschieht in enger Zusammenarbeit mit entsprechenden europäischen Initiativen aus dem ESFRI (European Strategic Forum on Research Infrastructures). Ziel ist eine virtuelle Forschungsumgebung, die aufbauend auf neue Kommunikationstechnologien nicht nur zur Verbesserung der Arbeitsproduktivität führt, sondern vor allem neue Formen der Zusammenarbeit zwischen Wissenschaftlern und innovative Forschungsansätze ermöglicht.
•    DARIAH-DE (BMBF-Projekt): Zielsetzung ist der Aufbau einer nachhaltigen interdisziplinären Forschungsinfrastruktur vor allem für Kunst und Geisteswissenschaften. Auch dieses Projekt agiert im Rahmen der ESFRI-Planungen. Bisher getrennte Aktivitäten sollen auch disziplinübergreifend durch technische Infrastrukturen verknüpft werden. Der Aufbau einer entsprechenden Infrastruktur basiert auf vorhandenen digitalen Ressourcen, Diensten und Erkenntnissen.
•    EUDAT (EU-Projekt): Zielsetzung ist der Aufbau einer europäischen Datenspeicherungsinfrastruktur. Neben verschiedenen Anbietern von Diensten und Ressourcen, also vornehmlich den Rechenzentren, sind hier gleichberechtigt auch die potenziellen wissenschaftlichen Nutzer beteiligt. Die aktuell beteiligten Partner repräsentieren Klimaforschung, Erdbebenforschung, Umweltforschung, Linguistik und biologische und medizinische Forschung.

      3 Projektbeteiligungen auf nationaler und internationaler Ebene

      Über die bereits vorgestellten Projekte mit Schwerpunkt im Datenmanagement hinaus ist das RZG an weiteren, EDV-basierten Projekten beteiligt, die etwa die Erarbeitung und den Einsatz neuartiger Software-Techniken oder die Inbetriebnahme umfangreicher Tools erfordern und vielfach eine Site-übergreifende Infrastruktur zum Ziel haben. Im Folgenden werden einige Beispiele für derartige Projekte vorgestellt.

      3.1 Das Hochenergiephysik-Projekt ATLAS des CERN

      Das MPI für Physik (MPP) ist aktiver Partner im ATLAS-Experiment des LHC-Projekts am CERN in Genf. Eine besondere Herausforderung dieses Projekts besteht darin, Tausenden von beteiligten Mitarbeitern weltweit Zugang zu den Petabytes an Daten zu verschaffen, die von dem ATLAS-Detektor aufgenommen werden sollen. Dazu wurde ein hierarchisches Computing-Grid aus sogenannten Tiers (Ebenen) aufgebaut. Das RZG und drei Partner-Institute, LMU, MPP und LRZ, betreiben gemeinsam das Munich-Tier2-Gridzentrum für das Worldwide LHC Computing Grid (WLCG) des CERN. Die Rechnerinfrastruktur und die Grid-Services sind dabei in den Rechenzentren RZG und LRZ angesiedelt, wobei jedes Zentrum den gesamten Umfang an Grid-Services zur Verfügung stellt, sodass das System über vollständige Redundanz verfügt.
      Über die Rolle als Standard-Tier2-Zentrum hinaus fungiert das Munich-Tier2-Gridzentrum als Muon Calibration Center. Diese Aufgabe beinhaltet die schnelle Verarbeitung vom CERN gelieferter Daten und die Rücksendung der resultierenden, für den ATLAS-Detektor bestimmten Kalibrierungskonstanten zum CERN. Das Munich-Tier2-Zentrum ist eines von nur drei solchen Kalibrierungszentren weltweit. Insofern ist es wichtig, dass die für diese Aufgabe benötigten zusätzlichen Services extrem stabil laufen und dass darüber hinaus jede Site in der Lage ist, die Last der anderen Site mit zu übernehmen, falls diese ausfällt.

      3.2 Neue, hoch-skalierbare Eigenwertlöser (BMBF-Projekt ELPA)

      Eigenwertlöser für symmetrische Matrizen spielen auf verschiedenen wissenschaftlichen Gebieten eine wichtige Rolle, werden aber bei großen Simulationen leider oft zum entscheidenden Engpass, wie  beim FHI-aims-Paket des Fritz-Haber-Instituts für Ab-initio-MD-Simulationen oder wie bei der Analyse technischer und biologischer Netzwerke am MPI für Mathematik in den Naturwissenschaften. Diesem Problem hat sich im BMBF-Projekt ELPA ein multidisziplinäres Wissenschaftler-Team von der Uni Wuppertal, der TU München, dem Fritz-Haber-Institut, dem MPI für Mathematik in den Naturwissenschaften,  IBM Deutschland und dem RZG gewidmet. Das Team hat neue Verfahren für direkte Löser entwickelt, die deutlich besser als die entsprechenden – quasi state-of-the-art – ScaLAPACK-Routinen skalieren und auch eine bessere Leistung pro Prozessorkern aufweisen. Die neuen Löser wurden auf dem Blue-Gene/P-System am FZ Jülich bis zum Einsatz auf der Gesamtmaschine (294 912 Cores) erfolgreich getestet, wie auch auf weiteren Rechnerarchitekturen wie Cray XE6 oder Linux-Clustern mit Infiniband-Interconnect. Über die Web-Page http://elpa.rzg.mpg.de wurden die neuen Löser unter einer LGPL-Lizenz öffentlich verfügbar gemacht und bereits von Wissenschaftlern von renommierten Institutionen weltweit angefordert.

      3.3 Supercomputing im europäischen Verbund (EU-Projekt PRACE-2IP)

      Durch die EU-Projekte DEISA und DEISA2 unter RZG-Beteiligung war von 2004 bis 2011 eine europäische Supercomputing-Infrastrukur aufgebaut und betrieben worden, basierend auf nationalen Hochleistungsrechnern (Tier-1). PRACE, Partnership for Advanced Computing in Europe, hatte kürzlich begonnen, europäische Supercomputer der höchsten Leistungsklasse (Tier-0) zu etablieren und hat nun im Rahmen des EU-PRACE-2IP-Projektes (erneut mit RZG-Beteiligung) begonnen, die bereits etablierten Tier-1-Dienste fortzuführen und in ein europäisches Supercomputing-„Ökosystem“ zu integrieren. MPG-Wissenschaftler nehmen weiterhin Tier-1-Rechenressourcen in Anspruch und engagierten sich bereits bei der ersten Nutzung von Tier-0-Systemen.

      3.4 Projekte aus den Biowissenschaften

      Das RZG stellt für die MPG eine umfangreiche Soft- und Hardwareinfrastruktur für Bioinformatik-Anwendungen zur Verfügung (www.migenas.mpg.de). Neben der fortlaufenden Pflege und Weiterentwicklung der Software und des zugehörigen Datenbestandes unterstützt das RZG zahlreiche Arbeitsgruppen aus der Max-Planck-Gesellschaft und ihre Kooperationspartner (aktuell z. B. MPI für Biophysik, Frankfurt/Main; MPI für Ornithologie, Außenstelle Radolfzell; MPI für Biochemie, Martinsried; MPI für Pflanzenzüchtungsforschung, Köln; MPI für terrestrische Mikrobiologie, Marburg) und ist an mehreren wissenschaftlichen Projekten beteiligt. Mithilfe der Infrastruktur waren u. a. die im Jahr 2011 publizierten mikrobiellen Genome von Thermoproteus tenax und Haloquadratum walsbyi annotiert und analysiert worden.
      Darüber hinaus betreibt das RZG im Rahmen verschiedener Kollaborationen mehrere Webserver und Portale und berät die Projektgruppen z. B. bei Fragen zu Software- und Datenbankdesign, zu relevanten Technologien sowie zu Sicherheitsaspekten. Als Beispiele seien hier die Webanwendung AlignMe (www.bioinfo.mpg.de/AlignMe, MPI für Biophysik) zur Alignierung von Membranproteinen und die vom MPI für Biochemie und der LMU München initiierten Portale Euclis (www.bioinfo.mpg.de/euclis/) und MCTQ (www.bioinfo.mpg.de/mctq/), letztere mit prominenten Anwendungen in der Chronobiologie, genannt.

      Zur Redakteursansicht