Forschungsbericht 2015 - Max Planck Computing and Data Facility (MPCDF)

Hochleistungsrechnen und Unterstützung datenintensiver Wissenschaften

Autoren
Dohmen, Renate; Lederer, Hermann; Rampp, Markus; Ritz, Raphael
Abteilungen
Max Planck Computing and Data Facility (MPCDF), Garching (vorher Rechenzentrum Garching (RZG))
Zusammenfassung
Die MPCDF (vorher RZG) optimiert komplexe Anwendungscodes aus Materialwissenschaften, Lebenswissenschaften, Astrophysik, Plasmaphysik und anderen Disziplinen für den Einsatz auf massiv-parallelen Hochleistungsrechnern und bietet Unterstützung beim Datenmanagement für alle Phasen des Lebenszyklus von Forschungsdaten sowie für die Visualisierung und Exploration von Simulationsdaten. Die MPCDF ist maßgeblich an Projekten auf MPG-, nationaler und europäischer Ebene beteiligt.

1 Hochleistungsrechnen

Nach dem Endausbau des MPG-Hochleistungsrechners an der MPCDF verfügt dieser über ca. 80 000 Rechenkerne vom Typ Intel Sandy/Ivy Bridge sowie 676 NVidia-Kepler-K20X-GPUs und 24 Intel-Xeon-Phi-Karten mit einer aggregierten Peakleistung von 2,8 PetaFlop/s. Zusätzlich werden große Linux-Cluster für zahlreiche Max-Planck-Institute aus ganz Deutschland betrieben. Eine wesentliche Aufgabe der MPCDF stellt die Anwendungsunterstützung dar. Die Kernaufgabe beinhaltet die Optimierung von Codes und die Mitwirkung bei Visualisierung und grafischer Aufbereitung von Daten, auch für Rechnerarchitekturen und Systeme, die nicht an der MPCDF, sondern an den Instituten oder anderen Zentren weltweit im Einsatz sind. Dies geschieht in der Regel in enger Zusammenarbeit von MPCDF-Experten und Code-Entwicklern an den Instituten.

1.1 Anwendungsoptimierung im Hochleistungsrechnerbereich

Im Bereich der Anwendungsoptimierung der MPCDF werden bereits parallele Codes, etwa aus der Materialforschung, der Plasmaphysik oder der Astrophysik, bezüglich ihrer Skalierbarkeit optimiert und algorithmisch für die Verwendung auf Supercomputern mit sehr hoher Prozessorzahl oder auf neuen Prozessorarchitekturen wie z. B. GPU oder Xeon Phi vorbereitet. Existierende, sequenzielle Applikationen werden parallelisiert, durch algorithmische Maßnahmen beschleunigt und auf neue Hard- und Softwaretechnologien vorbereitet. Darüber hinaus werden Wissenschaftler zum effizienten Einsatz von Applikationen auf einem jeweils geeigneten Hochleistungsrechnersystem beraten und bei der Vor- und Nachbereitung von umfangreichen Produktionsrechnungen aktiv unterstützt, beispielsweise durch systematische Benchmarks beziehungsweise mit der Implementierung und Anwendung von Visualisierungskonzepten.

Im Laufe des Jahres wurden signifikante Beiträge unter anderem zu den folgenden Anwendungen geleistet: Parallelisierung neu implementierter Methoden im DFT-Code FHI-aims aus dem Fritz-Haber-Institut, Erhöhung der parallelen Skalierbarkeit des Supernovacodes VERTEX aus dem Max-Planck-Institut für Astrophysik auf 131 000 Prozessorkerne, algorithmische Weiterentwicklung des Mikroturbulenzcodes GENE auf Stellarator-Geometrie und Parallelisierung des Randschichtcodes SOLPS, beide aus dem Max-Planck-Institut für Plasmaphysik, GPU-Portierung besonders rechenintensiver Algorithmen der DFT-Klassenbibliothek S/PHI/nX aus dem Max-Planck-Institut für Eisenforschung, Weiterentwicklung der Klassenbibliothek H5xx für Datenein- und ‑ausgabe aus dem Max-Planck-Institut für Intelligente Systeme, hybride Parallelisierung des Dynamocodes MagIC aus dem Max-Planck-Institut für Sonnensystemforschung, verteilte Parallelisierung des neuen C++-Codes BioEM zur Bayes’schen Modellierung elektronenmikroskopischer Bilder des Max-Planck-Instituts für Biophysik. Die beiden letztgenannten Projekte werden nachfolgend ausführlicher dargestellt.

1.1.1 Hybride Parallelisierung des MagIC-Codes

Der am Max-Planck-Institut für Sonnensystemforschung entwickelte MagIC-Code dient zur Simulation eines Geo- oder planetaren Dynamos. Die entsprechenden Gleichungen werden in den beiden Winkelkoordinaten in Kugelflächenfunktionen entwickelt, in der radialen Richtung werden Chebyshev-Polynome zur Lösung verwendet. Der Code war ursprünglich nur mit OpenMP parallelisiert und somit auf (große) Shared-memory-Maschinen begrenzt. Ausgehend von dieser Version wurde am Rechenzentrum eine hybride MPI/OpenMP-Version entwickelt. Dabei konnte durch aufwendige Umstrukturierungen im Code eine ausgezeichnete Lastbalance erreicht werden, und der Gesamtcode skaliert gut. Für ein großes Beispielproblem konnte die Rechenzeit im Vergleich zum ursprünglichen OpenMP-Code mit 16 Threads auf 720 Cores skaliert werden, die Laufzeit verkürzte sich um den Faktor 34. Das entspricht einer parallelen Effizienz von ca. 75 %. Mit diesem neuen Code konnten nun auf der MPCDF-Hochleistungsrechner Simulationen durchgeführt werden, die vorher nicht möglich waren.

1.1.2 Hybride Parallelisierung des BioEM-Codes

In der Abteilung „Theoretische Biophysik“ am Max-Planck-Institut für Biophysik wurde der C++-Code BioEM zur Bayes’schen Modellierung kryo-elektronenmikroskopischer (Kryo-EM) Bilder entwickelt [1]. Die neue Methode erlaubt die elektronenmikroskopische Bestimmung von Strukturen, auch teil-geordneter molekularer Systeme. Dabei wird eine Vielzahl von Strukturmodellen mit einer großen Anzahl von Kryo-EM-Partikeln verglichen, was die Methode sehr rechenintensiv macht. Der Algorithmus ist jedoch weitgehend trivialparallel und sollte damit im Prinzip beliebig auf die Ressourcen eines Rechenclusters skalierbar sein. BioEM wurde an der MPCDF mittels MPI und OpenMP parallelisiert und kann nun über viele Knoten eines Clusters skaliert werden. Die hybride MPI/OpenMP-Parallelisierung bietet größtmögliche Flexibilität, um je nach Bedarf und verfügbarer Hardware den Gesamtdurchsatz mit hoher Effizienz zu optimieren. Tests auf bis zu 32 Knoten (640 Cores) zeigten eine praktisch ideale parallele Effizienz. Typische Anwendungen, die ursprünglich mehr als 24 Stunden Laufzeit benötigten, können nun in weniger als einer Stunde abgearbeitet werden.

1.1.3 Hochskalierbare Eigenwertlöser-Bibliothek ELPA

Die ursprünglich mit Unterstützung des Bundesministeriums für Bildung und Forschung (BMBF) im Verbundprojekt ELPA entwickelten hochskalierenden direkten Eigenlöser für symmetrische Matrizen werden seit 2011 als frei verfügbare Software weltweit für verschiedenste Simulationssoftware-Pakete auf Supercomputern eingesetzt. Die ELPA-Bibliothek wird seit Ende der Projektförderung gepflegt und erweitert. Nach Erstellung einer hybriden Parallelisierung (OpenMP/MPI) erfolgen in Zusammenarbeit mit der TU München und Intel Research weitere Anpassungen an die neueste Generation von Intel-Prozessoren. Ein Review von A. Marek et al. zu symmetrischen direkten Eigenwertlösern mit Schwerpunkt auf ELPA erschien im Jahr 2014 [2].

1.2 PRACE

Die MPCDF ist als Tier1-Partner gemeinsam mit dem Gauß Centre for Supercomputing (GCS) an den EU-PRACE-Projekten beteiligt (2IP und 3IP von 2011–2014, 4IP ab 2015). Dabei geben zahlreiche europäische HPC-Zentren gemeinsam Unterstützung für herausragende Simulationsprojekte aus ganz Europa. Die MPCDF war auch maßgeblich an der Organisation und Durchführung der internationalen HPC Summer School in Computational Sciences beteiligt, die im Juni 2014 für 80 europäische, japanische, kanadische und US-amerikanische Doktoranden und Postdocs in Budapest stattfand, darunter vier Teilnehmer aus der Max-Planck-Gesellschaft.

1.3 Visualisierung wissenschaftlicher Daten

original
Original 1508157662
Abb. 1: Zeitentwicklung der Wirbelstärke in einem repräsentativen räumlichen Ausschnitt eines Modells einer protoplanetaren Akkretionsscheibe.
Abb. 1: Zeitentwicklung der Wirbelstärke in einem repräsentativen räumlichen Ausschnitt eines Modells einer protoplanetaren Akkretionsscheibe.

Die MPCDF betreibt für die Max-Planck-Gesellschaft eine zentrale Soft- und Hardwareinfrastruktur zur interaktiven Visualisierung und quantitativen Analyse von Simulationsdatensätzen. Unabhängig vom Typ, der Leistung und dem Standort seines PCs kann ein Wissenschaftler über das Internet Simulationsdaten, die auf den Großrechnern der MPCDF generiert wurden, mithilfe der leistungsfähigen Grafik-Hardware des Clusters interaktiv analysieren. Die MPCDF unterstützt Wissenschaftler bei der Nutzung dieser Ressourcen und übernimmt konkrete Visualisierungsprojekte. Als aktuelles Beispiel dafür sei die Visualisierung von Datensätzen aus umfangreichen, direkten numerischen Simulationen (DNS) zur Turbulenz in rotierenden protoplanetaren Scheiben genannt, die im Rahmen des von der MPCDF unterstützten PRACE/DECI-Projekts HYDRAD erstellt wurden. Der ursprünglich am Max-Planck-Institut für Dynamik und Selbstorganisation entwickelte Simulationscode NSCOUETTE war an der MPCDF mitentwickelt und für höchste Skalierbarkeit optimiert worden. Abbildung 1 zeigt Momentaufnahmen aus der Zeitentwicklung von turbulenten Strukturen (farbcodiert ist die Wirbelstärke) in einer hoch aufgelösten Turbulenzsimulation eines Modells einer kalten Akkretionsscheibe. Die im Laufe der Zeitentwicklung abnehmende Wirbelstärke veranschaulicht den allmählichen Zerfall der anfänglichen Störungen und schließlich den Übergang zu einer laminaren Strömung. Dies geschieht trotz sehr hoher Reynoldszahlen (Re~105) und groß gewählter Anfangsstörungen und deutet auf Stabilität des Systems auch im nichtlinearen Regime hin.

2 Unterstützung datenintensiver Wissenschaften

Einen zweiten Schwerpunkt stellt die Unterstützung für datenintensive Wissenschaften dar. Dies reicht von der Bereitstellung verschiedener Basisdienste wie Backuplösungen oder Archivdiensten bis hin zu maßgeschneiderten Lösungen für individuelle Projekte – sei es innerhalb der Max-Planck-Gesellschaft oder in nationalen und internationalen Kollaborationen. Ziel ist dabei immer, die Position der Max-Planck-Gesellschaft und ihrer Institute im Bereich des Umgangs mit Daten zu stärken. Im Folgenden wird dies anhand einiger repräsentativer Beispiele illustriert.

2.1 Sync&Share

Im Laufe des Jahres 2014 hat die MPCDF die Grundlagen gelegt, um Anfang 2015 einen neuen Basisdienst anzubieten, der es ermöglicht, Dateien oder ganze Verzeichnisse über verschiedene Endgeräte hinweg synchron zu halten (sync) sowie mit Kollegen zu teilen (share), ohne sie per E-Mail oder Ähnlichem gezielt versenden zu müssen. Realisiert wird dieser Dienst durch die Einrichtung einer sogenannten Storage-Cloud mithilfe der „ownCloud“-Software. Der Vorteil gegenüber externen Anbietern vergleichbarer Dienste wie beispielsweise „Dropbox“ ist, dass alle Daten jederzeit auf von der MPCDF betriebenen Servern liegen und somit einem potenziellen Zugriff Dritter entzogen sind. Einstiegspunkt für den Dienst ist https://datashare.rzg.mpg.de/. Weitere Informationen finden sich auch unter http://www.mpcdf.mpg.de/services/data/share.

2.2 Comptel

Unter Federführung des Max-Planck-Instituts für extraterrestrische Physik wurde in den 1990er-Jahren das Comptel-Teleskop als Teil des Compton Gamma Ray Observatory betrieben (http://www2011.mpe.mpg.de/gamma/COMPTEL). Für die resultierenden Beobachtungsdaten wurde außerdem das dafür konzipierte Analysesystem COMPASS (bestehend aus Datenbank und Auswertesoftware) entwickelt und betrieben, das bis heute weitverbreitete Verwendung findet. Allerdings werden immer mehr der ursprünglich verwendeten Software- und Datenbankkomponenten inzwischen nicht mehr unterstützt. Daher hat die MPCDF in Zusammenarbeit mit dem Max-Planck-Institut für extraterrestrische Physik das System 2014 neu aufgesetzt. Die (Meta-)Daten wurden in ein aktuelles, relationales Datenbankmanagement-System übertragen und die Analysesoftware mittels eines modernen Webframeworks reimplementiert. So wird gewährleistet, dass der wertvolle Datenbestand auch weiterhin der wissenschaftlichen Community zur Verfügung steht.

2.3 The Language Archive (TLA)

In den letzten Jahren wurden im Rahmen der Förderiniative „Dokumentation bedrohter Sprachen (DoBeS)“ umfassende Daten über bedrohte Sprachen von zahlreichen Teams in aller Welt aufgenommen, am Max-Planck-Institut für Psycholinguistik in Nijmegen digital archiviert und durch eine Reihe von Tools erschlossen. Die Ergebnisse dieser Initiative, aber auch große Sprachkorpora vieler anderer Wissenschaftler gehen in das Language Archive ein (https://tla.mpi.nl). Es wird gemeinsam von der Max-Planck-Gesellschaft (MPG), der Berlin-Brandenburgischen Akademie der Wissenschaften (BBAW) und der Königlich-Niederländischen Akademie der Wissenschaften (KNAW) getragen. Mit derzeit etwa 90 Terabyte an Daten aus etwa 200 Sprachen ist es bereits jetzt das größte Sprachenkorpus der Welt. Bislang wird das Archiv am Max-Planck-Institut für Psycholinguistik in Nijmegen betrieben, doch wurden im Jahr 2014 Anstrengungen begonnen, den Betrieb des Archivs durch die MPCDF zu unterstützen. Dies betrifft in erster Linie die Steigerung der Sicherheit und Verfügbarkeit der Daten, aber auch die Entwicklung und den Betrieb der verwendeten Software für Wartung, Pflege und Analyse der Daten.

2.4 Research Date Alliance (RDA)

Die Research Data Alliance (RDA) – sowie ihr europäischer Ableger RDA-Europe – wurden 2013 mit dem Ziel gegründet, die sozialen und technischen Brücken zu bauen, die ein offenes Teilen und Publizieren von Forschungsdaten auf globaler Ebene und über alle Disziplinen hinweg erst ermöglichen. Zu diesem Zweck gibt es innerhalb von RDA thematisch fokussierte Arbeitsgruppen sowie breiter angelegte Interessengruppen, in denen Fachleute aus aller Welt – aus Forschung, Industrie und Regierung – zusammenarbeiten. Mehrere Mitglieder der MPCDF sind in solchen Gruppen engagiert. Zudem ist die MPCDF im Technical Advisory Board (TAB) sowie im RDA-Sekretariat vertreten. Im vergangen Jahr hat die MPCDF wesentlich dazu beigetragen, dass die initialen infrastruktur-orientierten Arbeitsgruppen zu ersten Ergebnissen gekommen sind (https://rd-alliance.org/).

2.5 EUDAT

Die EUDAT-Dateninfrastruktur (http://www.eudat.eu) gründet auf einem Netzwerk von Forschungsdatenrepositorien und nationalen Rechenzentren, das in Zusammenarbeit mit repräsentativen Forschungseinrichtungen Datendienste entwickelt und betreibt. Diese Dienste sollen den Datenlebenszyklus abbilden und unterstützen: eine einfache gemeinsame Datenablage für Forschungskollaborationen (B2DROP), ein Repository-Dienst, der Daten mittleren Umfangs mit Metadaten angereichert dauerhaft referenzierbar und zugreifbar hält (B2SHARE), ein richtliniengesteuerter, zentrenübergreifender (Langzeit‑)Archivierungsdienst (B2SAFE), ein Datenübertragungsdienst (B2STAGE) sowie ein Dienst zur Metadatenkatalogisierung, ‑indizierung und ‑suche (B2FIND).

Die MPCDF koordiniert den Betrieb der Infrastruktur und beteiligt sich an der Service-Entwicklung (mit den Schwerpunkten iRODS und Data Policy Management). Auch zu Aufbau und Pflege von Kontakten und Interaktionen mit Vertretern fachwissenschaftlicher Communities und Forschungsinfrastrukturen wird beigetragen. Die Aktivitäten der MPCDF in EUDAT und auch in RDA sind wesentlich darauf ausgerichtet, Forscher der Max-Planck-Gesellschaft darin zu unterstützen, Daten im Kontext europäischer und internationaler Forschungskollaborationen offen auszutauschen und soweit möglich frei zugänglich nutzen zu können („Open Access“). Ziel ist es, die Forschungsdaten auf allen Ebenen, von den Rohdaten bis zur Publikation, je nach Bedarf in einer für die Forscher vertrauenswürdigen Umgebung persistent zu halten.

Literaturhinweise

1.
Cossio, P.; Hummer, G.
Bayesian analysis of individual electron microscopy images: Towards structures of dynamic and heterogeneous biomolecular assemblies
Journal of Structural Biology 184, 427-437 (2013)
2.
Marek, A.; Blum, V.; Johanni, R.; Havu, V.; Lang, B.; Auckenthaler, Th.; Heinecke, A.; Bungartz, H.-J.; Lederer, H.
The ELPA Library – scalable parallel eigenvalue solutions for electronic structure theory and computational science
Journal of Physics: Condensed Matter 26, 213201 (2014); DOI:10.1088/0953-8984/26/21/213201
Zur Redakteursansicht