Forschungsbericht 2016 - Max Planck Computing and Data Facility (MPCDF)

Hochleistungsrechnen und Unterstützung datenintensiver Wissenschaften

Autoren
Dohmen, Renate; Lederer, Hermann; Rampp, Markus; Ritz, Raphael
Abteilungen
Max Planck Computing and Data Facility (MPCDF), Garching
Zusammenfassung
Die MPCDF optimiert komplexe Anwendungscodes aus Materialwissenschaften, Lebenswissenschaften, Astrophysik, Plasmaphysik und anderen Disziplinen für den Einsatz auf Hochleistungsrechnern und bietet Unterstützung beim Datenmanagement von Forschungsdaten sowie für die Visualisierung und Exploration von Simulationsdaten. Die MPCDF ist maßgeblich an Projekten auf MPG-, nationaler und europäischer Ebene beteiligt.

1 Hochleistungsrechnen

Der an der MPCDF seit 2012/2013 im Einsatz befindliche MPG-Hochleistungsrechner mit über 80.000 Rechenkernen und 700 Beschleunigerkarten (676 Kepler K20X-GPUs, 24 Intel-Xeon-Phi-Karten) wurde 2016 aufgrund einer starken Überlastung, insbesondere durch neu hinzugekommene Institute, erweitert um ein Teilsystem mit aktuellen Intel-Prozessoren, die wiederum teilweise mit Nvidia-GPUs bestückt sind. Das erweiterte System war unmittelbar nach Inbetriebnahme Mitte 2016 voll ausgelastet und wird intensiv von vielen Max-Planck-Instituten genutzt. Zusätzlich werden Linux-Cluster für zahlreiche Max-Planck-Institute aus ganz Deutschland betrieben. In enger Zusammenarbeit von MPCDF-Experten und Code-Entwicklern an den Instituten wurden Anwendungen optimiert, portiert und Ergebnisse grafisch aufbereitet. Dies erfolgte auch für Rechenarchitekturen und Systeme, die nicht an der MPCDF, sondern an den Instituten oder anderen Zentren weltweit im Einsatz sind.

1.1 Anwendungsoptimierung im Hochleistungsrechnerbereich

Im Bereich der Anwendungsoptimierung an der MPCDF werden bereits parallele Codes, etwa aus der Materialforschung, der Biophysik, der Plasmaphysik oder der Astrophysik, bezüglich ihrer Skalierbarkeit optimiert und algorithmisch für die Verwendung auf Supercomputern mit sehr hoher Prozessorzahl oder auf neuen Prozessorarchitekturen wie z. B. GPU oder Xeon Phi vorbereitet. Existierende, sequentielle Applikationen werden parallelisiert, durch algorithmische Maßnahmen beschleunigt und auf neue Hard- und Softwaretechnologien portiert. Darüber hinaus werden Wissenschaftler zum effizienten Einsatz von Applikationen auf einem jeweils geeigneten Hochleistungsrechnersystem beraten und bei der Vor- und Nachbereitung von umfangreichen Produktionsrechnungen, z. B. durch systematische Benchmarks beziehungsweise mit der Implementierung und Anwendung von Visualisierungskonzepten, aktiv unterstützt.

Im Laufe des Jahres 2016 wurden signifikante Beiträge unter anderem zu den folgenden Anwendungen geleistet: Optimierung neu implementierter Methoden im DFT-Code FHI-aims aus dem Fritz-Haber-Institut, Implementierung neuer Methoden zur Optimierung der Lastverteilung in Simulationen inhomogener Systeme mit ESPResSo++ aus dem Max-Planck-Institut für Polymerforschung, Mitentwicklung und Veröffentlichung des Programmpakets BioEM [1] aus dem Max-Planck-Institut für Biophysik zur GPU-beschleunigten Rekonstruktion von Kryo-Elektronenmikroskopaufnahmen, Entwicklung der Programmpakete Disthist und Capriqorn zur Auswertung von Daten aus atomistischen Molekulardynamik-Simulationen sowie des Programmpakets Complexes++ zur Simulation von Multi-Proteinkomplexen, jeweils aus dem Max-Planck-Institut für Biophysik, Demonstration höchster Skalierbarkeit für den Supernovacode VERTEX aus dem Max-Planck-Institut für Astrophysik (das Entwicklerteam um Andreas Marek, MPCDF wurde dafür mit dem „Leibniz Extreme Scaling Award 2016“ ausgezeichnet) sowie für den Plasmaphysik-Code GENE aus dem Max-Planck-Institut für Plasmaphysik (IPP), Parallelisierung und Optimierung des Plasma-Randschicht-Codes SOLPS aus dem IPP und Integration in die neue ITER-Version, Entwicklung eines hochskalierenden Codes aus dem IPP zur numerischen Lösung der Vlasov-Poisson-Gleichung im 6-dimensionalen Phasenraum, Parallelisierung und Weiterentwicklung des Codes RuralExodus zur Modellierung von historischen demografischen Prozessen aus dem Max-Planck-Institut für demografische Forschung, Portierung der hochoptimierten Eigenwertlöserbibliothek ELPA [2] auf neue Rechnerarchitekturen. Die drei letztgenannten Projekte werden nachfolgend ausführlicher dargestellt.

1.1.1 Entwicklung eines hochskalierenden Codes zur numerischen Lösung der Vlasov-Poisson-Gleichung im 6-dimensionalen Phasenraum

In Zusammenarbeit mit dem IPP (Bereich Numerische Methoden der Plasmaphysik, NMPP) wird an der MPCDF ein hochskalierender Code, Vlasov-6D, zur numerischen Lösung der Vlasov-Poisson-Gleichung im 6-dimensionalen (6D) Phasenraum entwickelt und unter Verwendung semi-langrangescher Integrationsverfahren und mithilfe gemischter Parallelisierung mittels MPI und OpenMP implementiert. Dazu wurde an der MPCDF eine 6D-Zonenzerlegung mit Randaustausch implementiert und in die bestehende Softwareinfrastruktur SeLaLib integriert. Aufgrund der hohen Dimensionalität, die für endliche Subvolumina eine extreme Konzentration des Volumens im Bereich der Oberfläche impliziert, erfordert die Implementierung dieses – in niedriger Dimensionalität wohlbekannten – Verfahrens besondere Techniken zur Optimierung der MPI-Kommunikation und des Speicherbedarfs beim Randaustausch. So wurden z. B. ein spezielles Verfahren zum Überlappen von lokalen Berechnungen mit der MPI-Kommunikation der Ränder konzipiert und dynamische Speicherallokation für die Ränder implementiert. Anhand von Testrechnungen mit Gitterauflösungen von bis zu 128 Punkten je Raumrichtung (insgesamt mehr als 4×1012 Gitterpunkte) und unter Verwendung von bis zu 20.000 Prozessorkernen wurde gezeigt, dass die neu implementierte 6D-Zonenzerlegung der früher implementierten Methode, bei der globale Transpositionen der 6D-Verteilungsfunktion nötig sind, bei großer Prozesszahl überlegen ist. Die numerische Lösung der Vlasov-Poisson-Gleichung in 6D kann nun mit hoher paralleler Effizienz berechnet werden. Damit werden kinetische Simulationen, z. B. von Fusionsplasmen, ohne einschränkende Näherungen der Phasenraumdimensionalität möglich.

1.1.2 Parallelisierung eines Algorithmus zur Modellierung von demografischen Prozessen

Am Max-Planck-Institut für demografische Forschung wurde der Fortran-Code RuralExodus zur Modellierung von demografischen Veränderungen im Zeitalter der Industrialisierung entwickelt. Die Anpassung des Modells an (historische) Daten erfordert Minimumsuche in einem hochdimensionalen Parameterraum, wofür ein genetischer Algorithmus eingesetzt wird. Die darunterliegende, modellspezifische Funktionsauswertung basiert auf dem mathematischen Modell von Marktgleichgewichten und ist im Falle von RuralExodus sehr rechenaufwendig. Die Implementierung war ursprünglich auf einzelne Mehrkernprozessoren limitiert und erlaubte lediglich kleine Testrechnungen mit einigen Dutzend Generationen im genetischen Algorithmus. Um realistische Rechnungen mit mehreren Hundert Generationen durchführen zu können, müssen die (für die einzelnen Generationen jeweils voneinander unabhängigen) Berechnungen über viele Prozessoren verteilt werden. Die dafür im Programm vorgesehene, statische MPI-Parallelisierung kann im vorliegenden Fall aber nicht effizient eingesetzt werden, da die einzelnen Funktionsauswertungen aufgrund des parameterabhängigen Konvergenzverhaltens der Marktgleichgewichte sehr unterschiedliche Rechenzeiten benötigen. Eine deutlich verbesserte Lastverteilung wurde durch ein an der MPCDF implementiertes Master-Worker-Modell erreicht. Dieses wurde unter Verwendung einer für alle Knoten zugänglichen Warteschlange, realisiert mittels eines sogenannten „public memory segment“ und asynchroner, einseitiger Kommunikation aus dem MPI-3-Standard, implementiert. Damit können die Simulationen nun effizient auf Rechenclustern durchgeführt werden, wobei typischerweise ca. 1000 Prozessorkerne eingesetzt werden.

1.1.3 Hochskalierbare Eigenwertlöser-Bibliothek ELPA

ELPA ist eine hochskalierbare Bibliothek von Eigenwertlösern für dichte und bandstrukturierte symmetrische Matrizen, die unter der Federführung der MPCDF entwickelt wird (siehe auch http://elpa.mpcdf.mpg.de). In Zusammenarbeit mit der Firma Nvidia wurde kürzlich eine GPU-beschleunigte Version erstellt, so dass ELPA nun auch auf hybriden Knoten mit Intel-Xeon-Prozessor als Host und Nvidia-Kepler-GPUs verwendet werden kann. Diese Softwareentwicklungen erfolgten teilweise im BMBF-Projekt ELPA-AEO, in dem die Eigenwertlöser unter dem Aspekt „time-to-solution“, darüber hinaus aber auch unter dem Aspekt „energy-to-solution“ weiter optimiert werden sollen. In diesem Zusammenhang wurde auch eine wesentlich schnellere 32-Bit-Version der ELPA-Bibliothek für die Anwendungen zur Verfügung gestellt, für die diese Genauigkeit ausreichend ist.

1.2 PRACE

Die MPCDF ist als Tier1-Partner gemeinsam mit dem Gauß Centre for Supercomputing (GCS) über das EU-Projekt PRACE-4IP weiter an PRACE, der Partnership for Advanced Computing in Europe, beteiligt. Herausragende Simulationsprojekte aus ganz Europa werden durch europäische HPC-Zentren gemeinsam unterstützt. Auch an der Organisation und Durchführung der internationalen HPC Summer School in Computational Sciences, die im Juni 2016 für 80 europäische, japanische, kanadische und US-amerikanische Doktoranden und Postdocs in Ljubljana (Slowenien) stattfand, war die MPCDF wieder maßgeblich beteiligt.

1.3 Visualisierung wissenschaftlicher Daten

Die MPCDF betreibt für die Max-Planck-Gesellschaft eine zentrale Soft- und Hardwareinfrastruktur zur interaktiven Visualisierung und quantitativen Analyse von Simulationsdatensätzen. Unabhängig vom Typ, der Leistung und dem Standort seines Endgeräts (Arbeitsplatzrechner, Laptop etc.) kann ein Wissenschaftler über das Internet Simulationsdaten, die auf den Großrechnern der MPCDF generiert wurden, mithilfe der leistungsfähigen Grafik-Hardware an der MPCDF interaktiv analysieren. Die MPCDF unterstützt Wissenschaftler bei der Nutzung dieser Ressourcen und übernimmt konkrete Visualisierungsprojekte.

Als aktuelles Beispiel sei die Zusammenarbeit der MPCDF mit Wissenschaftlern des Max-Planck-Instituts für Struktur und Dynamik der Materie aus der Abtteilung von Angel Rubio genannt, in deren Rahmen Visualisierungsmethoden und -werkzeuge für Simulationsdaten des TDDFT-Codes OCTOPUS entwickelt und, basierend auf den verbreiteten Open-source-Visualisierungstools VisIt und Paraview, implementiert werden. OCTOPUS ist ein frei verfügbarer Code, der unter anderem zur quantenmechanischen Simulation der Wechselwirkung von Laserpulsen mit Materie eingesetzt wird. Die neuen Skripten wurden zusammen mit umfangreicher Dokumentation in die OCTOPUS-Distribution eingepflegt und sind damit allen Anwendern zugänglich. Abbildung 1 zeigt exemplarisch Visualisierungen von Momentaufnahmen aus der zeitlichen Entwicklung verschiedener Kenngrößen aus einer Simulation mit OCTOPUS.

2 Unterstützung datenintensiver Wissenschaften

Einen zweiten Schwerpunkt in der MPCDF stellt die Unterstützung von datenintensiven Wissenschaften dar. Diese reicht von der Bereitstellung verschiedener Basisdienste wie Backup oder Archivierung über kollaborationsunterstützende Dienste wie einer Storage Cloud und GitLab (Softwareentwicklung) bis hin zu maßgeschneiderten Lösungen für individuelle Projekte – sei es innerhalb der MPG oder in nationalen und internationalen Kollaborationen. Ziel ist es dabei, die Position der MPG und ihrer Institute im Umgang mit Daten zu stärken. Daneben wurden die Anstrengungen fortgesetzt, die Netzwerkanbindungen der Max-Planck-Institute zu verbessern, welche die Datendienste der MPCDF besonders intensiv nutzen möchten.

2.1 Unterstützung datenintensiver biomedizinischer Forschung: Galaxy

Stellvertretend für die allgemeinen Dienste, die allen Mitarbeiterinnen und Mitarbeitern in der MPG von der MPCDF zur Verfügung gestellt werden, sei hier ein neuer Dienst speziell zur Unterstützung datenintensiver, insbesondere biomedizinischer Forschung aufgeführt. In Zusammenarbeit mit dem MPI für Biologie des Alterns in Köln wurde die webbasierte Plattform Galaxy auf Rechnern der MPCDF implementiert und an ein lokales Rechencluster mit dedizierten Compute- und Speicherressourcen angebunden. Galaxy hat sich zu einem offenen und vor allem in der internationalen Bioinformatik-Community weit verbreiteten Standardwerkzeug entwickelt. Es wird von vielen Wissenschaftlern zur Konstruktion, Durchführung und zum Austausch (Publikation) von komplexen Workflows einzelner Analyseschritte genutzt, z. B. für genomweite Sequenzvergleiche oder RNAseq-Analysen. Unter https://galaxyproject.org/ wird von der MPCDF nun eine eigene Instanz als ein institutsübergreifender Service in der MPG angeboten, der bei Bedarf um neue Analysewerkzeuge oder zusätzliche Rechen- und Datenspeicherkapazität erweitert werden kann.

2.2 Zuverlässiger und performanter Datentransfer mit Globus Online

Auf Wunsch des vom Max-Planck-Institut für Astrophysik koordinierten VIRGO-Projekts hat die MPCDF im vergangen Jahr mit Globus Online einen neuen Datentransferdienst evaluiert und für das Projekt bereitgestellt. Einmal eingerichtet, ermöglicht Globus Online über eine Weboberfläche seinen Nutzern, selbst umfangreiche und komplexe Datentransfers mit wenigen Mausklicks abzuwickeln. So konnte beispielsweise ein 10 Terabyte großer Datensatz, bestehend aus mehr als 10.000 Dateien, mit einer durchschnittlichen Transferrate von 1,2 Gigabytes pro Sekunde mit einem einzigen Schritt in die USA übertragen werden. Aufgrund der guten Erfahrungen mit Globus Online arbeitet die MPCDF nun daran, diesen Dienst ganz allgemein als eine weitere Schnittstelle zu ihrem Datenzentrum zu etablieren.

2.3 NOMAD Center of Excellence

Im Center of Excellence „Novel Materials Discovery (NOMAD) Laboratory“ arbeiten Physiker, Chemiker, Material- und Computerwissenschaftler unter Industriebeteiligung zusammen, um eine Materialien-Enzyklopädie sowie Softwarewerkzeuge für Big Data Analytics zu entwickeln. Diese sollen die Entdeckung, Erzeugung und Verwendung neuer Materialien erleichtern. Das Konsortium aus acht europäischen, materialwissenschaftlich orientierten Forschungseinrichtungen und vier Supercomputer-Zentren – darunter die MPCDF – wird vom Fritz-Haber-Institut der MPG in Berlin koordiniert. NOMAD wird für zunächst drei Jahre bis Oktober 2018 mit knapp 5 Millionen Euro im EU-Programm Horizon 2020 gefördert.

Hauptbeitrag der MPCDF zum Projekt ist bislang die Ermittlung und Bereitstellung von Rechen- und Speicherlösungen für die verschiedenen Teilprojekte, insbesondere im Bereich der Präprozessierung, Aufbereitung und Visualisierung der über das NOMAD-Repository (siehe MPG-Jahrbuch 2015) bereits zur Verfügung stehenden Daten. Darüber hinaus wurde eine mittelfristige Bedarfsplanung durchgeführt und Vorarbeiten geleistet, um ein über alle Komponenten und Dienste gemeinsames Benutzermanagement zu ermöglichen.

Das an der MPCDF betriebene und auch dort entwickelte NOMAD-Repository wurde im vergangenen Jahr konsequent weiterentwickelt. Zur Verbesserung der Benutzerfreundlichkeit wurde eine Gruppierungsfunktion für Suchergebnisse implementiert. Um einen vollständigen Zugang zu den Suchergebnissen zu ermöglichen, wurde eine erweiterte Download-Funktion eingerichtet, die nun auch ergänzende Hilfsdateien umfasst. Das zugrunde liegende Datenbankschema wurde entsprechend erweitert und die darauf aufbauenden Anwendungen angepasst. Die im Repository gespeicherte und verwaltete Datenmenge ist kontinuierlich angewachsen, sodass momentan ca. 3,3 Millionen Materialberechnungen (die ca. 60 Millionen Datenbankeinträgen entsprechen) über das NOMAD-Repository zugänglich sind. Der Datenaustausch zwischen NOMAD-Repository und NOMAD-Laboratory wurde vereinfacht und teilweise automatisiert. Es wurde damit begonnen, Spiegel-Server des NOMAD-Repositorys in China und Korea aufzusetzen.

2.4 Nationaler IT-Gipfel

Eine Besonderheit stellte im vergangenen Jahr die Beteiligung der MPCDF am Nationalen IT-Gipfel der Bundesregierung dar. Dies ist ein zentrales Forum der Zusammenarbeit von Politik, Wirtschaft, Wissenschaft und Gesellschaft in Bezug auf die Gestaltung des digitalen Wandels in Deutschland. Innerhalb der Plattform „Digitalisierung in Bildung und Wissenschaft“ beteiligt sich die MPCDF speziell durch die Leitung der Arbeitsgruppe 5, „Intelligente und effiziente Nutzung von Open Data in Wissenschaft, Forschung und Industrie“.

2.5 European Open Science Cloud

Das europäische Pilotprojekt EOSCpilot stellt den Auftakt zur geplanten „European Open Science Cloud“ (EOSC) dar. Getragen wird es von 33 wissenschaftlichen Einrichtungen aus 11 verschiedenen europäischen Ländern. Der Fokus des Projekts liegt darauf, die Fragmentierung der europäischen Forschungsinfrastruktur zu überwinden und einen kollaborativen Ansatz zu entwickeln, um den Zugang zu Forschungsdaten auch über Disziplingrenzen hinweg zu erleichtern. Die MPG/MPCDF leitet das Arbeitspaket „Science Demonstrators“, das die Schnittstelle zu den Science Communitys beinhaltet.

Literaturhinweise

Cossio, P.; Rohr, D.; Baruffa, F.; Rampp, M.; Lindenstruth, V.; Hummer, G.
BioEM: GPU-accelerated computing of Bayesian inference of electron microscopy images
Computer Physics Communications 210C, 163-171 (2017), arXiv:1609.06634

Marek, A.; Blum, V.; Johanni, R.; Havu, V.; Lang, B.; Auckenthaler, Th.; Heinecke, A.; Bungartz, H.-J.; Lederer, H.

 

 

The ELPA Library – scalable parallel eigenvalue solutions for electronic structure theory and computational science
Journal of Physics: Condensed Matter 26, 213201 (2014)
Zur Redakteursansicht