1 Hochleistungsrechnen

Der an der Max Planck Computing and Data Facility (MPCDF) im Einsatz befindliche MPG-Hochleistungsrechner mit über 80.000 Rechenkernen und 700 Beschleunigerkarten (676 Kepler K20X-GPUs, 24 Intel-Xeon-Phi-Karten) und einer aggregierten Peakleistung von 2,8 PetaFlop/s wird intensiv von vielen Max-Planck-Instituten genutzt. Zusätzlich werden Linux-Cluster für zahlreiche Max-Planck-Institute aus ganz Deutschland betrieben. In enger Zusammenarbeit von MPCDF-Experten und Code-Entwicklern an den Instituten wurden Anwendungen optimiert, portiert und Ergebnisse grafisch aufbereitet. Dies erfolgte auch für Rechenarchitekturen und Systeme, die nicht an der MPCDF, sondern an den Instituten oder anderen Zentren weltweit im Einsatz sind.

1.1 Anwendungsoptimierung im Hochleistungsrechnerbereich

Im Bereich der Anwendungsoptimierung an der MPCDF werden bereits parallele Codes, etwa aus der Materialforschung, der Plasmaphysik oder der Astrophysik, bezüglich ihrer Skalierbarkeit optimiert und algorithmisch für die Verwendung auf Supercomputern mit sehr hoher Prozessorzahl oder auf neuen Prozessorarchitekturen, wie etwa GPU oder Xeon Phi, vorbereitet. Existierende, sequenzielle Applikationen werden parallelisiert, durch algorithmische Maßnahmen beschleunigt und auf neue Hard- und Softwaretechnologien portiert. Darüber hinaus werden Wissenschaftler zum effizienten Einsatz von Applikationen auf einem jeweils geeigneten Hochleistungsrechnersystem beraten und bei der Vor- und Nachbereitung von umfangreichen Produktionsrechnungen, etwa durch systematische Benchmarks beziehungsweise mit der Implementierung und Anwendung von Visualisierungskonzepten, aktiv unterstützt.

Im Laufe des Jahres wurden signifikante Beiträge unter anderem zu den folgenden Anwendungen geleistet: Parallelisierung und Optimierung neu implementierter Methoden (GW, RPA) im DFT-Code FHI-aims aus dem Fritz-Haber-Institut, Erhöhung der parallelen Skalierbarkeit beziehungsweise Optimierung der Einzelprozessorleistung der allgemein-relativistischen (Magneto-)Hydrodynamik-Codes ECHO und NADA, beide aus dem Max-Planck-Institut für Astrophysik, Parallelisierung und Optimierung des Navier-Stokes-Lösers nsCouette [1] aus dem Max-Planck-Institut für Dynamik und Selbstorganisation, Mitentwicklung des Programms SASHisto aus dem Max-Planck-Institut für Biophysik zur effizienten Auswertung von Daten aus atomistischen Molekulardynamik-Simulationen und Optimierung für heterogene CPU-GPU-Rechnerarchitekturen, Entwicklung und Pflege einer hochskalierenden und -optimierten Eigenwertlöserbibliothek, ELPA [2], in einem Forschungsverbund, Parallelisierung und Optimierung des dreidimensionalen MHD-Codes GOEMHD3 [3] zur Untersuchung von Eruptionen in der Sonnenkorona aus dem Max-Planck-Institut für Sonnensystemforschung, Entwicklung eines echtzeitfähigen Tokamak-Gleichgewichtscodes, GPEC [4], für ASDEX-Upgrade aus dem Max-Planck-Institut für Plasmaphysik (IPP). Die drei letztgenannten Projekte werden nachfolgend ausführlicher dargestellt.

1.1.1 Parallelisierung des Magnetohydrodynamik-Codes GOEMHD3

Der am Max-Planck-Institut für Sonnensystemforschung entwickelte, dreidimensionale Magnetohydrodynamik-Code GOEMHD3 zur Untersuchung von Eruptionen in der Sonnenkorona wurde an der MPCDF parallelisiert und optimiert. Ausgehend von einem im Wesentlichen seriellen Fortran-Programm wurde ein hybrides Parallelisierungskonzept basierend auf den Standards MPI (Message Passing Interface) und OpenMP erarbeitet und als klassische, MPI-basierte zweidimensionale Zonenzerlegung mit Randaustausch und OpenMP-Parallelisierung innerhalb der MPI-Domänen implementiert. Skalierbare Datenein- und ‑ausgabe, sowohl als „Checkpoint/Restart“-Mechanismus als auch zu Analysezwecken, wurde mittels der parallelen HDF5-Bibliotheken realisiert.

Zusammen mit weiteren algorithmischen Optimierungen ermöglicht der neue Code nun, Simulationen in der Größenordnung von bis zu etwa 1000 Gitterpunkten je Raumrichtung durchzuführen. Eine gemeinsame Publikation [3] dokumentiert die numerischen Methoden und deren Implementierung und demonstriert neben der Genauigkeit und Robustheit des Codes die hohe parallele Effizienz von GOEMHD3 auf bis zu 36.000 Prozessorkernen.

1.1.2 Entwicklung des echtzeitfähigen Tokamak-Gleichgewichtscodes GPEC

Basierend auf dem am IPP entwickelten und bei ASDEX-Upgrade (AUG) für Offline-Analysen eingesetzten Tokamak-Gleichgewichtscode IDE (R. Fischer) zur numerischen Lösung der Grad-Shafranov-Gleichung wurde an der MPCDF eine echtzeitfähige Variante, GPEC, entwickelt [4, 5]. Die Echtzeitfähigkeit und Genauigkeit des neuen Codes wurden vor Kurzem anhand von Offline-Prozessierungen von AUG-Daten demonstriert [5]. Mit einer poloidalen Auflösung von 32 x 64 Zonen zur Diskretisierung der Grad-Shafranov-Gleichung und sieben Basisfunktionen zur Anpassung der Messwerte an die Vorwärtsmodellierung erreicht GPEC Laufzeiten von deutlich unter einer Millisekunde (Steuerungszyklus von Tokamaks der Dimension von AUG), erlaubt dabei vier Konvergenziterationen und berechnet alle relevanten Steuergrößen des AUG-Experiments. Die optimierte Variante wird für zeitnahe Offline-Analysen während des AUG-Experimentbetriebs eingesetzt [6]. GPEC basiert auf quelloffener Software und wird auf Standard-Serverhardware betrieben, um langfristige Portabilität sowie Konsistenz mit Vorgaben der europäischen Fusionsforschung (z. B. Softwarepolicies des ITER-Experiments) zu gewährleisten.

1.1.3 Hochskalierbare Eigenwertlöser-Bibliothek ELPA

Die ursprünglich im Verbundprojekt ELPA des Bundesministeriums für Bildung und Forschung (BMBF) von 2008 bis 2011 entwickelten, hochskalierenden direkten Eigenlöser für symmetrische Matrizen wurden als frei verfügbare Software weiter gepflegt. Die ELPA-Bibliothek erfreut sich großer Nachfrage und wird weltweit für verschiedenste Simulationssoftwarepakete auf Supercomputern eingesetzt.

1.2 PRACE

Die MPCDF ist als Tier1-Partner gemeinsam mit dem Gauß Centre for Supercomputing (GCS) über das EU-Projekt PRACE-4IP weiter an PRACE, der Partnership for Advanced Computing in Europe, beteiligt. Herausragende Simulationsprojekte aus ganz Europa werden durch europäische HPC-Zentren gemeinsam unterstützt. Auch an der Organisation und Durchführung der internationalen HPC Summer School in Computational Sciences, die im Juni 2015 für 80 europäische, japanische, kanadische und US-amerikanische Doktoranden und Postdocs in Toronto stattfand, war die MPCDF wieder maßgeblich beteiligt.

1.3 Visualisierung wissenschaftlicher Daten

Die MPCDF betreibt für die Max-Planck-Gesellschaft eine zentrale Soft- und Hardwareinfrastruktur zur interaktiven Visualisierung und quantitativen Analyse von Simulationsdatensätzen. Unabhängig vom Typ, der Leistung und dem Standort seines Endgeräts (Arbeitsplatzrechner, Laptop etc.) kann ein Wissenschaftler über das Internet Simulationsdaten, die auf den Großrechnern der MPCDF generiert wurden, mithilfe der leistungsfähigen Grafik-Hardware an der MPCDF interaktiv analysieren. Die MPCDF unterstützt Wissenschaftler bei der Nutzung dieser Ressourcen und übernimmt konkrete Visualisierungsprojekte.

Als aktuelles Beispiel dafür sei die Visualisierung von Datensätzen aus umfangreichen, dreidimensionalen Simulationen von Neutrino-getriebenen Supernova-Explosionen [7, 8] aus dem Max-Planck-Institut für Astrophysik genannt. Der Simulationscode VERTEX wird an der MPCDF mitentwickelt und wird fortlaufend für höchste Skalierbarkeit und neue Rechnerarchitekturen optimiert [9, 10]. Die nachstehende Abbildung 1 zeigt zu verschiedenen Zeiten während der Simulation ausgewählte Isoflächen der Entropie, auf denen jeweils die radiale Komponente der Geschwindigkeit des stellaren Materials farbcodiert dargestellt ist. Die sich ausdehnende Stoßwelle ist als hellblaue Schale, der Neutronenstern als helle Kugel im Zentrum erkennbar. Neben diesen mit etablierten Techniken erzeugten Visualisierungen wurden im Rahmen des Projekts auch „interaktive“ Graphiken erzeugt. Mithilfe des Web-Standards x3dom können (dreidimensionale) Datensätze der interaktiven Exploration durch den Betrachter (z. B. Zoomen, Vergrößern, Drehen etc.) zugänglich gemacht werden. Fachjournale wie z. B. das Astrophysical Journal, wo oben genannte Simulationen und Visualisierungen publiziert wurden [7], fördern diese neue Art der Darstellung auf ihren Webseiten.

2 Unterstützung datenintensiver Wissenschaften

Einen zweiten Schwerpunkt in der MPCDF stellt die Unterstützung für datenintensive Wissenschaften dar. Diese reicht von der Bereitstellung verschiedener Basisdienste wie Backuplösungen oder Archivdiensten bis hin zu maßgeschneiderten Lösungen für individuelle Projekte – sei es innerhalb der Max-Planck-Gesellschaft oder in nationalen und internationalen Kollaborationen. Ziel ist dabei immer, die Position der Max-Planck-Gesellschaft und ihrer Institute im Bereich des Umgangs mit Daten zu stärken. Daneben wurden Anstrengungen unternommen, die Netzwerkanbindungen derjenigen Max-Planck-Institute, die die Datendienste der MPCDF besonders intensiv nutzen (wollen), zu verbessern. So wurden in Zusammenarbeit mit dem Deutschen Forschungsnetz (DFN) hochperformante Leitungen unter anderem nach Greifswald (IPP), Martinsried (Max-Planck-Institut für Biochemie und Max-Planck-Institut für Neurobiologie) und via Stuttgart (Max-Planck-Institut für Festkörperphysik und Max-Planck-Institut für Intelligente Systeme) nach Frankfurt (Max-Planck-Institut für Biophysik und Max-Planck-Institut für Hirnforschung) etabliert beziehungsweise vorbereitet, um zukünftig noch bessere Unterstützung auswärtiger Institute anbieten zu können.

2.1 Speichersysteme

Neben den seit vielen Jahren etablierten und intensiv genutzten Backup- und Archivdiensten wurde 2015 aufgrund der hohen Nachfrage insbesondere der im Jahr zuvor neu eingeführte Sync&Share-Dienst weiter ausgebaut. Dieser Dienst ermöglicht es, Dateien oder ganze Verzeichnisse über verschiedene Endgeräte hinweg synchron zu halten (sync) sowie sie mit Kollegen teilen zu können (share), ohne sie per E-Mail oder Ähnlichem gezielt versenden zu müssen. Darüber hinaus wurden speziell für das Max-Planck-Institut für Biochemie in Martinsried sowie für das IPP in Greifswald dedizierte Massenspeichersysteme in Garching eingerichtet, die auf der Basis des High-Performance Storage Systems (HPSS) von IBM und vermittelt durch das GPFS-HPSS-Interface (GHI) einen transparenten Zugriff vor Ort auf die bei der MPCDF liegenden Daten erlauben.

2.2 Softwareentwicklung und Versionsverwaltung mit GitLab

Die Entwicklung und Pflege von Programmcodes spielt auch in der wissenschaftlichen Arbeit eine immer größere Rolle. Daher hat die MPCDF ihre Unterstützung in diesem Bereich im Jahr 2015 durch die Einführung eines neuen Dienstes erweitert. Mit MPCDF GitLab steht nun allen Mitgliedern der Max-Planck-Gesellschaft und ihren Kollaborationspartnern eine Entwicklungsplattform zur Verfügung, in der das verteilte Versionskontrollsystem Git mit weiteren Entwicklungswerkzeugen (Wikis, Issue Tracker, Continous-integration-Services) integriert auch über eine Weboberfläche angeboten wird. Damit wird erreicht, dass Mitglieder der Max-Planck-Gesellschaft einen Dienst ähnlich GibHub zur Verfügung haben, ohne aber ihre Daten einem externen Provider anvertrauen oder Gebühren für nicht-öffentliche Repositorien zahlen zu müssen.

2.3 Entwicklung und Betrieb einer Datenbank für die Materialwissenschaften: NoMaD

Stellvertretend für die individuelle Unterstützung  von Datenprojekten in der Max-Planck-Gesellschaft sei dieses Jahr das Novel-Materials-Discovery-Projekt (NoMaD) angeführt. Ziel dieses vom Fritz-Haber-Institut der MPG geleiteten Projekts ist es, durch das Zusammenführen vielfältigster Daten aus den Materialwissenschaften letztlich die Suche nach neuen Werkstoffen und bisher unbekannten Eigenschaften von Materialien zu vereinfachen. Die MPCDF betreibt für dieses Projekt das NoMaD-Repository, in dem eine Vielzahl von materialwissenschaftlichen Daten zusammengeführt und verfügbar gemacht wird. Dies beinhaltet den Betrieb der notwendigen IT-Infrastruktur (Rohdatenspeicher, Datenbank- und Webapplikation) ebenso wie die Weiterentwicklung des Systems. Konkret wurde im Laufe des Jahres 2015 die Webschnittstelle der Datenbank von Mitarbeitern der MPCDF komplett neu entwickelt. Damit konnten die Performanz, die Skalierbarkeit und die Robustheit des Systems wesentlich gesteigert werden. Auch neue Features, wie die Erteilung und Verwaltung von Digital Object Identifiern (DOIs) für Datensätze des NoMaD-Repositorys, wurden implementiert. Seit November 2015 ist die MPCDF auch in dem von der EU als Centre of Excellence geförderten „NOMAD Laboratory“ als Kooperationspartner beteiligt, welches vielfältige Visualisierungsdienste und Analysemöglichkeiten für die im Repository gesammelten Daten entwickeln wird.

2.4 Internationale Datenprojekte

Wie schon in den Jahren zuvor beteiligte sich die MPCDF auch 2015 aktiv an mehreren internationalen Datenprojekten mit dem Ziel, auch in Zukunft die Max-Planck-Gesellschaft und ihre Institute im Umgang mit Forschungsdaten bestmöglich unterstützen zu können – Stichworte: Open Access, Open Data, Open Science.

2.4.1 European data infrastructure (EUDAT)

Die EUDAT-Dateninfrastruktur gründet auf einem Netzwerk von Forschungsdatenrepositorien und nationalen Rechenzentren, das in Zusammenarbeit mit renommierten Forschungseinrichtungen und unterstützt durch die EU Datendienste entwickelt und betreibt. Auch im Jahr 2015 koordinierte die MPCDF den Betrieb der Infrastruktur und beteiligte sich an der (Weiter-)Entwicklung der angebotenen Dienste. Darüber hinaus wurde zu Aufbau und Pflege von Kontakten und Interaktionen mit Vertretern fachwissenschaftlicher Communitys und Forschungsinfrastrukturen beigetragen.

2.4.2 Research Data Alliance (RDA)

Die Research Data Alliance (RDA) – sowie ihr europäischer Ableger RDA-Europe – haben zum Ziel, die sozialen und technischen Brücken zu bauen, die ein offenes Teilen und Publizieren von Forschungsdaten auf globaler Ebene und über alle Disziplinen hinweg erst ermöglichen. Vertreter der MPCDF haben in unterschiedlicher Funktion an dieser Initiative mitgewirkt: in thematisch fokussierten Arbeits- und Interessengruppen genauso wie in zentralen Einrichtungen (Technical Advisory Board; RDA Sekretariat). Darüber hinaus hat die MPCDF im Jahr 2015 die Koordination des RDA-Europe-Projekts in seiner nun dritten Förderphase übernommen.

Literaturhinweise