Forschungsbericht 2011 - Max Planck Computing and Data Facility (MPCDF)

Hochleistungsrechnen, Langzeitarchivierung, Visualisierung, internationale Projekte

Autoren
H. Lederer, M. Rampp, R. Dohmen, J. Kennedy, K. Reuter und P. Heimann
Abteilungen
Rechenzentrum Garching, Garching
Zusammenfassung
Komplexe Anwendungscodes aus den Bereichen Plasmaphysik, Materialwissenschaften und anderen Disziplinen wurden für den Einsatz auf massiv-parallelen Hochleistungsrechnern optimiert. Das RZG bietet Unterstützung für Visualisierung, Exploration und quantitative Analyse von Simulationsdaten an. Auch Institute der Geisteswissenschaften nutzen zunehmend das Angebot der Langzeit-Datenarchivierung. Das RZG ist maßgeblich an Projekten auf MPG-, nationaler und europäischer Ebene beteiligt.

1. Hochleistungsrechnen

Das RZG betreibt zwei parallele IBM-Hochleistungsrechensysteme, ein Power6-System mit 6.624 Prozessoren und ein Blue-Gene/P-System mit 16.384 Prozessorcores, sowie zahlreiche große Linux-Cluster, die nun auch zunehmend dem HPC-Bereich zugerechnet werden müssen. Wesentliche Aufgaben des RZG bestehen darin, für eine plattformübergreifende Konsolidierung der SW-Umgebungen und der numerischen Bibliotheken zu sorgen und für rechenintensive, meist parallele Anwendungen aus den unterschiedlichsten Wissenschaftsbereichen Unterstützung bezüglich Einsatzfähigkeit und Leistungsoptimierung für die Hochleistungsrechner zu geben. Ein weiterer wichtiger Aspekt des Hochleistungsrechnens ist die Auswertung und graphische Darstellung der Ergebnisse. Für ein für MPG-weite Nutzung beschafftes Visualisierungscluster wird entsprechende Benutzerunterstützung angeboten.

Im Laufe der letzten Jahre wurde das Potenzial handelsüblicher Graphikkarten (GPU, Graphics Processing Unit) als kosten- und energieeffiziente, hochparallele Plattformen auch für numerische Berechnungen aus dem wissenschaftlich-technischen Bereich erkannt. Dabei werden geeignete, rechenintensive Teile der Applikation auf Graphikhardware, GPUs, ausgelagert. Im vergangenen Jahr wurde das bestehende Test- und Entwicklungssystem für GPGPU-Anwendungen am RZG um ein mit 4 GPUs der neuesten „Fermi“-Generation ausgestattetes S2050-System von NVidia erweitert. Neben der Evaluierung der neuen Programmiermodelle und -standards stehen die Systeme auch für geeignete Produktionsanwendungen zur Verfügung, wobei typischerweise angestrebt wird, eine oder mehrere GPUs als energie- und kosteneffiziente Alternative zu kleinen Linuxclustern einzusetzen.

1.1 Anwendungsoptimierung für Hochleistungsrechner

Mit der Zahl der typischerweise in den parallelen Codes verwendeten Prozessorcores sind die Anforderungen an Parallelität und Skalierbarkeit der Programme deutlich gestiegen. Es wurden Codes aus der Materialforschung, der Fusionsforschung, der Astrophysik und zunehmend auch den Lebenswissenschaften für die Hochleistungsrechner optimiert. So werden bereits mehrere Codes effizient auf 8.000 oder 16.000 Cores eingesetzt, einige Anwendungen skalieren noch deutlich höher. Im Folgenden werden Optimierungen zu ausgewählten Codes beschrieben.

1.1.1 FHI-aims-Code

FHI-aims ist ein neuer quantenmechanischer Code auf Basis der Dichte-Funktional-Theorie, der am Fritz-Haber-Institut entwickelt wurde. Es erfolgte weitere Unterstützung zur Optimierung des Codes für drei verschiedene Rechnerarchitekuren und entsprechend unterschiedliche Softwareumgebung: für IBM Blue Gene/P, für IBM Power6 und für Intel-Xeon-(Nehalem)-basierte Rechenknoten mit Infiniband-Netzwerk. Im Fokus stand die Leistung des direkten Eigenwertlösers für symmetrische Matrizen. Im Rahmen des BMBF-Projektes ELPA unter Beteiligung des FHI und des MPI für Mathematik in den Naturwissenschaften sowie der Universität Wuppertal und der TU München wurde nun ein neues, zweistufiges Verfahren entwickelt und zur Produktionsreife gebracht. Dieses neue, zweistufige Verfahren ist dem zuerst entwickelten einstufigen Verfahren bez. Skalierbarkeit noch einmal deutlich überlegen, insbesondere wenn ein hoher Anteil aller Eigenvektoren berechnet werden soll. Die Effizienz des neuen Solvers wurde erfolgreich bis 65.536 Prozessor-Cores auf Blue Gene/P und bis 4.096 Intel-Xeon-Cores getestet, die Ergebnisse zur Publikation eingereicht.

1.1.2 VERTEX-Code

VERTEX ist ein Programm zur parameterfreien Simulation von sog. Core-Kollaps-(Typ-Ib, Typ-II)-Supernovaexplosionen. Das Programm löst die zeitabhängigen Gleichungen der Hydrodynamik für das stellare Gas, gekoppelt mit einer physikalisch sehr genauen Beschreibung des zeit-, frequenz- und winkelabhängigen Strahlungstransports durch Neutrinos aller Flavours und ihrer Wechselwirkungen mit der Sternmaterie. In Zusammenarbeit mit den Entwicklern aus der Gruppe um H.-Th. Janka (MPI für Astrophysik) wurde am RZG eine hybride Parallelisierung, basierend auf OpenMP und MPI, in VERTEX implementiert. Damit können nun alle gängigen HPC-Architekturen unterstützt werden. Insbesondere konnte die Skalierbarkeit des Codes auf dem gesamten Blue-Gene/P-System des RZG mit insgesamt 16.384 Rechenkernen demonstriert werden. Zusammen mit einer Reihe von algorithmischen Weiterentwicklungen ist es damit nun erstmalig möglich, Supernovasimulationen mit überlegener physikalischer Genauigkeit hinsichtlich der Beschreibung der Mikrophysik und ohne einschränkende Symmetrieannahmen an das Sternmaterial durchzuführen.

1.1.3 Turbulenz-Code GENE

Ein wichtiges Werkzeug für die Berechnung gyrokinetischer Turbulenz in Fusionsplasmen ist der GENE-Code, der seit vielen Jahren auf verschiedenen Architekturen eingesetzt und sowohl unter physikalischen als auch rechnertechnischen Aspekten permanent weiterentwickelt wird. Die aktuelle Version des GENE-Codes wurde dahingehend optimiert, dass große Läufe im Rahmen des PRACE-Projekts möglich wurden (50 Mio. CPU-Stunden auf dem Blue-Gene/P-Petaflop-System im FZ Jülich). Vor allem durch die Umstellung von vollen auf dünn besetzte Matrizen und eine geschickte Ausnutzung des Shared-memory-Bereichs im Knoten für große, von allen Cores benötigte Arrays konnte der Speicherbedarf reduziert und die Skalierung des Codes erhöht werden. Skalierungsläufe auf der Blue Gene/P in Jülich zeigten gute Skalierung von 64.000 bis 256.000 Cores.

1.1.4 Code-Familie zur „exakten Diagonalisierung“ (ED) von Quanten-
Spinsystemen

Die numerische Lösung der zeitunabhängigen Schrödingergleichung für ein endliches Quantensystem (i. Allg. Spin-Gitter) führt auf ein dünn besetztes Eigenwertproblem, das im von Dr. A. Läuchli (Gruppe „Neue Quantenzustände der Materie”, MPI f. Physik komplexer Systeme) entwickelten ED-Code „exakt“, d. h. ohne weitere mathematische Approximationen behandelt wird. Zur numerischen Diagonalisierung wird ein Lanczos-Verfahren eingesetzt, dabei werden die Matrix-Elemente in jedem Matrix-Vektor-Multiplikationsschritt neu berechnet. Dieser Code wurde, basierend auf algorithmischen Ideen des Autors A. Läuchli, vom RZG mithilfe des MPI-(Message Passing Interface)-Standards parallelisiert sowie hinsichtlich des Hauptspeicherbedarfs optimiert und kann damit nun auf massiv parallelen Rechnern wie Blue Gene/P eingesetzt werden. Auf dem Blue-Gene/P-System des RZG gelang es damit, ein Spin-System mit 42 Gitterplätzen (entsprichend einer Dimension N=267 Milliarden des Hilbertraums bzw. der zu diagonalisierenden N´N-Matrix) zu rechnen. Dies ist eines der größten derartigen Probleme, die je gerechnet wurden. Der parallelisierte Code nutzt nahezu den gesamten verfügbaren Hauptspeicher und skaliert effizient bis zur maximal verfügbaren Zahl von 16.384 Prozessorkernen. Die Simulation benötigte das gesamte Blue-Gene/P-System für ca. 24 Stunden.

2. Langzeitarchivierung

Seit Januar 2005 bietet das RZG Max-Planck-Instituten die Langzeitarchivierung (mindestens 50 Jahre) wichtiger Daten an. Von diesem Angebot haben bisher vier Institute außerhalb der physikalisch-technischen Sektion Gebrauch gemacht: das Deutsche Kunsthistorische Institut in Florenz für die Digitalisate ihrer Fotothek, die Biblioteca Hertziana in Rom, das MPI für Psycholinguistik in Nimwegen für Video- und Ton-Dokumente aussterbender Sprachen und in Zukunft auch die Film- und Tondokumente von Prof. Eibl-Eibesfeldt sowie das Halbleiterlabor des MPE für Messdaten vom SLAC. Für Garchinger Max-Planck-Institute bestehen ohnehin schon Langzeitarchive mit Daten, die teilweise älter als 30 Jahre sind. Zur Erhöhung der Datensicherheit werden zwischen RZG und Leibniz-Rechenzentrum (LRZ) jeweils zweite Bandkopien der Archive gespiegelt.

3. Projekte in Kollaboration

3.1 MPG-AAI-Föderation – Aufbau einer MPG-weiten Authentifizierungs- und Autorisierungs-Infrastruktur

MPG-AAI ist ein gemeinsames Projekt der GWDG, MPDL und des RZG zum Aufbau einer MPG-weiten gemeinsamen, föderalen Infrastruktur zur Authentifizierung („wer bin ich“) und Autorisierung („was darf ich“), speziell im Internet. Wissenschaftler und Mitarbeiter der MPG können sich über diese Infrastruktur (AAI) mit ihrem lokalen Benutzernamen direkt an ihrem Heimat-Institut (Identity Provider) anmelden und damit auf Online-Ressourcen aller Dienstanbieter (Service Provider) der sogenannten AAI-Föderation zugreifen (Single Sign-On). Die Benutzer können dadurch einen einfachen und sicheren Zugang zu geschützten Verlagsangeboten wie Artikeln und Publikationen, Datenbanken oder anderen Diensten, auch und gerade von zu Hause aus oder von unterwegs erhalten. Der Pilotbetrieb mit sechs Max-Planck-Instituten wurde aufgenommen.

3.2 Das Hochenergiephysik-Projekt ATLAS

Das MPI für Physik (MPP) ist aktiver Partner im ATLAS-Experiment des LHC-Projekts am CERN in Genf. Eine besondere Herausforderung dieses Projekts besteht darin, Tausenden von beteiligten Mitarbeitern weltweit Zugang zu den (Petabytes an) Daten zu verschaffen, die von dem ATLAS-Detektor aufgenommen werden sollen. Dazu wurde ein hierarchisches Computing-Grid aus sogenannten Tiers (Ebenen) aufgebaut. In München betreiben das RZG und das MPP zusammen mit der Physikalischen Fakultät der LMU und dem LRZ ein Tier2-Zentrum. Über die Standard-Aufgaben hinaus wird das Münchner Tier2-Zentrum als eines von drei Zentren weltweit als Muon Calibration Center fungieren und zeitkritische Kalibrierungsdaten, die für die Datennahme des ATLAS-Detektors benötigt werden, erzeugen und bereitstellen. Durch die Beschaffung neuer Hardware wurde die Rechen- und Speicherkapazität des Tier2-Zentrums mehr als verdoppelt. Die Integration der neuen Hardware ist mit einer Umstrukturierung und Optimierung des Systems verbunden, die Änderungen im Nutzungsprofil Rechnung tragen.

3.3 Das EU-Projekt DEISA2

Das DEISA2-Projekt im 7. Rahmenprogramm der EU (FP7) mit Laufzeit von 2008 bis 2011 und MPG/RZG als Koordinator befindet sich jetzt in seinem letzten Projektjahr. Die DEISA Extreme Computing Initiative (DECI) wurde fortgeführt. Aus den 122 Proposals des letzten Calls 2010, die eine halbe Milliarde Compute-Stunden angefordert hatten, können 55 Projekte mit 90 Millionen Compute-Stunden gefördert werden. Auch der Science-Community-Support wird fortgeführt. Aus der MPG wurden fünf Proposals eingereicht. Das DEISA2-Projekt endet im April 2011. Der Betrieb der europäischen Supercomputer-Infrastrukur (Tier1) wird durch PRACE weitergeführt werden.

3.4 Projekte aus den Biowissenschaften

Das RZG stellt für die MPG eine umfangreiche Soft- und Hardwareinfrastruktur für Bioinformatik-Anwendungen zur Verfügung (www.migenas.mpg.de). Neben der fortlaufenden Pflege und Weiterentwicklung der Software und des zugehörigen Datenbestandes unterstützt das RZG zahlreiche Arbeitsgruppen aus der Max-Planck-Gesellschaft und ihre Kooperationspartner (aktuell z. B. MPI für Biophysik, Frankfurt/Main, MPI für Psychiatrie, München; MPI für Ornithologie, Außenstelle Radolfzell; MPI für Biochemie, Martinsried; MPI für Pflanzenzüchtungsforschung, Köln; Institut für Medizinische Psychologie, LMU München) und ist an mehreren wissenschaftlichen Projekten beteiligt. Mithilfe der Infrastruktur wurden im Jahr 2010 z. B. mehrere Genomannotationsprojekte, darunter einige biologisch oder auch industriell besonders bedeutsame Mikroorganismen, wie z. B. Haloferax volcanii und Halomonas elongata erfolgreich abgeschlossen.

Neben den vom RZG maßgeblich entwickelten Webanwendungen HaloLex und MIGenAS betreibt das RZG im Rahmen verschiedener Kollaborationen zahlreiche Webserver und Portale und berät die Projektgruppen z. B. bei Fragen zu Software- und Datenbankdesign, zu relevanten Technologien sowie zu Sicherheitsaspekten. Als Beispiele seien hier die Portale bzw. Webanwendungen VirhoLex (www.bioinfo.mpg.de/virholex/, MPI f. Dynamik komplexer technischer Systeme), AlignMe (www.bioinfo.mpg.de/AlignMe, MPI f. Biophysik), sowie die vom MPI f. Biochemie und der LMU München initiierten Portale Euclis (www.bioinfo.mpg.de/euclis/), WeP (www.bioinfo.mpg.de/wep/), und MCTQ (www.bioinfo.mpg.de/mctq/), letztere mit prominenten Anwendungen in der Chronobiologie, genannt.

3.5 Datenbankanwendung für das Galformod-Projekt

Das Max-Planck-Institut für Astrophysik (MPA) stellt unter der Leitung von Simon White weltweit führende astrophysikalische Simulationsdaten in einer Datenbank bereit. Im sogenannten Galformod-Projekt sollen die Möglichkeiten des Zugangs und der Nutzung der Simulationsdaten erheblich ausgeweitet werden. Über eine Verbesserung der zugrunde liegenden Datenbanklösung hinaus wird das Galformod-Projekt den Benutzern ein Framework, bestehend aus Datenbank, Rechen- und Speicherkapazität, zur Verfügung stellen, das es dem Benutzer erlaubt, komplexe Workflows zur Datenanalyse aufzusetzen. In enger Zusammenarbeit zwischen RZG und MPA werden Datenbank-Technologien zur Realisie­rung des geplanten Analyse-Frameworks evaluiert.

4. Visualisierung wissenschaftlicher Daten

Zur quantitativen Analyse und Visualisierung von Simulationsdaten aus der Max-Planck-Gesellschaft bietet das RZG eine leistungsfähige zentrale Soft- und Hardwareinfrastruktur an. Mithilfe eines neu installierten Remote-Visualisierungsclusters können auch sehr große Datensätze effizient analysiert werden, ohne dass explizite Transfers der Rohdaten aus dem RZG oder eine spezielle Hard- und Softwareausstattung vor Ort (Arbeitsplatzrechner, Laptop o. Ä.) nötig wären. Die Applikationsgruppe des RZG unterstützt die Wissenschaftler bei der Auswahl und Anwendung von Visualisierungssoftware und übernimmt in Kooperation mit den Wissenschaftlern konkrete Visualisierungsaufgaben. Das System wird inzwischen routinemäßig von zahlreichen Wissenschaftlern zur Analyse der auf den Höchstleistungsrechnern des RZG erzeugten Datensätze eingesetzt. Der Informationsgehalt dieser Daten ist aufgrund ihrer Komplexität und Größe mit herkömmlichen Methoden oft nur schwer zugänglich.

original
Original 1297165045
Abb. 1: Visualisierung von Temperaturfluktuationen und Lagrange'schen Tracer-Teilchen in einer direkten numerischen Simulation turbulenter magnetohydrodynamischer Boussinesq-Konvektion.
Abb. 1: Visualisierung von Temperaturfluktuationen und Lagrange'schen Tracer-Teilchen in einer direkten numerischen Simulation turbulenter magnetohydrodynamischer Boussinesq-Konvektion.

Die Visualisierung erweist sich mehr und mehr als unverzichtbare Komponente des wissenschaftlichen Rechnens. Als ein Beispiel für ein in Zusammenarbeit mit Wissenschaftlern vom Max-Planck-Institut für Plasmaphysik (J. Pratt, W.-C. Müller) durchgeführtes Projekt sei hier eine Visualisierung von Temperaturfluktuationen und Lagrange-Tracer-Teilchen in turbulenter magnetohydrodynamischer Boussinesq-Konvektion gezeigt. Die Simulationen erlauben das Studium des Dynamoeffektes, wie er z. B. in der Konvektionszone der Sonne stattfindet, in einem vereinfachten Modell. Die amplitudenabhängige Farbcodierung der Fluktuationen erlaubt es, Strukturen im turbulenten Feld zu identifizieren, die mitunter große Längenskalen umfassen. Das Verfolgen von passiven masselosen Tracer-Teilchen einzeln oder paarweise gibt Aufschluss über statistische Eigenschaften von Transportprozessen.

5. Experimentdatenerfassung und -verarbeitung

Die XDV-Gruppe beschäftigt sich mit der Datenverarbeitung der Großexperimente des IPP und ist verantwortlich für die Entwicklung der Datenerfassung des Experiments W7-X. Nach ausführlichen und erfolgreichen Tests des Steuerungs- und Datenerfassungssystems von W7-X an dem kleineren Experiment WEGA wurde noch einmal die Gelegenheit genutzt, alle Komponenten des Systems einer internen Überprüfung zu unterziehen, um noch vorhandene Unebenheiten und Unzulänglichkeiten zu erkennen und eventuell noch auszugleichen. Der nächste Schritt ist der Aufbau der Komponenten für den nun bald anstehenden Betrieb von W7-X.

Zur Redakteursansicht