Hochleistungsrechnen, Langzeitarchivierung, Visualisierung, internationale Projekte

1. Hochleistungsrechnen

Das RZG betreibt zwei parallele IBM-Hochleistungsrechensysteme, ein Power6-System mit 6624 Prozessoren und ein Blue-Gene/P-System mit 16384 Prozessorcores, sowie zahlreiche große Linux-Cluster, die nun auch zunehmend dem HPC-Bereich zugerechnet werden müssen. Wesentliche Aufgaben des RZG bestehen darin, für eine plattformübergreifende Konsolidierung der SW-Umgebungen und der numerischen Bibliotheken zu sorgen und für rechenintensive, meist parallele Anwendungen aus den unterschiedlichsten Wissenschaftsbereichen Unterstützung bezüglich Einsatzfähigkeit und Leistungsoptimierung für die Hochleistungsrechner zu geben.

Im Laufe der letzten Jahre wurden handelsübliche Graphikkarten (GPU, Graphics Processing Unit) als sehr kosten- und energieeffiziente, hochparallele Plattform auch für allgemeine numerische Berechnungen aus dem wissenschaftlich-technischen Bereich erkannt. Um dieser Entwicklung Rechnung zu tragen, wurde ein Test- und Entwicklungssystem, zunächst bestehend aus vier Nvidia-„Tesla“-GPUs und zwei CPU-Servern, am RZG installiert, mit dem geeignete Programmiermodelle und -standards (v. a. CUDA, OpenCL) evaluiert und Applikationen identifiziert werden sollen, die vom Einsatz von GPUs besonders profitieren könnten.

1.1. Anwendungsoptimierung für Hochleistungsrechner

Mit der Zahl der typischerweise in den parallelen Codes verwendeten Prozessorcores sind die Anforderungen an Parallelität und Skalierbarkeit der Programme deutlich gestiegen. Es wurden Codes aus der Materialforschung, der Fusionsforschung, der Astrophysik und zunehmend auch den Lebenswissenschaften für die Hochleistungsrechner optimiert. Im Folgenden werden Optimierungen zu ausgewählten Codes beschrieben.

1.2. FHI-aims-Code

Es wurde Unterstützung bei der Optimierung des am Fritz-Haber-Institut entwickelten Simulationscodes FHI-aims gegeben, der sowohl auf der Blue Gene/P als auch auf der Power6-Maschine eingesetzt wird. Ein grundsätzliches Hindernis für eine hohe Skalierbarkeit stellt der direkte Eigenwertlöser dar, für den es noch keine gut skalierende Bibliotheksroutine gibt. Um dieses Problem, von dessen Lösung viele Simulationsbereiche profitieren würden, generell auf breiter Basis anzugehen, wurde unter Federführung des RZG ein BMBF-Projekt unter Beteiligung zweier MPIe (FHI und MPI für Mathematik in den Naturwissenschaften) sowie zweier Universitäten (TU München und Uni Wuppertal) initiiert. Ein erster Erfolg konnte dadurch erzielt werden, dass der Algorithmus, der dem Eigenwertlöser der ScaLAPACK-Bibliothek zugrunde liegt, komplett neu implementiert und dahingehend optimiert wurde, dass unnötige Abfragen auf Korrektheit der Übergabeparameter eliminiert, die Verschachtelung der Subroutinen-Aufrufe reduziert und Kommunikationsroutinen vereinfacht wurden. Diese Maßnahmen führten zu einer deutlichen Erhöhung der Performance des Eigenwertlösers, sodass nun viermal so viele Prozessor-Cores wie vorher in noch effizienter Weise eingesetzt werden können.

1.3. VERTEX-Code

VERTEX ist ein Programm zur Simulation von sog. „Core-Kollaps“-(Typ-Ib, Typ-II)-Supernovaexplosionen. Das Programm löst die zeitabhängigen Gleichungen der Hydrodynamik für das stellare Gas, gekoppelt mit einer physikalisch sehr genauen Beschreibung des zeit-, frequenz- und winkelabhängigen Strahlungstransports durch Neutrinos aller Flavours. VERTEX wird am MPI für Astrophysik in der Gruppe um H.-Th. Janka entwickelt und wird seit nunmehr fast einem Jahrzehnt auf den verschiedensten Großrechnern eingesetzt. Am RZG wurde VERTEX bereits beginnend mit den Vektorsystemen CRAY J90 und NEC SX-4/5 im Laufe der Jahre auf Power4/5/6 und SGI Altix portiert, optimiert und weiterentwickelt. Mittlerweile ist eine hybride Parallelisierung basierend auf OpenMP und MPI implementiert, die gängige aktuelle HPC-Architekturen unterstützt.

Die ersten Modellrechungen mit VERTEX trugen zum Anfang des Jahrzehnts maßgeblich zur damals noch sehr umstrittenen Erkenntnis bei, dass Simulationen unter Annahme von sphärischer Symmetrie keine Explosionsmodelle liefern, selbst wenn der Neutrinotransport praktisch „exakt“, d. h. auf dem Niveau der Boltzmanngleichung beschrieben wird. Im Laufe der vergangenen Jahre gelang es der Gruppe um Janka, eine neue Generation von zweidimensionalen, axialsymmetrischen Supernovamodellen mit überlegener physikalischer Genauigkeit zu etablieren. Kürzlich konnte das Potenzial von VERTEX demonstriert werden, bis in Regionen von einigen tausend Rechenkernen effizient zu skalieren, was Simulationen ohne jede Symmetrieannahme an das Sternmaterial ermöglichen würde. Der Code wird derzeit von den Entwicklern in enger Zusammenarbeit mit dem RZG auf solche dreidimensionalen Rechnungen vorbereitet, von denen man sich einen weiteren „Meilenstein“ auf diesem Forschungsgebiet verspricht.

1.4. Turbulenz-Code GENE

Ein wichtiges Werkzeug für die Berechnung gyrokinetischer Turbulenz in Fusionsplasmen ist der GENE-Code. Nach mehreren Jahren erfolgreichem Verwenden der Flussschlauchgeometrie für lokale Rechnungen wurde in den letzen zwei Jahren eine globale Version des Codes implementiert. Die radiale Richtung ist nun nicht mehr auf periodische Randbedingungen und konstante Profile beschränkt, sondern wird komplett im Ortsraum dargestellt und kann realistische Hintergrundprofile für Dichte und Temperatur verwenden. Da globale Probleme zu sehr vielen Gitterpunkten in radialer Richtung führen können, bot sich auch weiteres Parallelisierungspotenzial. So wurde insbesondere für die notwendigen Gyromittelungen und Feldlöser ein Ortsraumverfahren entwickelt und parallelisiert. Hier war die Darstellung der großen Gyromatrix als Bandmatrix für die Skalierbarkeit des Codes und des Speicherbedarfs von großer Bedeutung. Der Code ist nun in der Lage, auch zukünftige Petaflop-Rechner voll auszunutzen und große physikalisch relevante Problemstellungen zu lösen.

1.5. HLST-Projekt

Zur dedizierten Unterstützung von HPC-Anwendungen aus der europäischen Fusions-Community wurde 2009 mit EU-Support das High-Level Support Team (HLST) gebildet. Das Core-Team wurde unter Beteiligung des RZG am IPP eingerichtet. Weitere HLST-Mitglieder sind an anderen EFDA-Assoziationen angesiedelt. Das Team besteht aus HPC-Experten mit Erfahrung bei der Entwicklung großer numerischer, wissenschaftlicher Anwendungen insbesondere mit Expertise auf dem Gebiet der numerischen Algorithmen und Visualisierung. Das Aufgabenfeld beinhaltet Beratung, Training, Anwendungsoptimierung aller Art und Visualisierung großer Datensätze einschließlich der Herausforderung, für bereits bestehende parallele Anwendungen die Skalierbarkeit zu erhöhen.


2. Langzeitarchivierung

Seit Januar 2005 bietet das RZG Max-Planck-Instituten die Langzeitarchivierung (mindestens 50 Jahre) wichtiger Daten an. Von diesem Angebot haben bisher vier Institute Gebrauch gemacht:
• das Deutsche Kunsthistorische Institut in Florenz für die Digitalisate ihrer Fotothek,
• die Biblioteca Hertziana in Rom,
• das MPI für Psycholinguistik in Nimwegen für Video- und Ton-Dokumente aussterbender Sprachen und in Zukunft auch die Film- und Tondokumente von Prof. Eibl-Eibesfeldt,
• das Halbleiterlabor des MPE für Messdaten vom SLAC.
Für Garchinger Max-Planck-Institute gibt es ohnehin bereits Langzeitarchive:
• für die verschiedenen Experimentdaten des IPP (Asdex, W7A, W7AS und Asdex Upgrade),
• für die Daten der Gamma-Astronomie des MPE (Comptel, Egret, Integral, Swift und Grond)
• und seit 2005 für die Daten des MAGIC-Projekts des MPI für Physik.
Zur Erhöhung der Datensicherheit werden zwischen RZG und Leibniz-Rechenzentrum (LRZ) jeweils zweite Bandkopien der Archive gespiegelt.


3. Projekte in Kollaboration

3.1. MPG-AAI-Föderation – Aufbau einer MPG-weiten Authentifizierungs- und Autorisierungs-Infrastruktur

MPG-AAI ist ein gemeinsames Projekt der GWDG, MPDL und des RZG zum Aufbau einer MPG-weiten gemeinsamen, föderalen Infrastruktur zur Authentifizierung („wer bin ich“) und Autorisierung („was darf ich“), speziell im Internet. Wissenschaftler und Mitarbeiter der MPG können sich über diese Infrastruktur (AAI) mit ihrem lokalen Benutzernamen direkt an ihrem Heimat-Institut (Identity Provider) anmelden und damit auf Online-Ressourcen aller Dienstanbieter (Service Provider) der sogenannten AAI-Föderation zugreifen (Single Sign-On). Die Benutzer haben so einen einfachen und sicheren Zugang zu geschützten Verlagsangeboten wie Artikeln und Publikationen, Datenbanken oder anderen Diensten, auch und gerade von zu Hause aus oder von unterwegs. Der Aufbau der Basis-Infrastruktur und eines Test-Beds befinden sich bereits in der Endphase, der produktive Betrieb für die ersten Pilot-Institute (Festkörperforschung (Stuttgart) und Psycholinguistik (Nijmegen)) soll im Frühjahr 2010 beginnen.

3.2. Das Hochenergiephysik-Projekt ATLAS

Das MPI für Physik (MPP) ist aktiver Partner im ATLAS-Experiment des LHC-Projekts am CERN in Genf. Eine besondere Herausforderung dieses Projekts besteht darin, Tausenden von beteiligten Mitarbeitern weltweit Zugang zu den (Petabytes an) Daten zu verschaffen, die von dem ATLAS-Detektor aufgenommen werden sollen. Dazu wurde ein hierarchisches Computing-Grid aus sogenannten Tiers (Ebenen) aufgebaut. In München betreiben das RZG und das MPP zusammen mit der Physikalischen Fakultät der LMU und dem LRZ ein Tier2-Zentrum. Im Verlaufe der letzten 12 Monate wurde mithilfe intensiver Belastungstests sichergestellt, dass das Münchner Tier2-Zentrum dafür gerüstet ist, Daten vom CERN zu empfangen und diese im großen Stil zu analysieren. Über die Standard-Aufgaben hinaus wird das Münchner Tier2-Zentrum als eines von drei Zentren weltweit als Muon Calibration Center fungieren. Dabei ist von großer Bedeutung, dass die zugehörigen Daten unverzüglich und zuverlässig in einer bestimmten Zeit vom CERN zum RZG gelangen, dort innerhalb von 24 Stunden ausgewertet und die resultierenden Kalibrierungsdaten, die für die Datennahme des ATLAS-Detektors benötigt werden, genauso unverzüglich und zuverlässig zum CERN zurückgeschafft werden.

Am 23. November 2009 ging der LHC-Beschleuniger in Betrieb, und die ersten Daten vom ATLAS-Detektor sind bereits im Münchner Tier2-Zentrum eingegangen. Damit beginnt – nach Jahren der Vorbereitungen und Tests – die Phase der wirklichen Datennahme und -analyse, eine aufregende Zeit mit großen Herausforderungen für das Münchner Tier2-Zentrum.

3.3. Das DEISA2-Projekt

Das DEISA2-Projekt stellt das Anschlussprojekt an das 2004 begonnene EU-FP6-DEISA-Projekt dar. DEISA2 wird von 2008 bis 2011 im 7. Rahmenprogramm der EU (FP7) gefördert und von RZG/MPG koordiniert. Die Aufgaben des DEISA-Konsortiums aus großen europäischen Supercomputerzentren beinhalten die Weiterentwicklung der europäischen Infrastruktur auf technischer und operationaler Basis, die gemeinsame Bereitstellung höchster Rechenleistung für anspruchsvolle europäische Projekte sowie den Aufbau der Unterstützung ganzer wissenschaftlicher Communities. 2009 erfolgte ein weiterer Call for Proposals im Rahmen der DEISA Extreme Computing Initiative, der nach wissenschaftlicher und technischer Begutachtung zu 50 genehmigten Projekten führte. Bisher wurden Wissenschaftler von über 180 Universitäten oder Forschungseinrichtungen aus 25 europäischen Ländern unterstützt, mit Partnern aus vier weiteren Kontinenten: Nord- und Südamerika, Asien, Australien. Unterstützte wissenschaftliche Communities gehören den Disziplinen Klimaforschung, Biowissenschaften, Astrophysik und Fusionsforschung an.

3.4. Bioinformatik

Am RZG steht eine umfangreiche Hard- und Softwareinfrastruktur für Bioinformatik-Anwendungen zur Verfügung (www.migenas.mpg.de). Neben der fortlaufenden Pflege und Weiterentwicklung der Software und des zugehörigen Datenbestandes unterstützt das RZG zahlreiche Anwendungen und Projekte aus den Biowissenschaften (aktuell z. B. aus dem MPI für evolutionäre Anthropologie, Leipzig; MPI für Psychiatrie, München; MPI für Züchtungsforschung, Köln; MPI für Biochemie, Martinsried; MPI für molekulare Genetik, Berlin; MPI für Ornithologie, Seewiesen/Radolfszell; Institut für Medizinische Psychologie, LMU München) und beteiligt sich dabei aktiv an einigen der zugehörigen wissenschaftlichen Projekte. Mithilfe der gemeinsam mit dem MPI für Biochemie (Abt. Prof. Oesterhelt) entwickelten und am RZG betriebenen HaloLex-Plattform (www.halolex.mpg.de) werden derzeit mehrere mikrobielle Genomannotationsprojekte im Rahmen verschiedener internationaler Kollaborationen durchgeführt.

4. Visualisierung wissenschaftlicher Daten

Das RZG bietet eine zentrale Soft- und Hardwareinfrastruktur für die Visualisierung und quantitative Analyse von Simulationsdaten aus der Max-Planck-Gesellschaft an, unterstützt Wissenschaftler bei der Anwendung und übernimmt konkrete Visualisierungsaufgaben. Als Beispiel für ein aktuelles, in enger Zusammenarbeit mit den Wissenschaftlern vom MPI für Astrophysik, Garching, durchgeführtes Projekt sei hier die Visualisierung der ersten dreidimensionalen Langzeitrechnung einer Typ-II-Supernovaexplosion (N. Hammer, H.-Th. Janka & E. Müller, www.arxiv.org/abs/0908.3474) vorgestellt. Zur Visualisierung wurden für die räumlichen Häufigkeitsverteilungen von Sauerstoff, Kohlenstoff und Nickel mittels raycasting drei Einzelbilder bzw. Farbkanäle (rot, grün und blau) berechnet und anschließend zu einem einzigen Bild zusammengesetzt. Damit erhält man ein quasi-realistisches Bild eines in drei verschiedenen Spektralbändern strahlenden und absorbierenden Gases. Mit dieser Technik gelang es, gleichzeitig sowohl die Dynamik und Morphologie der gesamten Materieverteilung des explodierenden Sterns zu visualisieren, als auch die lokale Komposition der Materie darzustellen. Abbildung 1 zeigt ein Gebiet von etwa 75 Mio. km Ausdehnung zu einem Zeitpunkt 2,5 h nach Beginn der Explosion. Man erkennt die starke, großskalige Vermischung des anfänglich weitgehend sphärisch geschichteten Vorläufersterns, der ursprünglich aus einem zentralen Kern aus Nickel (blau), umgeben von Schalen aus Sauerstoff (rot) und Kohlenstoff (grün), aufgebaut war. Hydrodynamische Instabilitäten mischen Nickel und Sauerstoff in großen, pilzartigen Strukturen mit Geschwindigkeiten von einigen Tausend km/s in die äußere Hülle (in der Visualisierung nicht dargestellt) des Sterns.5.

Experimentdatenerfassung und -verarbeitung

Das Fusionsexperiment W7-X, das in wenigen Jahren in Greifswald in Betrieb gehen wird, ist für Entladungen über eine Dauer von etwa einer halben Stunde ausgelegt. Diese langen Pulse verlangen spezielle Maßnahmen bei der Erfassung und Archivierung der experimentellen Daten. Die Aufgabe, ein entsprechendes System zu entwickeln, wurde von der XDV-Gruppe des Rechenzentrums übernommen. Zusammen mit der Steuerungsgruppe wurden Strukturen und Verfahren entwickelt, um solche langen Pulse für den Physiker überschaubar und durchführbar zu machen. Die dafür erforderlichen Informationen werden alle in einer Datenbank erfasst und können im Vorfeld der Experimente konfiguriert und geplant werden. Dazu sind natürlich Werkzeuge notwendig, die für den Physiker und Techniker leicht bedienbar sein sollen. Diese Werkzeuge zur Verfügung zu stellen ist zurzeit eine wesentliche Aufgabe beider Gruppen. Einzelne Anwendungen stehen in ersten Versionen schon zur Verfügung, etwa das Steuerungsprogramm zur Durchführung der Experimente, sowie die Werkzeuge zur Konfigurierung der Maschine als auch zur Planung der durchzuführenden Experimente.

Nachdem der Prototyp des Steuerungs- und Datenerfassungssystems an dem bestehenden Experiment WEGA erfolgreich in Betrieb genommen wurde, sind weitere Komponenten zur Steuerung und auch Datenerfassung integriert worden, um die Belastbarkeit des Systems zu testen. Des Weiteren dient dieser Prototyp auch zur Überprüfung der zur Verfügung gestellten Werkzeuge für die Physiker, und die Erfahrungen fließen in weitere Entwicklungen ein.