ScalES - Skalierbarkeit von Erdsystemmodellen

Neben dem Betrieb eines Hochleistungsrechenzentrums für die deutsche Klimaforschungsgemeinschaft ist das DKRZ an vielen Projekten beteiligt. Das Projekt ScalES (Scalable earth system models) wurde vom DKRZ koordiniert und mit Mitteln aus der ersten Förderinitiative des Bundesministeriums für Bildung und Forschung auf dem Gebiet „HPC-Software für skalierbare Parallelrechner“ unter dem Förderkennzeichen 01IH08004E von 2008 bis Ende 2011 finanziert.

In der heutigen Klima‐ und Erdsystemmodellierung werden Modelle, die ursprünglich für Rechner mit einem oder wenigen Cores entwickelt wurden, zu komplexen Systemen verkoppelt. Diese Systeme können auf Höchstleistungsrechnern mit tausenden von Cores heute noch nicht effektiv genutzt werden.

Ein typisches Beispiel hierfür sind Erd‐System‐Modelle (ESM), welche für die aktuell diskutierten Klimasimulationen genutzt wurden, zum Beispiel bei der Erstellung des Sachstandsberichtes des Intergovernmental Panel on Climate Change. Hierbei sind Qualität und Genauigkeit durch die zur Verfügung stehenden Hochleistungsrechner und die damit erreichbaren Modellbeschleunigungen stark limitiert.

Die bisherige Komplexität der Modellierung zeigt sich u.a. in dem großen Aufwand, der bei der  Modellentwicklung geleistet wird, um die relevanten physikalischen Prozesse angemessen numerisch zu beschreiben. Die Modelle werden daher für einen langen Zeitraum eingesetzt, der mehrere Rechnergenerationen umfasst, sodass eine wiederholte Anpassung an die Performance-Eigenschaften der jeweils aktuellen Rechnergeneration notwendig ist. Die wichtigste Änderung für die Nutzung des steigenden Leistungspotenzials in den letzten Jahren ist der Übergang zu massiv-parallelen Systemen, die eine Neubewertung der bisherigen Verfahren bzgl. der Skalierbarkeit in den hochparallelen Bereich hinein erfordern.

Damit der Programmieraufwand nicht die Bearbeitung der eigentlichen wissenschaftlichen Fragestellung verdrängt, benötigt man flexibel einsetzbare Softwarebibliotheken, welche Lösungen für typische Skalierungsprobleme enthalten. Hier setzt das Projekt ScalES an, bei dem die aktuellen Skalierungseigenschaften ausgewählter Erd-System-Modelle im Detail untersucht und allgemeine Lösungen modellunabhängig implementiert wurden. Hierzu gehören u.a. paralleler IO, lastausgleichende Domänendekomposition und effiziente Kommunikation.

Abbildung 1 zeigt einen Zwischenstand bei der Verbesserung einer niedrig aufgelösten gekoppelten Simulation, bei der die Kommunikation bereits zum Teil mit ScalES-Methoden umgesetzt wurde. Der bisher schnellstmögliche Lauf wurde damit um 27% beschleunigt. Bei höherer Auflösung erreicht man bei Verwendung von ca. 1000 Prozessoren sogar eine Verbesserung von 74% (MPIOM: TP04L80) bis 100% (ECHAM: T127L95). In dieser Situation ist der serielle IO das vordringliche Skalierungsproblem. Dieser serielle IO wird in Zukunft vom Max-Planck-Institut für Meteorologie durch eine parallele Version ersetzt. Die umfassende Nutzung der ScalES-Projektergebnisse in diesen Modellen ist noch nicht abgeschlossen und wird weiter ausgebaut. Trotzdem werden die ScalES-Verbesserungen bereits intensiv in Produktionsrechnungen eingesetzt. Vorteilhaft hierbei war der enge Kontakt zu den wissenschaftlichen Modellentwicklern, die großes Interesse an den prototypischen Entwicklungsversionen gezeigt haben, sodass das Projekt von Anfang an auf die aktuellen Bedürfnisse ausgerichtet wurde.

Neben dem Performance-Aspekt war die Allgemeingültigkeit ein wichtiger Entwicklungsschwerpunkt, sodass die Ergebnisse nicht nur in anderen Erd‐System-Modellen, sondern auch für andere Fragestellungen und auch in Disziplinen außerhalb der Klimaforschung, wie beispielsweise der Strukturmechanik und der Strömungsmechanik genutzt werden können.

Nicht zu unterschätzen ist auch der Vorteil einer reduzierten Modellkomplexität durch Verlagerung von Aufgaben in gekapselte Module, die separat getestet, gepflegt und dokumentiert werden können. In den Modellen fallen damit auch Beschränkungen weg, die bisher zur Beherrschung der Komplexität erforderlich waren, z. B. Einschränkungen in der Dekomposition des tripolaren Gitters im Ozean-Modell MPIOM (Arakawa  C-grid; Arakawaand Lamb, 1977), welche die ursprünglich explizit formulierte Parallelisierung mit Rücksicht auf die topologischen Besonderheiten zwar vereinfachen, den Lastausgleich allerdings behindern.

Abbildung 2 zeigt ein Beispiel einer lastangepassten Domänendekomposition, die mit ScalES-Methoden aus der gemessenen Rechenlast berechnet wurde. Für bestimmte numerische Verfahren benötigt man zu jedem Teilgebiet zusätzliche Daten aus den Rändern benachbarter Gebiete. Der hierfür notwendige Randaustausch stellt die wesentliche Kommunikation in vielen Modellen dar. Im Modell MPIOM wurde diese Kommunikation mit der vom Projektpartner IBM implementierten Kommunikationsbibliothek UniTrans umgesetzt. Damit lassen sich nun mehrere dieser Austauschvorgänge effizient kombinieren. Für den wichtigen Spezialfall rechteckiger Teilgebiete wurde in der ScalES-Lib ein vereinfachter Zugang zur allgemeinen UniTrans-Bibliothek implementiert, der die Behandlung der inneren Ränder (die sich aus der Gebietszerlegung ergeben) automatisiert, sodass nur noch der Austausch an den globalen Domänengrenzen im Modell beschrieben werden muss.  Damit wird die im Modell implementierte Austauschkommunikation unabhängig von der Parallelität und kann ohne zusätzlichen Programmieraufwand für andere Rechteckszerlegungen verwendet werden, die Komplexität ist also nicht höher als im seriellen Fall. Weiterhin lässt sich das Modell hiermit in Zukunft in besonders einfacher Weise um weitere Gittervariationen mit geänderten Randbedingungen erweitern.

Für das Modell MPIOM bleibt dann jedoch noch die Arbeit, die Berechnungen möglichst vollständig auf die physikalisch notwendigen Gitterpunkte zu reduzieren (ohne überflüssige Landpunkte). Diese Umstellung ist notwendig, um überhaupt ein Lastprofil zu erhalten, aus dem man durch Anpassung freie Ressourcen erhält. Der hierzu erforderliche indirekte Zugriff auf die Modelldaten wird jedoch durch ScalES-Datenstrukturen ebenfalls unterstützt.

Insgesamt hat sich gezeigt, dass in den untersuchten Modellen ein großes Optimierungspotenzial vorhanden ist, welches weitgehend durch unabhängige Bibliotheksroutinen genutzt werden kann. Auf der Modellseite bleibt ein relativ moderater Anpassungsbedarf. Die hierbei gewonnenen Erfahrungen werden sicherlich eine weitere Evolution der ScalES-Lib anstoßen, für die ein langfristiger Support geplant ist.