Forschungsbericht 2017 - Deutsches Klimarechenzentrum

ESiWACE: Auf dem Weg zu wolkenauflösenden Klimamodellen

Autoren
Neumann, Philipp; Biercamp, Joachim
Abteilungen
Deutsches Klimarechenzentrum, Hamburg
Zusammenfassung
Quantitative Abschätzungen zu erwartender Änderungen bei Wetterextremen sind von großer Bedeutung. Unabdingbar dafür ist die Entwicklung von Modellen zur Simulation von Konvektion und Wolken sowie kleinskaligen Wirbeln im Ozean. Solche Modelle benötigen eine Auflösung von einem Kilometer und müssen pro Tag mehrere Monate simulieren können. ESiWACE vereint Wetter- und Klimawissenschaften und befasst sich mit der Optimierung von Simulationsabläufen auf Supercomputern. Ein Ziel ist es, technische Möglichkeiten auszuloten, aber auch Grenzen bei der Erstellung von wolkenauflösenden Modellen.

Wetter- und Klimavorhersage durch numerische Simulation

Wettervorhersagen und die Erforschung der Klimaentwicklung beruhen zu einem großen Teil auf computergestützten Simulationen. Basierend auf physikalischen Modellen für die Atmosphärendynamik, die Strahlung und Ozeanströmungen etc. wird hierbei anhand eines numerischen Algorithmus die Bewegung von Luftmassen über einem Land oder gar global über der gesamten Erde berechnet. Neben akkurater physikalischer Modellbildung sind die Forscher und Simulationsentwickler in diesen Feldern mit großen informatischen Herausforderungen konfrontiert.

Herausforderung: Datenmanagement

Sowohl aus Messungen als auch aus Simulationen werden große Mengen an klima- und wetterrelevanten Daten generiert. Diese können im Tera- oder Petabyte-Bereich liegen. Die Bereitstellung dieser Daten innerhalb der Forschungscommunity sowie ihre Aufbereitung, beispielsweise zur Nutzung im Rahmen anderer Simulationsszenarien, erfordern wohldefinierte und effiziente Workflows.

Herausforderung: Exascale Computing

Eine numerische Simulation zur Wetter- und Klimavorhersage ist zudem sehr rechenintensiv und benötigt daher den Einsatz von Supercomputern; ein Beispiel hierfür ist der vom Deutschen Klimarechenzentrum betriebene Rechner Mistral. Mistral besteht aus über 3.000 Rechenknoten mit insgesamt ca. 100.000 Rechenkernen und liefert eine maximale theoretische Rechenleistung von 3,59 PetaFLOPs (1 PetaFLOP = 1015 Rechenoperationen pro Sekunde). Die Programmierung aktueller Peta- und insbesondere künftiger Exascale-Systeme (1 ExaFLOP = 1018 Rechenoperationen pro Sekunde) steht hierbei seit einigen Jahren vor neuen Herausforderungen. Über Jahrzehnte hinweg wuchs die Leistung von Supercomputern durch immer höhere Taktfrequenzen einzelner Prozessoren sowie durch die parallele Nutzung immer größerer Prozessorzahlen in einem Gesamtsystem. Dieser Trend steigender Taktfrequenzen ist seit einigen Jahren vorbei. Stattdessen verfügen einzelne Prozessoren über immer mehr Rechenkerne. Ein Beispiel hierfür sind die Intel-Broadwell-Prozessoren, die in der Partition compute2 von Mistral genutzt werden und die jeweils über 18 Rechenkerne verfügen. Für eine effiziente Nutzung dieser neuartigen Rechenressourcen müssen aktuelle Simulationsprogramme mithilfe neuer Programmieransätze angepasst und optimiert werden.

Konvergenz von Klima- und Wetterforschung

Klima- und Wettervorhersagen unterscheiden sich deutlich in Bezug auf ihre zeitlichen Skalen: Während Wettersimulationen typischerweise wenige Tage bis Wochen berechnen, zielen Klimamodelle auf Jahrzehnte oder noch längere Vorhersageräume ab. Dementsprechend werden unterschiedliche physikalische Modelle zur Wetter- und zur Klimabeschreibung eingesetzt; dasselbe gilt für die räumliche Auflösung der jeweiligen Simulation. So kann beispielsweise eine globale Wettersimulation über den Zeitraum einer Woche mit einer räumlichen Genauigkeit von mehreren Kilometern auf aktuellen Hochleistungsrechnern durchgeführt werden. Hingegen sind Klimasimulationen für typische Zeiträume von mehreren Jahren nur bei deutlich geringeren Auflösungen möglich.

Aus verschiedenen Gründen nähern sich jedoch beide Forschungsfelder einander immer mehr an. Zum einen bewirkt die stetig anwachsende Rechenleistung aktueller Hochleistungsrechner, dass immer feinere Auflösungen beziehungsweise längere Zeiträume in akzeptabler Zeit berechnet werden können. Die Genauigkeit, das heißt die räumliche und zeitliche Auflösung der Klimamodelle nähert sich folglich derjenigen der Wettermodelle an. Zum anderen stehen sowohl Klima- als auch Wetterforschung vor ähnlichen Herausforderungen in Bezug auf Datenmanagement und Exascale Computing.

Die ESiWACE-Initiative

An dieser Stelle setzt das im Herbst 2015 ins Leben gerufene und im Rahmen der Horizon 2020-Initiative geförderte Centre of Excellence in Simulation of Weather and Climate in Europe (ESiWACE) an. Basierend auf zwei etablierten europäischen Netzwerken zur Klima- und Wetterforschung − dem European Network for Earth System Modelling (ENES) und dem European Centre for Medium-Range Weather Forecasts (Europäisches Zentrum für mittelfristige Wettervorhersage; kurz: ECMWF) − sollen die bestehenden Infrastrukturen auf europäischer Ebene synergetisch hinsichtlich der Effizienz und Produktivität der Vorhersagen optimiert werden. Sechzehn Partner aus sieben Ländern sind an dem vom Deutschen Klimarechenzentrum koordinierten Vorhaben beteiligt:

  • Deutsches Klimarechenzentrum GmbH, Deutschland
  • European Centre for Medium-Range Weather Forecasts, Großbritannien
  • Centre National de la Recherche Scientifique, Frankreich
  • Max-Planck-Institut für Meteorologie, Deutschland
  • Centre Européen de Recherche et de Formation Avancée en Calcul Scientifique, Frankreich
  • Barcelona Supercomputing Center, Spanien
  • Science and Technology Facilities Council, Großbritannien
  • Met Office, Großbritannien
  • University of Reading, Großbritannien
  • Sveriges Meteorologiska och Hydrologiska Institut, Schweden
  • National University of Ireland Galway, Irland
  • Centro Euro-Mediterraneo sui Cambiamenti Climatici, Italien
  • Deutscher Wetterdienst, Deutschland
  • Seagate Systems UK Limited, Großbritannien
  • Bull SAS, Frankreich
  • Allinea Software Limited, Großbritannien

Im Mittelpunkt von ESiWACE stehen unter anderem die Etablierung gemeinsamer und Verbesserung bestehender Workflows und entsprechender Ablaufsteuerungsprogramme, die Erarbeitung neuartiger Speicherzugriffsansätze zur effizienteren Bereitstellung von Wetter- und Klimadaten, sowie die Entwicklung und Untersuchung aktueller Simulationssoftware hinsichtlich hochauflösender Wetter- und Klimasysteme.

Auf dem Weg zu hochauflösenden globalen Erdsystemmodellen mit ICON

original
Abb. 1: Unterschiedliche Diskretisierungen der Erdoberfläche. Links: Erste Verfeinerungsstufe des ursprünglichen Ikosaeders; jedes der 20 Oberflächenelemente ist bereits in vier kleine Dreiecke unterteilt. Mitte: Zweite Verfeinerungsstufe des Ikosaeders. Rechts: Dritte Verfeinerungsstufe. Ein 1,2 km-aufgelöstes Gitter entspricht der zwölften Verfeinerungsstufe.

In Bezug auf letzteren Punkt sollen beispielhafte Simulationen entwickelt werden, die globale Betrachtungen bei einer räumlichen Auflösung von bis zu einem Kilometer erlauben sollen. Derart hochaufgelöste Simulationen werden hierbei zum einen ein vertieftes Verständnis bezüglich der Nutzung aufkommender Exascale-Rechner ermöglichen. Zum anderen erlaubt eine akkurate globale Auflösung von einem Kilometer die Beantwortung zahlreicher wissenschaftlicher Fragestellungen, beispielsweise in Bezug auf den Einfluss konvektiver Wolken und kleinskaliger Strömungsmuster im Ozean auf die Verteilung und Stärke von extremen Wetterereignissen in einem geänderten Klima.


Seit einigen Jahren wird in einer Kollaboration des Max-Planck-Instituts für Meteorologie und des Deutschen Wetterdiensts unter Mitwirkung des Deutschen Klimarechenzentrums das Icosahedral Non-hydrostatic Modelling Framework (ICON) entwickelt [1], das sowohl für die Wettervorhersage als auch für Klimasimulationen eingesetzt wird. Hierzu wird die Erde zunächst als Ikosaeder beschrieben und durch sukzessive Teilung der dreieckigen Oberflächen (sogenannte Gitterverfeinerung) schrittweise bis zur gewünschten Auflösung approximiert (Abb. 1).

Im Rahmen von ESiWACE wird ICON für globale Simulationen mit einer Ein-Kilometer-Auflösung vorbereitet, zunächst mit einem reinen Atmosphärenmodell, dann aber auch mit einem gekoppelten Modell für Ozean und Atmosphäre. Es soll insbesondere untersucht werden, unter welchen technischen Randbedingungen ein solches Modell operationell produktiv (also mit ausreichendem Durchsatz) betrieben werden kann. Ein entsprechendes Dreiecksgitter der Erdoberfläche umfasst bei einer Auflösung von 1,2 Kilometern bereits 335 544 320 Gitterzellen − allein die Speicherung dieses Gitters inklusive aller geometrischer relevanten Informationen benötigt (nur für das Atmosphärenmodell) 272 Gigabyte Speicherplatz!

original
Abb. 2: Berechnungszeit (time-to-solution) für ein Aqua-Planet-Experiment in Abhängigkeit von Prozessorzahl, ausgewertet auf der Partition compute2 des Hochleistungsrechners Mistral. Jeder Berechnungsknoten (node) beinhaltet zwei Sockets mit jeweils einem Broadwell-Prozessor (18 Rechenkerne pro Prozessor). Zugrunde liegt ein Gitter der zehnten Verfeinerungsstufe. Die gemessenen Berechnungszeiten (Symbole) liegen nahe an der optimalen Skalierbarkeit (gestrichelte Linien).

Eine Grundvoraussetzung für hochaufgelöste Simulationen stellt eine gute Skalierbarkeit auf Hochleistungsrechnern dar: Für die Berechnung eines Simulationsszenario erhofft man im Idealfall, dass die Berechnung unter Verwendung von beispielsweise 1000 Prozessoren auf einem Hochleistungsrechner tausend Mal schneller erfolgt als mit einem einzelnen Prozessor. Aufgrund von Informationsaustausch zwischen den Prozessoren und entsprechend zusätzlich anfallender Kommunikationszeiten kann eine solche Beschleunigung jedoch nur schwer erreicht werden. In verschiedenen Studien wurde die Skalierbarkeit von ICON auf unterschiedlichen Architekturen, unter anderem auf Mistral (Deutsches Klimarechenzentrum), SuperMUC (Leibniz-Rechenzentrum) und JuQUEEN (Jülich Supercomputing Centre) untersucht. Abbildung 2 zeigt die Berechnungszeit (time-to-solution) in Abhängigkeit von der verwendeten Prozessoranzahl eines Szenarios mit einer globalen Auflösung von fünf Kilometern. Eine nahezu optimale Skalierbarkeit der gesamten ICON-Simulation, inklusive ECHAM-Physik und dynamischem Kern, konnte erzielt werden.

Diese Untersuchungen sowie momentane Arbeiten an einer Simulation mit einer Auflösung von einem Kilometer sind sehr vielversprechend. Im Laufe des bis Herbst 2019 laufenden Projekts ESiWACE sollen weitergehende Messungen und Code-Optimierungen erfolgen sowie eine hochaufgelöste Kopplung von Atmosphären- und Ozeanphysik.

Literaturhinweise

1.
Zängl, G.; Reinert, D.; Rípodas, P.; Baldauf, M.
The ICON (ICOsahedral Non-hydrostatic) modelling framework of DWD and MPI-M: Description of the non-hydrostatic dynamical core.
Quarterly Journal of the Royal Meteorological Society 141, 563-579 (2015)
DOI
Zur Redakteursansicht