Forschungsbericht 2009 - Max-Planck-Institut für Gravitationsphysik, Teilinstitut Hannover

Gravitationswellensuche mit einem der weltweit größten Supercomputer

Autoren
Fehrmann, Henning; Aulbert, Carsten
Abteilungen

Experimentelle Relativität und Kosmologie (Prof. Dr. Bruce Allen)
MPI für Gravitationsphysik, Teilinstitut Hannover, Hannover

Zusammenfassung
„Atlas“ wurde im Mai 2008 am Albert-Einstein-Institut Hannover eröffnet und steht nun der Gravitationswellengemeinschaft als ihr größter Rechnercluster zur Verfügung. Er wird in den nächsten Jahren eine wesentliche Rolle beim ersten direkten Nachweis von Gravitationswellen spielen. In der offiziellen Computer-Top-500-Liste vom Juni 2008 erreichte Atlas Platz 58 der schnellsten Supercomputer und war aufgrund des sehr effizienten Netzwerks weltweit der schnellste Cluster, der auf Gigabit-Ethernet-Technologie aufbaut.

Die von Albert Einstein formulierte allgemeine Relativitätstheorie beschreibt das Universum geometrisch und sagt die Existenz von Gravitationswellen voraus. Diese Störungen der Raumzeit breiten sich mit Lichtgeschwindigkeit aus und sind nur mit extrem empfindlichen Messinstrumenten direkt nachweisbar. Der indirekte Nachweis an dem Pulsar 1913+16 wurde zwar schon vor drei Jahrzehnten erbracht – die amerikanischen Astronomen Hulse und Taylor wurden dafür mit dem Nobelpreis für Physik 1993 geehrt. Der direkte Nachweis steht jedoch noch aus.

Gravitationswellen entstehen überall dort, wo Massen beschleunigt werden, allerdings bedarf es sehr großer und möglichst kompakter Materieansammlungen, damit Gravitationswellen in einer Stärke entstehen, die mit heutiger Technologie nachweisbar ist. Typische Kandidaten für solche Quellen sind „kompakte Binärsysteme“, darunter verstehen Astrophysiker Paare mit Weißen Zwergsternen, Neutronensternen oder Schwarzen Löchern als Komponenten. Eine weitere mögliche Quelle sind nahe gelegene, schnell rotierende Neutronensterne mit einer Unwucht oder Supernovaexplosionen, bei denen der Massenauswurf nicht symmetrisch erfolgt.

original
Atlas – ein Titan der griechischen Mythologie – wurde von Zeus dazu verdammt, die Himmelssphäre auf seinen Schultern zu tragen. Diese Statue aus der Farnese-Sammlung steht im Museo Archeologico Nazionale in Neapel. Sie gilt als älteste noch vorhandene Darstellung der vor zwei Jahrtausenden gebräuchlichen Sternbilder.

Innerhalb der letzten Jahrzehnte sind immer empfindlichere Detektoren entworfen und gebaut worden, sodass der direkte Nachweis inzwischen im Bereich des Möglichen und sogar Wahrscheinlichen liegt. Die aktuelle Generation der aktiven Gravitationswellendetektoren bilden einen Verbund aus insgesamt fünf Michelson-Laserinterferometern. Von ihnen stehen drei in den USA (LIGO, mit Armlängen von zwei und vier Kilometern), einer in Italien (VIRGO, drei Kilometer) und einer in Deutschland (GEO600 mit einer Armlänge von je 600 Metern). Diese Observatorien erzeugen eine tägliche Datenmenge von etwa eintausend Gigabyte, die weltweit zur weiteren Analyse verteilt wird. Mithilfe geeigneter, speziell entwickelter Algorithmen wird diese Datenflut von großen Rechnerverbänden erfasst und ausgewertet. Die beteiligten Wissenschaftler hoffen, dass die Analysen bald den ersten direkten Nachweis erbringen können. Näheres über die Detektoren und die Suchalgorithmen lesen Sie in früheren Tätigkeitsberichten des Instituts (siehe [1] und weitere Referenzen dort).

Im Laufe der letzten Jahre wurde immer deutlicher, dass größere und leistungsfähigere Computersysteme zur Auswertung erforderlich sind. Daher werden an den Detektoren selbst Rechencluster mit einigen Dutzend Computern betrieben, die die anfallenden Daten für den weiteren Gebrauch aufbereiten, erste zeitnahe Analysen durchführen und sie dann zu den sogenannten Tier-1 Sites kopieren. Dort werden die Daten für längere Zeiträume – typischerweise Wochen und Monate – vorgehalten, damit Tier-2 Sites die Daten auf lokale Festplattensysteme übertragen, wo lokale Computer sie bearbeiten.

Verteiltes Rechnen und Computercluster

In den letzten Jahren war das Albert-Einstein-Institut (AEI) mit zwei Beiträgen zur Datenanalyse richtungweisend. Einerseits hat die Abteilung von AEI-Direktor Bernard Schutz schon seit dem Jahr 2000 in Potsdam-Golm mehrere Computercluster im Einsatz, um Daten der bisherigen Beobachtungsläufe der Detektoren auszuwerten. Andererseits wurde Einstein@Home entscheidend mitentwickelt – ein Projekt, das momentan weltweit mehr als 200.000 Teilnehmer hat, die verfügbare Rechenkapazität ihrer PCs der Suche nach Gravitationswellen zur Verfügung stellen [2]. Der „Client“ kann dabei so eingestellt werden, dass er nur als Bildschirmschoner läuft (Abb. 2), wenn der Nutzer den Rechner gerade nicht verwendet, oder er arbeitet mit einer gewissen Prozessorauslastung unbemerkt im Hintergrund.

original
Der Bildschirmschoner von Einstein@Home zeigt eine Projektion der Sternbilder auf die Himmelskugel. Neben den Konstellationen sind Pulsare und Supernovaüberreste verzeichnet (violette und rote Punkte). Bei diesen Objekten handelt es sich um mutmaßliche Quellen von Gravitationswellen.

Mithilfe von Einstein@Home lassen sich – weltweit verteilt – viel versprechende Suchalgorithmen anwenden, und das nahezu unschlagbar preisgünstig. Die aktuelle Gesamtleistung von Einstein@Home (Stand: Dezember 2008) liegt bei über einhundert Teraflops pro Sekunde, wobei ein Teraflop einer Billion (1.000.000.000.000) Fließkommaberechnungen entspricht. Allerdings ist dieses System nicht flexibel genug, um Fortschritte bei den verwendeten Algorithmen schnell in verbesserte Softwareversionen einfließen zu lassen, da meist erst nach mehreren Monaten alle Teilnehmer mit der neuesten Fassung ausgestattet sind. Außerdem verfügen ihre Computer in der Regel nur über eine relativ langsame Internetverbindung, was die Übertragung von Datenpaketen größer als 25 Megabyte unhandlich macht.

Viele Algorithmen können jedoch nur mit einer größeren Datenbasis sinnvoll arbeiten. Außerdem wird wesentlich mehr Flexibilität in der Entwicklung, Programmierung und Evaluation der Suchen benötigt. Die neue Arbeitsgruppe um Professor Bruce Allen, die zweite Abteilung am AEI-Standort Hannover (Abb. 3+5), trieb daher gleich nach ihrer Gründung die Anschaffung eines Supercomputers voran. Durch die große Zahl von Aufgaben, die dieser nach Bedarf bewältigen kann, wird letztendlich die Gesamtproduktivität der Datenauswertung gesteigert.

original
Die Drahtzieher: Bruce Allen, Henning Fehrmann und Carsten Aulbert (von unten im Uhrzeigersinn) mussten im Rechnerraum rund sechs Kilometer Ethernetkabel verlegen.

Ein Titan der Supercomputer: Atlas

Bei der Planung eines solchen Supercomputers muss sichergestellt werden, dass ausreichend dimensionierte Räumlichkeiten und genügend elektrische Leistung vorhanden sind. Des Weiteren ist ein zuverlässiges Konzept des Wärmeabtransportes unabdingbar. Im Fall von Atlas (Abb. 4) wurde dazu auf institutsnahe Räume des Kooperationspartners der Leibniz Universität Hannover zurückgegriffen. Größere Umbaumaßnahmen bereiteten das Kellergeschoss von Mai 2007 bis Februar 2008 für die Installierung des Supercomputers vor. Dazu wurden drei Außenkühler mit jeweils etwa 220 Kilowatt Kühlleistung aufgestellt. Wärmetauscher und Pumpen im Innern des Gebäudes sorgen für die Kaltwasserversorgung, damit die Computer mit einer ausreichenden Menge wassergekühlter Luft versorgt werden. Daneben wurde eine Anlage zur Sicherstellung einer unterbrechungsfreien Stromversorgung mit einer Nennleistung von 800 Kilovoltampere angeschafft, die den Cluster nach einem Netzausfall für ungefähr fünf Minuten weiterlaufen lassen kann. Diese Zeitspanne reicht aus, um die Rechner fehlerfrei herunterzufahren und ein rudimentäres Grundgerüst des Clusters für eine wesentlich längere Zeit in Betrieb zu halten. Insgesamt wurden 48 aktiv gekühlte Racks für jeweils 42 Rechner und zusätzlich 7 offene Racks für Netzwerkkomponenten wie beispielsweise den speziellen Coreswitch verbaut.

original
Mit Ethernetz und doppeltem Boden: Die geschlossenen Rechnerschränke werden durch die darunter liegende Kühlung auf konstant 20ºC gehalten. Dagegen liegen die Computerkabel in Galerien unter der Decke des Kellergeschosses.

Nach einer EU-weiten Ausschreibung wurden Anfang 2008 die Computer und die Netzwerkkomponenten in einem Gesamtvolumen von rund 1,75 Millionen Euro beschafft und im Verlauf des Jahres noch einmal um etwa ein Viertel aufgestockt. Ende 2008 liefen somit 1680 Rechnerknoten mit jeweils vier CPU-Kernen, 32 Datenknoten a 10 Terabyte und 13 mit jeweils 18 Terabyte Festplattenplatz. Insgesamt hat der im Mai 2008 eingeweihte Cluster damit 13,5 Terabyte Hauptspeicher, 1,4 Petabyte (1 Petabyte = 1.000 Terabyte) Festplattenkapazität und eine extrapolierte effektive Leistung von etwa 40 Teraflops pro Sekunde. Die einzelnen Komponenten sind mit insgesamt rund sechs Kilometer handelsüblicher Ethernet-Kabel verbunden. Aufgrund des speziellen, hoch effizienten Gigabit-Netzwerks ist die gemessene Effizienz (Verhältnis von gemessener und theoretischer Maximalleistung) mit etwa 64% sehr hoch und in der Liste der Top-500 vom Juni 2008 war Atlas der weltschnellste Gigabit-Ethernet-basierte Cluster [3].

original
Wo alles zusammen kommt: Bruce Allen inspiziert den Coreswitch, an den alle Rechner von Atlas angeschlossen sind.

Innerhalb der Gravitationswellengemeinschaft ist Atlas der bei weitem größte Rechencluster. Momentan ist seine Gesamtleistung größer als die Summe aller anderen Cluster innerhalb der LIGO Scientific Collaboration Gruppe [4,5] und wird es auch in den nächsten Jahren bleiben. Aufgrund der Größe und potenziellen Leistungsfähigkeit rechnen momentan zwanzig bis dreißig Anwender zeitgleich auf dem System. Die Anzahl der aktiven Benutzer steigt kontinuierlich auf momentan weit über einhundert. Administriert wird Atlas hauptamtlich von den Autoren dieses Beitrags, unterstützt von einem halben Dutzend wissenschaftlicher Hilfskräfte.

Da Atlas ein flexibles Grundgerüst für verschiedenste Suchalgorithmen und -strategien darstellt sowie eine große Datenmenge vorhalten und den laufenden Programmen schnell anbieten kann, wird er eine wesentliche Rolle im künftigen Wirken der Gravitationswellenastronomen spielen. Vermutlich gelingt mit seiner Hilfe der erste direkte Nachweis eines solchen Signals, das nicht weniger als eine neue Ära der Astronomie begründet.

Originalveröffentlichungen

1.
J.T. Whelan:
Auf der Suche nach Gravitationswellen mit den empfindlichsten Detektoren aller Zeiten.
Tätigkeitsbericht der Max-Planck-Gesellschaft, 2007.
Zur Redakteursansicht