Synergieeffekte durch HPC-Infrastruktur, sichere Datenspeicher und KI-Anwendungen

Die GWDG betreibt mit dem Scientific Compute Cluster (SCC), EMMY, GRETE und CARO vier Hochleistungsrechensysteme für Nutzende des Nationalen Hochleistungsrechnens (NHR), des DLR, der MPG und verschiedener Universitäten. Zusätzlich stehen im Rahmen von KISSKI (KI-Servicezentrum für sensible und kritische Infrastrukturen) auch Rechenressourcen für kleine und mittelständische Unternehmen (KMUs), StartUps sowie unabhängige Forschungseinrichtungen und Behörden zur Verfügung. Die Verfügbarkeit dieser leistungsstarken und diversen Systeme ermöglicht es uns, Forschung in verschiedenen Bereichen zu betreiben und die Ergebnisse sowohl der Wissenschaft in der Form von Veröffentlichungen als auch den Nutzenden als neue Dienste zur Verfügung zu stellen. Darunter fallen z. B. Chat AI, Coco AI, Image AI, Voice AI, Protein AI und Secure HPC.

Im Rahmen von KISSKI haben wir untersucht, wie HPC-Infrastruktur genutzt werden kann, um AI-Dienste privat und skalierbar für Forschung, Lehre und Verwaltung bereitzustellen. Aus dieser Arbeit ist mit Chat AI [1] unser derzeit erfolgreichster KI-Service entstanden, der Nutzenden per Webservice oder API Zugriff auf eine Vielzahl von Open Source LLMs (Large Language Models) sowie ChatGPT 3.5 und GPT-4o bietet. Auf Wunsch der Nutzenden werden auch spezielle LLMs unserem Angebot hinzugefügt. Chat AI basiert dabei auf der von uns entwickelten SAIA (Scalable AI Accelerator)-Infrastruktur, welche eine nahtlose Integration von AI-Diensten auf einem bestehenden Slurm Cluster bietet und dabei Nutzendendaten privat hält (siehe Abbildung 1).

Die derzeit über 30.000 Nutzenden der MPG, Universität Göttingen und vieler weiteren Hochschulen haben dabei immer wieder Feedback zu Chat AI geliefert, was sich auch positiv auf die Entwicklung der weiteren KI-Dienste ausgewirkt hat. Ebenso wird „SAIA2.0“, die neue Iteration des Scalable AI Accelerator, nun dynamisch für eine große Nutzendenbasis ermöglicht. Um die Effizienz dieser Services zu verbessern, haben wir in einer weiteren Forschungsarbeit die Leistungsfähigkeit und Nutzbarkeit aktueller Laufzeitumgebungen für verschiedene Machine Learning-Modelle getestet [2], bei dem sich NVIDIA Triton als auch PyTorch Torchserve als leistungsstarke Optionen herausgestellt haben.

Ebenfalls untersucht werden Schnittstellen für die Anbindung externer Dienste, die unser HPC-System als Recheninfrastruktur nutzen. Dies ist nicht nur für KI-Inferenzdienste notwendig, sondern auch zum Bereitstellen innovativer, nutzerfreundlicherer Frontends für klassische HPC-Workloads. Ebenso wichtig sind Forschungsdaten-Managementsysteme, aus denen heraus man die Prozessierung der gesammelten Daten anstoßen und verwalten kann. Es wird für HPC-Dienstleister zunehmend wichtiger, dieses Feld aufgrund der stetig wachsenden Rechenanforderungen datenintensiver Projekte zu bedienen. Wir erforschen hier, wie solche Schnittstellen unter Berücksichtigung der Nutzerfreundlichkeit, aber insbesondere auch unter Abwägung neuer Sicherheitsrisiken, bereitgestellt werden können. Als Ergebnis dieser Forschungsarbeit bieten wir den Service „HPCSerA“ an, welcher eine REST API bereitstellt, die explizit auch für langlaufende HPC-Jobs mit wahlweiser großer Nutzlast geeignet ist. Diese Forschungsarbeit wurde in ein Projekt mit dem Dienst „Viking“ integriert, welches eine Weboberfläche zum Management von Molekulardynamik-Simulationen bietet. Viking kann nun über HPCSerA Jobs auf den HPC-Systemen ausführen, ohne dass sich die Nutzenden via SSH auf den Systemen einloggen müssen; sogar der Code-Ingest ist über einen zweiten Faktor sicher möglich.

Ebenso wurde die Forschung an der Unterstützung datenintensiver Projekte aus den Lebenswissenschaften fortgeführt. Hier liegt der Fokus auf der Verarbeitung sensibler (Gesundheits-)Daten. Dafür bieten wir den Service „SecureHPC“ [3] an, der über einen speziellen Workflow den Zugriff auf eine speziell isolierte HPC-Partition ermöglicht (siehe Abbildung 2). Ein klinischer Workflow [4], bei dem KI-gestützt Patientengehirne segmentiert werden, ist bereits an der Universitätsmedizin Göttingen implementiert. Diese Analysen sind für eine Vielzahl von Anwendungen wertvoll, insbesondere sind Längsschnittstudien besonders wertvoll, z. B. für die Früherkennung degenerativer Erkrankungen.

Um nicht nur Workflows, sondern den Lebenszyklus ganzer datenintensiver Projekte, insbesondere mit sensiblen Gesundheitsdaten, zu ermöglichen, haben wir verschiedene Methoden erforscht, um Daten verschlüsselt in unserem Datenkatalog [5] zu indizieren, welcher ein zentraler Bestandteil unseres Data Lakes ist. Hierbei wurde einerseits eine clientseitige Verschlüsselung entwickelt, die insbesondere die Ordnung numerischer Datentypen bewahrt, um weiterhin Range-Abfragen zu ermöglichen. Ein zweiter Mechanismus für besonders hohen Durchsatz nutzt unseren SecureHPC-Service, um Instanzen unseres Datenkatalogs im Benutzerbereich in gewöhnlichen HPC-Jobs zu starten.

KISSKI, HammerHAI und die Industrie in Deutschland

Die Platzierung zwischen Wissenschaft und Industrie verschafft uns eine außergewöhnliche Perspektive in der KI-Landschaft. Dabei dienen nicht nur neueste Entwicklungen der Forschung, sondern auch Kundenwünsche als Anregung für Neu- und Weiterentwicklungen. Die entstehenden Nutzenden-Communities tragen nicht nur als Testende dazu bei, sondern nutzen unsere Ergebnisse auch direkt für ihre eigenen Anwendungen und Entwicklungen.

In den kommenden Jahren wird sich die GWDG nicht nur mit KISSKI weiter als nationales KI-Servicezentrum positionieren, sondern auch am HammerHAI-Konsortium teilnehmen und im Rahmen der EuroHPC eine AI Factory aufbauen. In beiden stehen Dienstleistungen für StartUps, KMUs sowie für die akademische Forschung und den öffentlichen Sektor im Fokus. Auch im EU-Projekt HPC SPECTRA ist die GWDG weiterhin involviert und wird dabei an der Entwicklung einer Onlineplattform standardisierter HPC-Schulungsinhalte mitwirken.

Literaturhinweise