Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen (GWDG)

Das Bereitstellen von KI-Modellen erfordert Zugriff auf GPUs in Hochleistungsrechenzentren von Universitäten und Forschungsinstituten. Da diese GPUs meist bereits in Batch-Scheduling-Systeme eingebunden sind, braucht es Strategien für die gemeinsame Nutzung mit regulären HPC-Arbeitslasten und KI-Inferenz. Wir haben dazu verschiedene Ansätze untersucht; einer bildet die Grundlage der aktuellen KI-Dienste der GWDG. In diesem Artikel stellen wir zwei weitere Ansätze vor, die Kubernetes in HPC-Umgebungen ermöglichen.

Wir betreiben verschiedene Hochleistungsrechner und führen auf diesen eigene Forschung im Bereich sicherer und hochverfügbarer Recheninfrastruktur sowie effizienter KI-Anwendungen durch. Weiterhin nehmen wir an nationalen und europaweiten Initiativen für die Standardisierung und Verbesserung von HPC- und KI-Anwendungen und Verbesserung von Nutzendentrainings teil. Die dabei durchgeführten Forschungen an generativer KI und effizienter KI-Bereitstellung, Datenschutz und Speicherlösungen bilden eine wichtige Grundlage für Services, die der MPG und anderen Nutzenden zur Verfügung gestellt werden.

Das interdisziplinäre und medizinische Teilprojekt von ABA, gefördert von der VolkswagenStiftung, bringt Experten aus verschiedenen Bereichen in der Darmkrebsforschung zusammen, um Patienten für eine optimale Therapiewahl zu stratifizieren. Proben von Darmtumoren werden an der Universitätsmedizin Göttingen (UMG) und am Max-Planck-Institut für Multidisziplinäre Naturwissenschaften (MPI-NAT) mithilfe bildgebender 3D-Methoden untersucht und in einem Data Lake der GWDG gespeichert. Die Daten werden auf dem Hochleistungsrechner Emmy der GWDG mittels KI komprimiert und analysiert. 

Rechenleistung und Speicherkapazität sind in einer wachsenden Anzahl von wissenschaftlichen Disziplinen von immer größerer Bedeutung, auch in den Lebenswissenschaften. Durch die Fortschritte in der Biotechnologie und die sukzessiv ansteigende Menge an Daten, die in diesem Bereich generiert werden, wird neben Methoden der Künstlichen Intelligenz (KI) und des maschinellen Lernens eine hocheffiziente Recheninfrastruktur zur Umsetzung eben dieser Methoden immer wichtiger.

Data Lakes erfreuen sich einer seit Jahren steigenden Beliebtheit und kommen in immer mehr Institutionen als zentraler Speicher für alle anfallenden, speziell auch unstrukturierten Daten zum Einsatz. Ein wichtiges Alleinstellungsmerkmal eines Data Lakes besteht darin, dass hier unverarbeitete Daten im jeweiligen Rohformat abgelegt werden. Dies soll einen Informationsverlust verhindern und damit die Wiederverwendbarkeit der Daten steigern. Darüber hinaus sind bei der GWDG Datenmanagementwerkzeuge integriert, welche Forschende bei der Einhaltung guter wissenschaftlicher Praxis unterstützen.