Forschungsbericht 2017 - Max-Planck-Institut für Informatik

Mensch statt Smartphone? Wie unsere Haut zur Nutzerschnittstelle für Computer werden kann

Autoren
Steimle, Jürgen
Abteilungen
„Computer Graphics“ & Universität des Saarlandes
Zusammenfassung
Neue Technologien ermöglichen Touch-Displays, die hauchdünn, verformbar und elastisch sind und somit direkt auf der menschlichen Haut getragen werden können. Damit wird ein neues Paradigma für die Interaktion mit mobilen Computergeräten denkbar: Die Haut wird zu einer interaktiven Oberfläche, die Eingaben des Nutzers erfasst und Ausgaben visuell oder haptisch darstellt. Langfristiges Ziel dieser neuen Forschungsrichtung ist die Entwicklung intuitiverer und ausdrucksstärkerer Nutzerschnittstellen für Computergeräte, die auch während mobiler Aktivität sicher und effizient bedient werden können.

Während Computer noch vor einigen Jahren primär mit Tastatur und Maus gesteuert wurden, so haben moderne Geräte meist einen berührungsempfindlichen Bildschirm, auf dem die Nutzer mit Touch-Gesten interagieren. Was für Geräte wie Smartphones oder Tablet-Computer sehr gut funktioniert, wird auf den modernsten Mobilgeräten, den sogenannten Wearables, zunehmend problematisch. Wearables werden am Körper getragen, und damit sie auch bequem sind, setzen Hersteller auf miniaturisierte Gerätegrößen. Die Oberfläche einer Smartwatch, um ein Beispiel zu nennen, bietet aber nicht mehr genügend Platz für präzise Touch-Eingaben, wie wir sie von größeren Bildschirmen kennen.

Flache, rechteckige und starre Bildschirme wurden natürlich nicht für eine Verwendung auf dem menschlichen Körper konzipiert. Ganz im Gegenteil, die Körperoberfläche ist gekrümmt, besitzt je nach Körperregion verschiedenste Geometrien, ja menschliche Haut ist sogar dehnbar. Es erscheint daher angezeigt, für Wearables grundsätzlich neue Prinzipien zu entwickeln, die stark an den Charakteristika des menschlichen Körpers angelehnt sind, anstatt konventionelle Geräteformen und Eingabegesten von Smartphones zu kopieren.

Kann nicht sogar die Haut selbst eine interaktive, berührungsempfindliche Oberfläche werden?

Die Gruppe „Mensch-Computer Interaktion“ am Max-Planck-Institut für Informatik und der Universität des Saarlandes forscht an Konzepten und technischen Lösungen für interaktive Computergeräte, die mit der menschlichen Haut verschmelzen. Die Haut als Oberfläche zur Steuerung von Computersystemen zu nutzen, ist in vielerlei Hinsicht sehr vielversprechend. Unter anderem bietet sie eine große Fläche für die Ein- und Ausgabe, die jederzeit und buchstäblich „zur Hand“ ist. Die ausgeprägten feinmotorischen Fähigkeiten des Menschen, verbunden mit der hohen taktilen Empfindsamkeit der Haut, ermöglichen schnelle, direkte und präzise Eingaben ohne Augenkontakt, was insbesondere in mobilen Nutzungskontexten und während physischer Aktivität des Nutzers von hoher Bedeutung ist. Die Ausdrucksstärke und emotionale Komponente menschlicher Berührung könnte zudem für neue, sehr direkte Formen von computergestützter zwischenmenschlicher Kommunikation herangezogen werden.

Dieser Artikel gibt einen Einblick über das noch junge Forschungsfeld zu „Interaktiver Haut“, fasst erste Ergebnisse zusammen und nennt wichtige offene Fragen.

Technologien für interaktive Haut

Wie kann Haut interaktiv gemacht werden, sodass Nutzereingaben in Echtzeit erfasst und Systemausgaben angezeigt werden können? Die genannten Eigenschaften, die Haut so attraktiv für Ein- und Ausgabe machen, stellen aus technischer Sicht gleichzeitig eine große Herausforderung dar. Denn es müssen Displays und Sensoren entwickelt werden, die auf einer hauchdünnen, verformbaren und dehnbaren Fläche funktionieren.

Frühe Arbeiten stützten sich hauptsächlich auf kamerabasierte Verfahren. Dabei wurden beispielsweise gewöhnliche Kameras oder Tiefenkameras eingesetzt, die am Körper des Nutzers befestigt wurden und sodann Berührungseingaben auf der Haut erfassten [1]. Visuelle Ausgaben wurden häufig mittels handelsüblicher mobiler Projektoren auf die Haut projiziert. Ein Vorteil dieses Ansatzes besteht darin, dass die Haut des Nutzers nicht verändert wird. Jedoch ist der kamerabasierte Ansatz auf relativ grob aufgelöste Gesten beschränkt und funktioniert nur auf Körperbereichen, die gut sichtbar sind, wie beispielsweise dem Unterarm. Andere Verfahren erfassen Berührungseingaben durch magnetische Sensoren, mithilfe von Radar oder auf Basis der Ausbreitung von Schall oder elektromagnetischer Wellen im menschlichen Körper.

original
Abb. 1: Hauchdünnes elektrolumineszentes Display auf einem temporären Tattoo ermöglicht visuelle Ausgaben auf der Haut [4].

Ein anderer Weg besteht darin, die Computergeräte so dünn und verformbar zu machen, dass sie sich wie eine zweite Haut an den menschlichen Körper anschmiegen [2]. Dafür kommt gedruckte Elektronik [3] zum Einsatz. An der Schnittstelle zwischen Informatik, Elektrotechnik und Materialwissenschaften werden neuartige gedruckte Sensoren und Displays entwickelt, die nur wenige Mikrometer dick sind. Diese können, ähnlich wie ein temporäres Tattoo, komfortabel auf der Haut getragen werden. Abbildung 1 zeigt beispielsweise ein in unserer Gruppe entwickeltes elektrolumineszentes Display, das nur ca. 40 Mikrometer dick ist und sich somit auch an kleine Fältchen der Haut natürlich anschmiegt [4]. Weitere Komponenten für die Ein- und Ausgabe können integriert werden, beispielsweise Sensoren für Touch-Gesten [5], Sensoren für physiologische Parameter, oder Aktuatoren für haptische Aufgaben auf der Haut. Da die Elektronik sich direkt an der Stelle befindet, an der die Ein- bzw. Ausgabe stattfindet, können Eingaben sehr akkurat erfasst und Ausgaben punktgenau lokalisiert ausgegeben werden.

Um vom Labor in den breiten Einsatz zu gelangen, sind jedoch noch einige Fragen zu klären. Ein noch offenes Problem ist, wie auch die Energieversorgung und ein für die Steuerung benötigter Mikroprozessor direkt in das Tattoo integriert werden können. Momentan sind dies noch separate Geräte, die über Kabel mit dem Tattoo verbunden werden. Eine zweite wesentliche Frage betrifft die sogenannten Interaktionen, also die genaue Art und Weise, mit der Nutzer ein Computergerät über die Haut steuern können.

Interaktionen für die Haut – oder: Hautbasierte Mensch-Computer Interaktion

Die besonderen Eigenschaften der Haut machen es offensichtlich, dass neue Prinzipien für die Mensch-Computer Interaktion benötigt werden. Während herkömmliche Touch-Gesten für starre und flache Bildschirme entwickelt wurden, sollten Hautgesten auf die weiche, gekrümmte und dehnbare Oberfläche der Haut abgestimmt sein. Überdies unterscheidet sich diese Oberfläche je nach Körperregion massiv, sodass eine detaillierte Berücksichtigung der verschiedenen möglichen Loci auf dem Körper unabdingbar ist.

original
Abb. 2: Haut ermöglicht ausdrucksstarke Eingabegesten, die weit über das Berühren eines starren Bildschirms hinausgehen [6].

Um erste Antworten auf diese Fragen zu finden, führten wir eine empirische Studie mit Nutzern durch, in der wir mögliche Eingabegesten auf Händen und Armen untersuchten [6]. Die Ergebnisse zeigten, dass interaktive Haut zweierlei Eigenschaften hat: Einerseits konnten die Studienteilnehmer erfolgreich einige der etablierten und einfachen Eingabegesten, wie wir sie von Smartphones kennen, auf die Haut übertragen, beispielsweise für die Befehle/Eingaben vor/zurück oder vergrößern/verkleinern. Andererseits zeigte sich, dass die spezifischen Eigenschaften der Haut neue Eingabegesten ermöglichen, die vielseitiger und ausdrucksstärker sind (Abb. 2). Dies betrifft beispielsweise Eingaben, die eine Emotion ausdrücken. So wurde Sympathie bevorzugt durch ein leichtes Streichen über den Vorderarm ausgedrückt, analog zu zwischenmenschlicher Berührung.

original
Abb. 3: Ein berührungsempfindlicher Sensor erfasst Eingabegesten auf dem Finger [5].

Auch taktile Orientierungspunkte auf dem Körper, wie Knochen, Hautfalten oder Knöchel, können bei der Eingabe helfen. Dies ist insbesondere dann relevant, wenn Eingaben während mobiler Aktivitäten durchgeführt werden sollen. Diese erfordern häufig die volle Wahrnehmung des Nutzers, sodass es auch ohne Blickkontakt möglich sein sollte, eine Geste präzise durchzuführen. Die vielfältigen taktilen Orientierungspunkte auf dem Körper können dem Nutzer dabei helfen, die richtige Stelle für die Eingabe auch ohne hinzusehen zu finden [7]. Um eine solche Steuerung ohne Blickkontakt zu ermöglichen, haben wir beispielsweise einen elastischen Sensor entwickelt, der um den Zeigefinger gewickelt wird [5] (Abb. 3). Damit kann der Nutzer sehr schnelle Eingabegesten auch in mobilen Situationen durchführen, indem er mit dem Daumen derselben Hand über den Zeigefinger streicht.

Aber die Haut eröffnet noch zahllose weitere Freiheitsgrade. So können Berührungseingaben auf der Haut mit Hand- und Armgesten kombiniert und in zahllosen Körperhaltungen durchgeführt werden. Dies erfordert eine vertiefte Untersuchung der Ergonomie körperbasierter Interaktion [8]. Nicht zuletzt hat Haut, im Gegensatz zu herkömmlichen Bildschirmen, eine primäre Funktion. Im Alltag kommt Haut ständig in Kontakt mit Gegenständen, insbesondere im Bereich der Hand und der Finger. In der Praxis erfolgreiche Gesten für die Steuerung von Computergeräten werden solche sein, die nicht mit diesen natürlichen Berührungen verwechselt werden.

Fazit

Die Forschung zu interaktiver Haut stellt die Informatik vor grundsätzlich neue Herausforderungen. Computer werden nicht länger separate Geräte sein, sondern mit dem menschlichen Körper „verschmelzen“. Dieser lebt, ist empfindlich und verletzlich und somit kein Gegenstand für „Hacking“ oder zum Ausprobieren, wie es in anderen Bereich der Informatik durchaus angezeigt ist. Durch den Aufbruch in neue Gefilde muss die Informatik neue Methodologien, Vorgehensweisen und bewährte Praktiken entwickeln, um die gesundheitliche Unbedenklichkeit neuer Verfahren sowie den Schutz der hochsensiblen Körperdaten zu gewährleisten. Darüber hinaus muss ein ethischer Konsens entwickelt werden, für welche Anwendungen es erstrebenswert ist, dass Computer und Mensch zu einem stärkeren Grad verschmelzen, aber auch wo Grenzen liegen, die nicht überschritten werden sollten.

Die Verletzlichkeit der Haut geht mit ihrer Empfindsamkeit einher. Und genau deswegen hat Haut solch erstaunliche Fähigkeiten zur Interaktion, die auch für die Interaktion mit Computern genutzt werden sollten. Richtig eingesetzt hat interaktive Haut das Potenzial, die nächste Schnittstelle für mobile Computer zu werden und dabei die Nutzung von Computern noch intuitiver, mobiler und ausdrucksstärker zu machen.

Literaturhinweise

1.
Mistry, P.; Maes, P.; Chang, L.
WUW – wear Ur world: a wearable gestural interface
Proceedings of the 27th International Conference Extended Abstracts on Human Factors in Computing Systems, ACM, 4111-4116 (2009)
2.
Kim, D.-H.; Lu, N.; Ma, R.; Kim, Y.-S.; Kim, R.-H.; Wang, S.; Wu, J.; Won, S. M.; Tao, H.; Islam, A.; Yu, K. J.; Kim, T.-i.; Chowdhury, R.; Ying, M.; Xu, L.; Li, M.; Chung, H.-J.; Keum, H.; McCormick, M.; Liu, P.; Zhang, Y.-W.; Omenetto, F. G.; Huang, Y.; Coleman, T.; Rogers, J. A.
Epidermal Electronics
Science 333, 838-843 (2011)
3.
Steimle, J.
Printed Electronics for Human-computer Interaction
ACM Interactions 22, 72-75 (2015)
4.
Weigel, M.; Nittala, A.; Olwal, A.; Steimle J.
SkinMarks: Enabling Interactions on Body Landmarks Using Conformal Skin Electronics
Proceedings of the 35th Annual ACM Conference on Human Factors in Computing Systems, ACM, 3095-3105 (2017)
5.
Weigel, M.; Lu, T.; Bailly, G.; Oulasvirta, A.; Majidi, C.; Steimle, J.
iSkin: Flexible, Stretchable and Visually Customizable On-Body Touch Sensors for Mobile Computing
Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, ACM, 2991-3000 (2015)
6.
Weigel, M.; Mehta, V.; Steimle, J.
More Than Touch: Understanding How People Use Skin As an Input Surface for Mobile Computing
Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, ACM, 179-188 (2014)
7.
Gustafson, S. G.; Rabe, B.; Baudisch, P. M.
Understanding Palm-based Imaginary Interfaces: The Role of Visual and Tactile Cues when Browsing
Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, ACM, 889-898 (2013)
8.
Bachynskyi, M.; Palmas, G.; Oulasvirta, A.; Steimle, J.; Weinkauf, T.
Performance and Ergonomics of Touch Surfaces: A Comparative Study Using Biomechanical Simulation
Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, ACM, 1817-1826 (2015)
Zur Redakteursansicht