Gestensteuerung im Pflegeumfeld – Das Projekt GeniAAL E-Book

• Herausgeber: Books on Demand
• Kategorie: Wissenschaft und neue Technologien
• Sprache: Deutsch

Seitenzahl: 128

Veröffentlichungsjahr: 2015

Beschreibung

Neue Interaktionsmethoden gewinnen in der IT immer mehr an Bedeutung. Dabei ist es von besonderer Bedeutung, dass die Interaktionsmethode an das jeweilige Anwendungsfeld und den jeweiligen Anwenderkreis angepasst ist. In den letzten Jahren hat durch die technische Weiterentwicklung die Steuerung von Systemen durch Gesten und Körperbewegungen immer weiter an Bedeutung gewonnen. Vor allem in der Spieleindustrie ist diese Art der natürlichen und intuitiven Interaktion sehr erfolgreich. Das Projekt GeniAAL – Gestengesteuerte multi-modale Systeme im Ambient Assisted Living-Umfeld (AAL) – hatte die Zielstellung, den Einsatz der Gesten- und Bewegungssteuerung im Pflegeumfeld zu untersuchen und anhand von prototypischen Demonstrationsszenarien zu evaluieren. Das Projekt hatte eine Laufzeit von 2012 bis 2013 und wurde vom Bundesministerium für Bildung und Forschung (BMBF) gefördert. Dieses Buch stellt die zusammengefassten Ergebnisse des Projekts dar.

Leseprobe

Inhaltlicher Abschlussbericht des Verbundprojekts GeniAAL - Gestengesteuerte multi-modale Systeme im Ambient Assisted Living-Umfeld (AAL)

Das diesem Bericht zugrunde liegende Vorhaben wurde mit Mitteln des Bundesministeriums für Bildung und Forschung unter den Förderkennzeichen 01IS11032A bis F gefördert. Die Verantwortung für den Inhalt dieser Veröffentlichung liegt bei den Autoren / Herausgebern.

Vorwort

Neue Interaktionsmethoden gewinnen in der IT immer mehr an Bedeutung. Dabei ist es von besonderer Bedeutung, dass die Interaktionsmethode an das jeweilige Anwendungsfeld und den jeweiligen Anwenderkreis angepasst ist.

In den letzten Jahren hat durch die technische Weiterentwicklung die Steuerung von Systemen durch Gesten und Körperbewegungen immer weiter an Bedeutung gewonnen. Vor allem in der Spieleindustrie ist diese Art der natürlichen und intuitiven Interaktion sehr erfolgreich.

Das Projekt GeniAAL – Gestengesteuerte multi-modale Systeme im Ambient Assisted Living-Umfeld (AAL) – hatte die Zielstellung, den Einsatz der Gesten- und Bewegungssteuerung im Pflegeumfeld zu untersuchen und anhand von prototypischen Demonstrationsszenarien zu evaluieren. Das Projekt hatte eine Laufzeit von 2012 bis 2013 und wurde vom Bundesministerium für Bildung und Forschung (BMBF) unter den Förderkennzeichen 01IS11032A bis F gefördert. Dieser Bericht stellt die zusammengefassten Ergebnisse des Projekts dar.

Wir danken allen Projektbeteiligten und Projektmitwirkenden, dem BMBF für die Förderung des Projekts sowie dem Projektträger im DLR, insbesondere Herrn Wolfgang Milszus, für die Unterstützung der Projektdurchführung.

Wir wünschen den Lesern eine spannende Lektüre. Für Rückfragen sind im hinteren Teil des Dokuments die Kontaktdaten aller Autoren angegeben.

Die Herausgeber, Februar 2015

Inhalt

1 Das Projekt GeniAAL

Thomas Keiser, Oliver Höß, Bernd Klein, Jens Neuhüttler, Heike Schneider, Tibor Vetter

Grundlagen und Anwendungsfelder

2 Erkennung von Körperbewegungen und Gesten in Pflege und Reha

Martin Runge, Heike Schneider

3 Nutzerzentrierte Identifikation eines intuitiven Gestenvokabulars zur Steuerung von technischen Assistenzsystemen am Beispiel Pflege

Jens Neuhüttler, Tibor Vetter

4 Rehabilitation und berührungslose Dokumentation im Pflegeprozess - Anwendungsfelder für die Gestensteuerung mit Kinect

Heike Schneider, Martin Runge

Technologien

5 Entwicklung und Verwendung des GeniAAL Frameworks

Christian Schmitt

6 Frameworkbasierte Entwicklung einer gestengesteuerten Anwendung in der Rehabilitation

Oliver Höß, Stefan Knauth, Florian Pönisch, Matthias Zierold

7 Integration von Hausautomatisierungssystemen und gestengesteuerten Anwendungen

Sebastian Szamlewska, Bernd Klein

Erfahrungen

8 Evaluation der GeniAAL-Ergebnisse

Jens Neuhüttler, Tibor Vetter

9 Agile Entwicklung von gestengesteuerten Anwendungen

Oliver Höß, Stefan Knauth, Florian Pönisch, Matthias Zierold

Projektpartner

Tellur Gesellschaft für Telekommunikation mbH

CIBEK technology + trading GmbH

Dienste für Menschen gGmbH

Fraunhofer-Institut für Arbeitswirtschaft und Organisation IAO

Hochschule für Technik Stuttgart

Wohlfahrtswerk für Baden-Württemberg

Abbildungsverzeichnis

Abbildung 1: Struktur des GeniAAL-Konsortiums

Abbildung 2: Vorgehensweise im Projekt GeniAAL

Abbildung 3: Grobstruktur des GeniAAL-Frameworks

Abbildung 4: Aufstehen aus dem Sitzen

Abbildung 5: Identifikation von Körperteilen

Abbildung 6: Aufzeichnung des Bewegungsablaufs

Abbildung 7: Graphiken zur Erläuterung / Motivation

Abbildung 8: Typologisierung von zur Steuerung geeigneten Hand- und Fingergesten

Abbildung 9: Einflussfaktoren auf die Akzeptanz einer Gestensteuerung

Abbildung 10: Strukturierte Vorgehensweise zur Identifikation von geeigneten Gesten

Abbildung 11: Funktion „Schwesternnotruf“

Abbildung 12: Funktion „Bett hoch/runter“

Abbildung 13: Funktion „PAUL-System starten/beenden“

Abbildung 14: Funktion „Menüsteuerung des PAUL-Systems“

Abbildung 15: Funktion „Kompletteinstellung“

Abbildung 16: Entwicklung Setting Pflegezimmer

Abbildung 17: Setting kameragestützte Dokumentation im Pflegeprozess

Abbildung 18: Setting kameragestützte Dokumentation im Pflegeprozess

Abbildung 19: Steuerung der Kinect durch den zu Pflegenden (sitzend)

Abbildung 20: Videodokumentation zur Identifikation von Gesten bei Pflegekräften

Abbildung 21: Die intuitive Gestendemonstration

Abbildung 22: Kameragestützte Dokumentation im Pflegeprozess

Abbildung 23: Auswertung Test „Armbeugen“ mit Kinect

Abbildung 24: Auswertung „Balance Einbeinstand“ mit Kinect

Abbildung 25: Bewertung von Reha-Detect mit Skelett-Tracking durch Kinect

Abbildung 26: Bewertung der durchgeführten Testverfahren Reha-Detect mit Kinect

Abbildung 27: Framework Architektur

Abbildung 28: GeniAAL Framework und MVVM-Pattern

Abbildung 29: GeniAAL Framework mit optionalen Komponenten

Abbildung 30: Wunddokumentation: Hauptansicht und Kamerasteuerung

Abbildung 31: Rehabilitationstest: Hauptmenü und Übungsansicht

Abbildung 32: Wesentliche Use-Cases von Reha-Detect

Abbildung 33: Reha-Detect Hauptmenü

Abbildung 34: Haupt-Komponenten Reha-Detect

Abbildung 35: UI-Design mit Visual Studio

Abbildung 36: Kinect Studio Capture Tool

Abbildung 37: Reha-Detect: Beispiel-Übung „Arm“ mit Proband im Test

Abbildung 38: Reha-Detect: beispielhafte Messpunkte

Abbildung 39: Graphische Auswertungen und Dateiformat

Abbildung 40: Persönlicher Assistent für unterstütztes Leben

Abbildung 41: DTW - Differenz-Werte

Abbildung 42: DTW - Wegberechnung

Abbildung 43: Cursor-Animation

Abbildung 44: Ablaufdiagramm Shortcuts

Abbildung 45: Ablaufdiagramm Hand-Tracking

Abbildung 46: Gesten-PAUL

Abbildung 47: Gesten im Pflegebereich

Abbildung 48: Berücksichtigte Zielgruppen bei der Erhebung von Anforderungen

Abbildung 49: Nutzen von Gestensteuerung

Abbildung 50: Subjektiv eingeschätzte Bedeutsamkeit einzelner Aspekte

Abbildung 51: Einschätzung der Entscheider zur Sinnhaftigkeit

Abbildung 52: Ausschnitt eines Service Blueprints für die Wunderversorgung

Abbildung 53: Vorgehensweise im Projekt GeniAAL

Tabellenverzeichnis

Tabelle 1: Identifizierte Gestensets für das Szenario Gestengesteuertes Pflegezimmer

Tabelle 2: Faktoren für die Auswahl / Konfiguration eines Vorgehensmodells

Kapitel 1

Das Projekt GeniAAL

Thomas Keiser1, Oliver Höß2, Bernd Klein3, Jens Neuhüttler4, Heike Schneider5, Tibor Vetter6

1 Tellur GmbH

2 Hochschule für Technik Stuttgart

3 CIBEK GmbH

Fraunhofer-Institut für Arbeitswirtschaft und Organisation IAO

5 Dienste für Menschen gGmbH

6 Wohlfahrtswerk für Baden-Württemberg

Inhalt

1.1 Ausgangssituation

1.2. Gestensteuerung in der Pflege

1.3. Das Projekt GeniAAL

1.4. Szenarios

1.5. Das GeniAAL-Framework

1.6. Fazit

1.7. Aufbau des weiteren Dokuments

1.1 Ausgangssituation

IT-Systeme müssen nicht immer traditionell mit Tastatur und Maus bedient werden. In den letzten Jahren haben sich eine Reihe von Alternativen für die Bedienung von Geräten und Software-Systemen immer weiter verbreitet. Das bekannteste Beispiel hierfür ist die Touch-Bedienung bei Smartphones und Tablet-PCs.

Aktuell ist der neueste Trend die berührungslose Bedienung von Systemen durch die optische Auswertung von Gesten. Diese Verfahren besitzen den Vorteil, dass eine Bedienung der Systeme auch mit einem gewissen räumlichen Abstand und oftmals sehr intuitiv durchgeführt werden kann.

Waren berührungslose gestengesteuerte Systeme vor einiger Zeit sehr kostenintensiv, ist heutzutage durch die Verfügbarkeit von Standard-Systemen, wie z. B. dem Microsoft Kinect-Sensor [MS14], eine kostengünstige Nutzung dieser Technologien möglich. Auch in Consumer-Geräten, wie z. B. der aktuellen Smart-TV-Generation, sind heutzutage teilweise bereits Komponenten zur Gestensteuerung eingebaut.

1.2 Gestensteuerung in der Pflege

Die meisten berührungslosen, gestengesteuerten Anwendungen sind aktuell im Entertainment-Umfeld zu finden, vor allem in Form von Spielen. Dort wird diese Art der Bedienung teilweise sehr gut vom Endanwender angenommen und verspricht einen besonderen Spielspaß sowie bei vielen Spielen sogar eine zusätzliche körperliche Betätigung. Der Spiele-Sektor ist auch geradezu prädestiniert für diese Art der Steuerung, da damit noch keine 100 prozentige Genauigkeit zu erzielen ist, und dies bei vielen Spielen keine gravierenden Auswirkungen hat.

Ein weiteres interessantes Anwendungsfeld von berührungslosen, gestengesteuerten Anwendungen ist das Pflege-Umfeld sowohl im häuslichen als auch stationären Bereich. Die oftmals in ihrer Bewegung eingeschränkten Gepflegten können durch derartige Anwendungen beispielsweise die Zimmer bzw. Gebäudeeinrichtung steuern. Das Pflegepersonal kann durch eine Gestensteuerung sowohl die IT-Systeme als auch die Einrichtung des Pflegezimmers steuern und hat gleichzeitig die Hände für die Verrichtung ihrer Pflegetätigkeit frei. Des Weiteren wird durch die berührungslose Steuerung die Übertragung von gefährlichen Keimen reduziert bzw. vermieden, die immer noch ein großes Problem im Pflege- und Krankenhaus-Umfeld darstellen.

1.3 Das Projekt GeniAAL

Im Projekt GeniAAL (Gestengesteuerte multi-modale Systeme im AAL-Umfeld), das durch das Bundesministerium für Bildung und Forschung unter den Förderkennzeichen 01IS11032A bis F gefördert wird, wurden die Anwendungspotenziale der Gestensteuerung im AAL-Umfeld (Ambient Assisted Living) untersucht und geeignete Applikationen für die Endanwender entwickelt (siehe auch [HK13], [HKP13], [NV14] und [SZP13]).

Unter Ambient Assisted Living versteht man die Bereitstellung von altersgerechten Assistenzsystemen für ein gesundes und unabhängiges Leben im Alter, was in unserer alternden Gesellschaft eine immer größere Bedeutung erlangt.

Abbildung 1: Struktur des GeniAAL-Konsortiums

Um möglichst anwendernahe Lösungen zu erreichen, wurden in das Projektkonsortium unterschiedliche Arten von Partnern integriert (siehe Abbildung 1):

Entwicklungspartner, die die Aufgabe haben, die GeniAAL-Applikationen sowie das GeniAAL-Framework zu entwickeln: Im Projekt sind dies die Tellur GmbH, die HFT Stuttgart sowie die CIBEK GmbH.

Anwendungspartner, die die Aufgabe haben, die Anforderungen an die Lösung zu definieren sowie die im Projekt entstehenden Ergebnisse zu evaluieren: Im Projekt sind dies die beiden Anbieter von Altenhilfe- und Pflegedienstleistungen Wohlfahrtswerk für Baden-Württemberg und Dienste für Menschen gGmbH.

Eine neutrale wissenschaftliche Begleitung, die u.a. die Aufgabe hat, den Anforderungs- und Evaluationsprozess neutral zu begleiten: Im Projekt ist dies das Fraunhofer-Institut für Arbeitswirtschaft und Organisation (IAO).

Die Gesamtprojektleitung wurde von der Tellur GmbH übernommen.

Abbildung 2: Vorgehensweise im Projekt GeniAAL

In Abb. 3 ist die grundsätzliche Vorgehensweise im Projekt dargestellt. In einem ersten Schritt wurden unterschiedliche Anwendungsszenarios untersucht, in denen die Gestensteuerung einen wesentlichen Mehrwert bietet und nicht einfach durch andere Technologien substituiert werden kann.

Die darauf folgende Entwicklungsphase wurde iterativ gestaltet, d.h. es wurden nach einem agilen Prozessmodell in mehreren Iterationen Anforderungen aufgenommen, eine entsprechende Konzeption erstellt bzw. verfeinert und dann umgesetzt. Anschließend wurden die neuen Versionen intern getestet und es wurde das Feedback der Anwendungspartner eingeholt, das dann in die nächste Iteration einfließen konnte.

Dieses Vorgehen war sinnvoll und zielführend, da aufgrund der neuen Technologien sowohl bei den Anwendungspartnern als auch bei den Entwicklungspartnern nicht im Vorfeld genau klar war, welche Funktionen in welchen Szenarios und mit welchen Bedienkonzepten umgesetzt werden konnten (siehe auch Kap. 9).

Bei der Konzeption und Entwicklung musste jeweils zwischen den GeniAALApplikationen, die einzelne Szenarios umsetzen und dem GeniAAL-Framework, in dem Querschnittsfunktionalitäten enthalten sind, unterschieden werden.

1.4 Szenarios

Im Rahmen eines Analyseprozesses wurden unterschiedliche denkbare Szenarios untersucht. Nach einer Priorisierung wurde im Konsortium entschieden, die drei folgenden Szenarios umzusetzen:

Szenario gestengesteuerte Wunddokumentation: Bei der stationären Pflege müssen oftmals Behandlungstätigkeiten durchgeführt werden, die eine Bild-Dokumentation erfordern. In traditionellen Szenarios muss der Pflegende dazu zwischen dem zu Pflegenden und der Kamerabedienung wechseln, was eine Unterbrechung der Arbeit bedeutet und eine Übertragung von Keimen ermöglicht bzw. eine Desinfektion erfordert. Im GeniAAL-Szenario Wunddokumentation kann die Kamera durch Gesten berührungslos gesteuert werden (inkl. Ausrichtung und Vergrößerung) und es kann per Geste ein Bild ausgelöst werden, so dass der Pflegende seine Hände ausschließlich für die eigentliche Pflegetätigkeit einsetzen kann (siehe

Kap. 4

).

Szenario Fitness-Einstufung / Reha-Detect: Im Rahmen eines Pflege-Prozesses werden in der Regel zu verschiedenen Zeitpunkten Tests durchgeführt, auf deren Basis der Gesundheitszustand bzw. die gesundheitliche Entwicklung des zu Pflegenden beurteilt werden kann. Im Rahmen von GeniAAL wurde eine spielähnliche Anwendung entwickelt (reha-Detect), die unterschiedliche Übungen bzw. Tests umsetzt, die sich auf die Mobilität der Pflegebedürftigen beziehen. Beispielsweise kann berührungslos optisch gemessen werden, wie schnell ein Aufstehvorgang durchgeführt werden kann oder wie die Balance im Einbeinstand gehalten wird. Die Ergebnisse einschließlich Bewegungsablauf werden visualisiert und gespeichert, so dass die Entwicklung der Ergebnisse über die Zeit analysiert werden kann (siehe

Kap. 4

und

6

).

Szenario Steuerung der Pflegeeinrichtungsgegenstände: In diesem Szenario wurde eine Anwendung auf Basis des PAUL-Systems des Partners CIBEK entwickelt, mit der die Einrichtung des Pflegezimmers, wie z. B. Betten oder die Beleuchtung, über Gesten gesteuert werden kann. Des Weiteren können auch unterschiedliche Informations- und Kommunikationswerkzeuge, wie z. B. Skype-Konferenzen oder TV-bzw. Radioprogramme, über Gesten bedient werden (siehe

Kap. 7

).

Im Rahmen des Projekts wurden die beschriebenen Szenarios durch Prototypen umgesetzt. Die Entwicklung erfolgte mit .NET-Technologien unter Verwendung des GeniAAL-Frameworks, das Funktionalitäten kapselt, die in mehreren konkreten Applikationen benötigt werden.

1.5 Das GeniAAL-Framework

Da bereits relativ früh klar war, dass die einzelnen Szenarios aufgrund ihres unterschiedlichen Anwendungsfeldes unterschiedliche Benutzeroberflächen benötigen, aber dennoch gewisse einheitliche Funktionalitäten in allen Szenarios benötigt werden, wurde der Entwicklungsvorgang in die Entwicklung der konkreten Szenarios sowie in die Entwicklung des GeniAAL-Frameworks, das gemeinsam benötigte Funktionalitäten bereitstellt, aufgeteilt.

Das GeniAAL-Framework erweitert und kapselt die Funktionalität des zugrundeliegenden Microsoft Kinect SDKs (Software Development Kit) und ist wie das SDK ebenfalls unter Verwendung von .NET-Technologien entwickelt worden.

Abbildung 3: Grobstruktur des GeniAAL-Frameworks

Das GeniAAL-Framework ist selbst wiederum aus einzelnen Komponenten aufgebaut. Einerseits können durch eine erweiterbare PlugIn-Architektur die unterschiedlichen Datenströme (Tiefen- und Farbbilder, Gesten und Sprache) abgegriffen werden. Andererseits kann das Framework über Konfigurations-komponenten flexibel konfiguriert werden und es können je nach Anwendungszweck Ereignisse mit Aktionen in den jeweiligen Anwendungen verknüpft werden (Mapping). Eine detaillierte Beschreibung der einzelnen Komponenten findet sich in Kap. 5.

Die einzelnen Anwendungen bzw. Szenarios werden unter Verwendung des insbesondere im .NET-Umfeld sehr verbreiteten und bewährten MVVM-Patterns (Model/View/ViewModel) umgesetzt.

1.6 Fazit

Das Konzept der Gestensteuerung besitzt ein großes Potenzial und wird sich aus Sicht der Autoren in Zukunft weiter verbreiten. Im Projekt GeniAAL wurde ein erster Schritt für Anwendungen im ambulanten und stationären Bereich gemacht, aber die Potenziale sind sicher noch nicht ausgereizt.

Auch aus Anwendersicht schafft eine Gestensteuerung eine gewisse Begeisterung bei der Bedienung von IT-Systemen. Dies hat sich bei allen Fachveranstaltungen gezeigt, bei denen die Ergebnisse von GeniAAL präsentiert wurden.

In Zukunft wird es weiterhin die Herausforderung sein, die Gestensteuerung auch außerhalb des Spiele bzw. Entertainment-Bereichs in sinnvoller Form in unterschiedliche fachliche Anwendungen zu integrieren.

1.7 Aufbau des weiteren Dokuments

In den folgenden Kapiteln werden die wesentlichen konzeptionellen und technischen Ergebnisse von GeniAAL beschrieben.

In Kapitel 2 werden grundsätzliche Überlegungen zum Einsatz von Bewegungs- und Gestenerkennungssystemen in Pflege und Reha dargestellt. In Kapitel 3 wird dargestellt, wie in GeniAAL geeignete Gesten bzw. Gestensets für eine sinnvolle Bedienung von entsprechenden Systemen identifiziert wurden. In Kapitel 4 wird näher auf die Anwendungsfelder Rehabilitation und berührungslose Dokumentation eingegangen.

Kapitel 5 beschreibt die Architektur und die Verwendung des in GeniAAL entwickelten GeniAAL-Frameworks. Kapitel 6 ist die Architektur des Szenarios Reha-Detect dargestellt, das auf Basis des GeniAAL-Frameworks realisiert wurde. Kapitel 7 beschäftigt sich mit der Integration von Hausautomatisierungssystemen und gestengesteuerten Anwendungen.

In Kapitel 8 werden die wesentlichen Evaluationsergebnisse aus GeniAAL vorgestellt. Kapitel 9 fasst die Erfahrungen bei dem Einsatz von agilen Methoden in GeniAAL zusammen.

Literatur

[HK13] O. Höß, S. Knauth: Per Geste mit dem Computer kommunizieren - Das Projekt GeniAAL: Gestengesteuerte Anwendungen im Pflegeumfeld. In: horizonte, Ausgabe 42 (10/2013), S. 3-6, 2013.

[HKP13] O. Höß, S. Knauth, F. Pönisch, M. Zierold, T. Keiser, C. Schmitt: Nutzerzentrierte Konzeption und frameworkbasierte Entwicklung von gestengesteuerten Anwendungen im AAL-Umfeld. In: Proceedings Informatik 2013 - Informatik angepasst an Mensch, Organisation und Umwelt, S. 116 - 118, Springer Lecture Notes in Informatics, 2013.

[MS14] Microsoft Corporation: Kinect for Windows: http://www.microsoft.com/en-us/kinectforwindows/, Abruf am 1.6.2014

[NV14] Neuhüttler, J.; Vetter, T.: Nutzerzentrierte Identifikation geeigneter Freihand-Gesten zur Steuerung von technischen Assistenzsystemen in der Pflege. In: Ambient Assisted Living – 7. Deutscher AAL-Kongress; VDE, Berlin, 2014.

[SZP13] Schmitt C.; Zierold M.; Pönisch F.: Development and usage of a NUI framework. IEEE Third International Conference on Consumer Electronics (ICCE 2013), Berlin, 2013.

Kapitel 2

Erkennung von Körperbewegungen und Gesten in Pflege und Reha

Dr. Martin Runge, Heike Schneider

Dienste für Menschen gGmbH

Geriatrisches Zentrum Esslingen-Kennenburg

Kennenburger Straße 63

73732 Esslingen

[email protected]

[email protected]

Inhalt

2.1 Einleitung

2.2 Zielsetzung und Anforderungsprofil des Reha-Detect-Systems

2.3 Bewegungsanalysen mit Reha-Detect

2.4 Ausblick

2.1 Reha-Detect: Kinect in der Prognose von Rehafähigkeit

Im GeniAAL-Projekt wurde untersucht, wie die Kinect-Kamera in der medizinischen, pflegerischen und therapeutischen Arbeit mit älteren Menschen sinnvoll eingesetzt werden kann.