BMBF-Projekt GreifbAR - geschickte Interaktion mit realen Werkzeugen in virtuellen Welten

Die Genauigkeit und Geschicklichkeit der Hand ist für präzise Aufgaben in vielen Bereichen von größter Bedeutung. Bislang sind Anwendungen der gemischten Realität zur Vermittlung von komplexen motorischen Fähigkeiten nicht geeignet. Die verwendeten Ansätze zur Bestimmung der Lage der Hände und in der Hand gehaltener Objekte im Raum sind dafür zu ungenau. Daher werden im Projekt GreifbAR Methoden entwickelt, die weit präziser sind als bisherige Ansätze.

Ziele und Vorgehen

Das Ziel des Verbundprojekts ist die Entwicklung eines intelligenten Lernsystems für die gemischte Realität, das Nutzenden die Möglichkeit gibt, präzise motorische Fähigkeiten mit Hilfe eines Simulators zu schulen. Als Anwendungsbereiche sind etwa das Erlernen komplexer Griffe bei Werkzeugen oder das Anfertigen von chirurgischen Knoten vorgesehen. Dazu werden neue Methoden im Bereich der Interaktion zwischen Händen und Objekten erforscht. Sie basieren auf der Auswertung von Videoaufnahmen durch künstliche Intelligenz und ermöglichen erstmalig Feinmanipulationen von Objekten in der gemischten Realität. Dadurch werden Interaktionen als realistischer wahrgenommen, was den Lernerfolg erhöht.

Innovationen und Perspektiven

Die neuartigen Trainingssimulatoren erhöhen zunächst in den beiden Anwendungsbereichen die Qualität der Ausbildung, senken Ausbildungskosten und minimieren Risiken. Das intelligente Lernsystem ist sowohl für die Einarbeitung als auch für die kontinuierliche Schulung von Mitarbeitenden geeignet. Eine Übertragung auf weitere Einsatzfelder ist möglich.

Quelle: Bundesministerium für Bildung und Forschung

Der Lehrstuhl für Psychologie mit Schwerpunkt Mensch-Maschine-Interaktion (Prof. Dr. Susanne Mayr) ist für die psychologische Evaluation im Projekt verantwortlich. Dazu werden relevante Gestaltungsfaktoren der Mensch-Maschine-Schnittstelle identifiziert und überprüft. Ziel ist es, das zu entwickelnde System unter Einbeziehung der zukünftigen Nutzerinnen und Nutzer möglichst nutzerfreundlich zu gestalten.

Projektleitung an der Universität Passau	Prof. Dr. Susanne Mayr (Lehrstuhl für Psychologie mit Schwerpunkt Mensch - Maschine - Interaktion)
Laufzeit	01.10.2021 - 30.09.2024
Mittelgeber	BMBF - Bundesministerium für Bildung und Forschung
Projektnummer	16SV8736