Diploma Thesis

"Hand Pose Reconstruction using a Three-Camera Stereo Vision System", August 2011, Hamburg, Germany

Abstract

Sequences of hand model configurations, representing articulated hand motion, can be used for many purposes. The sequence can be used as a data set for a learning process, to analyze a grasp or a manipulation task and also for remote operation or human-computer interaction purposes. Because of the high amount of degrees of freedom and the complexity involved in mapping a visual external representation of the hand onto the internal articulated structure, model reconstruction of an articulated hand based on visual information represents a complex task.

This thesis describes an approach to reconstruction of hand model configurations based on visual information from three camera views. The approach builds upon a low-cost three-camera motion capturing setup using a glove equipped with differently colored marker objects. The approach is described by a workflow, consisting of various methods that are used in order to solve image processing tasks, obtain three-dimensional information based on multiple view geometry and to reconstruct a hand model configuration using anthropometric and kinematic constraints of the hand. The presented result describes the reconstruction of a hand model as a kinematic chain that is represented by Denavit-Hartenberg parameter sets.

Kurzfassung

Als Repräsentation von Handbewegungen können Sequenzen von Gelenkkonfigurationen eines Handmodells vielseitig verwendet werden. Die entsprechenden Datensätze können eine Grundlage für Lernprozesse bereitstellen, der Analyse von Greif- oder Manipulationsaufgaben dienen und auch für Fernsteuerungsaufgaben oder die Mensch-Computer Interaktion verwendet werden. Aufgrund der hohen Anzahl an Freiheitsgraden und der einhergehenden Komplexität der Abbildung einer visuellen externen Repräsentation der Hand auf die interne Gelenkstruktur, stellt die Aufgabe der Rekonstruktion eines Modells basierend auf visueller Information ein komplexes Problem dar.

Diese Diplomarbeit beschreibt einen Ansatz zur Rekonstruktion von Gelenkkonfigurationen eines Handmodells, basierend auf visueller Information aus drei Kamera-Ansichten. Der Ansatz verwendet einen kostengünstigen experimentellen Aufbau für die Bewegungserfassung, im Zusammenhang mit einem Handschuh, ausgestattet mit unterschiedlich gefärbten Markerobjekten. Der Ansatz wird durch einen Ablauf beschrieben, bei dem unterschiedliche Methoden verwendet werden, um Aufgaben der Bildverarbeitung zu bewältigen, um drei-dimensionale Information ausgehend von der Geometrie mehrerer Ansichten zu erhalten und um Gelenkkonfigurationen des Handmodells zu rekonstruieren, unter der Verwendung von anthropometrischen und kinematischen Einschränkungen der Hand. Das präsentierte Ergebnis beschreibt die Rekonstruktion eines Handmodells in der Form einer kinematischen Kette, die durch Denavit-Hartenberg Parametersätze repräsentiert wird.

Downloads

Thesis	[PDF] (EN, 16.5 MB)
Poster	[PDF] (EN, 3.8 MB)
Citation	[BIB]