Visual tracking of deformable objects with RGB-D camera - INRIA - Institut National de Recherche en Informatique et en Automatique Accéder directement au contenu
Thèse Année : 2020

Visual tracking of deformable objects with RGB-D camera

Suivi visuel d’objets déformables avec une caméra RGB-D

Résumé

Tracking soft objects using visual information has immense applications in the field of robotics, computer graphics and automation. In this thesis, we propose multiple new approaches for tracking both rigid and non-rigid objects using a RGB-D camera. There are four main contributions of this thesis. The first contribution is a rigid object tracking method which utilizes depth and photometry based errors for tracking complex shapes using their coarse, 3D template. The second contribution is a non-rigid object tracking method which uses co-rotational FEM to track deforming objects by regulating the virtual forces acting on the surface of a physics based model of the object. The third contribution is a deformation tracking approach which minimizes a combination of geometric and photometric error while utilizing co-rotation FEM as the deformation model. The fourth contribution involves estimating the elasticity properties of a deforming object while tracking their deformation using RGB-D camera. Once the elasticity parameters have been estimated, the same methodology can be re-utilized for tracking contact forces on the surface of deforming objects.
Le suivi d'objets déformable à partir d’informations visuelles à de nombreuses applications dans le domaine de la robotique, de l'animation ou de la simulation. Dans cette thèse, nous proposons de nouvelles approches pour le suivi d'objets rigides et non rigides à l'aide d'une caméra RGB-D. Cette thèse comporte quatre contributions principales. La première contribution est une nouvelle approche de suivi d'objets dans des images RGB-D qui utilise des erreurs basées sur la profondeur et la photométrie pour suivre et localiser des formes complexes en utilisant leur modèle 3D grossier. La seconde contribution porte sur une méthode de suivi d'objets non rigides reposant sur une approche par éléments finis (FEM) pour suivre et caractériser les déformations. La troisième contribution est une approche de suivi de la déformation qui minimise une combinaison d'erreurs géométriques et photométriques tout en utilisant la FEM comme modèle de déformation. Finalement, la quatrième contribution consiste à estimer les propriétés d'élasticité d'un objet analysant ses déformations toujours à l'aide d'une caméra RGB-D. Une fois les paramètres d'élasticité estimés, la même méthodologie peut être réutilisée pour caractériser les forces de contact.
Fichier principal
Vignette du fichier
SENGUPTA_Agniva.pdf (4.9 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03210909 , version 1 (06-07-2020)
tel-03210909 , version 2 (11-08-2020)
tel-03210909 , version 3 (28-04-2021)

Identifiants

  • HAL Id : tel-03210909 , version 3

Citer

Agniva Sengupta. Visual tracking of deformable objects with RGB-D camera. Robotics [cs.RO]. Université Rennes 1, 2020. English. ⟨NNT : 2020REN1S069⟩. ⟨tel-03210909v3⟩
386 Consultations
444 Téléchargements

Partager

Gmail Facebook X LinkedIn More