Singularités au service du mouvement et de la calibration*.

Introduction

Cet article s'insère dans un travail relatif aux singularités des scènes, des modèles de caméra et des mouvements au sein de séquences monoculaires non calibrées, dans le but d'obtenir le plus d'informations possibles sur l'auto-calibration, le mouvement et la scène (objets géométriques, relations, structure 3D). Cette étude est un prolongement de [VL96] comprenant plus de cas grâce à l'introduction de code généré automatiquement et prévoyant dans un futur proche, l'introduction de contrainte de tout type.

Etat de l'art

L'analyse du mouvement dans le cas de séquences d'images monoculaires non-calibrées a été étudiée par de nombreux auteurs se plaçant aussi bien du point de vue des correspondances de points, lignes ou motifs plans, utilisant une représentation discrète ou continue du mouvement et ceci, entre deux ou plusieurs images [MF92], [VF96], [F95], [H94], [S94].
Ces études sont motivées par le fait qu'on ne peut raisonablement pas considérer un système actif comme calibré. Cependant, dans le cas général, il n'est pas possible d'auto-calibrer une caméra lors d'un zoom ou lors de modifications des paramètres intrinsèques à la caméra [VF96], alors que certaines des équations présentent des singularités [H94], [ZM94].
Observant ces faits, certains auteurs ont réanalysé le problème, considérant des déplacements ou modèles de caméra spécifiques [VF96], [TZ95], [EV96], [S97a], [S97b]. Plus spécifiquement, rotations pures [H94b], [S95], translations pures, [SN94], [VGM94], variation de focale [PVG95], [EZ96], mouvements plans [ZF94], [BZ94], rotations dont l'axe est orthogonal au plan de translation [BR95], [V94], [VF95], modèle simplifié de caméra [VL96], [LV96], [CH94], ou, dans le cas planaire, étudié de façon très appronfondie par de nombreux auteurs, comme rapporté dans [VZ95] dans le cas non-calibré.
Par exemple, des rotations dont l'axe est orthogonal au plan de translation et l'angle connu ou des rotations pures [V94] permettent d'estimer les paramètres de calibration avec leur incertitude. Par la suite, on peut déterminer le type de mouvement optimal pour notre problème d'estimation.
Ces informations, collectées dans un cadre statistique comme dans [TZ95], [VZ95], [ZD94], nous permettent de déterminer quel type de déplacement ou de modèle de caméra va nous fournir le plus d'informations (couramment représentées par l'inverse de la matrice de covariance) sur la géométrie de la scène, le mouvement des objets et les paramètres de calibration.

Etude théorique

Les équations du problème

Modèle de caméra et repère de référence




Dans ce modèle, on distingue deux types de paramètres:


• Paramètres modaux: et
• Paramètres intrinsèques: u0, v0 et
Les paramètres modaux déterminent le modèle de projection:


Projection perspective pure	1	1
Projection faiblement perspective (i.e. affine ou orthographique)	0	0
Projection para-perspective	1	0

Représentation de déplacements rigides

Nous nous intéressons au mouvement d'objets rigides dans la scène et au mouvement propre de la caméra.
Cela signifie que les éléments de la scène vont effectuer un mouvement rigide paramétrisé par une matrice de rotation R s'exprimant sous la forme:
où r=[r0 r1 r2]T

et une translation de vecteur t = [t0 t1 t2]T

Equations du cas général

Considérant deux images consécutives~:

Ce qui peut également s'écrire~:



On peut remarquer qu'il s'agit d'une forme bilinéaire en ${\bf m}$ et ${\bf m'}$, ce qui montre que ce résultat peut se mettre sous une forme plus habituelle, utilisant une généralisation de la matrice fundamentale~:



Les cas particuliers

Nous ne traitons dans le cadre de ce papier que les cas particuliers relevant de la modélisation de la caméra et du mouvement de la caméra et de la scène. Les cas relevant des particularités de la scène ne sont pas étudiés dans cet article; on supposera les points dans une position générale (non-coplanaires) ainsi que le mouvement autre qu'une rotation pure, ceci afin d'utiliser exclusivement la matrice F.

Cas particuliers relevant de la modélisation de la caméra

Nous nous intéressons ici aux paramètres modaux et intrinsèques. Nous avons déjà vu les valeurs possibles pour les paramètre modaux, ce qui se résume à trois cas. Concernant les paramètres intrinsèques, plusieurs cas sont à considérer:
• mesurant la non-orthogonalité du plan CCD à l'axe optique, peut raisonnablement être négligé dans la plupart des cas ou au pire être considéré constant
• et les tailles horizontale et verticale des pixels conduisent à plusieurs cas possibles:
  • et sont constantes
  • et sont constantes et connues
  • le rapport de par est constant et connu
• et les coordonnées du centre optique peuvent être considérées comme:
  • constantes mais inconnues
  • constantes mais connues (par exemple fixées au centre de l'image)

Cas particuliers relevant du mouvement de la caméra (ou de la scène)

• Mouvement continu - mouvement discret: Dans une séquence d'images, si le mouvement est faible par rapport à la cadence des images, on peut approximer le mouvement à son premier ordre, ce qui concerne uniquement la rotation:
  
• Autres cas :
  • matrice de rotation R: nullité d'une ou de plusieurs composantes du vecteur r r0 = 0 et/ou r1 = 0 et/ou r2 = 0
  • vecteur de translation t: nullité d'une ou deux composantes de t
    • (t0 = 0) ou (t1 = 0) ou (t2 = 0)
    • ou [(t0 = 0) et (t1 = 0)]
    • ou [(t0 = 0) et (t2 = 0)]
    • ou [(t1 = 0) et (t2 = 0)]
  • parallélisme: r // t / r = t
  • orthogonalité: r t r.t = 0

Contraintes: compatibilité - redondance - consistance

L'ensemble des contraintes est formé des contraintes dites atomiques car élémentaires (vues précédemment) et des contraintes dites moléculaires constituées par des ``ET'' logique entre contraintes atomiques exceptées les combinaisons non-possibles.
En effet, si nous combinons les contraintes de non-nullité de la translation, de parallélisme et orthogonalité de la translation et de l'axe de rotation, nous aboutissons à une impossibilité.
D'autre part, si on compare:
(r0 = 0) (t r) et (t1 = 0) (t2 = 0) (t r) on s'aperçoit qu'on obtient la même contrainte dans les deux cas, ce qui montre une redondance des contraintes moléculaires, ne permettant pas ainsi de nommer les contraintes moléculaires en fonction des contraintes atomiques les constituant.
Les cas particuliers sont les contraintes moléculaires vérifiant les propriétés suivantes, et ceci dans un but de correspondre à des cas physiquement réalisables:
• un et un seul modèle de caméra doit être choisi
• un et un seul mode de rotation doit être choisi
• la translation ne doit pas être nulle (on fixe alors au moins une composante à une valeur unitaire)
• la projection du centre de l'image appartient à l'image

D'autre part, les contraintes ne sont pas forcément suffisantes pour résoudre le problème. Dans ce cas, on peut, soit se limiter aux éléments déterminables, soit ajouter des contraintes ``par défaut'' afin d'effectuer la résolution complète.

Utilisation des particularités

• déterminer le mode de projection de la caméra
• déterminer les paramètres de calibration (ceux qui sont constants)
• déterminer le type de mouvement et si possible ses caractéristiques (direction de translation, axe de rotation, angle de rotation)
• éventuellement, segmenter les points en ensembles de points rigidement liés

Implémentation

Entrée / Sortie de l'algorithme

Nous avons, en entrée:
• deux images
• une liste de contraintes
Et nous allons fournir, en sortie:
• la cohérence ou non des contraintes (la non-cohérence arrête l'algorithme à ce stade)
• un coefficient d'adéquation des données aux contraintes
• les valeurs des paramètres du problème non connus en entrée

Initialisations

Dans chaque image, nous extrayons des points d'intérêts correspondant aux points de plus grande courbure à l'aide du détecteur de coins de Harris [HS88]. Etant donné un point de grande courbure dans une image, on utilise une fenêtre de corrélation centrée à ce point, on sélectionne un voisinage rectangulaire autour de ce point dans la seconde image. On effectue ensuite une opération de corrélation et on conserve les positions pour lesquelles le score de corrélation est élevé. Si les contraintes précédentes sont vérifiées, on dit que la paire de points considérés est mutuellement consistante et forme un appariement possible. On élimine les ambiguités en utilisant un mécanisme de relaxation. Comme on utilise des séquences d'images avec une disparité faible, le mécanisme de relaxation a à faire avec un nombre faible d'appariements ambigus. Nous avons ainsi les appariements de points avec leur précision.

Corps de l'algorithme

• Choix des contraintes (par un utilisateur, voir automatiquement, de façon exhaustive)
• Test sur la compatibilité des contraintes. Si oui, continuer, si non, revenir au choix des contraintes
• Détermination des paramètres libres et liés - Mise en équations réduites
• Minimisation à l'aide des données du critére d'adéquation en faisant varier les paramètres libres.

Critère utilisé, calcul du résidu

Comme expliqué par Zhang dans [ZD94b], un critère efficient est la moyenne des distances euclidiennes entre chaque point et sa droite épipolaire correspondante. La somme des moindres carrés suivante est minimisée. où est un poids correspondant à la précision de l'appariement, en réalité, l'inverse de la variance de la précision de l'appariement. La quantité est donnée en inverse de pixels au carré, tandis que , la distance moyenne à l'épipole, est en pixels.

Algorithme de minimisation utilisé

N'ayant pas encore résolu le problème de la détermination automatique d'un estimateur des paramètres, nous utilisons l'algorithme "Nonlinear Least-Squares" qui, d'autre part, fournit de bons résultats.

Génération de code

La saisie des contraintes s'effectue par l'intermédiaire d'une interface Java. La combinaison des contraintes, la vérification de compatibilité s'effectue ensuite par le logiciel de calcul formel [MAPLE] qui, à partir de ces contraintes et à l'aide la librairie Mascotte, génére le code C afin d'utiliser les simplifications apportées par les contraintes dans le calcul des paramètres libres (les routines de minimisation portent ainsi uniquement sur les paramètres libres, et le calcul d'erreur par l'intermédiaire des matrices fondamentales ou homographies). Ce code est ensuite compilé avec le restant du code C et renvoie le résultat à l'interface Java.

Expérimentation

La plate-forme expérimentale Argès

Cette méthode a été utilisée sur une plate-forme expérimentale, Argès, constituée d'un rail sur lequel est montée une tourelle (roulis et tangage) comportant une caméra à zoom et focus télécommandables.

L'interface utilisateur

Dans un premier temps, l'utilisateur effectuera manuellement la sélection des cas particuliers par l'intermédiaire d'une interface Java. Dans un futur proche, ce système énumerera de façon automatique l'ensemble des combinaisons possibles, les testera avec les données et, en comparant les coefficients d'adéquation aux données, déterminera le cas correspondant aux données.
la démonstration sera ultérieurement disponible via le réseau Internet

Résultats

Voici les résultats correspondants à deux mouvements réels effectués par Argès. Pour chacune de ces expériences, on compare les résidus obtenus pour plusieurs séries d'hypothèses que l'on a reportés dans des tableaux afin de montrer qu'on est effectivement capable, avec cette méthode, de déterminer dans quel cas on se trouve.

Mouvement de translation pure

Dans ce cas, on a bloqué le focus et uniquement effectué une translation sur le rail (ce n'est pas une translation pure en x car l'axe de la caméra n'est pas forcément exactement orthogonal à l'axe de rotation). Voici les images prises par Argès:

et les 154 points détectés sur ces images:


cas particulier	résidu
rotation nulle, zoom fixe, nul	1.00368
translation en x pure	0.00485771
translation en z pure	1.00368
rotation en x, translation en z, nul	987.827
zoom et translation purs	0.955463

Ces résultats confirment 2 points:

• le meilleur résultat correspond au mouvement effectué : cette méthode permet donc de retrouver à quel type de mouvement on a à faire
• le cas de translation pure fournit un résultat moins bon que translation en x pure : moins on a de paramètres, plus la méthode est précise

Mouvement de zoom

On a également bloqué le focus dans cette expérience afin de maîtriser l'amplitude de déplacement du zoom.
Voici les images prises par Argès:

et les 45 points détectés sur ces images:


cas particulier	résidu
rotation nulle, zoom fixe, nul	1068.44
translation en x pure	1068.44
translation en z pure	1068.44
rotation en x, translation en z, nul	7378.61
zoom pure	773.026

Les conclusions sont identiques à celles du cas précédent. On notera par contre la différence d'ordre de grandeur due au fait que les résidus ne sont pas normalisés par rapport au nombre de points et nombre de paramètres (à développer très prochainement).

Application

L'intérêt immédiat de ce travail est de permettre de recueillir plus d'informations sur la caméra, la scène et les déplacements. On peut ensuite envisager de se placer volontairement et successivement dans des cas particuliers pour obtenir un maximum d'informations et une reconstruction "hiérarchique": Le robot effectue un déplacement particulier pour déterminer tel ou tel paramètre qu'il utilisera ensuite lors d'un autre déplacement pour reconstruire la scène, .... les critères permettant de déterminer de façon automatique l'adéquation du mouvement aux cas particuliers.

Références

• [ARGES]: le système robotique Argès
• [BR95]
• [BZ94]
• [CH94]
• [EV96]
• [EZ96]
• [F95]
• [H94]
• [H94b]
• [HS88]
• [LV96]
• [MAPLE]: le logiciel et les routines Mascotte
• [MF92]
• [PVG95]
• [S94]
• [S95]
• [S97a]
• [S97b]
• [SN94]
• [TZ95]
• [V94]
• [VGM94]
• [VF95]
• [VF96]
• [VL96]
• [VZ95]
• [ZD94]
• [ZD94b]
• [ZF94]
• [ZM94]

Version postscript de cet article.