WO2016045764A1

WO2016045764A1 - Procédé de calibration extrinsèque de caméras d'un système de formation d'images stéréos embarqué

Info

Publication number: WO2016045764A1
Application number: PCT/EP2015/001726
Authority: WO
Inventors: Lucien Garcia
Original assignee: Continental Automotive France; Continental Automotive Gmbh
Priority date: 2014-09-25
Filing date: 2015-08-24
Publication date: 2016-03-31
Also published as: CN106716489B; US20170287169A1; US10672147B2; FR3026591B1; FR3026591A1; CN106716489A

Abstract

L'invention a pour objectif de calibrer un système stéréo embarqué, de manière reproductible et sans être sans être sensible aux irrégularités de la route ou aux bruits d'images produits par ces caméras. Pour ce faire, l'invention propose de corréler l'écart de profondeur d'un point d'une scène observée par le système par rapport à une scène supposée plane et l'écart de lacet correspondante entre les caméras du système, puis d'en déduire une correction de calibration lacet des caméras. Selon un mode de réalisation, la comparaison entre la scène telle qu'observée et telle qu'attendue consiste à déterminer, par filtrage spatio-temporel, un écart de profondeur (AZa) entre la profondeur observée d'au moins un point (P1a) d'une image de scène plane formée dans le plan image d'une première caméra (11) tel que positionné dans le repère de l'autre caméra, et la profondeur attendue de ce point (P2a) projeté sur la scène plane (120) à partir de la première caméra (11), puis à déterminer l'écart de calibration lacet entre les caméras en fonction de l'écart de profondeur moyennée sur un ensemble suffisant de points.

Description

Procédé de calibration extrinsèque de caméras d'un système de formation

d'images stéréos embarqué

La présente invention se rapporte à un procédé de calibration extrinsèque de caméras utilisées dans un système stéréoscopique de formation d'images stéréos embarqué, en particulier destiné à équiper un véhicule automobile.

Dans le domaine de la sécurité automobile, les systèmes d'assistance à la conduite peuvent comporter une assistance visuelle grâce à des systèmes stéréoscopiques embarqués à bord de véhicules. Ces systèmes servent en général à la détection d'obstacles situés dans le champ visuel amont de ces véhicules. Un système stéréoscopique permet en effet de déterminer la distance entre le véhicule et ces obstacles amont à partir de deux caméras embarquées, agencées à proximité l'une de l'autre pour fournir des couples d'images stéréos à une unité de traitement numérique. Par une analyse de la disparité entre les images ainsi fournies, le système permet d'identifier les obstacles et leur distance au véhicule avec précision.

La reconnaissance de ces obstacles est, de plus, portée à la connaissance du conducteur par le système d'assistance à la conduite. La fiabilité des caméras peut devenir décisive, par exemple lorsqu'il s'agit de savoir en temps réel si, en l'absence d'obstacles signalés par ailleurs, la route est bien libre d'obstacle.

La précision dépend de la calibration des caméras et de la connaissance d'éventuelles variations par rapport à une calibration initiale. La calibration des caméras se rapporte aux paramètres intrinsèques, comme le réglage de leur distance focale ou leur zoom, ainsi qu'à leurs paramètres extrinsèques relatives à la position de chaque caméra par rapport au véhicule et à la position relative des caméras, l'une par rapport à l'autre.

Chaque caméra est initialement calibrée intrinsèquement en usine et, pour le fournisseur, les paramètres intrinsèques sont considérés comme constants pendant toute la durée d'utilisation.

Classiquement, l'une des caméras étant considérée comme la caméra de référence, la calibration extrinsèque consiste à régler la position et la rotation de cette caméra de référence par rapport au véhicule et par rapport à la rotation de l'autre caméra, appelée caméra esclave. Les caméras doivent être réglées en position l'une par rapport à l'autre de façon très précise pour éviter tout défaut de perpendicularité de leur position par rapport à leur écartement. Or il est difficile de les assembler de façon suffisamment précise pour obtenir un décalage nul en lacet et donc éviter ce défaut.

De plus, les paramètres extrinsèques varient dans le temps du fait des variations des paramètres d'utilisation, en particulier des variations dues à la température ou aux vibrations mécaniques subies par les caméras. En référence à un repère orthogonal OXYZ d'un système stéréoscopique, la calibration de la rotation relative des caméras autour de l'axe transversal OX (angle tangage), de l'axe longitudinal OZ (angle roulis) et de l'axe élévation OY (angle lacet ou « yaw » en terminologie anglaise) peut s'effectuer avantageusement par l'application de la contrainte épipolaire utilisée dans la recherche de l'appariement stéréoscopique des points dans un espace de géométrie dite épipolaire. Cette géométrie établit les relations entre les points de différentes images d'une même scène (points images), réalisées en partant de points de vue différents, ces points images correspondants aux projections dans l'espace image des caméras d'un même point objet de la scène.

La contrainte épipolaire permet de limiter la recherche, dans une image donnée, du point image d'un point objet sur une droite de projection dite droite épipolaire, alors que seule la position du point image dans l'autre image est connue. La contrainte épipolaire guide ainsi la construction d'une image stéréoscopique par la recherche des points d'appariement entre chaque point d'une première image d'acquisition mono, produite par une première caméra, et les points de la droite épipolaire de l'autre image, produite simultanément par l'autre caméra. La géométrie épipolaire permet de déduire par des relations simples les points images correspondants en liaison avec leur profondeur de champ afin de reconstruire des images stéréoscopiques, c'est-à-dire en vision tridimensionnelle.

Cependant, la pixélisation des images a un impact sur leur qualité. Cet impact est mesurable pour la calibration roulis ou tangage car la détection de l'erreur de calibration est alors directement mesurable sur l'image. Par exemple, une rotation en roulis ou en tangage d'un degré va provoquer un écart de 10 pixels sur l'image et ce sera visible. Mais l'écart de lacet ne peut être corrigé sur l'image car la sensibilité est alors trop faible : l'écart de projection sur la droite épipolaire reste trop faible par rapport au bruit d'image - inférieure à 0,1 pixel en moyenne pour un décalage d'un degré - et la contrainte épipolaire ne peut alors être exploitée.

Pour remédier à ce problème, et plus généralement pour palier au défaut d'assemblage précis des caméras - qui se traduit plus particulièrement sur la calibration en lacet - il pourrait être envisagé d'utiliser des informations externes complémentaires, comme la vitesse du véhicule ou la profondeur de la scène à partir d'un autre capteur.

Par exemple, l'utilisation d'un radar permet de repérer un objet - par exemple un véhicule - à une distance donnée. Le même véhicule est alors observé avec une première caméra du système stéréo et calibré en angle avec l'autre caméra de sorte que le véhicule soit bien à la distance donnée. Cependant, le radar n'est pas suffisamment précis et nécessite donc de prendre un nombre important de points de repère. De plus, ce radar génère un coût supplémentaire. D'autres développements ont été explorés sans la contrainte d'utilisation d'un radar, en utilisant uniquement le système de traitement d'image.

Ainsi, le document de brevet FR 2 986 358 décrit la calibration d'une caméra montée sur un véhicule à partir de la saisie de points cibles particuliers et repérés sur une mire. Par la résolution d'un système d'équations non linéaires à six inconnues, trois composantes en translation et trois composantes en rotation, un point de coordonnées données dans le plan image de la caméra est alors positionné dans la scène.

Cette solution est difficilement applicable pour la calibration lacet entre deux caméras d'un système stéréoscopique car la complexité du système ne permet pas d'aboutir à des déterminations univoques pour deux caméras en mouvement à partir d'une même mire.

La demande internationale WO 2011/079258 prévoit de déterminer la dé- calibration en temps réel d'un système multi-caméras, plus particulièrement sa dé- calibration extrinsèque, et de le re-calibrer, à partir de la correspondance entre des données observées d'une image - par leurs mesures - et celles prévues en fonction de l'application de la calibration réglée antérieurement. La correspondance des données, qui se rapporte à des caractéristiques de modèles d'objets types, est mémorisée sous forme de statistiques historiques des scores d'alignement mesurés en temps réel.

Cependant, cette solution se rapporte à des systèmes d'au moins trois caméras multiples et utilise plusieurs objets modèles, tels que des cercles, ou un modèle 3D (tridimensionnel), tel qu'un cylindre, pour mettre en œuvre le procédé. L'utilisation de modèles-types restreint l'utilisation de ce procédé. De plus, les performances de la détermination de la dé-calibration, en particulier de la dé-calibration lacet pour un système stéréoscopique embarqué, ne sont ne sont pas mesurables.

L'invention a pour objectif de calibrer un système de caméras stéréoscopiques embarqué, de manière reproductible et sans être sensible aux irrégularités de la route ou aux bruits d'images produits par ces caméras. Pour ce faire, l'invention propose de corréier l'écart de profondeur d'un point d'une scène observée par le système par rapport à la scène supposée plane et la variation de lacet correspondante entre les caméras du système, puis d'en déduire une correction de calibration lacet des caméras.

A cet effet, la présente invention a pour objet un procédé de calibration extrinsèque d'une première et d'une deuxième caméras d'un système stéréoscopique de formation d'images stéréos embarqué dans un véhicule automobile, comportant les étapes suivantes :

· acquisition de calibrations intrinsèques mono et extrinsèques stéréo de roulis, tangage et lacet des caméras; • acquisition d'images stéréoscopiques successives d'une scène dans un champ de vision par reconstruction d'images tridimensionnelles calibrées par l'étape de calibration précédente, chaque image stéréoscopique étant reconstruite à partir d'images gauche et droite des première et deuxième caméras produites simultanément et mémorisées numériquement sous forme de pixels ;

• filtrage des images stéréoscopiques ainsi reconstruites ;

• comparaison, par filtrage spatio-temporel avec un nombre prédéterminé de points, entre un profil de la scène telle qu'observée par chaque image reconstruite et un profil linéaire de la scène telle qu'attendue ;

• établissement d'un écart de calibration lacet à partir de la comparaison précédente ;

• correction de la calibration lacet des caméras à partir de l'écart de calibration lacet déterminée par l'étape précédente ; et

• itération de la correction de l'étape précédente jusqu'à obtenir un écart de calibration nulle par répétition des étapes précédentes.

Selon des modes de mise en oeuvre préférés :

- la comparaison entre des profils de la scène telle qu'observée et telle qu'attendue consiste à déterminer un écart de profondeurs de champ entre une profondeur de champ de la scène telle qu'observée et une profondeur de champ d'au moins un point de la scène de profil linéaire telle qu'attendue, puis à déterminer l'écart de calibration lacet entre les première et deuxième caméras en fonction de l'écart de profondeur moyennée sur un ensemble prédéterminé de points ;

• la profondeur de champ observée d'un point d'image de la scène formée par la première caméra est déterminée en fonction d'une disparité entre les images des caméras ;

• la distance entre ladite première caméra et le point d'image est égale au produit de la distance focale de la première caméra et d'une distance entre les caméras divisé par la disparité entre les images des caméras ;

• la profondeur attendue est déterminée par une matrice de passage entre un repère de ladite première caméra et un repère du véhicule ; · l'écart de calibration lacet est, pour chaque point d'image, proportionnel à l'écart de profondeur et inversement proportionnel au carré de la profondeur attendue ; • l'écart de calibration lacet entre la première et la deuxième caméra correspond à une convergence, respectivement une divergence entre ces caméras, selon que le profil de la scène observée est globalement inclinée avec une pente globalement positive, respectivement globalement négative, par rapport à la scène attendue de profil de pente globalement nulle ;

• une variation élémentaire d'angle lacet dl_ entre la première et la deuxième caméra en fonction d'un écart de profondeur élémentaire dZ, entre un même point tel qu'observé et tel qu'attendu respectivement du profil de la scène observé et du profil linéaire de la scène attendu, est donnée par la formule suivante : dL = . _ ^~dz*b « » une distance r (Ζ²*(1+ϋη²))

entre les caméras,, « Z » la profondeur attendue du point dans la scène de profil linéaire, « Un » une coordonnée transversale normalisée d'un point d'image correspondant au point observé dans un repère image bidimensionnel de la première caméra (avec Un = ^(t/t~t/0'⁾ , « Ui » étant une coordonné transversale du point d'image dans un plan d'image de la première caméra, « U0 » une coordonnée centrée dans ladite image et « f » une distance focale de ladite première caméra).

D'autres données, caractéristiques et avantages de la présente invention apparaîtront à la lecture de la description détaillée non limitative ci-après, en référence aux figures annexées qui représentent, respectivement :

- la figure 1 , un logigramme de la calibration lacet selon le procédé de la présente invention ;

- les figures 2a et 2b, des vues latérale et supérieure d'un véhicule dans lequel les caméras d'un système stéréoscopique sont assemblées sur un support d'embarquement ;

la figure 3a, une vue latérale de différents profils de la route, le profil supposé linéaire, le profil réel à parcourir par le véhicule, et le profil tel qu'observé par un système stéréoscopique embarqué dans le véhicule - à travers une première caméra dans le repère de la deuxième caméra -, dans le cas d'un défaut de lacet convergent entre les caméras du système ; la figure 3b, une vue latérale des différents profils de la route selon la figure 3a, dans le cas d'un défaut de lacet divergent entre les caméras ; et la figure 4, une vue en perspective du plan image de la première caméra du système stéréoscopique.

Le logigramme de la figure 1 illustre la mise en œuvre du procédé de calibration extrinsèque selon l'invention d'un système de caméras stéréoscopiques embarqué dans un véhicule, à partir d'une étape 10 d'acquisition d'images de la route observées par le système et d'une étape d'acquisition parallèle d'images de la route telles qu'attendues (étape 20), c'est-à-dire d'images de la route considérée comme plane. Le système stéréoscopique embarqué comporte, outre les caméras, une unité de traitement des données issues de ces caméras afin de construire des images tridimensionnelles.

Chaque image de la route observée (étape 10) est issue d'une image de reconstruction tridimensionnelle calibrée dite 3D réalisée à partir d'un grand nombre de points - par exemple 100 000 points - vus par les caméras du système stéréoscopique. La profondeur de ces points est déterminée à partir d'une carte de disparités entre les images gauche et droite formées par les caméras correspondantes.

Pour reconstruire chaque image 3D à l'étape 30, une étape d'acquisition de calibration initiale 31 intrinsèque mono et extrinsèque stéréo est filtrée à l'étape 40.

Chaque image observée et reconstruite 3D de l'étape 10 est alors comparée en profondeur à l'image attendue correspondante de l'étape 20 de la route supposée plane. Chaque image attendue est formée par l'image bidimensionnelle 2D de référence d'une des caméras du système stéréoscopique, cette même image de référence servant à réaliser l'image reconstruite 3D correspondante. L'image de la route est supposée plane, suite à un filtrage spatio-temporel avec un nombre prédéterminé de points. On utilise donc plusieurs points sur plusieurs images consécutives afin d'obtenir un profil moyenné de l'image de la route. Ce nombre prédéterminé est au moins égal à un mais, compte tenu du bruit d'acquisition et du profil plus ou moins irrégulier de la route, il est avantageux de prendre plusieurs points sur plusieurs images consécutives. Le nombre d'images utiles, dépend de la vitesse du véhicule et de la précision de calibration souhaitée. Un écart de profondeur est alors établi à l'étape 50 à partir de cette comparaison.

Un étalonnage préalable peut être conduit afin d'établir empiriquement la corrélation entre un écart de profondeur et l'écart d'angle lacet correspondant. Une approche déterministe de cette corrélation est proposée plus loin.

L'écart de calibration lacet due à une variation de lacet entre les caméras est ainsi déterminée à l'étape 60 et injectée à l'étape 61 sous forme de correction d'image dans la reconstruction de l'image 3D telle qu'établie à l'étape 30. A chaque établissement d'un nouvel écart de calibration d'angle lacet, la calibration est ainsi successivement corrigée. Cette itération est continuée tant que la correction à apporter à l'étape 30 et déterminée à l'étape 60 est non nulle.

Comme illustré par les vues latérale et supérieure des figures 2a et 2b, les caméras 11 et 12 du système stéréoscopique sont assemblées sur un support d'embarquement 110 disposé sur la partie supérieure du pare-brise 1a du véhicule 1. Ont été également représentés sur ces figures, les repères 01X1Y1Z1 , 02X2Y2Z2 et OXYZ, centrés respectivement sur les centres optiques 01 , 02 et O de la première caméra 11 , de la deuxième caméra 12 et du système stéréoscopique, ces repères étant liés respectivement audites caméras 1 1 et 12 et au véhicule 1. La distance entre les caméras est mesurée par celle entre leurs centres optiques 01 et 02, désignée par « b » sur la figure.

Plus particulièrement, le décalage angulaire AL entre les sous-repères bidimensionnels X101Z1 et X202Z2 des caméras 11 et 12 (figure 2b) représente l'écart de lacet entre les caméras 11 et 12. Sur la figure 2b, cet écart de lacet AL est illustré entre les axes 01X1 et 02X2 desdits sous-repères dimensionnels, mais pourrait tout aussi bien être représenté par le décalage angulaire entre les axes 01Z1 et 02Z2 qui forment les axes optiques des caméras 11 et 12.

Or l'écart de profondeur est considéré, selon l'invention, comme révélateur d'un défaut de calibration lacet entre les caméras dû à ce décalage angulaire AL. En référence aux vues latérales de profils de la route selon les figures 3a et 3b, cet écart de profondeur est illustré dans le plan Y101Z1 du véhicule 1 , perpendiculaire au plan image de la première caméra 1 1. Sur ces figures, le profil réel 121 de la route définit en moyenne - par filtrage spatio-temporel - un profil linéaire tel qu'attendu 120 dit de référence.

Sur ces figures, apparaît également le profil de la route 130 tel qu'observé par le système stéréoscopique embarqué, selon un profil globalement ascendant 13a (figure 3a) ou descendant 13b (figure 3b) correspondant à un défaut d'angle lacet des caméras, respectivement convergent et divergent, qui génère le défaut de calibration lacet.

L'écart d'angle lacet des caméras provient d'une erreur ou d'une variation d'installation de l'une ou l'autre des caméras du système, telle que la caméra 11 , sur leur support d'embarquement 1 10. Et l'inclinaison du profil de la route telle qu'observée 13a ou 13b dans les deux cas (figures 3a et 3b) est d'autant plus forte que le défaut d'angle et donc de calibration lacet est important.

Dans le premier cas (figure 3a), tout point P1a du profil de route observé 13a est vu par le système stéréoscopique de manière plus rapprochée que le point P2a correspondant du profil linéaire de référence 120 tel qu'attendu, les points P1a et P2a étant sur la droite Da passant par le centre optique « O » du système stéréoscopique. Ce centre optique coïncide, en vue latérale selon les figures 2a et 2b, avec le centre optique 01 de la caméra 11. Ce « rapprochement » du point P1a résulte de l'inclinaison positive du profil 13a.

L'écart de profondeur AZa entre les points P1a et P2a se mesure selon l'axe

01 Z1. Cet écart AZa augmente avec l'éloignement du point P1a considéré selon l'axe 01 Z1 , du fait de l'inclinaison du profil observé 13a par rapport au profil linéaire de référence 120. Des obstacles peuvent alors apparaître dans le champ de vision du système stéréoscopique sur la route réelle correspondant au profil 121 et peuvent être exclus par exemple par filtrage (étape 40, figure 1 ).

Dans le second cas (figure 3b), tout point P1 b du profil de route observé 13b est vu par le système stéréoscopique de manière plus éloignée que le point P2b correspondant du profil linéaire de référence 120, les points P1 b et P2b étant sur la droite Db passant, en projection sur cette vue latérale, par le centre optique 01 de la caméra 1 1. Cet « éloignement » du point P1 b est dû à l'inclinaison négative du profil 13b.

L'écart de profondeur AZb entre les points P1 b et P2b se mesure également selon l'axe OZ. Cet écart AZb augmente avec l'éloignement du point P1 b considéré du fait de l'inclinaison du profil observé 13b par rapport au profil linéaire de référence 120.

Il apparaît donc important de pouvoir corriger l'écart de calibration lacet qui est « convergent » ou « divergent » du système stéréoscopique (dû aux vibrations, à la calibration initiale et/ou aux effets thermiques) et qui induit des profils d'inclinaison respectivement positive ou négative.

Outre les méthodes empiriques évoquées plus haut, l'invention propose également une méthode de correction quantifiée de la calibration lacet par corrélation entre la variation de lacet AL formé entre les caméras - provoquant l'écart de calibration lacet - et l'écart de profondeur ΔΖ, à savoir AZa ou AZb selon les deux cas décrits ci- dessus, qui s'en déduit.

Pour établir une telle corrélation, il convient de partir du positionnement d'un point d'image Pi de la scène observée dans un plan image 11 de la caméra 11 , comme illustré par la vue en perspective de la figure 4. La caméra 11 (symboliquement indiquée par un contour en traits pointillés) possède le centre optique 01 , centre du repère 01X1 Y1Z1 définissant un axe optique 01Z1 , supposé ici parallèle à l'axe longitudinal roulis OZ du système stéréoscopique (figures 2a, 2b), un axe transversal 01X1 , supposé ici parallèle à l'axe tangage OX de ce système et un axe élévation 01Y1 , parallèle à l'axe lacet OY du système stéréoscopique. La caméra 1 1 possède également une distance focale « f » égale à la distance entre son plan image 11 et son centre optique 01. Dans le repère (U, V) du plan image 11 , la caméra 1 1 forme le point d'image Pi d'un point objet Ps de la scène avec pour coordonnées Ui et Vi, Ui étant la coordonnée transversale (parallèle à l'axe 01X1 ) et Vi la coordonnée élévation (parallèle à l'axe 01Y1 ). Des coordonnées normalisées Un = ^({/ί~"⁰ _et Vn = ^{( ~yo)} du point Pi sont définies en référence aux cordonnées U0 et V0 du point principal PO, où l'axe optique 01Z1 de la caméra 11 perce le plan image 11 de façon perpendiculaire.

L'autre caméra 12 du système stéréoscopique, illustrée de façon similaire à la caméra 11 , forme - de façon équivalente à la caméra 11 - un point image P'i du point objet Ps de coordonnées U'i et V'i dans le repère (U', V) de son plan image 12 de point principal ΡΌ. Le repère de référence 02X2Y2Z2 de la caméra 12 est centré sur le centre optique 02 de cette caméra, l'axe 02Z2 formant son axe optique.

Une variation élémentaire d'angle lacet dL entre les deux caméras 11 et 12 du système est alors déterminée en fonction d'un écart de profondeur élémentaire dZ - correspondant aux écarts finis AZa ou AZb des figures 3a et 3b - formé sur l'axe longitudinal 01 Z1. L'écart de profondeur élémentaire dZ est mesuré par l'écart entre la profondeur Zi du point Pi sur l'axe 01Z1 et la profondeur Z'i du point P'i qui est le point d'image du point Ps tel qu'observé dans le plan image 12 de cette caméra 12 par la méthode épipolaire de reconstruction d'image stéréoscopique.

La corrélation entre une variation élémentaire d'angle lacet dL et l'écart de profondeur élémentaire correspondant dZ, est alors donnée par la formule:

dL = , ^~dz*b ,^, b étant la distance entre les centres optiques des caméras

(z²»(l+i/n²)) ^ ^

(cf. figure 2b). Il apparaît ainsi que la variation d'angle lacet dL dépend de la profondeur Zs élevée au carré du point objet P's tel qu'attendu dans une scène considérée comme plane. Cette forte dépendance induit la forte inclinaison des profils de route tels qu'observés par le système stéréoscopique embarqué dans le véhicule, dans le cas d'angle de lacet convergent ou divergent entre les caméras du système (cf. figures 3a et 3b).

L'invention n'est pas limitée aux exemples décrits et représentés. Ainsi, l'invention peut s'appliquer à des systèmes de plus de deux caméras en utilisant le procédé pour chaque ensemble de caméras du système (paire, triplet, quadruplet,... ).

Par ailleurs, il est possible d'utiliser toute méthode de reconstruction d'image tridimensionnelle capable de réaliser des cartes de disparité pour déterminer les profondeurs des points d'une scène à partir des images fournies par les caméras d'un système stéréoscopique, par exemple des méthodes locales, globales et semi-globales en fonction du mode de détermination des scores d'appariement, de la découpe des images et du mode d'expression des disparités. Les méthodes locales reposent sur des scores d'appariement de chaque paire de pixels de chaque image obtenus entre les pixels qui entourent immédiatement deux pixels à apparier. Diverses fonctions de corrélation peuvent être utilisées (somme des écarts quadratiques, somme des écarts absolus, inter-corrélation normalisée centrée, etc.) pour déterminer alors les disparités des pixels appariés. Pour chaque paire de pixels analysée, la disparité correspondant au meilleur score est sélectionnée.

Les méthodes globales consistent à optimiser une fonction d'énergie définie sur toute l'image de référence. La fonction d'énergie définit les contraintes que la carte de disparité doit respecter, par exemple la continuité de la disparité sur les objets. Par la suite, l'ensemble des disparités qui minimisent cette fonction d'énergie est recherché. La méthode de coupure de graphes (« Graph-Cut » en terminologie anglaise) et la propagation de croyance (« Belief Propagation en terminologie anglaise) sont les méthodes globales les plus étudiées.

Les méthodes semi-globales se basent sur le même principe que les méthodes globales mais sur des sous-parties de l'image, à savoir des lignes ou des blocs. Le découpage du problème d'optimisation de la fonction d'énergie en sous-problèmes permet de diminuer le besoin en ressources de calcul et de mémoires par rapport aux méthodes globales.

Claims

REVENDICATIONS

1. Procédé de calibration extrinsèque d'une première (1 1 ) et d'une deuxième caméras (12) d'un système stéréoscopique de formation d'images stéréos embarqué dans un véhicule automobile (1 ), comportant les étapes suivantes :

acquisition de calibrations intrinsèques mono et extrinsèques stéréo de roulis, tangage et lacet des caméras (étape 31 ) ;

acquisition d'images stéréoscopiques successives d'une scène dans un champ de vision par reconstruction d'images tridimensionnelles calibrées par l'étape de calibration précédente, chaque image stéréoscopique étant reconstruite à partir d'images gauche et droite des première et deuxième caméras (11 , 12) produites simultanément et mémorisées numériquement sous forme de pixels (étape 30) ;

filtrage des images stéréoscopiques ainsi reconstruites (étape 40) ;

- comparaison, par filtrage spatio-temporel avec un nombre prédéterminé de points, entre un profil de la scène (130; 13a, 13b) telle qu'observée par chaque image reconstruite (10) et un profil linéaire de la scène (120) telle qu'attendue (étape 50) ;

établissement d'un écart de calibration lacet (AL) à partir de la comparaison précédente (étape 60) ;

- correction de la calibration lacet des caméras (11 , 12) à partir de l'écart de calibration lacet déterminée par l'étape précédente (étape 61 ) ; et itération de la correction de l'étape précédente jusqu'à obtenir un écart de calibration nulle par répétition des étapes précédentes (étapes 31 à 61 ).

2. Procédé de calibration selon la revendication 1 , caractérisé en ce que la comparaison entre des profils de la scène telle qu'observée et telle qu'attendue consiste à déterminer un écart de profondeurs de champ (AZa ; AZb) entre une profondeur de champ d'au moins un point (P1a, P1 b) de la scène telle qu'observée (130; 13a, 13b) et une profondeur de champ d'au moins un point (P2a ; P2b) de la scène de profil linéaire telle qu'attendue (120), puis à déterminer l'écart de calibration lacet (AL) entre les première et deuxième caméras (1 1 , 12) en fonction de l'écart de profondeur moyennée sur un ensemble déterminé de points.

3. Procédé de calibration selon la revendication précédente, dans lequel la profondeur de champ observée d'un point d'image (Pi) de la scène plane formée par la première caméra (1 1 ) est déterminée en fonction d'une disparité entre les images des caméras (1 1 , 12).

4. Procédé de calibration selon la revendication 3, dans lequel la distance entre ladite première caméra (1 1 ) et le point d'image (Pi) est égale au produit de la distance focale (f) de la première caméra (1 1 ) et d'une distance (b) entre les caméras (1 1 , 12) divisé par la disparité entre les images des caméras.

5. Procédé de calibration selon l'une quelconque des revendications 2 à 4, dans lequel la profondeur attendue (Zs) est déterminée par une matrice de passage entre un repère (01X1Y1 Z1 ) de ladite première caméra (1 ) et un repère (OXYZ) du véhicule (1 ).

6. Procédé de calibration selon l'une quelconque des revendications 2 à 5, dans lequel l'écart de calibration lacet (AL) est, pour chaque point d'image (Pi), proportionnel à l'écart de profondeur (AZa; AZb) et inversement proportionnel au carré de la profondeur attendue (Zs).

7. Procédé de calibration selon l'une quelconque des revendications 2 à 6, dans lequel l'écart de calibration lacet (AL) entre la première (1 1 ) et la deuxième caméra (12) correspond à une convergence, respectivement une divergence, entre les axes optiques (01Z1 , 02Z2) des caméras (1 1 , 12), selon que le profil de la scène observée (130) est globalement inclinée avec une pente globalement positive (13a), respectivement globalement négative (13b), par rapport à la scène attendue de profil de pente globalement nulle (120).

8. Procédé de calibration selon l'une quelconque des revendications 2 à 7, dans lequel une variation élémentaire d'angle lacet dL entre la première (1 1 ) et la deuxième caméra (12) en fonction d'un écart de profondeur élémentaire dZ, entre un même point tel qu'observé (P1a; P1 b) et tel qu'attendu (P2a; P2b) respectivement du profil de la scène observé (130; 13a, 13b) et du profil linéaire de la scène attendu (120), est donnée par la formule suivante dL = -^dz^*b _<( ^ _>y distance entre les caméras, « Z » la

(Z²»(l+i/n²))

profondeur attendue du point (P2a; P2b) dans la scène de profil linéaire (120), « Un » une coordonnée transversale normalisée d'un point d'image (Pi) correspondant au point observé dans un repère image bidimensionnel de la première caméra, avec : Un = ⁽-^Ul~U0^_i « ui » étant une coordonné transversale du point d'image dans un plan d'image de la première caméra (1 1 ), « U0 » une coordonnée centrée dans ladite image et « f » une distance focale de ladite première caméra (1 1 ).