WO2015090553A1 - Procede et systeme de calibration d'une camera d'un vehicule - Google Patents

Procede et systeme de calibration d'une camera d'un vehicule Download PDF

Info

Publication number
WO2015090553A1
WO2015090553A1 PCT/EP2014/003357 EP2014003357W WO2015090553A1 WO 2015090553 A1 WO2015090553 A1 WO 2015090553A1 EP 2014003357 W EP2014003357 W EP 2014003357W WO 2015090553 A1 WO2015090553 A1 WO 2015090553A1
Authority
WO
WIPO (PCT)
Prior art keywords
calibration
camera
vehicle
center
compensation values
Prior art date
Application number
PCT/EP2014/003357
Other languages
English (en)
Inventor
Lucien Garcia
Original Assignee
Continental Automotive France
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive France, Continental Automotive Gmbh filed Critical Continental Automotive France
Priority to CN201480069059.4A priority Critical patent/CN105814400B/zh
Priority to US15/105,584 priority patent/US10152794B2/en
Publication of WO2015090553A1 publication Critical patent/WO2015090553A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to the field of assistance systems for driving a vehicle, in particular an automobile, and relates to a method and a system for calibrating a camera of a vehicle.
  • a motor vehicle usually comprises a driver assistance system known by the acronym ADAS ("Advanced Driver Assistance System” in English).
  • ADAS Advanced Driver Assistance System
  • Such a system comprises in known manner a camera mounted on the windshield of the vehicle for example, to assist the driver in his maneuvers or to detect an obstacle or the crossing of a white line.
  • the information given by the images captured by the camera must be sufficiently reliable and relevant to effectively assist the driver of the vehicle.
  • the intrinsic parameters to compensate are, for example, the focal length of the camera, its distortion, the position of the lens relative to the camera sensor, and so on.
  • the extrinsic parameters to be compensated for are the translation and the rotation of the camera with respect to the three spatial dimensions (six parameters), hereinafter called spatial compensation values.
  • the calibration of the extrinsic parameters is carried out for the first time at the factory at the end of the vehicle manufacturing process and then is then generally repeated later, for example at a garage or a dealer during a simple maintenance or after a repair of the protective cover. breeze, to compensate only the values of the extrinsic parameters of the camera.
  • a known calibration method consists in acquiring, with the vehicle's camera, images of a calibration medium in order to determine the compensation values of the intrinsic and / or extrinsic parameters of the camera.
  • such a calibration support 1 comprises a plurality of calibration marks 4 arranged side by side in two lines 2 and two columns 3 so as to form a frame.
  • Each calibration mark 4 is conventionally in the form of a geometric element in two dimensions, for example of square shape and comprising two opposite portions diagonally colored black, the other two portions being colored in white.
  • the alignment of the vehicle in front of the calibration support 1 makes it possible to cancel the rotation values and to fix in a known manner the translation values in the three spatial dimensions between the vehicle and the calibration support 1.
  • the camera captures at least one image of the calibration medium to determine in known manner, using the so-called "pinhole” model, for example described in the document "A Four-step Camera Calibration Procedure with Implicit Image Correction "(Janne Heikkila and Olli Silven, University of Oulu, Finland), the compensation values in rotation and translation in the three spatial dimensions between the camera and the calibration marks of the support.
  • the alignment of the vehicle in front of the calibration support must, however, be relatively precise, which requires time and expensive equipment such as alignment platforms, rollers, lasers, and so on. , which has a first disadvantage.
  • alignment equipment is not always available outside the manufacturing plant, for example at a garage or a dealer when you want to recalibrate the extrinsic parameters, for example following a repair or when maintenance, which has a second disadvantage.
  • the present invention aims to overcome at least some of these disadvantages by providing a method, a support and a system for easily calibrating a camera of a system for assisting the driving of a vehicle.
  • the invention firstly relates to a method of calibrating a camera of a vehicle from a calibration medium comprising at least a first calibration mark, said method being remarkable in that, the calibration support comprising a mirror and the vehicle comprising at least a second calibration mark, it comprises:
  • the method comprises a preliminary step of determining the spatial compensation values between the vehicle and the second calibration mark.
  • the position of the second calibration mark on the vehicle that is to say the position of the second calibration mark in a reference frame associated with the vehicle, being known, these values are easy to determine inasmuch as they correspond to the three rotations and the three translations necessary to pass from the center of said frame associated with the vehicle in the center of the second calibration mark.
  • the spatial compensation values between the camera and the first calibration mark correspond to the three rotations and the three translations necessary to pass from the center of a repository associated with the camera to the center of the first calibration mark.
  • the spatial compensation values between the camera and the image of the second calibration mark through the mirror correspond to the three rotations and the three translations needed to move from the center of the repository associated with the camera to the center of the image. the second calibration mark reflected by the mirror.
  • the compensation values between the camera and the second calibration mark correspond to the three rotations and the three translations necessary to pass from the center of the repository associated with the camera to the center of the second calibration mark.
  • the method according to the invention therefore simply comprises a first step of determining the compensation values between the camera and the calibration medium and a second step of determining the compensation values between the camera and the vehicle from the compensation values between the camera.
  • camera and calibration support previously determined and the second calibration mark, whose position on the vehicle is known.
  • This method is also advantageously inexpensive insofar as it suffices to add a mirror on the calibration support and one or more calibration marks on the vehicle.
  • the calibration support comprises a plurality of first markers and the determination of the spatial compensation values between the camera and the plurality of first calibration markers is performed by determining the coefficients of a non-linear system six variables whose coefficients each represent a value of rotation or translation in the three spatial dimensions, the coefficient associated with each variable of the non-linear system being determined by associating the spatial coordinates of the center of each calibration mark with the coordinates of said center in the captured image.
  • the invention also relates to a calibration support comprising at least a first calibration mark and a mirror.
  • the mirror is a plane mirror. Indeed, such a mirror is a rigorous stigma which allows an image reflected in the mirror to maintain its sharpness. More preferably, the calibration support is fixed during calibration of the camera so that the images reflected by the mirror and captured by the camera are clear.
  • the calibration support comprises a plurality of first calibration marks, preferably at least three.
  • the first calibration marks are arranged around the mirror, preferably consecutively.
  • the calibration support may be in the form of a wall or a panel on which are arranged the first markers and on which is fixed the mirror.
  • the invention also relates to a system for calibrating a camera of a vehicle, said system comprising a calibration support as presented above and a vehicle, in particular an automobile, comprising at least one camera to be calibrated and at least one second marker of calibration.
  • the vehicle comprises a windshield on which the camera is mounted.
  • a second calibration mark is disposed on the windshield of the vehicle, for example below or above the camera.
  • the vehicle comprises a plurality of second calibration marks, preferably at least three, so as to improve the quality of the calibration.
  • the first calibration mark or marks and the second calibration mark or marks may be of various shapes and colors.
  • the first calibration mark and the second calibration mark are in the form of geometric elements of round or square shape, preferably divided into four portions, two of which are dark in color, for example black, and the other two light in color, for example white, or in the form of a black dot surrounded by a white disk.
  • FIG. 2 schematically illustrates an embodiment of a calibration system according to the invention.
  • FIG. 3 is a side view of the system of FIG.
  • FIG. 4 illustrates the process according to the invention.
  • Figures 2 and 3 illustrate an embodiment of the system 10 according to the invention.
  • the system 10 allows the calibration of a camera 32 mounted in a vehicle 30.
  • the calibration system 10 is illustrated with a motor vehicle 30.
  • system 10 may include any type of vehicle equipped with a camera to be calibrated.
  • the system 10 comprises a calibration support 20 and a motor vehicle 30.
  • the calibration support 20 is in the form of a panel.
  • any suitable support can be used to calibrate the camera 32, such as, for example, a wall.
  • the calibration support 20 comprises a plurality of first calibration marks 24 arranged side by side in two lines 22 and two columns 23 so as to form a frame.
  • each calibration mark 24 is in the form of a checkerboard comprising two opposite portions diagonally colored black, the other two portions being colored in white.
  • the calibration marks 24 may be in any suitable form, for example a black dot surrounded by a white disk or other.
  • the calibration support 20 comprises a mirror 26, preferably a plane, in which the image of the vehicle 30 is reflected.
  • the mirror 26 is rectangular and extends to the center of the frame formed by the two lines 22 and the two columns 23 of first calibration marks 24.
  • the image of the second calibration mark through the mirror is located at a distance equal to twice the distance separating the camera from the first calibration mark, and is known with respect to the calibration medium.
  • the vehicle 30 therefore comprises a camera 32 to calibrate mounted at the middle of the upper edge of the windshield 33 of the vehicle 30.
  • the vehicle 30 comprises at least a second calibration mark 34, preferably at least three second non-aligned calibration marks 34.
  • the vehicle 30 comprises a second calibration mark 34 disposed on the windshield 33, under the camera 32 and two other second calibration marks 34 arranged on either side of the vehicle 30, at its exterior mirrors 38, for example.
  • the calibration support 20 remains fixed for the duration of the calibration of the camera 32.
  • the spatial compensation values between the vehicle 30 and the second calibration marks 34 are determined in a known manner.
  • a first step E1 makes it possible to determine the spatial compensation values between the camera 32 and the first calibration marks 24.
  • These spatial compensation values correspond to the three translations and to the three rotations necessary to pass from the center of a reference frame C associated with the camera 32 in the center of each of the first calibration marks 24 of the calibration support 20.
  • a curve representing the spatial coordinates of the centers of the first calibration marks 24 is first determined as a function of their position in the image or images of the calibration medium acquired by the camera 32.
  • the equation defining said curve comprises in particular six variables whose coefficients correspond to the three translations and to the three rotations necessary to pass from the position of the center of each marker to its corresponding position on an image acquired by the camera.
  • the calibration of the camera 32 is performed from the spatial compensation values between the camera 32 and the vehicle 30.
  • the method according to the invention comprises a second step E2 for determining the values of spatial compensation between the camera 32 and the IM images of the second calibration marks 34 through the mirror 26 of the calibration support 20.
  • a single IM image of a second calibration mark 34 has been shown in FIG. 3.
  • a third step E3 the compensation values between the camera 32 and the second calibration marks 34 are deduced by a geometric transform known to those skilled in the art (rotation and translation between two coordinate systems) from the values compensation determined during the first step E1 and the second step E2.
  • each of the second calibration markers 34 each of which is the inverse image of the IM image of the corresponding second calibration mark 34 through the mirror 26 which is itself associated at the first calibration benchmarks 34.
  • A, B and C are three points in the respective coordinate space (Xa, Ya, Za), (Xb, Yb, Zb) and (Xc, Yc, Zc), we move from point A to point C via the point B in three translations and three rotations in a known manner in the following manner (r being the rotation under the representation of Euler, t being the Euclidean translation).
  • rab11, rab12 and rab13 are the components of the rotation matrix along the X axis
  • rab21, rab22 and rab23 are the components of the rotation matrix along the Y axis
  • rab31, rab32 and rab33 are the components of the matrix of rotation along the Z axis
  • tabx is the component of the translation along the X axis
  • taby is the component of the translation along the Y axis
  • tabz is the component of the translation along the Z axis.
  • the determination of the spatial compensation values that is to say the calibration of the extrinsic parameters of the camera 32 of a vehicle 30, is thus easily, quickly and reliably performed without the need to align beforehand. perfectly the vehicle 30 with the calibration support 20 as in the prior art.
  • This method is moreover advantageously inexpensive insofar as it suffices to add a mirror 26 on the calibration support 20 and one or more (second) calibration marks 34 on the vehicle 30.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

La présente invention a pour objet un procédé, un support (20) et un système (10) de calibration d'une caméra (32) d'un véhicule (30). Le système de calibration (10) est remarquable en ce qu'il comprend un support de calibration (20), comportant au moins un premier repère de calibration (24) et un miroir (26), et un véhicule (30), comportant au moins un deuxième repère de calibration (34). Le procédé permet de calibrer la caméra (32) en déterminant les valeurs de compensation spatiale entre la caméra (32) et le véhicule (30) sans qu'il y ait besoin d'aligner parfaitement le véhicule (30) face au support de calibration (20).

Description

PROCEDE ET SYSTEME DE CALIBRATION D'UNE CAMERA D'UN VEHICULE
La présente invention se rapporte au domaine des systèmes d'assistance à la conduite d'un véhicule, notamment automobile, et concerne un procédé et un système de calibration d'une caméra d'un véhicule.
De nos jours, un véhicule automobile comporte ordinairement un système d'assistance à la conduite connu sous l'acronyme ADAS (« Advanced Driver Assistance System » en langue anglaise).
Un tel système comprend de manière connue une caméra montée sur le pare- brise du véhicule permettant, par exemple, d'assister le conducteur dans ses manœuvres ou de détecter un obstacle ou bien le franchissement d'une ligne blanche.
Les informations données par les images capturées par la caméra doivent être suffisamment fiables et pertinentes pour permettre d'assister efficacement le conducteur du véhicule.
Il est donc nécessaire de procéder préalablement à une calibration de la caméra qui permet d'en compenser à la fois les défauts de fabrication (paramètres intrinsèques de la caméra) et/ou les défauts de positionnement (paramètres extrinsèques de la caméra).
Les paramètres intrinsèques à compenser sont, par exemple, la focale de la caméra, sa distorsion, la position de la lentille par rapport au capteur de la caméra etc.
Les paramètres extrinsèques à compenser sont la translation et la rotation de la caméra par rapport aux trois dimensions spatiales (six paramètres), appelés dans la suite valeurs de compensation spatiales.
La calibration des paramètres extrinsèques est réalisée une première fois en usine à la fin du processus de fabrication du véhicule puis est ensuite généralement répétée postérieurement, par exemple chez un garagiste ou un concessionnaire lors d'une simple maintenance ou consécutivement à une réparation du pare-brise, afin de compenser uniquement les valeurs des paramètres extrinsèques de la caméra.
Une méthode de calibration connue consiste à acquérir, avec la caméra du véhicule, des images d'un support de calibration afin de déterminer les valeurs de compensation des paramètres intrinsèques et/ou extrinsèques de la caméra.
Comme illustré à la figure 1 , un tel support de calibration 1 comporte une pluralité de repères de calibration 4 disposés côte à côte en deux lignes 2 et deux colonnes 3 de sorte à former un cadre. Chaque repère de calibration 4 se présente de manière classique sous la forme d'un élément géométrique en deux dimensions, par exemple de forme carrée et comprenant deux portions opposées diagonalement colorées en noir, les deux autres portions étant colorées en blanc. De manière connue, dans une première étape, il est nécessaire d'aligner parfaitement le véhicule face au support de calibration 1 afin que leurs référentiels tridimensionnels respectifs soient parallèles de manière à annuler les différences d'angles polaires entre le véhicule et le support de calibration 1 . En d'autres termes, l'alignement du véhicule face au support de calibration 1 permet d'annuler les valeurs de rotation et de fixer de manière connue les valeurs de translation dans les trois dimensions spatiales entre le véhicule et le support de calibration 1.
Puis, dans une deuxième étape, la caméra capture au moins une image du support de calibration afin de déterminer de manière connue, en utilisant le modèle dit « du sténopé », par exemple décrite dans le document « A Four-step Caméra Calibration Procédure with Implicit Image Correction » (Janne Heikkila and Olli Silvén, University of Oulu, Finland), les valeurs de compensation en rotation et en translation dans les trois dimensions spatiales entre la caméra et les repères de calibration du support.
Enfin, dans une troisième étape, connaissant les valeurs de translation dans les trois dimensions spatiales entre le véhicule et le support de calibration et les valeurs de compensation en rotation et en translation dans les trois dimensions spatiales entre la caméra et les repères de calibration du support, on en déduit les valeurs de compensation en rotation entre la caméra et le véhicule, ou valeurs de calibration, qui sont ensuite stockées par le système d'assistance à la conduite du véhicule afin de compenser en permanence la caméra lors de son utilisation.
L'alignement du véhicule face au support de calibration doit cependant être relativement précis, ce qui nécessite du temps et un matériel onéreux tel que des plates- formes d'alignement, des rouleaux, des lasers etc . , ce qui présente un premier inconvénient.
De plus, un tel matériel d'alignement n'est pas toujours disponible en dehors de l'usine de fabrication, par exemple chez un garagiste ou un concessionnaire lorsqu'on souhaite recalibrer les paramètres extrinsèques, par exemple suite à une réparation ou lors d'une maintenance, ce qui présente un deuxième inconvénient.
Il existe donc un besoin concernant une méthode et un système de calibration simples, fiables et peu onéreux.
La présente invention a pour but de remédier au moins en partie à ces inconvénients en proposant un procédé, un support et un système permettant de calibrer aisément une caméra d'un système d'assistance à la conduite d'un véhicule.
A cette fin, l'invention concerne tout d'abord un procédé de calibration d'une caméra d'un véhicule à partir d'un support de calibration comprenant au moins un premier repère de calibration, ledit procédé étant remarquable en ce que, le support de calibration comprenant un miroir et le véhicule comprenant au moins un deuxième repère de calibration, il comprend :
• une première étape de détermination des valeurs de compensation spatiale entre la caméra et le premier repère de calibration,
· une deuxième étape de détermination des valeurs de compensation spatiale entre la caméra et l'image du deuxième repère de calibration à travers le miroir,
• une troisième étape de détermination des valeurs de compensation spatiale entre la caméra et le deuxième repère de calibration à partir des valeurs de compensation spatiale déterminées lors de la première étape et de la deuxième étape,
• une quatrième étape de détermination des valeurs de compensation spatiale entre la caméra et le véhicule à partir des valeurs de compensation spatiale entre le véhicule et le deuxième repère de calibration.
De préférence, le procédé comprend une étape préliminaire de détermination des valeurs de compensation spatiale entre le véhicule et le deuxième repère de calibration. La position du deuxième repère de calibration sur le véhicule, c'est-à-dire la position du deuxième repère de calibration dans un référentiel associé au véhicule, étant connue, ces valeurs sont aisées à déterminer dans la mesure où elles correspondent aux trois rotations et aux trois translations nécessaires pour passer du centre dudit référentiel associé au véhicule au centre du deuxième repère de calibration.
Les valeurs de compensation spatiale entre la caméra et le premier repère de calibration correspondent aux trois rotations et aux trois translations nécessaires pour passer du centre d'un référentiel associé à la caméra au centre du premier repère de calibration.
De même, les valeurs de compensation spatiale entre la caméra et l'image du deuxième repère de calibration à travers le miroir correspondent aux trois rotations et aux trois translations nécessaires pour passer du centre du référentiel associé à la^caméra au centre de l'image du deuxième repère de calibration réfléchi par le miroir.
Les valeurs de compensation entre la caméra et le deuxième repère de calibration correspondent aux trois rotations et aux trois translations nécessaires pour passer du centre du référentiel associé à la caméra au centre du deuxième repère de calibration.
Connaissant ainsi les trois rotations et les trois translations nécessaires pour passer du centre d'un référentiel associé à la caméra au centre du premier repère de calibration, d'une part, et les trois rotations et les trois translations nécessaires pour passer du centre du référentiel associé à la caméra au centre de l'image du deuxième repère de calibration réfléchi par le miroir, d'autre part, on en déduit les trois rotations et les trois translations nécessaires pour passer du centre du référentiel associé à la caméra au centre du deuxième repère de calibration, celui-ci étant l'image inverse de l'image du deuxième repère de calibration à travers le miroir qui est lui-même associé au premier repère de calibration.
Enfin, connaissant préalablement les trois rotations et les trois translations nécessaires pour passer du centre du référentiel associé au véhicule au centre du deuxième repère de calibration, on en déduit aisément les trois rotations et les trois translations nécessaires pour passer du centre du référentiel associé à la caméra au centre du référentiel associé au véhicule, c'est-à-dire les valeurs de calibration de la caméra.
Le procédé selon l'invention comprend donc simplement une première étape de détermination des valeurs de compensation entre la caméra et le support de calibration et une deuxième étape de détermination des valeurs de compensation entre la caméra et le véhicule à partir des valeurs de compensation entre la caméra et le support de calibration préalablement déterminées et du deuxième repère de calibration, dont la position sur le véhicule est connue.
Il n'est donc plus nécessaire d'aligner parfaitement le véhicule pour effectuer la calibration de la caméra qui est ainsi rapide tout en étant à la fois aisée et fiable.
Ce procédé est en outre avantageusement peu onéreux dans la mesure où il suffit d'ajouter un miroir sur le support de calibration et un ou plusieurs repères de calibration sur le véhicule.
Selon un aspect de l'invention, le support de calibration comprend une pluralité de premiers repères et la détermination des valeurs de compensation spatiale entre la caméra et la pluralité de premiers repères de calibration est réalisée en déterminant les coefficients d'un système non-linéaire à six variables dont les coefficients représentent chacun une valeur de rotation ou de translation dans les trois dimensions spatiales, le coefficient associé à chaque variable du système non-linéaire étant déterminé en associant les coordonnées spatiales du centre de chaque repère de calibration aux coordonnées dudit centre dans l'image capturée.
L'invention concerne aussi un support de calibration comprenant au moins un premier repère de calibration et un miroir.
De préférence, le miroir est un miroir plan. En effet, un tel miroir est un stigmatique rigoureux ce qui permet à une image réfléchie dans le miroir de conserver ainsi sa netteté. De préférence encore, le support de calibration est fixe lors de la calibration de la caméra de sorte que les images réfléchies par le miroir et capturées par la caméra soient nettes.
Avantageusement, le support de calibration comprend une pluralité de premiers repères de calibration, de préférence au moins trois.
Dans une forme de réalisation du système selon l'invention, les premiers repères de calibration sont disposés autour du miroir, de préférence consécutivement.
Le support de calibration peut se présenter sous la forme d'un mur ou d'un panneau sur lequel sont disposés le ou les premiers repères et sur lequel est fixé le miroir.
L'invention concerne aussi un système de calibration d'une caméra d'un véhicule, ledit système comprenant un support de calibration tel que présenté précédemment et un véhicule, notamment automobile, comprenant au moins une caméra à calibrer et au moins un deuxième repère de calibration.
Selon une caractéristique de l'invention, le véhicule comprend un pare-brise sur lequel est montée la caméra.
Avantageusement, un deuxième repère de calibration est disposé sur le pare- brise du véhicule, par exemple en-dessous ou au-dessus de la caméra.
Selon une autre caractéristique de l'invention, le véhicule comprend une pluralité de deuxièmes repères de calibration, de préférence au moins trois, de sorte à améliorer la qualité de la calibration.
Le ou les premiers repères de calibration et le ou les deuxièmes repères de calibration peuvent être de formes et de couleurs diverses.
Selon un aspect de l'invention, le premier repère de calibration et le deuxième repère de calibration se présentent sous la forme d'éléments géométriques de forme ronde ou carrée, de préférence divisés en quatre portions dont, deux sont de couleur sombre, par exemple noir, et les deux autres de couleur claire, par exemple blanc, ou bien sous la forme d'un point noir entouré d'un disque blanc.
D'autres caractéristiques et avantages de l'invention apparaîtront lors de la description qui suit faite en regard des figures annexées données à titre d'exemples non limitatifs et dans lesquelles des références identiques sont données à des objets semblables.
- La figure 1 (déjà commentée) illustre un support de calibration de l'art antérieur.
- La figure 2 illustre schématiquement une forme de réalisation d'un système de calibration selon l'invention.
- La figure 3 est une vue latérale du système de la figure 2.
- La figure 4 illustre le procédé selon l'invention. Les figures 2 et 3 illustrent une forme de réalisation du système 10 selon l'invention.
Le système 10 selon l'invention permet la calibration d'une caméra 32 monté dans un véhicule 30.
Dans cet exemple, le système de calibration 10 est illustré avec un véhicule automobile 30.
Toutefois, une telle illustration n'est bien entendu pas limitative de la portée de la présente invention, le système 10 selon l'invention pouvant comprendre tout type de véhicule équipé d'une caméra à calibrer.
Par souci de clarté, les références de la figure 2 concernant le véhicule sont renseignées par rapport à l'image du véhicule 30 à travers le miroir 26 du support de calibration 20.
Comme illustré aux figures 2 et 3, le système 10 comprend un support de calibration 20 et un véhicule automobile 30.
Dans cet exemple, comme illustré à la figure 3, le support de calibration 20 se présente sous la forme d'un panneau.
Toutefois, il va soi que tout support adapté peut être utilisé pour effectuer la calibration de la caméra 32, tel que, par exemple, un mur.
Dans l'exemple illustré à la figure 2, le support de calibration 20 comprend une pluralité de premiers repères de calibration 24 disposés côte à côte en deux lignes 22 et deux colonnes 23 de sorte à former un cadre.
Toujours dans cet exemple, chaque repère de calibration 24 se présente sous la forme d'un damier comprenant deux portions opposées diagonalement colorées en noir, les deux autres portions étant colorées en blanc.
II va de soi que les repères de calibration 24 peuvent se présenter sous toute forme adéquate, par exemple un point noir entouré d'un disque blanc ou autre.
Selon l'invention, le support de calibration 20 comprend un miroir 26, de préférence plan, dans lequel se réfléchit l'image du véhicule 30.
Dans cet exemple, toujours en référence à la figure 2, le miroir 26 est rectangulaire et s'étend au centre du cadre formé par les deux lignes 22 et les deux colonnes 23 de premiers repères de calibration 24.
L'image du deuxième repère de calibration à travers le miroir est située à une distance égale au double de la distance séparant la caméra du premier repère de calibration, et est connue par rapport au support de calibration.
Le véhicule 30 comprend donc une caméra 32 à calibrer montée au niveau du milieu du bord supérieur du pare-brise 33 du véhicule 30. Selon l'invention, le véhicule 30 comprend au moins un deuxième repère de calibration 34, de préférence au moins trois deuxièmes repères de calibration 34 non alignés.
Dans cet exemple, comme illustré à la figure 2, le véhicule 30 comprend un deuxième repère de calibration 34 disposé sur le pare-brise 33, sous la caméra 32 et deux autres deuxièmes repères de calibration 34 disposés de part et d'autre du véhicule 30, au niveau de ses rétroviseurs extérieurs 38, par exemple.
Le support de calibration 20 reste fixe pendant la durée de la calibration de la caméra 32.
En référence aux figures 3 et 4, on détermine de manière connue, dans une étape préliminaire E0, les valeurs de compensation spatiale entre le véhicule 30 et les deuxièmes repères de calibration 34.
Ces valeurs correspondent aux trois rotations et aux trois translations nécessaires pour passer du centre du référentiel V associé au véhicule 30 au centre de chacun des deuxièmes repères de calibration 34.
En référence à la figure 4, une première étape E1 permet de déterminer les valeurs de compensation spatiale entre la caméra 32 et les premiers repères de calibration 24.
Ces valeurs de compensation spatiale correspondent aux trois translations et aux trois rotations nécessaires pour passer du centre d'un référentiel C associé à la caméra 32 au centre de chacun des premiers repères de calibration 24 du support de calibration 20.
Ces valeurs de compensation spatiale sont déterminées de manière connue en utilisant le modèle du « sténopé » ou « pin-hole model » en langue anglaise.
Dans cette méthode, on détermine tout d'abord une courbe représentant les coordonnées spatiales des centres des premiers repères de calibration 24 en fonction de leur position dans le ou les images du support de calibration acquises par la caméra 32.
L'équation définissant ladite courbe comprend notamment six variables dont les coefficients correspondent aux trois translations et aux trois rotations nécessaires pour passer de la position du centre de chaque repère à sa position correspondante sur une image acquise par la caméra.
Cette méthode d'identification paramétrique d'un système non-linéaire étant bien connue de l'homme du métier, elle ne sera pas détaillée davantage ici.
La calibration de la caméra 32 est réalisée à partir des valeurs de compensation spatiale entre la caméra 32 et le véhicule 30.
Afin de déterminer ces valeurs, en référence aux figures 3 et 4, le procédé selon l'invention comprend une deuxième étape E2 de détermination des valeurs de compensation spatiale entre la caméra 32 et les images IM des deuxièmes repères de calibration 34 à travers le miroir 26 du support de calibration 20. Par souci de clarté, une seule image IM d'un deuxième repère de calibration 34 a été représentée à la figure 3.
Ces valeurs de compensation spatiale entre la caméra 32 et l'image IM des deuxièmes repères de calibration 34 à travers le miroir 26 correspondent aux trois rotations et aux trois translations, nécessaires pour passer du centre du référentiel C associé à la caméra 32 au centre de l'image IM du deuxième repère de calibration 34 réfléchi par le miroir 26.
Ces valeurs sont déterminées, toujours de manière connue, en utilisant le modèle du sténopé.
Puis, dans une troisième étape E3, on déduit par une transformée géométrique connue de l'homme du métier (rotation et translation entre deux systèmes de coordonnées) les valeurs de compensation entre la caméra 32 et les deuxièmes repères de calibration 34 à partir des valeurs de compensation déterminées lors de la première étape E1 et la deuxième étape E2.
Ces valeurs de compensation correspondent aux trois rotations et aux trois translations nécessaires pour passer du centre du référentiel C associé à la caméra 32 au centre du deuxième repère de calibration 34.
Plus précisément, connaissant ainsi les trois rotations et les trois translations nécessaires pour passer du centre d'un référentiel C associé à la caméra 32 au centre du premier repère de calibration 24 (première étape E1 ) du support de calibration 20, d'une part, et les trois rotations et les trois translations nécessaires pour passer du centre du référentiel C associé à la caméra 32 au centre de l'image IM du deuxième repère de calibration 34 réfléchi par le miroir 26 (deuxième étape E2), d'autre part, on en déduit, par un calcul géométrique connu de l'homme du métier (coordonnées d'un point réfléchi par un miroir), les trois rotations et les trois translations nécessaires pour passer du centre du référentiel C associé à la caméra 32 au centre de chacun des deuxièmes repères de calibration 34, ceux-ci étant chacun l'image inverse de l'image IM du deuxième repère de calibration 34 correspondant à travers le miroir 26 qui est lui-même associé aux premiers repères de calibration 34.
Enfin, la position des deuxièmes repères de calibration 34 dans le référentiel V du véhicule 30 étant connue, on en déduit alors dans une quatrième étape E4 les valeurs de compensation spatiale entre la caméra 32 et le véhicule 30, par' une transformée géométrique connue de l'homme du métier, comme expliqué ci-après.
Par exemple, si A, B et C sont trois points dans l'espace de coordonnées respectives (Xa, Ya, Za), (Xb, Yb, Zb) et (Xc, Yc, Zc), on passe du point A au point C via le point B en trois translations et trois rotations de manière connue de la façon suivante (r étant la rotation sous la représentation d'Euler, t étant la translation euclidienne).
Tout d'abord, on passe du point A au point B comme suit :
Figure imgf000011_0001
où rab11 , rab12 et rab13 sont les composantes de la matrice de rotation selon l'axe X, rab21 , rab22 et rab23 sont les composantes de la matrice de rotation selon l'axe Y, rab31 , rab32 et rab33 sont les composantes de la matrice de rotation selon l'axe Z, tabx est la composante de la translation selon l'axe X, taby est la composante de la translation selon l'axe Y et tabz est la composante de la translation selon l'axe Z.
Et de même, mutatis mutandis, pour passer du point B au point C :
Figure imgf000011_0002
D'où on en déduit la matrice de rotation et translation pour passer du point A au point C :
Hab * Hbc * ; Hab * Hbc = Hac
Figure imgf000011_0003
Figure imgf000011_0004
En l'espèce, connaissant préalablement les trois rotations et les trois translations nécessaires pour passer du centre du référentiel V associé au véhicule au centre de chacun des deuxièmes repères de calibration 34, on en déduit aisément les trois rotations et les trois translations nécessaires pour passer du centre du référentiel C associé à la caméra 32 au centre du référentiel V associé au véhicule 30, c'est-à-dire les valeurs de calibration de la caméra 32.
La détermination des valeurs de compensation spatiale, c'est-à-dire la calibration des paramètres extrinsèques de la caméra 32 d'un véhicule 30, est ainsi réalisée aisément, rapidement et de manière fiable sans qu'il soit nécessaire d'aligner préalablement parfaitement le véhicule 30 avec le support de calibration 20 comme dans l'art antérieur.
Ce procédé est de plus avantageusement peu onéreux dans la mesure où il suffit d'ajouter un miroir 26 sur le support de calibration 20 et un ou plusieurs (deuxièmes) repères de calibration 34 sur le véhicule 30.

Claims

REVENDICATIONS
1. Procédé de calibration d'une caméra (32) d'un véhicule (30) à partir d'un support de calibration (20) comprenant au moins un premier repère de calibration (24), ledit procédé étant caractérise en ce que, le support de calibration (20) comprenant un miroir (26) et le véhicule (30) comprenant au moins un deuxième repère de calibration (34), il comprend :
• une première étape (E1 ) de détermination des valeurs de compensation spatiale entre la caméra (32) et le premier repère de calibration (24),
• une deuxième étape (E2) de détermination des valeurs de compensation spatiale entre la caméra (32) et l'image (IM) du deuxième repère de calibration (34) à travers le miroir (26),
• une troisième étape (E3) de détermination des valeurs de compensation spatiale entre la caméra (32) et le deuxième repère de calibration (34) à partir des valeurs de compensation spatiale déterminées lors de la première étape (E1 ) et de la deuxième étape (E2),
· une quatrième étape (E4) de détermination des valeurs de compensation spatiale entre la caméra (32) et le véhicule (30) à partir des valeurs de compensation spatiale entre le véhicule (30) et le deuxième repère de calibration (34).
2. Procédé selon la revendication 1 , caractérisé en ce qu'il comprend une étape préliminaire (E0) de détermination des valeurs de compensation spatiale entre le véhicule (30) et le deuxième repère de calibration (34).
3. Système de calibration d'une caméra d'un véhicule, ledit système (10) comprenant un support de calibration (20) d'une caméra, ledit support (20) étant fixe lors de la calibration de ladite caméra (32) et comprenant :
• une pluralité de premiers repères de calibration (24),
· un miroir (26) plan
• le support se présentant sous la forme d'un mur ou d'un panneau (20) sur lequel sont disposés les premiers repères de calibration (24) et sur lequel est fixé le miroir (26)
• un véhicule (30) comprenant au moins une caméra (32) à calibrer et au moins un deuxième repère de calibration (34).
4. Système selon la revendication précédente, caractérisé en ce que le véhicule (30) comprend un pare-brise (33) sur lequel est montée la caméra (32) et en ce que le deuxième repère de calibration (34) est disposé sur ledit pare-brise (33).
5. Système selon l'une quelconque des revendications 3 et 4, caractérisé en ce que le véhicule (30) comprend une pluralité de deuxièmes repères de calibration (34), de préférence au moins trois.
PCT/EP2014/003357 2013-12-19 2014-12-15 Procede et systeme de calibration d'une camera d'un vehicule WO2015090553A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201480069059.4A CN105814400B (zh) 2013-12-19 2014-12-15 校准车辆的相机的方法和系统
US15/105,584 US10152794B2 (en) 2013-12-19 2014-12-15 Method and system for calibrating a camera of a vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1363126 2013-12-19
FR1363126A FR3015660B1 (fr) 2013-12-19 2013-12-19 Procede, support et systeme de calibration d'une camera d'un vehicule

Publications (1)

Publication Number Publication Date
WO2015090553A1 true WO2015090553A1 (fr) 2015-06-25

Family

ID=50780566

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/003357 WO2015090553A1 (fr) 2013-12-19 2014-12-15 Procede et systeme de calibration d'une camera d'un vehicule

Country Status (4)

Country Link
US (1) US10152794B2 (fr)
CN (1) CN105814400B (fr)
FR (1) FR3015660B1 (fr)
WO (1) WO2015090553A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015122842B4 (de) 2015-12-27 2019-02-07 Faro Technologies, Inc. Verfahren zum Kalibrieren einer 3D-Messvorrichtung mittels einer Kalibrierplatte

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017214546B4 (de) * 2017-08-21 2023-02-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
DE102018215311A1 (de) * 2018-09-10 2020-03-12 Robert Bosch Gmbh Kalibriersystem und Kalibrierverfahren für eine Fahrzeug-Erfassungseinrichtung
EP3644279A1 (fr) * 2018-10-25 2020-04-29 Continental Automotive GmbH Étalonnage de caméra statique utilisant le mouvement d'une partie de véhicule
US20220180559A1 (en) * 2020-12-07 2022-06-09 Zebra Technologies Corporation On-Site Calibration for Mobile Automation Apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1873716A1 (fr) * 2006-06-29 2008-01-02 Hitachi, Ltd. Appareil d'étalonnage pour caméra embarquée sur un véhicule, programme et système de navigation de voiture
DE102007032471A1 (de) * 2007-07-10 2009-01-22 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Bestimmung der Lage eines Kamerasystems relativ zu einem Objekt
EP2233365A2 (fr) * 2009-03-23 2010-09-29 Robert Bosch GmbH Procédé et dispositif destinés à la détermination de la position et de l'orientation d'une caméra de système d'assistance du conducteur d'un véhicule par rapport au véhicule
US20110310250A1 (en) * 2009-03-31 2011-12-22 Toyota Jidosha Kabushiki Kaisha Calibration index for use in calibration of onboard camera, method of onboard camera calibration using the calibration index and program for calibration apparatus for onboard camera using the calibration index
DE102011013773A1 (de) * 2011-03-12 2012-01-12 Daimler Ag Verfahren und Vorrichtung zur Kalibrierung eines Sensors

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3906194B2 (ja) * 2002-11-29 2007-04-18 株式会社東芝 キャリブレーション方法、キャリブレーション支援装置、キャリブレーション装置およびカメラシステムの製造方法
CN101040298A (zh) 2004-10-13 2007-09-19 罗伯特·博世有限公司 用于校准车辆中的图像传感器系统的装置
EP2166510B1 (fr) 2008-09-18 2018-03-28 Delphi Technologies, Inc. Procédé de détermination de la position et de l'orientation d'une caméra installée dans un véhicule
JP5471038B2 (ja) * 2009-05-27 2014-04-16 アイシン精機株式会社 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム
EP2530647A1 (fr) 2011-06-01 2012-12-05 Harman Becker Automotive Systems GmbH Procédé d'étalonnage d'un système de vision de véhicule et système de vision de véhicule
JP6058256B2 (ja) * 2011-06-13 2017-01-11 アルパイン株式会社 車載カメラ姿勢検出装置および方法
US9491451B2 (en) * 2011-11-15 2016-11-08 Magna Electronics Inc. Calibration system and method for vehicular surround vision system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1873716A1 (fr) * 2006-06-29 2008-01-02 Hitachi, Ltd. Appareil d'étalonnage pour caméra embarquée sur un véhicule, programme et système de navigation de voiture
DE102007032471A1 (de) * 2007-07-10 2009-01-22 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Bestimmung der Lage eines Kamerasystems relativ zu einem Objekt
EP2233365A2 (fr) * 2009-03-23 2010-09-29 Robert Bosch GmbH Procédé et dispositif destinés à la détermination de la position et de l'orientation d'une caméra de système d'assistance du conducteur d'un véhicule par rapport au véhicule
US20110310250A1 (en) * 2009-03-31 2011-12-22 Toyota Jidosha Kabushiki Kaisha Calibration index for use in calibration of onboard camera, method of onboard camera calibration using the calibration index and program for calibration apparatus for onboard camera using the calibration index
DE102011013773A1 (de) * 2011-03-12 2012-01-12 Daimler Ag Verfahren und Vorrichtung zur Kalibrierung eines Sensors

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015122842B4 (de) 2015-12-27 2019-02-07 Faro Technologies, Inc. Verfahren zum Kalibrieren einer 3D-Messvorrichtung mittels einer Kalibrierplatte
US10841562B2 (en) 2015-12-27 2020-11-17 Faro Technologies, Inc. Calibration plate and method for calibrating a 3D measurement device

Also Published As

Publication number Publication date
US20160328851A1 (en) 2016-11-10
FR3015660B1 (fr) 2020-06-05
FR3015660A1 (fr) 2015-06-26
CN105814400B (zh) 2019-04-12
CN105814400A (zh) 2016-07-27
US10152794B2 (en) 2018-12-11

Similar Documents

Publication Publication Date Title
WO2015090553A1 (fr) Procede et systeme de calibration d'une camera d'un vehicule
CA2275957C (fr) Procede d'etalonnage de la position et de l'orientation d'origine d'une ou plusieurs cameras mobiles
EP1749237B1 (fr) Dispositif de positionnement d'un utilisateur par affichage de son image en miroir, dispositif de capture d'images et procéde de positionnement correspondants
EP2367052A1 (fr) Caméra agencée pour pouvoir être embarquée sur un véhicule
EP2791643A1 (fr) Système et procédé de lecture optique de marquages imprimés sur une face d'une lentille ophtalmique
FR3062229A1 (fr) Procede d'affichage sur un ecran d'au moins une representation d'un objet, programme d'ordinateur, dispositif et appareil electroniques d'affichage associes
FR3027144A1 (fr) Procede et dispositif de determination de mouvement entre des images video successives
WO2018138064A1 (fr) Detection d'obstacles dans l'environnement d'un vehicule automobile par traitement d'images
EP3420529B1 (fr) Procédé d'aide à la conduite en marche avant d'un véhicule automobile, muni d'une caméra à objectif de type fish-eye
WO2021156026A1 (fr) Procédé de calibration des caractéristiques extrinsèques d'un lidar
FR2998956A1 (fr) Procede de calibration d'une camera mise en place dans un vehicule automobile
EP3768555A1 (fr) Système de vision panoramique affichée sur un écran portrait
FR3047589A1 (fr) Procede et dispositif d'estimation de la position laterale d'un vehicule dans une voie de circulation
EP2746830A1 (fr) Mise au point optique d'un instrument de saisie d'image
FR3088754A1 (fr) Methode de creation d’une vue a partir d’une image capturee par une camera grand angle inclinee
FR3015661A1 (fr) Support et procede de calibration d’une camera embarquee dans un vehicule automobile
EP3263406B1 (fr) Système d'aide à la conduite pour un véhicule, véhicule ferroviaire et procédé d'utilisation associés
FR3106402A1 (fr) Procédé de calibration d’un support rotatif de dispositif d’imagerie de véhicule automobile
EP3018625B1 (fr) Procédé de calibration d'un système de visée
FR2926908A1 (fr) Assistance a la conduite d'un vehicule automobile par une vue de dessus
BE1015708A3 (fr) Procede pour mesurer la hauteur de spheres ou d'hemispheres.
WO2017216465A1 (fr) Procédé et dispositif de traitement d'images acquises par une caméra d'un véhicule automobile
EP2180426A1 (fr) Procédé de détection d'un objet cible pour véhicule automobile
EP1363463B1 (fr) Procédé et dispositif pour étalonner un banc de prise de vues stéréoscopiques
FR3056172A1 (fr) Methode d'installation de zones de reperage sur un sol pour la calibration de cameras d'un vehicule automobile et un equipement adapte.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14820749

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15105584

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14820749

Country of ref document: EP

Kind code of ref document: A1