WO2014072348A1 - Automatic alignment of cameras in a 3d system - Google Patents

Automatic alignment of cameras in a 3d system Download PDF

Info

Publication number
WO2014072348A1
WO2014072348A1 PCT/EP2013/073178 EP2013073178W WO2014072348A1 WO 2014072348 A1 WO2014072348 A1 WO 2014072348A1 EP 2013073178 W EP2013073178 W EP 2013073178W WO 2014072348 A1 WO2014072348 A1 WO 2014072348A1
Authority
WO
WIPO (PCT)
Prior art keywords
cameras
values
optimum
focal length
adjustment
Prior art date
Application number
PCT/EP2013/073178
Other languages
French (fr)
Inventor
Olivier Braun
Edwin AZZAM
Cécile SCHMOLLGRUBER
Original Assignee
Stereolabs
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stereolabs filed Critical Stereolabs
Publication of WO2014072348A1 publication Critical patent/WO2014072348A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Definitions

  • the present invention relates generally to three-dimensional shooting. More precisely, it concerns the automatic alignment of two 2D cameras used for 3D shooting. The alignment is achieved when the two optical axes of the cameras are aligned.
  • a 3D shooting system conventionally comprises two cameras
  • the two cameras generate respectively the left and right eye views, left and right images.
  • the 3D visualization is then obtained using known display techniques, for example involving alternating left and right images, or combining them into anaglyphs or interleaving them.
  • Figure 1 shows schematically an example of 3D shooting support, equipped with two cameras 1 and 2.
  • the camera 1 is in the up position and works in reflection while the camera 2 is in the low position and works in transmission.
  • the support also includes a semi-reflecting mirror 3 which allows to reproduce human binocular vision, while limiting the size of the system.
  • the advantage of such a system is the possibility of placing the cameras superimposed, which facilitates adjustment of the alignment of the cameras. Indeed, the superposition corresponds to the alignment of the optical axes of the two cameras.
  • the addition of the semi-reflective mirror causes the appearance of optical defects such as a difference in focus (focus) or brightness (iris) between the images provided by the camera 1 and those provided by the camera 2 .
  • the cameras of the 3D shooting system may have a different focal length (zoom) from each other.
  • a marker is defined having an axis z corresponding to the optical axis of the cameras, a y axis perpendicular and vertical with respect to the cameras, and finally an axis x perpendicular to the two preceding ones.
  • roll R or "roll”, corresponding to the rotation of a camera or both cameras with respect to the z axis
  • the degree of freedom is defined as any of the possible variations corresponding to the three optical defects and the five geometrical defects.
  • a 3D shooting system therefore has eight degrees of freedom.
  • the 3D shooting system includes a motorized control to adjust the respective positions of the cameras and control their respective optical systems.
  • an adjusting screw or motor gear
  • a motor is placed on the toothed rings of each lens to have independent adjustment of focal length, focus and brightness.
  • the different degrees of freedom are not independent of each other.
  • height and pitch are interdependent, i.e. correction of a defect of one of these degrees of freedom causes degradation of the adjustment of the other degree of freedom.
  • the alignment of the optical axes of two 2D cameras used for 3D shooting is therefore a complex problem that is handled manually by an operator. This one detects a misalignment of the two cameras visually or using an image analyzer, and acts on the settings to eliminate this defect. It manually records the different settings of the different motors for each focal length value.
  • the invention aims to solve the problems of the prior art by providing a method for aligning the optical axes of two cameras of a three-dimensional image system delivering left and right images, characterized in that it comprises , for each of a set of focal length values, the following steps performed in the given order:
  • the method according to the invention makes it possible to automatically adjust the different degrees of freedom according to the focal length positions, in order to maintain correct alignment of the optical axes of the two cameras over the entire range of focal length value.
  • the method further comprises a step of second determination of optimum values of pitching and convergence adjustment for each of the two cameras, this step of second determination being made after the step of determining optimum basic setting and height values for each of the two cameras.
  • the method comprises steps of:
  • the method further comprises steps of:
  • the invention comprises a slaving of the corrections to be applied in order to reach quickly and accurately and reproducibly the optimal relative position of the cameras, whatever the type of medium used. If interpolated values are used, camera positioning is more accurate than when only measured values are used.
  • the steps of determining optimum basic setting and height values and second determining optimum pitching and convergence settings for each of the two cameras are repeated.
  • the step of determining an optimal focus adjustment value and an optimum brightness adjustment value for each of the two cameras comprises A first determination of a focus adjustment value for one of the two cameras
  • the invention also relates to a device for aligning the optical axes of two cameras of a three-dimensional image system delivering left and right images, characterized in that it comprises means for selecting a value of focal length in a set of focal length values and the following means operable for each selected focal length value in the indicated order:
  • the device further comprises second determination means of optimum pitch and convergence adjustment values for each of the two cameras, said second determination means being able to operate after the means for determining respective values of optimal basic setting and height for each of the two cameras.
  • the device according to the invention comprises means for implementing the previously explained steps. It has advantages similar to those mentioned above.
  • the steps of the method according to the invention are implemented by computer program instructions.
  • the invention also relates to a computer program on an information medium, this program being capable of being implemented in a computer, this program comprising instructions adapted to the implementation of the steps of a process as described above.
  • This program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other form desirable shape.
  • the invention also relates to a computer readable information medium, and comprising computer program instructions suitable for implementing the steps of a method as described above.
  • the information carrier may be any entity or device capable of storing the program.
  • the medium may comprise storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or a magnetic recording means, for example a diskette or a hard disk.
  • the information medium may be a transmissible medium such as an electrical or optical signal, which may be conveyed via an electrical or optical cable, by radio or by other means.
  • the program according to the invention can be downloaded in particular on an Internet type network.
  • the information carrier may be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method according to the invention.
  • FIG. 1 schematically represents an example of a 3D shooting system
  • FIG. 2 diagrammatically represents various geometric deficiencies that can affect the images taken by the system of FIG. 1,
  • FIG. 3 represents a device for aligning the optical axes of two cameras of a three-dimensional shooting system, according to the invention
  • FIG. 4 represents a method for aligning the optical axes of two cameras of a three-dimensional image capture system, according to the invention
  • FIG. 5 represents particular steps of the method of FIG. 4.
  • a device for aligning the optical axes of two cameras of a three-dimensional shooting system is used to determine a set of adjustment values to be applied to the gripping system. according to the focal length values.
  • the three-dimensional shooting system itself is conventional and comprises two cameras 1 and 2 mounted on a support and a control module 4 of a set of motors 5 to adjust the respective positions of the cameras and control their systems respective optics.
  • a motor is dedicated to each of the degrees of freedom. It is thus possible to adjust in motorized manner the eight degrees of freedom previously defined of the two cameras.
  • the focal length adjustment engine of one of the cameras for example the left camera, is called “master”. It is maneuvered by the user to adjust the focal length, and thanks to the invention the settings of the other motors of the system depend on those of the master motor.
  • the alignment device comprises an alignment module proper 6, whose operation will be detailed later.
  • the alignment module 6 communicates with a stereoscopic image analysis module 7.
  • the stereoscopic image analysis module is conventional and implements known image analysis techniques.
  • a stereoscopic image analysis usually comprises three steps: the detection and the description of points, the mapping and the estimation of the so-called fundamental matrix.
  • the mapping is intended to couple each point of the left image to a point in the right image that corresponds to the same object observed in the scene.
  • a set of pairs of points is obtained whose coordinates are known and defined in this way (X1, Y1, X2, Y2).
  • a common technique is the comparison of the distances between the distribution vectors resulting from the description of the points of the left image and those of the right image.
  • the alignment device comprises a memory 8 for storing values measured or calculated in particular by the modules 6 and 7.
  • control modules 4, alignment 6 analysis 7 and the memory 8 are preferably integrated in a computer whose structure is conventional and will not be detailed here.
  • the alignment module 6 of the optical axes of the two cameras of the three-dimensional shooting system comprises means for selecting a focal length value in a set of focal length values and the following means operable for each selected focal length value:
  • the method generally includes determining values of system engine settings for different focal length values. The values thus determined are then used when a user sets a focal length value for a shot.
  • Step E1 is the selection of a focal length adjustment value Z.
  • Steps E1 and E2 are implemented for a plurality of focal length adjustment values, the number N of which may be selected by a user. The larger the number N, the more accurate the operation of the alignment device.
  • the range of focal length values is the range of possible focal length variation of the system or part of it.
  • step E2 is the measurement of mechanical and optical adjustment values and the storage of the set of measured values in a TAB adjustment table located in the memory 8.
  • the TAB adjustment table associates a set of adjustment values with each of the focal length adjustment values. This step involves image analysis and servo control of the motors associated with the eight degrees of freedom. Step E2 is detailed below.
  • step E2 is followed by step E1 to which a new focal length adjustment value Z is selected.
  • step E2 When the step E2 has been carried out for all the N desired focal length adjustment values Z, it is followed by the step E3 which is an interpolation of the previously measured values which makes it possible to obtain a finer sampling of the adjustment values. different motors in the range of focal length adjustment values.
  • the result is a set of interpolated control values, which, like the measured values, are stored in the TAB setting table in memory 8. This results in a greater number of sets of adjustment values than at the end. of all the iterations of the step E2.
  • the number of sets of values of the TAB adjustment table after interpolation is the same as the number of positions of the focal length adjustment motor.
  • the incrementation of a motor step is coded on 16 bits
  • the entire motor stroke has 65535 positions
  • the adjustment table comprises 65535 sets of values respectively associated with these positions.
  • step E3 is performed after each occurrence of step E2 from the second, to determine the interpolated values corresponding to the values measured during the last two occurrences of step E2.
  • step E3 is not performed and the TAB adjustment table includes only the measured values.
  • the step E4 is the use of this table to adjust the 3D shooting system.
  • the user selects a focal length adjustment value using the master motor. This value is a set point for the system.
  • At this value corresponds in the TAB adjustment table a set of adjustment values of the various motors of the system.
  • This set of values is used to automatically and instantly adjust the different motors and thus align the optical axes of the two cameras in the system. The quality of the images and the visual comfort of the spectators are thus assured.
  • step E2 is now detailed. step E2
  • E2 comprises substeps E21 to E25. Each of these steps is based on analysis and comparison of the left and right images performed by the module 7 and includes the storage of the results.
  • the degrees of freedom are adjusted in a particular order in order to obtain the best possible accuracy irrespective of the mechanical precision of the support and the degree of independence of the analyzes acquired by the system.
  • the degree of independence of the analyzes corresponds to the ability of the algorithm providing these analyzes to provide a value for each degree of freedom that is not or only slightly influenced by the other degrees of freedom.
  • a displacement of X no motor corresponds to a change Y of the analysis value.
  • a value X 'to be applied to the position of the motor is calculated according to a change Y 'to be applied and previous values X and Y.
  • the process of reaching the motor position value corresponding to the setting of a given fault is therefore at least two passes and may comprise additional steps depending on the stability of the analysis value.
  • a set of analysis values is recorded, the standard deviation of which gives a stability criterion. This standard deviation value makes it possible to apply a correction to the value X ', allowing a convergence towards the more stable final value.
  • Steps E21 and E22 are an adjustment of focus F and brightness L of the cameras.
  • the purpose of the focus adjustment is to determine an optimal focus that allows for maximum contour and texture in the image to optimize the quality of the image analysis performed by the module. in the following steps.
  • Step E21 is a first focus adjustment F of the cameras.
  • This focusing is performed starting from a reference position (lens stop). Then a value of the amount of detail in the image is extracted by a contour filter (Sobel for example) for each new position of the focus engines. Thus, a set of values is recorded, so the maximum corresponds to the position of best focus.
  • a contour filter Sobel for example
  • One camera is used here as reference, for example the left camera, and the other camera receives the same settings.
  • the image provided by the second camera may be less clear, in case the focus setting is not optimal for this second camera.
  • Step E22 is a second focus adjustment F of the cameras, to refine, or correct, the setting of the second camera in order to achieve the same level of sharpness in the two images. For example, a constant offset is applied to the focal length adjustment values of the second camera relative to the first camera.
  • Step E22 also includes the brightness adjustment L of the cameras. It's about adjusting the difference in brightness between the two cameras so that two left and right images have the same brightness. It should be noted that a change in brightness changes the depth of field of a camera.
  • the second focus setting and the brightness setting are preferably performed sequentially: the brightness is adjusted first and then the second focus is performed. It is possible that the reverse order causes in some cases an adjustment of the overall sharpness of the image, the brightness changing the depth of field.
  • steps E21 and E22 are brightness and focus adjustment values that are stored in the TAB adjustment table.
  • Steps E23, E24 and E25 are then performed in the order described, so as to determine the settings of the different engines in a specific order. As previously explained, each of these steps includes an analysis of the left and right images to determine the optimal adjustment values. The optimum setting values are stored in the TAB adjustment table.
  • the next step E23 is a determination of respective values of optimal Z-axis, pitch T, roll R, and CV convergence settings for each of the two cameras.
  • the camera focal length values Z are set to cancel the difference in focal length between the two cameras. Then, the other values are adjusted alternately to cancel the pitch, the roll and the lack of convergence between the left and right images.
  • the order of adjustment between pitch, roll and convergence is arbitrary.
  • the determination of the pitch adjustment and convergence values is a first determination, which will be followed by a second determination, as explained below.
  • the pitch and convergence settings are useful presets for adjusting the base and pitch.
  • a second pitch and convergence adjustment is made later.
  • the next step E24 is the determination of optimum basic setting values B and height H for each of the two cameras.
  • the base is complementary to the convergence and the pitch is complementary to the pitch.
  • the basic and pitch motors are set to cancel the basic and height defects between the left and right images.
  • the base and the height are adjusted alternately or alternatively one after the other.
  • step E24 is followed by the step E25, which is a second determination of optimum values of pitch setting T and convergence CV optimal for each of the two cameras.
  • the second adjustment is intended to compensate for a maladjustment introduced by the settings of step E24.
  • This variant is relevant for applications that require greater precision. For example, for a movie application, a misalignment of a few pixels is uncomfortable for the viewer because of the large size of the cinema screen. Conversely, for a smaller display screen, such as that of a television, the accuracy may be slightly lower without causing discomfort to the viewer.
  • the steps E24 and E25 are repeated so as to improve the adjustment results in the case of major defects.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

A method for aligning the optical axes of two cameras in a three-dimensional photographing system delivering left- and right-hand images, characterised in that it comprises, for each of a set of focal distance values (Z), the following steps carried out in the indicated order: - Determination (E221, E22) of an optimum focus adjustment value (F) and an optimum light adjustment value (L) for each of the two cameras, so as to obtain a maximum of detail and the same brightness in the left- and right-hand images, - First determination (E23) of optimum respective focal distance (Z), pitch (T), roll (R) and convergence (CV) adjustment values for each of the two cameras, so as to cancel out the difference in focal distance, pitch, roll and faults in convergence between the left- and right-hand images, - Determination (E24) of optimum respective base (B) and height (H) adjustment values for each of the two cameras to cancel out faults in base and height between the left- and right-hand images.

Description

ALIGNEMENT AUTOMATIQUE DES CAMERAS DANS UN SYSTEME 3D  AUTOMATIC ALIGNMENT OF CAMERAS IN A 3D SYSTEM
DESCRIPTION DESCRIPTION
DOMAINE TECHNIQUE La présente invention concerne de manière générale la prise de vue en trois dimensions. Plus précisément, elle concerne l'alignement automatique de deux caméras 2D utilisées pour une prise de vue 3D. L'alignement est réalisé lorsque les deux axes optiques des caméras sont alignés. TECHNICAL FIELD The present invention relates generally to three-dimensional shooting. More precisely, it concerns the automatic alignment of two 2D cameras used for 3D shooting. The alignment is achieved when the two optical axes of the cameras are aligned.
ÉTAT DE LA TECHNIQUE ANTÉRIEURE Un système de prise de vue 3D comporte classiquement deux camérasSTATE OF THE PRIOR ART A 3D shooting system conventionally comprises two cameras
2D fixées sur un support spécifique souvent appelé « rig ». Les deux caméras génèrent respectivement les vues relatives à l'œil gauche et à l'œil droit, soit des images gauches et des images droites. La visualisation 3D est ensuite obtenue à l'aide de techniques d'affichages connues, impliquant par exemple d'alterner les images gauches et droites, ou de les combiner en anaglyphe ou encore de les entrelacer. 2D fixed on a specific support often called "rig". The two cameras generate respectively the left and right eye views, left and right images. The 3D visualization is then obtained using known display techniques, for example involving alternating left and right images, or combining them into anaglyphs or interleaving them.
La figure 1 représente de manière schématique un exemple de support de prise de vue 3D, équipé de deux caméras 1 et 2. La caméra 1 est en position haute et travaille en réflexion tandis que la caméra 2 est en position basse et travaille en transmission.  Figure 1 shows schematically an example of 3D shooting support, equipped with two cameras 1 and 2. The camera 1 is in the up position and works in reflection while the camera 2 is in the low position and works in transmission.
Le support comporte également un miroir semi-réfléchissant 3 ce qui permet de reproduire une vision binoculaire humaine, tout en limitant l'encombrement du système.  The support also includes a semi-reflecting mirror 3 which allows to reproduce human binocular vision, while limiting the size of the system.
L'avantage d'un tel système est la possibilité de placer les caméras en superposition, ce qui facilite un réglage de l'alignement des caméras. En effet, la superposition correspond à l'alignement des axes optiques des deux caméras. Cependant, l'ajout du miroir semi-réfléchissant entraine l'apparition de défauts optiques tels qu'une différence de mise au point (focus) ou de luminosité (iris) entre les images fournies par la caméra 1 et celles fournies par la caméra 2. En outre, les caméras du système de prise de vue 3D peuvent avoir une distance focale (zoom) différente l'une de l'autre. The advantage of such a system is the possibility of placing the cameras superimposed, which facilitates adjustment of the alignment of the cameras. Indeed, the superposition corresponds to the alignment of the optical axes of the two cameras. However, the addition of the semi-reflective mirror causes the appearance of optical defects such as a difference in focus (focus) or brightness (iris) between the images provided by the camera 1 and those provided by the camera 2 . In addition, the cameras of the 3D shooting system may have a different focal length (zoom) from each other.
Il y a donc trois types de défauts optiques qui peuvent se produire : There are three types of optical defects that can occur:
- différence de mise au point (focus) F, - difference in focus (focus) F,
- différence de luminosité (iris) L,  - difference in brightness (iris) L,
- différence de distance focale (zoom) Z,  - difference in focal length (zoom) Z,
entre les images fournies par les deux caméras du système de prise de vue 3D.  between the images provided by the two cameras of the 3D shooting system.
En référence à la figure 2, on représente les deux caméras 1 et 2 côte à côte par soucis de simplification. On définit un repère comportant un axe z correspondant à l'axe optique des caméras, un axe y perpendiculaire et vertical par rapport aux caméras, et enfin un axe x perpendiculaire aux deux précédents.  With reference to FIG. 2, the two cameras 1 and 2 are shown side by side for the sake of simplification. A marker is defined having an axis z corresponding to the optical axis of the cameras, a y axis perpendicular and vertical with respect to the cameras, and finally an axis x perpendicular to the two preceding ones.
Différents défaut géométriques peuvent affecter les images prises par les deux caméras :  Different geometric defect can affect the images taken by the two cameras:
- hauteur H, ou différence de position verticale entre les deux caméras suivant l'axe y,  height H, or difference in vertical position between the two cameras along the y axis,
- tangage T, ou « tilt », correspondant à la rotation d'une caméra ou des deux caméras par rapport à l'axe x,  pitch T, or "tilt", corresponding to the rotation of one or both cameras with respect to the x axis,
- convergence CV, correspondant à la rotation d'une caméra ou des deux caméras par rapport à l'axe y,  CV convergence, corresponding to the rotation of a camera or two cameras with respect to the y axis,
- roulis R, ou « roll », correspondant à la rotation d'une caméra ou des deux caméras par rapport à l'axe z,  roll R, or "roll", corresponding to the rotation of a camera or both cameras with respect to the z axis,
- base B, correspondant à un décalage suivant l'axe x.  base B, corresponding to an offset along the x axis.
Dans la suite, on appelle degré de liberté l'une quelconque des variations possibles correspondant aux trois défauts optiques et aux cinq défauts géométriques. Un système de prise de vue 3D comporte donc huit degrés de liberté.  In the following, the degree of freedom is defined as any of the possible variations corresponding to the three optical defects and the five geometrical defects. A 3D shooting system therefore has eight degrees of freedom.
Chaque défaut se traduit sur l'image 3D par une dégradation de celle-ci et peut être constaté visuellement par un opérateur ou par un système analyseur d'image. Le système de prise de vue 3D comporte un contrôle motorisé pour ajuster les positions respectives des caméras et contrôler leurs systèmes optiques respectifs. De manière classique, une vis de réglage (ou engrenage moteur) est dédiée à un degré de liberté. Pour les degrés de liberté optiques, un moteur est placé sur les bagues crantées de chaque objectif afin d'avoir un réglage indépendant de la distance focale, de la mise au point et de la luminosité. Each defect is reflected on the 3D image by a degradation thereof and can be visually observed by an operator or by an image analyzer system. The 3D shooting system includes a motorized control to adjust the respective positions of the cameras and control their respective optical systems. Conventionally, an adjusting screw (or motor gear) is dedicated to a degree of freedom. For optical degrees of freedom, a motor is placed on the toothed rings of each lens to have independent adjustment of focal length, focus and brightness.
A chaque changement de distance focale, il est nécessaire de réaligner les axes optiques des caméras. En effet, en raison des jeux mécaniques et optiques du système, un ensemble de réglages des différents degrés de libertés, et donc des moteurs, correspond à une valeur de distance focale donnée. Par exemple, le tangage entre les deux caméras est souvent accentué lorsque la distance focale des systèmes optiques augmente.  At each change of focal length, it is necessary to realign the optical axes of the cameras. Indeed, because of the mechanical and optical games of the system, a set of settings of the different degrees of freedom, and therefore the motors, corresponds to a given focal length value. For example, the pitch between the two cameras is often increased as the focal length of the optical systems increases.
En outre, les différents degrés de liberté ne sont pas indépendants les uns des autres. Par exemple, la hauteur et le tangage sont interdépendants, c'est-à-dire que la correction d'un défaut de l'un de ces degrés de liberté entraine la dégradation du réglage de l'autre degré de liberté.  In addition, the different degrees of freedom are not independent of each other. For example, height and pitch are interdependent, i.e. correction of a defect of one of these degrees of freedom causes degradation of the adjustment of the other degree of freedom.
De même, la base et la convergence sont deux degrés de liberté interdépendants.  Likewise, the base and the convergence are two degrees of freedom interdependent.
Enfin, il existe différents type de support de caméra, de différents fabricants. Les corrections mécaniques à appliquer pour corriger un défaut sont différentes d'un type de support à l'autre.  Finally, there are different types of camera support, from different manufacturers. The mechanical corrections to be applied to correct a defect are different from one type of support to another.
L'alignement des axes optiques de deux caméras 2D utilisées pour une prise de vue 3D est donc un problème complexe qui est traité de manière manuelle par un opérateur. Celui-ci détecte visuellement ou à l'aide d'un analyseur d'images un défaut d'alignement des deux caméras, et agit sur les réglages pour supprimer ce défaut. Il enregistre manuellement les différents réglages des différents moteurs pour chaque valeur de distance focale.  The alignment of the optical axes of two 2D cameras used for 3D shooting is therefore a complex problem that is handled manually by an operator. This one detects a misalignment of the two cameras visually or using an image analyzer, and acts on the settings to eliminate this defect. It manually records the different settings of the different motors for each focal length value.
Cette méthode requiert une expertise humaine, elle n'est donc pas strictement reproductible. Elle est en outre coûteuse et relativement longue à mettre en œuvre. EXPOSÉ DE L'INVENTION This method requires human expertise, so it is not strictly reproducible. It is also expensive and relatively long to implement. STATEMENT OF THE INVENTION
L'invention vise à résoudre les problèmes de la technique antérieure en fournissant un procédé d'alignement des axes optiques de deux caméras d'un système de prise de vue en trois dimensions délivrant des images gauche et droite, caractérisé en ce qu'il comporte, pour chacune d'un ensemble de valeurs de distance focale, les étapes suivantes effectuées dans l'ordre indiqué : The invention aims to solve the problems of the prior art by providing a method for aligning the optical axes of two cameras of a three-dimensional image system delivering left and right images, characterized in that it comprises , for each of a set of focal length values, the following steps performed in the given order:
- Détermination d'une valeur de réglage de mise au point optimale et d'une valeur de réglage de luminosité optimale pour chacune des deux caméras, pour obtenir un maximum de détails et une même luminosité dans les images gauche et droite,  - Determination of an optimal focus adjustment value and an optimum brightness adjustment value for each of the two cameras, to obtain maximum detail and brightness in the left and right images,
- Première détermination de valeurs respectives de réglage de distance focale, de tangage, de roulis et de convergence optimales pour chacune des deux caméras, pour annuler la différence de distance focale, le tangage, le roulis et le défaut de convergence entre les images gauche et droite,  First determination of respective focal length adjustment, pitch, roll and convergence values for each of the two cameras, to cancel the difference in focal length, pitch, roll and the lack of convergence between the left and right images; right,
- Détermination de valeurs respectives de réglage de base et de hauteur optimales pour chacune des deux caméras pour annuler les défauts de base et de hauteur entre les images gauche et droite.  - Determination of optimal basic setting and height values for each of the two cameras to cancel the basic and height defects between left and right images.
Le procédé selon l'invention permet d'effectuer automatiquement un réglage des différents degrés de libertés selon les positions de distance focale, afin de conserver un alignement correct des axes optiques des deux caméras sur toute la plage de valeur de distance focale. The method according to the invention makes it possible to automatically adjust the different degrees of freedom according to the focal length positions, in order to maintain correct alignment of the optical axes of the two cameras over the entire range of focal length value.
En raison de l'interdépendance de certains degrés de liberté entre eux, l'ordre de détermination des valeurs de réglage des différents degrés de liberté est important pour obtenir un résultat de bonne qualité. Les étapes précédentes doivent donc être effectuées selon l'ordre indiqué.  Because of the interdependence of certain degrees of freedom between them, the order of determining the adjustment values of the different degrees of freedom is important to obtain a good quality result. The preceding steps must therefore be performed in the order indicated.
Selon une caractéristique préférée, le procédé comporte en outre une étape de seconde détermination de valeurs respectives de réglage de tangage et de convergence optimales pour chacune des deux caméras, cette étape de seconde détermination étant effectuée après l'étape de détermination de valeurs respectives de réglage de base et de hauteur optimales pour chacune des deux caméras. According to a preferred feature, the method further comprises a step of second determination of optimum values of pitching and convergence adjustment for each of the two cameras, this step of second determination being made after the step of determining optimum basic setting and height values for each of the two cameras.
Ainsi la précision obtenue est plus grande, ce qui est avantageux pour certaines applications, par exemple si les images sont affichées sur grand écran.  Thus the accuracy obtained is greater, which is advantageous for certain applications, for example if the images are displayed on a large screen.
Selon une caractéristique préférée, le procédé comporte des étapes de : According to a preferred characteristic, the method comprises steps of:
- mémorisation des valeurs déterminées en une table de réglage, et utilisation de la table de réglage pour régler les axes optiques des deux caméras du système de prise de vue en trois dimensions en fonction d'une valeur de distance focale de consigne. storage of the determined values in an adjustment table, and use of the adjustment table to adjust the optical axes of the two cameras of the three-dimensional image-taking system as a function of a value of focal length of reference.
Selon une caractéristique préférée, le procédé comporte en outre des étapes de :  According to a preferred feature, the method further comprises steps of:
- interpolation des valeurs déterminées,  - interpolation of the determined values,
- mémorisation des valeurs interpolées avec les valeurs déterminées dans la table de réglage.  - memorizing the interpolated values with the values determined in the adjustment table.
L'invention comporte un asservissement des corrections à appliquer afin d'atteindre rapidement et de manière précise et reproductible la position relative optimale des caméras, quel que soit le type de support utilisé. Si des valeurs interpolées sont utilisées, le positionnement des caméras est plus précis que dans le cas où seules des valeurs mesurées sont utilisées. The invention comprises a slaving of the corrections to be applied in order to reach quickly and accurately and reproducibly the optimal relative position of the cameras, whatever the type of medium used. If interpolated values are used, camera positioning is more accurate than when only measured values are used.
Selon une caractéristique préférée, les étapes de détermination de valeurs respectives de réglage de base et de hauteur optimales et de seconde détermination de valeurs respectives de réglage de tangage et de convergence optimales, pour chacune des deux caméras, sont répétées.  According to a preferred feature, the steps of determining optimum basic setting and height values and second determining optimum pitching and convergence settings for each of the two cameras are repeated.
Cette répétition est notamment avantageuse lorsque les défauts à corriger sont importants.  This repetition is particularly advantageous when the defects to be corrected are important.
Selon une autre caractéristique préférée, l'étape de détermination d'une valeur de réglage de mise au point optimale et d'une valeur de réglage de luminosité optimale pour chacune des deux caméras comporte - Une première détermination d'une valeur de réglage de mise au point pour l'une des deux caméras, According to another preferred feature, the step of determining an optimal focus adjustment value and an optimum brightness adjustment value for each of the two cameras comprises A first determination of a focus adjustment value for one of the two cameras,
- Une détermination d'une valeur de réglage de luminosité pour les deux caméras,  A determination of a brightness adjustment value for the two cameras,
- Une seconde détermination d'une valeur de réglage de mise au point pour l'autre des deux caméras.  - A second determination of a focus adjustment value for the other of the two cameras.
Ces réglages doivent être effectués avant les autres réglages. These settings must be made before other settings.
L'invention concerne aussi un dispositif d'alignement des axes optiques de deux caméras d'un système de prise de vue en trois dimensions délivrant des images gauche et droite, caractérisé en ce qu'il comporte des moyens de sélection d'une valeur de distance focale dans un ensemble de valeurs de distance focale et les moyens suivants aptes à fonctionner pour chaque valeur de distance focale sélectionnée, selon l'ordre indiqué :  The invention also relates to a device for aligning the optical axes of two cameras of a three-dimensional image system delivering left and right images, characterized in that it comprises means for selecting a value of focal length in a set of focal length values and the following means operable for each selected focal length value in the indicated order:
- Des moyens de détermination d'une valeur de réglage de mise au point optimale et d'une valeur de réglage de luminosité optimale pour chacune des deux caméras, pour obtenir un maximum de détails et une même luminosité dans les images gauche et droite, Means for determining an optimum focus adjustment value and an optimum brightness adjustment value for each of the two cameras, to obtain maximum detail and brightness in the left and right images,
- Des moyens de première détermination de valeurs respectives de réglage de distance focale, de tangage, de roulis et de convergence optimales pour chacune des deux caméras, pour annuler la différence de distance focale, le tangage, le roulis et le défaut de convergence entre les images gauche et droite, - Means of first determining respective values for adjusting focal length, pitch, roll and convergence optimal for each of the two cameras, to cancel the difference in focal length, pitch, roll and the lack of convergence between the left and right images,
Des moyens de détermination de valeurs respectives de réglage de base et de hauteur optimales pour chacune des deux caméras pour annuler les défauts de base et de hauteur entre les images gauche et droite.  Means for determining optimum basic setting and height values for each of the two cameras to cancel the basic and height defects between the left and right images.
Selon une caractéristique préférée, le dispositif comporte en outre des moyens de seconde détermination de valeurs respectives de réglage de tangage et de convergence optimales pour chacune des deux caméras, ces moyens de seconde détermination étant apte à fonctionner après les moyens de détermination de valeurs respectives de réglage de base et de hauteur optimales pour chacune des deux caméras. Le dispositif selon l'invention comporte des moyens de mise en œuvre des étapes précédemment exposées. Il présente des avantages analogues à ceux citées plus haut. According to a preferred feature, the device further comprises second determination means of optimum pitch and convergence adjustment values for each of the two cameras, said second determination means being able to operate after the means for determining respective values of optimal basic setting and height for each of the two cameras. The device according to the invention comprises means for implementing the previously explained steps. It has advantages similar to those mentioned above.
Dans un mode particulier de réalisation, les étapes du procédé selon l'invention sont mises en œuvre par des instructions de programme d'ordinateur.  In a particular embodiment, the steps of the method according to the invention are implemented by computer program instructions.
En conséquence, l'invention vise aussi un programme d'ordinateur sur un support d'informations, ce programme étant susceptible d'être mis en œuvre dans un ordinateur, ce programme comportant des instructions adaptées à la mise en œuvre des étapes d'un procédé tel que décrit ci-dessus.  Consequently, the invention also relates to a computer program on an information medium, this program being capable of being implemented in a computer, this program comprising instructions adapted to the implementation of the steps of a process as described above.
Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.  This program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other form desirable shape.
L'invention vise aussi un support d'informations lisible par un ordinateur, et comportant des instructions de programme d'ordinateur adaptées à la mise en œuvre des étapes d'un procédé tel que décrit ci-dessus.  The invention also relates to a computer readable information medium, and comprising computer program instructions suitable for implementing the steps of a method as described above.
Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une disquette ou un disque dur.  The information carrier may be any entity or device capable of storing the program. For example, the medium may comprise storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or a magnetic recording means, for example a diskette or a hard disk.
D'autre part, le support d'informations peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet.  On the other hand, the information medium may be a transmissible medium such as an electrical or optical signal, which may be conveyed via an electrical or optical cable, by radio or by other means. The program according to the invention can be downloaded in particular on an Internet type network.
Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé selon l'invention. BREVE DESCRIPTION DES DESSINS Alternatively, the information carrier may be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method according to the invention. BRIEF DESCRIPTION OF THE DRAWINGS
D'autres caractéristiques et avantages apparaîtront à la lecture d'un mode de réalisation préféré donné à titre d'exemple non limitatif, décrit en référence aux figures dans lesquelles : Other features and advantages will appear on reading a preferred embodiment given by way of non-limiting example, described with reference to the figures in which:
- La figure 1 représente de manière schématique un exemple de système de prise de vue 3D,  FIG. 1 schematically represents an example of a 3D shooting system,
- La figure 2 représente de manière schématique différents défaut géométriques pouvant affecter les images prises par le système de la figure 1,  FIG. 2 diagrammatically represents various geometric deficiencies that can affect the images taken by the system of FIG. 1,
- La figure 3 représente un dispositif d'alignement des axes optiques de deux caméras d'un système de prise de vue en trois dimensions, selon l'invention,  FIG. 3 represents a device for aligning the optical axes of two cameras of a three-dimensional shooting system, according to the invention,
- La figure 4 représente un procédé d'alignement des axes optiques de deux caméras d'un système de prise de vue en trois dimensions, selon l'invention,  FIG. 4 represents a method for aligning the optical axes of two cameras of a three-dimensional image capture system, according to the invention,
- La figure 5 représente des étapes particulières du procédé de la figure 4.  FIG. 5 represents particular steps of the method of FIG. 4.
EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS DETAILED PRESENTATION OF PARTICULAR EMBODIMENTS
Les figures 1 et 2 ont déjà été décrites et commentées dans le préambule. Figures 1 and 2 have already been described and commented in the preamble.
Selon un mode préféré de réalisation représenté à la figure 3, un dispositif d'alignement des axes optiques de deux caméras d'un système de prise de vue en trois dimensions est utilisé pour déterminer un ensemble de valeurs de réglages à appliquer au système de prise de vue en fonction des valeurs de distance focale.  According to a preferred embodiment shown in FIG. 3, a device for aligning the optical axes of two cameras of a three-dimensional shooting system is used to determine a set of adjustment values to be applied to the gripping system. according to the focal length values.
Le système de prise de vue en trois dimension en lui-même est classique et comporte deux caméras 1 et 2 montées sur un support et un module de contrôle 4 d'un ensemble de moteurs 5 pour ajuster les positions respectives des caméras et contrôler leurs systèmes optiques respectifs. Un moteur est dédié à chacun des degrés de liberté. Il est ainsi possible de régler de manière motorisée les huit degrés de liberté précédemment définis des deux caméras. The three-dimensional shooting system itself is conventional and comprises two cameras 1 and 2 mounted on a support and a control module 4 of a set of motors 5 to adjust the respective positions of the cameras and control their systems respective optics. A motor is dedicated to each of the degrees of freedom. It is thus possible to adjust in motorized manner the eight degrees of freedom previously defined of the two cameras.
Le moteur de réglage de distance focale de l'une des caméras, par exemple la caméra gauche, est dit « maître ». Il est manœuvré par l'utilisateur pour régler la distance focale, et grâce à l'invention les réglages des autres moteurs du système dépendent de ceux du moteur maître.  The focal length adjustment engine of one of the cameras, for example the left camera, is called "master". It is maneuvered by the user to adjust the focal length, and thanks to the invention the settings of the other motors of the system depend on those of the master motor.
Le dispositif d'alignement comporte un module d'alignement proprement dit 6, dont le fonctionnement sera détaillé dans la suite. Le module d'alignement 6 communique avec un module d'analyse d'images stéréoscopiques 7. Le module d'analyse d'images stéréoscopiques est classique et met en œuvre des techniques connues d'analyse d'image.  The alignment device comprises an alignment module proper 6, whose operation will be detailed later. The alignment module 6 communicates with a stereoscopic image analysis module 7. The stereoscopic image analysis module is conventional and implements known image analysis techniques.
Une analyse d'images stéréoscopiques comporte usuellement trois étapes : la détection et la description de points, la mise en correspondance et l'estimation de la matrice dite fondamentale.  A stereoscopic image analysis usually comprises three steps: the detection and the description of points, the mapping and the estimation of the so-called fundamental matrix.
La détection ou extraction de points singuliers dans chaque image et la description de ces points sont effectuées par une méthode classique, par exemple l'algorithme SURF, décrit dans l'article intitulé « SURF : Speeded Up Robust Features » de Herbert Bay, Tinne Tuytelaars et Luc Van Gool. La détection des points est basée sur une méthode Hessian, Hessian-Laplace ou Harris Corner. La description des points fournit la répartition d'intensité sur 360° autour du point détecté et un vecteur de répartition calculé.  The detection or extraction of singular points in each image and the description of these points are performed by a conventional method, for example the SURF algorithm, described in the article entitled "SURF: Speeded Up Robust Features" by Herbert Bay, Tinne Tuytelaars and Luc Van Gool. Point detection is based on a Hessian, Hessian-Laplace or Harris Corner method. The description of the points provides the 360 ° intensity distribution around the detected point and a calculated distribution vector.
La mise en correspondance a pour but de coupler chaque point de l'image gauche à un point de l'image droite qui correspond au même objet observé dans la scène. Un ensemble de couples de points est obtenu dont les coordonnées sont connues et définies de la sorte (X1,Y1,X2,Y2). Une technique usuelle est la comparaison des distances entre les vecteurs de répartition issus de la description des points de l'image gauche et de ceux de l'image droite.  The mapping is intended to couple each point of the left image to a point in the right image that corresponds to the same object observed in the scene. A set of pairs of points is obtained whose coordinates are known and defined in this way (X1, Y1, X2, Y2). A common technique is the comparison of the distances between the distribution vectors resulting from the description of the points of the left image and those of the right image.
L'estimation de la matrice dite fondamentale permet de passer des coordonnées des points de l'image gauche à ceux de l'image droite. Les composantes de cette matrice sont ensuite interprétées comme valeur d'alignement suivant les degrés de libertés. The estimation of the so-called fundamental matrix makes it possible to pass coordinates of the points of the left image to those of the right image. The components of This matrix is then interpreted as an alignment value according to degrees of freedom.
Ces composantes sont déterminées par la méthode dite de RANSAC, permettant de supprimer ou limiter l'influence des « faux points » ou « outliers ». Cette méthode permet de stabiliser les résultats et donc par conséquent les valeurs d'analyse.  These components are determined by the so-called RANSAC method, which makes it possible to eliminate or limit the influence of "false points" or "outliers". This method makes it possible to stabilize the results and therefore the analysis values.
Le dispositif d'alignement comporte une mémoire 8 pour mémoriser des valeurs mesurées ou calculées notamment par les modules 6 et 7.  The alignment device comprises a memory 8 for storing values measured or calculated in particular by the modules 6 and 7.
Les modules de contrôle 4, d'alignement 6 d'analyse 7 et la mémoire 8 sont de préférence intégrés dans un ordinateur dont la structure est classique et ne sera pas détaillée ici.  The control modules 4, alignment 6 analysis 7 and the memory 8 are preferably integrated in a computer whose structure is conventional and will not be detailed here.
Selon l'invention, le module d'alignement 6 des axes optiques des deux caméras du système de prise de vue en trois dimensions comporte des moyens de sélection d'une valeur de distance focale dans un ensemble de valeurs de distance focale et les moyens suivants aptes à fonctionner pour chaque valeur de distance focale sélectionnée :  According to the invention, the alignment module 6 of the optical axes of the two cameras of the three-dimensional shooting system comprises means for selecting a focal length value in a set of focal length values and the following means operable for each selected focal length value:
- Des moyens de détermination d'une valeur de réglage de mise au point optimale et d'une valeur de réglage de luminosité optimale pour chacune des deux caméras,  Means for determining an optimal focus adjustment value and an optimum brightness adjustment value for each of the two cameras,
- Des moyens de première détermination de valeurs respectives de réglage de distance focale, de tangage, de roulis et de convergence optimales pour chacune des deux caméras,  Means for first determining respective values for adjusting focal length, pitch, roll and convergence for each of the two cameras,
- Des moyens de détermination de valeurs respectives de réglage de base et de hauteur optimales pour chacune des deux caméras.  - Means for determining the optimum values of basic adjustment and height for each of the two cameras.
En référence à la figure 4, le fonctionnement du module d'alignement 6 est maintenant décrit sous la forme d'un algorithme comportant des étapes El à E4. Le procédé comporte globalement la détermination de valeurs de réglages des moteurs du système pour différentes valeurs de distance focale. Les valeurs ainsi déterminées sont ensuite utilisées lorsqu'un utilisateur fixe une valeur de distance focale pour une prise de vue. L'étape El est la sélection d'une valeur de réglage de distance focale Z. Les étapes El et E2 sont mises en œuvre pour une pluralité de valeurs de réglage de distance focale, dont le nombre N peut être choisi par un utilisateur. Plus le nombre N est grand, plus le fonctionnement du dispositif d'alignement sera précis. La plage des valeurs de distance focale est la plage de variation possible de distance focale du système ou une partie de celle-ci. With reference to FIG. 4, the operation of the alignment module 6 is now described in the form of an algorithm comprising steps E1 to E4. The method generally includes determining values of system engine settings for different focal length values. The values thus determined are then used when a user sets a focal length value for a shot. Step E1 is the selection of a focal length adjustment value Z. Steps E1 and E2 are implemented for a plurality of focal length adjustment values, the number N of which may be selected by a user. The larger the number N, the more accurate the operation of the alignment device. The range of focal length values is the range of possible focal length variation of the system or part of it.
L'étape suivante E2 est la mesure de valeurs de réglages mécaniques et optiques et la mémorisation du jeu de valeurs mesurées dans une table de réglage TAB située dans la mémoire 8. La table de réglage TAB associe un jeu de valeurs de réglage à chacune des valeurs de réglage de distance focale. Cette étape implique une analyse d'image et un asservissement des moteurs associés aux huit degrés de liberté. L'étape E2 est détaillée dans la suite.  The following step E2 is the measurement of mechanical and optical adjustment values and the storage of the set of measured values in a TAB adjustment table located in the memory 8. The TAB adjustment table associates a set of adjustment values with each of the focal length adjustment values. This step involves image analysis and servo control of the motors associated with the eight degrees of freedom. Step E2 is detailed below.
Tant que toutes les N valeurs de réglage de distance focale Z n'ont pas été traitées, l'étape E2 est suivie de l'étape El à laquelle une nouvelle valeur de réglage de distance focale Z est sélectionnée.  As long as all the N focal length adjustment values Z have not been processed, step E2 is followed by step E1 to which a new focal length adjustment value Z is selected.
Lorsque l'étape E2 a été effectuée pour toutes les N valeurs de réglage de distance focale Z souhaitées, elle est suivie de l'étape E3 qui est une interpolation des valeurs précédemment mesurées qui permet d'obtenir un échantillonnage plus fin des valeurs de réglage des différents moteurs sur la plage de valeurs de réglage de distance focale. Le résultat est un ensemble de valeurs de réglage interpolées, qui comme les valeurs mesurées, sont mémorisée dans la table de réglage TAB en mémoire 8. On dispose alors d'un plus grand nombre de jeux de valeurs de réglage qu'à l'issue de toutes les itérations de l'étape E2.  When the step E2 has been carried out for all the N desired focal length adjustment values Z, it is followed by the step E3 which is an interpolation of the previously measured values which makes it possible to obtain a finer sampling of the adjustment values. different motors in the range of focal length adjustment values. The result is a set of interpolated control values, which, like the measured values, are stored in the TAB setting table in memory 8. This results in a greater number of sets of adjustment values than at the end. of all the iterations of the step E2.
De préférence, le nombre de jeux de valeurs de la table de réglage TAB après interpolation est le même que le nombre de positions du moteur de réglage de distance focale. Par exemple, si l'incrémentation d'un pas moteur est codée sur 16 bits, la course entière du moteur comporte 65535 positions, et la table de réglage comporte 65535 jeux de valeurs respectivement associés à ces positions. En variante, l'étape E3 est effectuée après chaque occurrence de l'étape E2 à partir de la seconde, pour déterminer les valeurs interpolées correspondant aux valeurs mesurées lors des deux dernières occurrences de l'étape E2. Preferably, the number of sets of values of the TAB adjustment table after interpolation is the same as the number of positions of the focal length adjustment motor. For example, if the incrementation of a motor step is coded on 16 bits, the entire motor stroke has 65535 positions, and the adjustment table comprises 65535 sets of values respectively associated with these positions. As a variant, step E3 is performed after each occurrence of step E2 from the second, to determine the interpolated values corresponding to the values measured during the last two occurrences of step E2.
Selon une autre variante, l'étape E3 n'est pas effectuée et la table de réglage TAB ne comporte que les valeurs mesurées.  According to another variant, step E3 is not performed and the TAB adjustment table includes only the measured values.
Lorsque la table de réglage TAB est déterminée, l'étape E4 est l'utilisation de cette table pour régler le système de prise de vue 3D. L'utilisateur sélectionne une valeur de réglage de distance focale à l'aide du moteur maître. Cette valeur est une consigne pour le système.  When the TAB adjustment table is determined, the step E4 is the use of this table to adjust the 3D shooting system. The user selects a focal length adjustment value using the master motor. This value is a set point for the system.
A cette valeur correspond dans la table de réglage TAB un jeu de valeurs de réglage des différents moteurs du système. Ce jeu de valeurs est utilisé pour régler automatiquement et instantanément les différents moteurs et ainsi aligner les axes optiques des deux caméras du système. La qualité des images et le confort visuel des spectateurs sont ainsi assurés.  At this value corresponds in the TAB adjustment table a set of adjustment values of the various motors of the system. This set of values is used to automatically and instantly adjust the different motors and thus align the optical axes of the two cameras in the system. The quality of the images and the visual comfort of the spectators are thus assured.
En référence à la figure 5, l'étape E2 est maintenant détaillée. L'étape With reference to FIG. 5, step E2 is now detailed. step
E2 comporte des sous-étapes E21 à E25. Chacune de ces étapes repose sur une analyse et une comparaison des images gauche et droite effectuée par le module 7 et comporte la mémorisation des résultats. E2 comprises substeps E21 to E25. Each of these steps is based on analysis and comparison of the left and right images performed by the module 7 and includes the storage of the results.
Selon l'invention, les degrés de liberté sont réglés selon un ordre particulier afin d'obtenir la meilleure précision possible quels que soient la précision mécanique du support et le degré d'indépendance des analyses acquises par le système. Le degré d'indépendance des analyses correspond à la capacité de l'algorithme fournissant ces analyses à fournir une valeur pour chaque degré de liberté qui ne soit pas ou peu influencée par les autres degrés de liberté.  According to the invention, the degrees of freedom are adjusted in a particular order in order to obtain the best possible accuracy irrespective of the mechanical precision of the support and the degree of independence of the analyzes acquired by the system. The degree of independence of the analyzes corresponds to the ability of the algorithm providing these analyzes to provide a value for each degree of freedom that is not or only slightly influenced by the other degrees of freedom.
Pour chaque étape du processus, un asservissement entre les valeurs d'analyses et le changement de position à appliquer au moteur dédié au degré de liberté en cours de réglage est appliqué :  For each step of the process, a servo-control between the analysis values and the change of position to be applied to the engine dedicated to the degree of freedom being adjusted is applied:
Un déplacement de X pas de moteur correspond à un changement Y de la valeur d'analyse. En comparant ces deux valeurs, une valeur X' à appliquer à la position du moteur est calculée en fonction d'un changement Y' à appliquer et des valeurs précédentes X et Y. A displacement of X no motor corresponds to a change Y of the analysis value. By comparing these two values, a value X 'to be applied to the position of the motor is calculated according to a change Y 'to be applied and previous values X and Y.
Le processus pour atteindre la valeur de position du moteur correspondant au réglage d'un défaut donné se fait donc au minimum en deux passes et peut comprendre des étapes supplémentaires dépendant de la stabilité de la valeur d'analyse. A chaque étape, un ensemble de valeurs d'analyse est enregistré, dont l'écart- type donne un critère de stabilité. Cette valeur d'écart-type permet d'appliquer une correction à la valeur X', permettant une convergence vers la valeur finale plus stable.  The process of reaching the motor position value corresponding to the setting of a given fault is therefore at least two passes and may comprise additional steps depending on the stability of the analysis value. At each step, a set of analysis values is recorded, the standard deviation of which gives a stability criterion. This standard deviation value makes it possible to apply a correction to the value X ', allowing a convergence towards the more stable final value.
Les étapes E21 et E22 sont un réglage de mise au point F et de luminosité L des caméras. Le réglage de mise au point a pour but de déterminer une mise au point optimale qui permet d'avoir le maximum de contours et de texture dans l'image afin d'optimiser la qualité de l'analyse d'image effectuée par le module 7 au cours des étapes suivantes.  Steps E21 and E22 are an adjustment of focus F and brightness L of the cameras. The purpose of the focus adjustment is to determine an optimal focus that allows for maximum contour and texture in the image to optimize the quality of the image analysis performed by the module. in the following steps.
La mise au point est effectuée en deux étapes. L'étape E21 est un premier réglage de mise au point F des caméras.  Focusing is done in two steps. Step E21 is a first focus adjustment F of the cameras.
Cette mise au point est effectuée en partant d'une position de référence (butée de lentille). Puis une valeur de quantité de détails dans l'image est extraite par un filtre de contour (Sobel par exemple) pour chaque nouvelle position des moteurs de mise au point. Ainsi, un ensemble de valeurs est enregistré, donc le maximum correspond à la position de meilleure mise au point.  This focusing is performed starting from a reference position (lens stop). Then a value of the amount of detail in the image is extracted by a contour filter (Sobel for example) for each new position of the focus engines. Thus, a set of values is recorded, so the maximum corresponds to the position of best focus.
On se sert ici d'une des deux caméras comme référence, par exemple la caméra gauche, et l'autre caméra reçoit les mêmes réglages. Il se peut que l'image fournie par la seconde caméra soit moins nette, dans le cas où le réglage de mise au point n'est pas optimal pour cette seconde caméra.  One camera is used here as reference, for example the left camera, and the other camera receives the same settings. The image provided by the second camera may be less clear, in case the focus setting is not optimal for this second camera.
L'étape E22 est un second réglage de mise au point F des caméras, pour affiner, ou corriger, le réglage de la seconde caméra dans le but d'obtenir le même niveau de netteté dans les deux images. On applique un décalage par exemple constant aux valeurs de réglage de distance focale de la seconde caméra par rapport à la première.  Step E22 is a second focus adjustment F of the cameras, to refine, or correct, the setting of the second camera in order to achieve the same level of sharpness in the two images. For example, a constant offset is applied to the focal length adjustment values of the second camera relative to the first camera.
L'étape E22 comporte également le réglage de luminosité L des caméras. Il s'agit de régler la différence de luminosité entre les deux caméras pour que les deux images gauche et droite aient la même luminosité. Il est à noter qu'un changement de luminosité modifie la profondeur de champ d'une caméra. Step E22 also includes the brightness adjustment L of the cameras. It's about adjusting the difference in brightness between the two cameras so that two left and right images have the same brightness. It should be noted that a change in brightness changes the depth of field of a camera.
Le second réglage de mise au point et le réglage de luminosité sont de préférence effectués de manière séquentielle : la luminosité est réglée en premier puis la seconde mise au point est effectuée. Il est possible que l'ordre inverse entraine dans certains cas un déréglage de la netteté globale de l'image, la luminosité modifiant la profondeur de champ.  The second focus setting and the brightness setting are preferably performed sequentially: the brightness is adjusted first and then the second focus is performed. It is possible that the reverse order causes in some cases an adjustment of the overall sharpness of the image, the brightness changing the depth of field.
En variante, il est possible d'effectuer le second réglage de mise au point et le réglage de luminosité en alternance.  Alternatively, it is possible to perform the second focus adjustment and the brightness adjustment alternately.
Le résultat des étapes E21 et E22 sont des valeurs de réglage de luminosité et de mise au point qui sont mémorisées dans la table de réglage TAB.  The result of steps E21 and E22 are brightness and focus adjustment values that are stored in the TAB adjustment table.
Les étapes E23, E24 et E25 sont ensuite effectuées selon l'ordre décrit, de manière à déterminer les réglages des différents moteurs selon un ordre précis. Comme précédemment exposé, chacune de ces étapes comporte une analyse des images gauche et droite pour déterminer les valeurs de réglage optimales. Les valeurs de réglage optimales sont mémorisées dans la table de réglage TAB.  Steps E23, E24 and E25 are then performed in the order described, so as to determine the settings of the different engines in a specific order. As previously explained, each of these steps includes an analysis of the left and right images to determine the optimal adjustment values. The optimum setting values are stored in the TAB adjustment table.
L'étape suivante E23 est une détermination de valeurs respectives de réglage de distance focale Z, de tangage T, de roulis R et de convergence CV optimales pour chacune des deux caméras.  The next step E23 is a determination of respective values of optimal Z-axis, pitch T, roll R, and CV convergence settings for each of the two cameras.
Dans un premier temps, on règle les valeurs de distance focale Z des caméras pour annuler la différence de distance focale entre les deux caméras. Ensuite, on règle les autres valeurs de manière alternée pour annuler le tangage, le roulis et le défaut de convergence entre les images gauche et droite. L'ordre de réglage entre tangage, roulis et convergence est quelconque.  First, the camera focal length values Z are set to cancel the difference in focal length between the two cameras. Then, the other values are adjusted alternately to cancel the pitch, the roll and the lack of convergence between the left and right images. The order of adjustment between pitch, roll and convergence is arbitrary.
II est à noter que dans une variante de réalisation, la détermination des valeurs de réglage de tangage et de convergence est une première détermination, qui sera suivie d'une seconde détermination, comme exposé dans la suite. En d'autres termes, les réglages de tangage et de convergence sont des préréglages utiles pour régler ensuite la base et la hauteur. Un second réglage de tangage et de convergence est effectué ultérieurement. L'étape suivante E24 est la détermination de valeurs respectives de réglage de base B et de hauteur H optimales pour chacune des deux caméras. La base est complémentaire de la convergence et la hauteur est complémentaire du tangage. Là aussi, on règle les moteurs de base et de hauteur pour annuler les défauts de base et de hauteur entre les images gauche et droite. It should be noted that in an alternative embodiment, the determination of the pitch adjustment and convergence values is a first determination, which will be followed by a second determination, as explained below. In other words, the pitch and convergence settings are useful presets for adjusting the base and pitch. A second pitch and convergence adjustment is made later. The next step E24 is the determination of optimum basic setting values B and height H for each of the two cameras. The base is complementary to the convergence and the pitch is complementary to the pitch. Here again, the basic and pitch motors are set to cancel the basic and height defects between the left and right images.
La base et la hauteur sont réglées en alternance ou en variante l'une après l'autre.  The base and the height are adjusted alternately or alternatively one after the other.
Dans la variante de réalisation qui comporte une seconde détermination des valeurs de réglage de tangage et de convergence, l'étape E24 est suivie de l'étape E25 qui est une seconde détermination de valeurs respectives de réglage de tangage T et de convergence CV optimales pour chacune des deux caméras. Le second réglage a pour but de compenser un déréglage introduit par les réglages de l'étape E24.  In the variant embodiment, which comprises a second determination of the pitch and convergence adjustment values, the step E24 is followed by the step E25, which is a second determination of optimum values of pitch setting T and convergence CV optimal for each of the two cameras. The second adjustment is intended to compensate for a maladjustment introduced by the settings of step E24.
Cette variante est pertinente pour des applications qui demandent une plus grande précision. Par exemple, pour une application cinéma, un décalage d'alignement de quelques pixels est inconfortable pour le spectateur en raison de la taille importante de l'écran de cinéma. Inversement, pour un écran d'affichage plus petit, telle que celui d'une télévision, la précision peut être légèrement inférieure sans générer de gêne pour le spectateur.  This variant is relevant for applications that require greater precision. For example, for a movie application, a misalignment of a few pixels is uncomfortable for the viewer because of the large size of the cinema screen. Conversely, for a smaller display screen, such as that of a television, the accuracy may be slightly lower without causing discomfort to the viewer.
Selon une autre variante, les étapes E24 et E25 sont répétées de manière à améliorer les résultats de réglage dans le cas de défauts importants.  According to another variant, the steps E24 and E25 are repeated so as to improve the adjustment results in the case of major defects.

Claims

REVENDICATIONS
1. Procédé d'alignement des axes optiques de deux caméras d'un système de prise de vue en trois dimensions délivrant des images gauche et droite, caractérisé en ce qu'il comporte, pour chacune d'un ensemble de valeurs de distance focale (Z), les étapes suivantes effectuées dans l'ordre indiqué : 1. A method for aligning the optical axes of two cameras of a three-dimensional image system delivering left and right images, characterized in that it comprises, for each of a set of focal length values ( Z), the following steps are performed in the order shown:
- Détermination (E221, E22) d'une valeur de réglage de mise au point (F) optimale et d'une valeur de réglage de luminosité (L) optimale pour chacune des deux caméras, pour obtenir un maximum de détails et une même luminosité dans les images gauche et droite, - Determination (E221, E22) of an optimal focus setting value (F) and an optimum brightness adjustment value (L) for each of the two cameras for maximum detail and brightness in the left and right images,
- Première détermination (E23) de valeurs respectives de réglage de distance focale (Z), de tangage (T), de roulis (R) et de convergence (CV) optimales pour chacune des deux caméras, pour annuler la différence de distance focale, le tangage, le roulis et le défaut de convergence entre les images gauche et droite, First determination (E23) of respective values of optimum focal length (Z), pitch (T), roll (R) and convergence (CV) settings for each of the two cameras, to cancel the difference in focal length, pitch, roll and lack of convergence between left and right images,
- Détermination (E24) de valeurs respectives de réglage de base (B) et de hauteur (H) optimales pour chacune des deux caméras pour annuler les défauts de base et de hauteur entre les images gauche et droite.  - Determining (E24) optimum basic setting (B) and height (H) values for each of the two cameras to cancel the basic and height defects between the left and right images.
2. Procédé selon la revendication 1, caractérisé en ce qu'il comporte en outre une étape de seconde détermination (E25) de valeurs respectives de réglage de tangage (T) et de convergence (CV) optimales pour chacune des deux caméras, cette étape de seconde détermination étant effectuée après l'étape de détermination de valeurs respectives de réglage de base et de hauteur optimales pour chacune des deux caméras. 2. Method according to claim 1, characterized in that it further comprises a step of second determination (E25) of optimum pitch (T) and convergence (CV) adjustment values for each of the two cameras, this step second determination being performed after the step of determining optimum basic setting and height values for each of the two cameras.
3. Procédé selon la revendication 1 ou 2, caractérisé en ce qu'il comporte des étapes de : - mémorisation (E2) des valeurs déterminées en une table de réglage (TAB), et 3. Method according to claim 1 or 2, characterized in that it comprises steps of: storing (E2) the values determined in an adjustment table (TAB), and
- utilisation (E4) de la table de réglage pour régler les axes optiques des deux caméras du système de prise de vue en trois dimensions en fonction d'une valeur de distance focale de consigne.  - Use (E4) of the adjustment table to adjust the optical axes of the two cameras of the three-dimensional shooting system according to a target focal length value.
4. Procédé selon la revendication 3, caractérisé en ce qu'il comporte en outre des étapes de : 4. Method according to claim 3, characterized in that it further comprises steps of:
- interpolation (E3) des valeurs déterminées,  interpolation (E3) of the determined values,
- mémorisation (E3) des valeurs interpolées avec les valeurs déterminées dans la table de réglage (TAB).  - storage (E3) of the interpolated values with the values determined in the adjustment table (TAB).
5. Procédé selon la revendication 2, caractérisé en ce que les étapes de détermination (E24) de valeurs respectives de réglage de base et de hauteur optimales et de seconde détermination (E25) de valeurs respectives de réglage de tangage et de convergence optimales, pour chacune des deux caméras, sont répétées. Method according to claim 2, characterized in that the steps of determining (E24) respective optimum basic setting and height values and second determining (E25) optimum pitch and convergence adjustment values, for each of the two cameras, are repeated.
6. Procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce que l'étape de détermination d'une valeur de réglage de mise au point optimale et d'une valeur de réglage de luminosité optimale pour chacune des deux caméras comporte 6. Method according to any one of claims 1 to 5, characterized in that the step of determining an optimal focus adjustment value and an optimum brightness adjustment value for each of the two cameras comprises
- Une première détermination (E21) d'une valeur de réglage de mise au point pour l'une des deux caméras,  A first determination (E21) of a setting adjustment value for one of the two cameras,
- Une détermination (E22) d'une valeur de réglage de luminosité pour les deux caméras,  A determination (E22) of a brightness adjustment value for the two cameras,
- Une seconde détermination (E22) d'une valeur de réglage de mise au point pour l'autre des deux caméras.  - A second determination (E22) of a focus adjustment value for the other of the two cameras.
7. Dispositif d'alignement des axes optiques de deux caméras d'un système de prise de vue en trois dimensions délivrant des images gauche et droite, caractérisé en ce qu'il comporte des moyens de sélection d'une valeur de distance focale (Z) dans un ensemble de valeurs de distance focale et les moyens suivants (6) aptes à fonctionner pour chaque valeur de distance focale sélectionnée, selon l'ordre indiqué : 7. Device for aligning the optical axes of two cameras of a three-dimensional image system delivering left and right images, characterized in that it comprises means for selecting a focal length value (Z) in a set of focal length values and the following means (6) operable for each selected focal length value, according to the indicated order:
- Des moyens de détermination d'une valeur de réglage de mise au point optimale et d'une valeur de réglage de luminosité optimale pour chacune des deux caméras, pour obtenir un maximum de détails et une même luminosité dans les images gauche et droite, Means for determining an optimum focus adjustment value and an optimum brightness adjustment value for each of the two cameras, to obtain maximum detail and brightness in the left and right images,
- Des moyens de première détermination de valeurs respectives de réglage de distance focale, de tangage, de roulis et de convergence optimales pour chacune des deux caméras, pour annuler la différence de distance focale, le tangage, le roulis et le défaut de convergence entre les images gauche et droite, - Means of first determining respective values for adjusting focal length, pitch, roll and convergence optimal for each of the two cameras, to cancel the difference in focal length, pitch, roll and the lack of convergence between the left and right images,
- Des moyens de détermination de valeurs respectives de réglage de base et de hauteur optimales pour chacune des deux caméras pour annuler les défauts de base et de hauteur entre les images gauche et droite.  - Means for determining the optimum values of basic adjustment and height for each of the two cameras to cancel the basic and height defects between the left and right images.
8. Dispositif selon la revendication 7, caractérisé en ce qu'il comporte en outre des moyens de seconde détermination de valeurs respectives de réglage de tangage et de convergence optimales pour chacune des deux caméras, ces moyens de seconde détermination étant apte à fonctionner après les moyens de détermination de valeurs respectives de réglage de base et de hauteur optimales pour chacune des deux caméras. 8. Device according to claim 7, characterized in that it further comprises means for second determination of optimum values of pitch and convergence adjustment for each of the two cameras, these second determination means being able to operate after the means for determining optimum basic setting and height values for each of the two cameras.
9. Produit programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé selon l'une quelconque des revendications 1 à 6 lorsque ledit programme est exécuté par un ordinateur. 9. Computer program product comprising instructions for implementing the method according to any one of claims 1 to 6 when said program is executed by a computer.
10. Support d'enregistrement lisible par un ordinateur sur lequel est enregistré un programme d'ordinateur selon la revendication 9. A computer-readable recording medium on which a computer program is recorded according to claim 9.
PCT/EP2013/073178 2012-11-07 2013-11-06 Automatic alignment of cameras in a 3d system WO2014072348A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1260561 2012-11-07
FR1260561A FR2997810B1 (en) 2012-11-07 2012-11-07 AUTOMATIC ALIGNMENT OF CAMERAS IN A 3D SYSTEM

Publications (1)

Publication Number Publication Date
WO2014072348A1 true WO2014072348A1 (en) 2014-05-15

Family

ID=48170546

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/073178 WO2014072348A1 (en) 2012-11-07 2013-11-06 Automatic alignment of cameras in a 3d system

Country Status (2)

Country Link
FR (1) FR2997810B1 (en)
WO (1) WO2014072348A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654349A (en) * 1992-07-31 1994-02-25 Toshiba Corp Stereoscopic camera apparatus
EP1197094B1 (en) * 1999-07-13 2004-02-11 Surgivision Ltd. Stereoscopic video observation and image magnification system
US20090160931A1 (en) * 2007-12-20 2009-06-25 Nokia Corporation Image processing for supporting a stereoscopic presentation
EP2391119A1 (en) * 2010-03-31 2011-11-30 FUJIFILM Corporation 3d-image capturing device
DE102011016171A1 (en) * 2011-04-05 2012-10-11 3Ality Digital Systems, Llc Method of Aligning a 3D Camera and Method of Controlling a 3D Camera While Filming

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654349A (en) * 1992-07-31 1994-02-25 Toshiba Corp Stereoscopic camera apparatus
EP1197094B1 (en) * 1999-07-13 2004-02-11 Surgivision Ltd. Stereoscopic video observation and image magnification system
US20090160931A1 (en) * 2007-12-20 2009-06-25 Nokia Corporation Image processing for supporting a stereoscopic presentation
EP2391119A1 (en) * 2010-03-31 2011-11-30 FUJIFILM Corporation 3d-image capturing device
DE102011016171A1 (en) * 2011-04-05 2012-10-11 3Ality Digital Systems, Llc Method of Aligning a 3D Camera and Method of Controlling a 3D Camera While Filming

Also Published As

Publication number Publication date
FR2997810A1 (en) 2014-05-09
FR2997810B1 (en) 2016-01-29

Similar Documents

Publication Publication Date Title
FR3007923B1 (en) DEVICE METHOD FOR REPRESENTING A THREE DIMENSIONAL IMAGE WITH AN IMAGE GENERATOR OF A FIELD DISPLAY SYSTEM FOR A VEHICLE
EP3033733B1 (en) Stereo yaw correction using autofocus feedback
EP2251734B1 (en) Method and system for on-line selection of a virtual glasses frame
EP0720125B1 (en) Image forming apparatus and method for correcting optical geometrical distortions in an image
EP2597421B1 (en) Stereo distance measurement apparatus and stereo distance measurement method
US20120257815A1 (en) Method and apparatus for analyzing stereoscopic or multi-view images
FR3044141A1 (en) DRONE PROVIDED WITH A VIDEO CAMERA DELIVERING CORRECTED IMAGE SEQUENCES OF THE WOBBLE EFFECT
CN105578019A (en) Image extraction system capable of obtaining depth information and focusing method
FR3039660A1 (en) METHOD OF VERIFYING A GEOMETRIC CHARACTERISTIC AND OPTICAL CHARACTERISTIC OF A DETOURED OPHTHALMIC LENS AND DEVICE THEREOF
FR2958040A1 (en) METHOD AND INSTALLATION FOR DETECTING THE PRESENCE AND ALTITUDE OF DEFECTS IN AN OPTICAL COMPONENT
EP1168831B1 (en) Method for camera calibration
FR3027144A1 (en) METHOD AND DEVICE FOR DETERMINING MOVEMENT BETWEEN SUCCESSIVE VIDEO IMAGES
US20240022702A1 (en) Foldable electronic device for multi-view image capture
EP3301644B1 (en) Method for building a depth map of a scene and/or an all-in-focus image
US20140003706A1 (en) Method and system for ensuring stereo alignment during pipeline processing
WO2014072348A1 (en) Automatic alignment of cameras in a 3d system
EP2678825B1 (en) Method for calibrating a stereoscopic photography device
EP2932706A1 (en) Image acquisition method and device
KR101069209B1 (en) Method and apparatus for controlling convergence in parallel axis typed sterocamera
WO2018100267A1 (en) System and method for the positioning and optical inspection of an object
EP2590137B1 (en) Method and device for optimising the amount of information contained in a processed image
WO2021156026A1 (en) Method for calibrating the extrinsic characteristics of a lidar
FR2884781A1 (en) Camera e.g. charge coupled device storage camera, parameter e.g. distortion, calibrating method for processing image, involves storing coordinate values in memory and determining parameters by processing received image of reference points
EP3454118B1 (en) Device and method for reconstructing the 3d surface all around a subject
WO2023187170A1 (en) Method for correcting optical aberrations introduced by an optical lens in an image, apparatus and system implementing such a method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13798950

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13798950

Country of ref document: EP

Kind code of ref document: A1