WO2008081115A2 - Method and device for taking shots using a plurality of optoelectronic sensors - Google Patents

Method and device for taking shots using a plurality of optoelectronic sensors Download PDF

Info

Publication number
WO2008081115A2
WO2008081115A2 PCT/FR2007/002002 FR2007002002W WO2008081115A2 WO 2008081115 A2 WO2008081115 A2 WO 2008081115A2 FR 2007002002 W FR2007002002 W FR 2007002002W WO 2008081115 A2 WO2008081115 A2 WO 2008081115A2
Authority
WO
WIPO (PCT)
Prior art keywords
sensors
image
optoelectronic
images
positioning
Prior art date
Application number
PCT/FR2007/002002
Other languages
French (fr)
Other versions
WO2008081115A3 (en
Inventor
Didier Debons
Laurent Lucas
Yannick Remion
Original Assignee
Telerelief
Universite De Reims Champagne Ardenne
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telerelief, Universite De Reims Champagne Ardenne filed Critical Telerelief
Publication of WO2008081115A2 publication Critical patent/WO2008081115A2/en
Publication of WO2008081115A3 publication Critical patent/WO2008081115A3/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras

Definitions

  • the present invention relates to a method and a device for taking pictures with the aid of a plurality of optoelectronic sensors and for processing the information supplied by these sensors in order to create a final sequence of combined, displayable images. on screens adapted to this combination of images.
  • the solution consisting in diffusing several pairs of simultaneous stereoscopic beams allows multiple people to simultaneously view images at a relatively large viewing angle.
  • the common feature of CGI tools is to be able to produce three-dimensional images that are finally broadcast in two dimensions because, until now, display did not allow to consider a diffusion in three dimensions in relief; the images broadcast in stereoscopy allowed, with the help of glasses, to restore the relief effect.
  • the invention therefore more particularly aims to solve the problems mentioned above.
  • the method according to the invention consists of distributing, physically or virtually, a plurality of optoelectronic sensors on a line in order to create a final sequence of combined images that can be displayed on screens adapted to this combination of images, characterized in that it comprises the distribution and the orientation of a plurality of electronic sensors on a line, so that the angles formed between the optical axes of two sensors consecutive are equal and converge to a point C selected on the area of the scene to be captured on which is carried out the development of at least one of the sensors called reference sensor on which is carried out the focus of least one of said sensors referred to as reference sensor.
  • the optoelectronic sensors are equipped with lenses with variable focal length adjusted to compensate for variations in distance between each of the sensors and the aforementioned point on which the development of references is carried out.
  • the invention also relates to a device for implementing the previously defined method, this device involving:
  • this support structure comprising a fixed support structure equipped with horizontality adjustment means, this support structure comprising "on behalf of the means of distribution of a plurality optoelectronic sensors (Oi, O'i) along a line so that the angles formed between the optical axes of two consecutive sensors are equal and convergent towards a point C chosen on the area of the scene to be captured and on which a setting of point of at least one of the sensors called reference sensor has been made.
  • a plurality optoelectronic sensors Oi, O'i
  • the fixed support structure may comprise a rigid beam defining the first axis OX and along which the movable structures are slidably mounted.
  • This beam can be equipped with micrometric transport systems to position very precisely and independently each of the mobile structures.
  • the mobile structures may comprise rigid arm guiding means constituting the aforesaid support elements along the second axis OY.
  • Each of these arms may be provided with a micrometric transport system for sliding along the axis OY independently of the other arms.
  • Each of the arms may comprise a micrometric system of rotation about a vertical axis on which is fixed a camera system whose optoelectronic sensor is centered on the axis of rotation.
  • the device according to the invention makes it possible to guarantee: for a given angle ⁇ , formed between the axes of two consecutive optoelectronic sensors, a perfect equidistance between the focus reference area of the captured scene and each of the "N" optoelectronic sensors intended to capture the image of the scene, that the length of the cord of the circular arc specifically determined between two optical centers of two successive optoelectronic sensors remains identical regardless of the length of the radius of a circle constituted by between the "n" sensors and the filmed scene.
  • the invention relates to a processing of the images delivered by the optoelectronic sensors, this processing consisting of: to capture in an orderly manner, to process and to assemble the images of the "n” electronic sensors, to modify these images in digital forms, to assemble as is or by cutting the "x" images to create a final image corresponding to the target auto-stereoscopic screen type according to the manufacturer's recommendations.
  • Figure 1 is a schematic representation of an image pickup device
  • Fig. 2 is an example of an arrangement of optoelectronic sensors with respect to a focus center
  • Fig. 3 is a flowchart showing an operating sequence executed for the processing of the raw images
  • Figure 4 is a schematic representation of a physical positioning system
  • Fig. 5 is a block diagram showing the useful part of a raw image having a marker
  • Figure 6 is a block diagram of a self-positioning system of the useful frame.
  • the device for taking pictures involves a support structure represented here schematically by a horizontal beam 1 of axis OX.
  • This beam 1 can be mounted on a base by means for adjusting its orientation.
  • this beam 1 is mounted axially sliding a plurality of carriages d (here, by way of non-limiting example three carriages Ci to C 3 ) whose displacements are each controlled by a respective micrometric actuator Mj M 1 to M 3 independent of each other. others (here, by way of non-limiting example three screw jacks whose bodies are integral with the beam and whose rods are integral with the carriages).
  • Each carriage Cj comprises a system of slides in which slides an oriented arm Bj, respectively for the example Bi to B 3, along an axis OY perpendicular to the axis OX.
  • the movements of the arm along this axis OY are provided by a micrometric actuator Aj, respectively for example A 1 to A 3 , for example rack, comprising a gear motor driving a pinion which meshes with a longitudinal rack fitted to the arm,
  • each of the arms Bj there is arranged a rotary support Si, respectively for the example Si at S 3 , pivoting about a corresponding vertical axis Zj (trace Z ⁇ Z 3 ) on which a system is mounted. of shots whose optoelectronic sensor Oj, respectively for example O 1 to O 3 , is centered on the respective vertical axis Z 1 to Z 3 .
  • the actuators Mj for example, Mi to M3 and Aj, for example A 1 to A 3 , are controlled by a calculation unit UC so as to be able to arrange the optoelectronic sensors according to one of the configurations illustrated in FIG. 2.
  • This figure represents the distribution of the sensors with respect to a dashed median line
  • the shooting device of FIG. 2 comprises eight sensors of which only the four located to the left of the line. median and the fifth of the group of four, located to the right of this median line and symmetrically, are represented.
  • Point C is a point on which optoelectronic sensors are developed, for example by means of a self-focusing system.
  • the optical center of each of the optoelectronic sensors Oj in the example Oi to O 5 is arranged on the circle CE, so that the distance between the optical centers of the optoelectronic sensors Oi in the example Oi to O 5 , and the point C is equal.
  • angles ⁇ formed between the optical axes passing through the optical centers of two consecutive optoelectronic sensors and the point C are equal, so that the length of the cord of the circular arc Cori in the example "COr 1 to Cor 4 "between two optical centers of two consecutive optoelectronic sensors Oj, O i + i remains identical regardless of the length of the radius R of the circle CE (formed between the optoelectronic sensors Oj and the focusing center C of the scene filmed) .
  • the calculation unit UC is programmed so as to determine the positions of the sensors Oj in the example O 1 to O 5 on the circle (virtual) CE and their orientation according to the desired focus center C.
  • This focusing center C is determined, for example by telemetric sighting or possibly by means of one of the sensors Oj in the example O 1 to O 5 (reference sensors), with which a setting is made. on point.
  • the telemetry device associated with the self-focusing system of this sensor makes it possible to determine the radius R of the virtual circle, then the value of the angle at the center ⁇ and / or of the chord Co ⁇ in the example Cori to Cor 4 of the circle corresponding to the distance of the constant value separating each of the sensors Oj in the example Oi to O 5 between them on the circumference of said circle CE.
  • the calculation unit UC determines the coordinates OX OY of each of the optical centers of the optoelectronic sensors in the coordinate system XOY in which the actuators Mi, Mi to M 3 and Ai, Ai to A 3 operate, and then addresses to each of these actuators the corresponding commands.
  • the computing unit accordingly controls the orientation of the sensors O 1 in the example Oi to O 5, so that they focus on the center of focus C.
  • the calculations made for this purpose by the calculation unit UC are simple trigonometric calculations that do not need to be explained in detail.
  • the raw images of the "n" electronic sensors are recovered in gray value or in color.
  • grayscale images it is possible to use a method of converting grayscale images to color images of the type described in US Patent No. 3971065.
  • FIG. 2 a simplified embodiment of the system in which the optoelectronic sensors O'j in the example O'1 to O ' 5 are also equipped with FIG. a lens with variable focal length and where the arms B s have been removed.
  • these optoelectronic sensors are mounted pivoting on the carriages C 1 in the exampleCI to C 5 , mobile on the beam 1.
  • the sensors O'j are then positioned on the axis OX, so as to respect the equality of the angles ⁇ , as represented by the positions O'i to O ' ⁇ and the distance between each sensor is no longer constant.
  • the difference in the distance between the position of the sensors O 1 to O 5 and the center of focus C with the length of the radius R is individually compensated by an adjustment of the focal length of the lens of each of the sensors.
  • the processing of the raw images delivered by the optoelectronic sensors involves, as illustrated in FIG. 3, a synchronization signal generator 3 which defines for each shot: the absolute time of the occurrence of said synchronization signal, an identical pause time for each optoelectronic sensor.
  • the synchronization signal generator 3 is controlled by a trigger 4 manual or automatic shooting and optionally by an operating control system including entering the number of processing sequences (burst) to run.
  • the images stored in the "n” optoelectronic sensors Oi are collected sequentially in raw format (called “RAW”) and are stored in temporary memory (memory raw image input buffer) (block 6) pending subsequent processing.
  • RAW raw format
  • temporary memory memory raw image input buffer
  • the processing system performs cropping (block 7) and then adjusts each raw image keeping only the useful part extracted from each of the "n” images in elementary images (conversion of the "n” useful images into elementary images) (block 8).
  • the "n” elementary, complete or cut images (block 9) are then distributed according to a distribution grid specific to each type of auto-stereoscopic screens for the production of the black and white composite image (block 10).
  • the digital information relating to the composite image is converted to "Bayer” to form a final composite image in color (block 11).
  • This image is then the subject of a specific treatment in order to reduce more or less the amount of digital information characterizing it using standard programs (MJPEG, MPEG ...) or specifically developed.
  • the choice of the treatment applied to each image constituting a sequence is a function of the subsequent use envisaged.
  • the reduction may be high or very high if the degradation of the signal does not affect the readability of the image sequence.
  • the sequence is recorded and therefore intended for subsequent reuse such as for example the editing of several different shots, it will be necessary to favor a "non-destructive" encoding mode so as to obtain the assurance that the quality of generations of successive images will not be affected.
  • This more or less compressed image (block 11 ') is then stored in the output buffer (block 12). Triggering the recording and / or sending to the broadcast network (block 13) can then be performed.
  • the steps of conversion into elementary images (block 8) and fabrication of the composite B / W image (block 10) are controlled from specific parameters of the grid that is to be used (block 13 ').
  • the rendering of the relief effect depends on a set of adjustments specific to each scene captured whether it is fixed or moving, the support system itself being fixed or moving relative to the captured scene.
  • the calculation unit UC determines, for each camera configuration, from the measurement of distance between the captured scene or element of the captured scene and the optical of the reference sensor taken in a physical manner or with the aid of a rangefinder independent or dependent on the entire carrier device or in the case of a complete system: the X coordinates on the beam of the positioning of each arm Bj to B3,
  • the value of the rotation angle R of each of the "n" rotary supports of the sensors O ⁇ is, in the case of a simplified system (without arms) in which the displacements of the arms are replaced by an adjustment of the focal lengths of the zooms equipping the photoelectronic sensors:
  • This rule provides the XYR information to the motorized carriages Ci in the example, C 1 to C 3 of each arm, Bj in the example, Bi to B 3 and each of the "n” micrometric rotation systems, allowing the positioning precise "n” optoelectronic image sensors O , in the example O 1 to O 3 .
  • the human or robotic operator informs the management system of the raw image processing system of the value of the radius R of the circle CE so that subsequently the CPU calculation unit controls, via interface ( s), motors or actuators of the actuators.
  • the use of a telemeter integral with the reference sensor, connected to the CPU calculation unit, allows the device to be implemented quickly for shooting and to be dynamic to recalculate the XYR coordinates in the case of movement and / or displacement . These coordinates are recalculated in real time if: the carrier device is moving relative to a fixed element of the captured scene, the carrier device is fixed or in motion and the relief effect is modified.
  • the rangefinder can be placed at any point known by the computer. It can in particular be coupled to one of the "n" optoelectronic sensors because the computer knows the XYR coordinates of the sensor used.
  • the telemetry function can be integrated with one or more of the "n" optoelectronic sensors.
  • This step, repeated for as many optoelectronic sensors as necessary, is called "virtual positioning". This virtual positioning can be done:
  • the physical positioning of the sensors can be ensured notably by: a pattern recognition method according to one or more selected markers in the captured scene, integrated into the useful image; to a tracking system of a moving landmark chosen in the captured scene, known as Anglo-Saxon "tracking".
  • Each system associated with an optoelectronic sensor can be autonomous in its calculation of image retrieval and repositioning, insofar as all the systems communicate with each other their positioning information, while being in solidarity with a physical or virtual structure.
  • Each optoelectronic sensor can be extremely small size for microscopic shots. It may, for example, include an optical system comprising one or more microlenses connected to an optoelectronic cell via a light guide such as one or more optical fibers. Thanks to these arrangements, only the optics of the sensor will be arranged on the circle CE.
  • the device described above may include the following adjustment modes:
  • Focus mode This is the focus control of the image formed on the "n" optoelectronic sensors Oj to O 5 . This development can be done:
  • Iris mode This mode concerns the iris control of the optics associated with each of the sensors. It allows a direct manual control on the lens of each of these optics or a slave control.
  • Exposure mode This setting mode is used to set the exposure time or exposure time common to each camera system.
  • Burst mode This mode allows you to select the number of images to be processed in a fraction of a second (basic period) to obtain the final composite image.
  • Rendering mode Relief This is to allow an adjustment of the length of the radius R (focusing distance) and the length of the rope Cor (determining a convergence index).
  • the computing unit UC may comprise a physical positioning calculator comprising means for:
  • control the motors of the zoom functions of the lenses of the optoelectronic sensors optionally, control the motors of the zoom functions of the lenses of the optoelectronic sensors,
  • FIG. 4 shows a theoretical block diagram of a physical positioning system involving a control interface IC of the actuators AX 1 AY, AR along the axes OX, OY and in rotation of each of the optoelectronic sensors O.
  • This IC interface is controlled by a CPU calculation unit and / or an EX operating control system.
  • the calculation unit UC is coupled to a TE rangefinder for providing information relating to the focusing distance of at least one of the optoelectronic sensors O.
  • the operating control system can itself be coupled to an input or calculation device OS of radius R (focusing distance).
  • the calculation unit UC may furthermore comprise virtual positioning means whose function is to display the positioning performed by a positioning computer of the optoelectronic sensors by interacting on the virtual framing of the useful image in the raw image. .
  • virtual positioning means are intended in particular to analyze the raw image or the reference useful image, to extract a predetermined mark or chosen by the operator, then to recognize this marker in the images from other sensors optoelectronic to act on the displacement or replacement of the virtual frame.
  • This virtual positioning means makes it possible, in particular, to position the frame of the useful image in the raw image coming from the reference optoelectronic sensor by means of a raw image processing method PTI, possibly supplemented by a method of image analysis incorporating a shape recognition function.
  • the operator positions via a displacement command (in the XOY plane) the virtual frame of the reference useful area in the raw image of the optoelectronic reference sensor.
  • the virtual positioning means analyze the image, make a recognition of one or more shapes and calculate the coordinates of this or these forms with respect to the frame of the useful zone.
  • the virtual positioning means analyze the raw images of the other electronic sensors and, by image trains, proceed to the recognition of the form (s) identified in each raw image and proceed to the positioning of the frames of the zones. useful in the raw images of the "n" optoelectronic sensors according to the xy coordinates stored at each image train.
  • the operator visualizes the scene captured from the useful part or the raw image of the optoelectronic reference sensor (frame / out of frame).
  • the system then positions the useful frames in the "n" raw images. This positioning may, for example, be centered, that is to say with the framework of the useful area centered on the raw reference image.
  • the virtual positioning means determines, by image analysis and shape recognition, one or more Obi markers (from pre-established data) in the raw (or useful) reference image (FIG. 5). In principle, only the marks in the useful part of all the images are exploitable because it is possible that one or more references existing in the raw reference image is absent in one or more raw images of other optoelectronic sensors.
  • the positioning means use the coordinates Pix, Pxy of the first mark for the positioning of the frame CAi of useful area in the raw image of each of the "n” electronic sensors and repeats this operation for as many bursts.
  • the virtual positioning means in particular make it possible to determine the distances QN, QE, QO and QS between the edges of the frame of the useful image CAi and the edges of the raw image CA2 (FIG. 5). If one of these distances is too small, or even negative, less than positioning tolerances, this means that the optoelectronic sensor that formed the image is incorrectly positioned.
  • the operator or the physical positioning means may, in this case, reposition the sensor.
  • the positioning tolerances may be different depending on the scene to be captured, depending on the raw image, even if the latter is different from one optoelectronic sensor to another and especially when the scene is animated and / or according to the desired relief effect.
  • the raw images delivered by the optoelectronic sensors are first transferred to an input buffer (block 22). These images are then transmitted to a form recognition system SF comprising two processing chains, namely:
  • a first processing chain of the raw image of the reference sensor which comprises successively: an analysis of the raw image of the reference sensor (block 23), a recognition of the mark or references (block 24), a storage of the form of each marker (block 25), a calculation of the coordinates of each marker (block 26),
  • a second processing chain of the raw images of all the sensors including: the analysis of the raw images of "n" sensors (block 27), the recognition of each reference mark according to the x and y coordinates determined at the block; 26 (block 28).
  • the system After recognizing the markers present in the raw images, the system performs a framing of the useful area in the raw image (block 29), then determines the elementary images (block 30). Then, he assembles the elementary images in a distribution grid to form the final black and white image (block 31). By a "Bayer” conversion, it transforms this final image into a color image (block 32). The system finally places this color image in the output buffer (block 33).
  • the recognition system of the objective marker (s) determines whether the QE, QN and QS values are greater than a positioning tolerance threshold. If these values are below said threshold, the system performs a positioning calculation of the optoelectronic sensor concerned, so as to correct its positioning (block 34).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The method of the invention can be used for taking shots using a plurality of optoelectronic sensors (Oi to O'i) in order to create a final sequence of combined images that can be displayed on screens adapted to this image combination. It comprises the physical or virtual distribution of the optoelectronic sensors (Oi to O'i) on a virtual arc of circle having a radius R corresponding to the distance between the optical centre of each of the sensors (Oi to O'i) and the point (C) in the area of the scene shot on which at least one of said sensors, or reference sensor, is focused, the length of the chord (Cori) between two successive optical centres being constant whatever the length of the radius R.

Description

PROCEDE ET DISPOSITIF POUR LA REALISATION DE PRISES DE VUES A L1AIDE D'UNE PLURALITE DE CAPTEURS OPTOELECTRONIQUES.METHOD AND DEVICE FOR TAKING OF REALIZATION G 1 USING MULTIPLE SENSORS OPTOELECTRONIC.
La présente invention concerne un procédé et un dispositif pour la réalisation de prises de vues à l'aide d'une pluralité de capteurs optoélectroniques et pour le traitement des informations délivrées par ces capteurs en vue de créer une séquence finale d'images combinées, affichables sur des écrans adaptés à cette combinaison d'images.The present invention relates to a method and a device for taking pictures with the aid of a plurality of optoelectronic sensors and for processing the information supplied by these sensors in order to create a final sequence of combined, displayable images. on screens adapted to this combination of images.
Elle s'applique notamment, mais non exclusivement, à la diffusion en temps réel d'images fixes et/ou animées sur des écrans auto- stéréoscopiques.It applies in particular, but not exclusively, to the real-time broadcast of still images and / or animated images on auto-stereoscopic screens.
D'une façon générale, on sait que la diffusion d'images en relief visibles sans lunettes fait appel à des techniques d'écrans dits « auto- stéréoscopiques » dont le principe général consiste à diffuser simultanément un ou plusieurs couples de faisceaux stéréoscopiques de telle manière que le sous faisceau gauche de chaque couple de faisceaux destiné à l'œil gauche ne soit pas visible par l'œil droit et réciproquement.In general, it is known that the diffusion of relief images visible without glasses makes use of so-called "auto-stereoscopic" screen techniques whose general principle consists in simultaneously broadcasting one or more pairs of stereoscopic beams of so that the left sub-beam of each pair of beams for the left eye is not visible by the right eye and vice versa.
Contrairement à la solution consistant à ne diffuser qu'un seul couple de faisceaux, solution qui implique que l'utilisateur soit dans l'axe de l'écran pour visualiser les images en relief, la solution consistant à diffuser plusieurs couples de faisceaux stéréoscopiques simultanés permet à plusieurs personnes de voir simultanément les images selon un angle de vision relativement important.Contrary to the solution consisting in diffusing only a single pair of beams, a solution which implies that the user is in the axis of the screen to visualize the images in relief, the solution consisting in diffusing several pairs of simultaneous stereoscopic beams allows multiple people to simultaneously view images at a relatively large viewing angle.
Pour réaliser des images photographiques statiques ou des séquences d'images cinétiques diffusables sur ces types d'écrans, il existe à l'heure actuelle deux types de moyens :To produce static photographic images or kinetic image sequences that can be broadcast on these types of screens, there are currently two types of means:
Le recours à des logiciels graphiques d'images de synthèse. Les prises de vue bi-caméra.The use of computer graphics software. Bi-camera shots.
En fait, la caractéristique commune aux outils de création d'images de synthèse est de pouvoir produire des images en trois dimensions mais finalement diffusées en deux dimensions car, jusqu'à présent, les écrans d'affichage ne permettaient pas d'envisager une diffusion en trois dimensions en relief; les images diffusées en stéréoscopie permettaient, à l'aide de lunettes, d'en restituer l'effet relief.In fact, the common feature of CGI tools is to be able to produce three-dimensional images that are finally broadcast in two dimensions because, until now, display did not allow to consider a diffusion in three dimensions in relief; the images broadcast in stereoscopy allowed, with the help of glasses, to restore the relief effect.
Néanmoins, ces images de synthèse sont adaptables à la production destinée à la nouvelle gamme d'écrans dite auto-stéréoscopique.Nevertheless, these computer-generated images are adaptable to the production intended for the new range of so-called auto-stereoscopic screens.
Il n'en va pas de même en ce qui concerne la production d'images « réelles » à l'aide de prises de vue réalisées au moyen d'un système bi- caméras.This is not the case with regard to the production of "real" images using images taken using a bi-camera system.
En effet, pour obtenir un effet réaliste et naturel de vision en relief, il faut pouvoir diffuser simultanément plusieurs couples de faisceaux stéréoscopiques ayant chacun un angle de prises de vues différencié soit au total une prise de vue réalisée à l'aide de plusieurs caméras synchronisées fonctionnant simultanément.In fact, to obtain a realistic and natural effect of relief vision, it is necessary to be able to simultaneously broadcast several pairs of stereoscopic beams each having a different angle of view, ie a total shooting taken with the aid of several synchronized cameras. operating simultaneously.
A ce stade, on se heurte à la difficulté de capturer plusieurs prises de vues synchrones et homogènes avec un espace inter-objectif équidistant spécifique à chaque configuration de prises de vues pour obtenir l'effet de relief recherché.At this stage, one encounters the difficulty of capturing several synchronous and homogeneous shots with an equidistant inter-objective space specific to each configuration of shots to obtain the desired relief effect.
Les difficultés rencontrées sont :The difficulties encountered are:
- d'ordre physique : elles résultent essentiellement de l'encombrement soit des caméras, soit des objectifs, soit des deux,- of a physical nature: they essentially result from the crowding either of the cameras, the objectives, or both,
- d'ordre vidéo : difficulté d'obtenir une synchronisation des signaux captés par les différentes caméras, ainsi qu'une bonne homogénéité et une géométrie appropriée des images délivrées par chacune des caméras.- Video order: difficulty in getting a synchronization of the signals picked up by the different cameras, as well as good homogeneity and appropriate geometry of the images delivered by each of the cameras.
L'invention a donc plus particulièrement pour but de résoudre les problèmes précédemment évoqués.The invention therefore more particularly aims to solve the problems mentioned above.
Ainsi, dans le but de résoudre les problèmes d'ordre vidéo, le procédé selon l'invention consiste à répartir, physiquement ou virtuellement, une pluralité de capteurs optoélectroniques sur une ligne en vue de créer une séquence finale d'images combinées affichables sur des écrans adaptés à cette combinaison d'images, caractérisé en ce qu'il comprend la répartition et l'orientation d'une pluralité de capteurs électroniques sur une ligne, de façon que les angles formés entre les axes optiques de deux capteurs consécutifs soient égaux et convergent vers un point C choisi sur la zone de la scène à capter sur lequel on effectue la mise au point d'au moins l'un des capteurs dénommé capteur de référence sur lequel on effectue la mise au point d'au moins l'un desdits capteurs dénommé capteur de référence.Thus, for the purpose of solving video-order problems, the method according to the invention consists of distributing, physically or virtually, a plurality of optoelectronic sensors on a line in order to create a final sequence of combined images that can be displayed on screens adapted to this combination of images, characterized in that it comprises the distribution and the orientation of a plurality of electronic sensors on a line, so that the angles formed between the optical axes of two sensors consecutive are equal and converge to a point C selected on the area of the scene to be captured on which is carried out the development of at least one of the sensors called reference sensor on which is carried out the focus of least one of said sensors referred to as reference sensor.
Dans le cas d'une répartition virtuelle, les capteurs optoélectroniques sont équipés d'objectifs à focale variable ajustés de manière à compenser des variations de distance entre chacun des capteurs et le susdit point sur lequel est effectuée la mise au point de références.In the case of a virtual distribution, the optoelectronic sensors are equipped with lenses with variable focal length adjusted to compensate for variations in distance between each of the sensors and the aforementioned point on which the development of references is carried out.
Le procédé comporte d'autres particularités telles que définies dans les revendications 1 à 13The method comprises other features as defined in claims 1 to 13
L'invention concerne également un dispositif pour la mise en œuvre du procédé précédemment défini, ce dispositif faisant intervenir :The invention also relates to a device for implementing the previously defined method, this device involving:
- une structure de support fixe équipée de moyens de réglage de l'horizontalité, cette structure support comprenant une structure de support fixe équipé de moyen de réglages de l'horizontalité, cette structure support comprenant « au nom des moyens de répartitions d'une pluralité de capteurs optoélectroniques (Oi, O'i) selon une ligne de façon que les angles formés entre les axes optiques de deux capteurs consécutifs soient égaux et convergents vers un point C choisi sur la zone de la scène à capter et sur lequel une mise au point d'au moins l'un des capteurs dénommés capteur de référence a été effectuée ».a fixed support structure equipped with means for adjusting the horizontality, this support structure comprising a fixed support structure equipped with horizontality adjustment means, this support structure comprising "on behalf of the means of distribution of a plurality optoelectronic sensors (Oi, O'i) along a line so that the angles formed between the optical axes of two consecutive sensors are equal and convergent towards a point C chosen on the area of the scene to be captured and on which a setting of point of at least one of the sensors called reference sensor has been made.
Avantageusement, la structure support fixe pourra comprendre une poutrelle rigide définissant le premier axe OX et le long de laquelle les structures mobiles sont montées coulissantes. Cette poutrelle pourra être équipée de systèmes micrométriques de transport permettant de positionner très précisément et indépendamment chacune des structures mobiles.Advantageously, the fixed support structure may comprise a rigid beam defining the first axis OX and along which the movable structures are slidably mounted. This beam can be equipped with micrometric transport systems to position very precisely and independently each of the mobile structures.
Les structures mobiles pourront comprendre des moyens de guidage de bras rigides qui constituent les susdits éléments de support selon le deuxième axe OY. Chacun de ces bras pourra être muni d'un système micrométrique de transport permettant de le faire coulisser le long de l'axe OY indépendamment des autres bras. Chacun des bras pourra comprendre un système micrométrique de rotation autour d'un axe vertical sur lequel est fixé un système de prises de vues dont le capteur optoélectronique est centré sur l'axe de rotation.The mobile structures may comprise rigid arm guiding means constituting the aforesaid support elements along the second axis OY. Each of these arms may be provided with a micrometric transport system for sliding along the axis OY independently of the other arms. Each of the arms may comprise a micrometric system of rotation about a vertical axis on which is fixed a camera system whose optoelectronic sensor is centered on the axis of rotation.
Grâce à ces dispositions, le dispositif selon l'invention permet de garantir : pour un angle donné α, formé entre les axes de deux capteurs optoélectroniques consécutifs, une équidistance parfaite entre la zone de référence de mise au point de la scène captée et chacun des «n» capteurs optoélectroniques destiné à capter l'image de la scène, que la longueur de la corde de l'arc de cercle spécifiquement déterminée entre deux centres optiques de deux capteurs optoélectroniques successifs reste identique quelle que soit la longueur du rayon de cercle constitué entre les «n» capteurs et la scène filmée.Thanks to these arrangements, the device according to the invention makes it possible to guarantee: for a given angle α, formed between the axes of two consecutive optoelectronic sensors, a perfect equidistance between the focus reference area of the captured scene and each of the "N" optoelectronic sensors intended to capture the image of the scene, that the length of the cord of the circular arc specifically determined between two optical centers of two successive optoelectronic sensors remains identical regardless of the length of the radius of a circle constituted by between the "n" sensors and the filmed scene.
Bien entendu, l'invention concerne un traitement des images délivrées par les capteurs optoélectroniques, ce traitement consistant : à capturer de façon ordonnée, à traiter et à assembler les images des «n» capteurs électroniques, à modifier ces images sous formes numériques, à assembler tel quel ou par découpage les « x » images aux fins de créer une image finale correspondante au type d'écran auto-stéréoscopique cible selon les recommandations du constructeur.Of course, the invention relates to a processing of the images delivered by the optoelectronic sensors, this processing consisting of: to capture in an orderly manner, to process and to assemble the images of the "n" electronic sensors, to modify these images in digital forms, to assemble as is or by cutting the "x" images to create a final image corresponding to the target auto-stereoscopic screen type according to the manufacturer's recommendations.
Un mode d'exécution de l'invention sera décrit ci-après, à titre d'exemple non limitatif, avec référence aux dessins annexés dans lesquels :One embodiment of the invention will be described below, by way of non-limiting example, with reference to the accompanying drawings in which:
La figure 1 est une représentation schématique d'un dispositif de captation des images ;Figure 1 is a schematic representation of an image pickup device;
La figure 2 est un exemple de disposition de capteurs optoélectroniques par rapport à un centre de mise au point ;Fig. 2 is an example of an arrangement of optoelectronic sensors with respect to a focus center;
La figure 3 est un organigramme montrant une séquence opératoire exécutée pour le traitement des images brutes ;Fig. 3 is a flowchart showing an operating sequence executed for the processing of the raw images;
La figure 4 est une représentation schématique d'un système de positionnement physique ;Figure 4 is a schematic representation of a physical positioning system;
La figure 5 est un schéma synoptique montrant la partie utile d'une image brute comportant un repère ; La figure 6 est un schéma synoptique d'un système à auto positionnement du cadre utile.Fig. 5 is a block diagram showing the useful part of a raw image having a marker; Figure 6 is a block diagram of a self-positioning system of the useful frame.
Dans l'exemple illustré sur la figure 1 , le dispositif pour la réalisation de prises de vues fait intervenir une structure support représentée ici schématiquement par une poutre horizontale 1 d'axe OX. Cette poutre 1 peut être montée sur un piètement par l'intermédiaire de moyens permettant le réglage de son orientation.In the example illustrated in FIG. 1, the device for taking pictures involves a support structure represented here schematically by a horizontal beam 1 of axis OX. This beam 1 can be mounted on a base by means for adjusting its orientation.
Sur cette poutre 1 est montée axialement coulissante une pluralité de chariots d (ici, à titre d'exemple non limitatif trois chariots Ci à C3) dont les déplacements sont commandés chacun par un actionneur micrométrique Mj respectifs M1 à M3 indépendants les uns des autres (ici, à titre d'exemple non limitatif trois vérins à vis dont les corps sont solidaires de la poutre et dont les tiges sont solidaires des chariots).On this beam 1 is mounted axially sliding a plurality of carriages d (here, by way of non-limiting example three carriages Ci to C 3 ) whose displacements are each controlled by a respective micrometric actuator Mj M 1 to M 3 independent of each other. others (here, by way of non-limiting example three screw jacks whose bodies are integral with the beam and whose rods are integral with the carriages).
Chaque chariot Cj comprend un système de glissières dans lequel coulisse un bras orienté Bj, respectivement pour l'exemple B-i à B3, selon un axe OY perpendiculaire à l'axe OX. Les déplacements du bras selon cet axe OY sont assurés par un actionneur micrométrique Aj, respectivement pour l'exemple A1 à A3, par exemple à crémaillère, comportant un moto réducteur entraînant un pignon qui engrène avec une crémaillère longitudinale équipant le bras,Each carriage Cj comprises a system of slides in which slides an oriented arm Bj, respectively for the example Bi to B 3, along an axis OY perpendicular to the axis OX. The movements of the arm along this axis OY are provided by a micrometric actuator Aj, respectively for example A 1 to A 3 , for example rack, comprising a gear motor driving a pinion which meshes with a longitudinal rack fitted to the arm,
A l'une des extrémités de chacun des bras Bj est disposé un support rotatif Si, respectivement pour l'exemple Si à S3, pivotant autour d'un axe vertical correspondant Zj (trace Z^ Z3) sur lequel est monté un système de prises de vues dont le capteur optoélectronique Oj, respectivement pour l'exemple O1 à O3 , est centré sur l'axe vertical respectif Z1 à Z3.At one of the ends of each of the arms Bj there is arranged a rotary support Si, respectively for the example Si at S 3 , pivoting about a corresponding vertical axis Zj (trace Z ^ Z 3 ) on which a system is mounted. of shots whose optoelectronic sensor Oj, respectively for example O 1 to O 3 , is centered on the respective vertical axis Z 1 to Z 3 .
Les actionneurs Mj, par exemple, M-i à M3 et Aj, par exemple A1 à A3, sont commandés par une unité de calcul UC de manière à pouvoir disposer les capteurs optoélectroniques selon une des configurations illustrées sur la figure 2.The actuators Mj, for example, Mi to M3 and Aj, for example A 1 to A 3 , are controlled by a calculation unit UC so as to be able to arrange the optoelectronic sensors according to one of the configurations illustrated in FIG. 2.
Cette figure représente la répartition des capteurs par rapport à une ligne médiane en pointillés, et le dispositif de prise de vue de la figure 2 comporte huit capteurs dont seuls les quatre situés à gauche de la ligne médiane et le cinquième du groupe de quatre, situé à droite de cette ligne médiane et de façon symétrique, sont représentés.This figure represents the distribution of the sensors with respect to a dashed median line, and the shooting device of FIG. 2 comprises eight sensors of which only the four located to the left of the line. median and the fifth of the group of four, located to the right of this median line and symmetrically, are represented.
On a donc représenté cinq des huit capteurs optoélectroniques Oi à O5, disposés sur un cercle CE de centre C, étant entendu que le nombre de capteurs, dans d'autres exemples de réalisation, O-i, Oh On, peut être différent. Par la suite, il sera désigné par « n »,Five of the eight optoelectronic sensors Oi to O 5 , arranged on a circle CE of center C, have thus been represented, it being understood that the number of sensors, in other exemplary embodiments, Oi, O h On, may be different. Subsequently, he will be designated by "n",
. Le point C est un point sur lequel les capteurs optoélectroniques sont mis au point, par exemple grâce à un système d'auto focalisation (auto focus).. Point C is a point on which optoelectronic sensors are developed, for example by means of a self-focusing system.
. Le centre optique de chacun des capteurs optoélectroniques Oj dans l'exemple Oi à O5, est disposé sur le cercle CE, de telle manière que la distance entre les centres optiques des capteurs optoélectroniques Oi dans l'exemple Oi à O5, et le point C soit égale.. The optical center of each of the optoelectronic sensors Oj in the example Oi to O 5 , is arranged on the circle CE, so that the distance between the optical centers of the optoelectronic sensors Oi in the example Oi to O 5 , and the point C is equal.
Les angles α formés entre les axes optiques passant par les centres optiques de deux capteurs optoélectroniques consécutifs et le point C sont égaux de sorte qu'en conséquence la longueur de la corde de l'arc de cercle Cori dans l'exemple « COr1 à Cor4» entre deux centres optiques de deux capteurs optoélectroniques consécutifs Oj, Oi+i reste identique quelle que soit la longueur du rayon R du cercle CE (constituée entre les capteurs optoélectroniques Oj et le centre de mise au point C de la scène filmée).The angles α formed between the optical axes passing through the optical centers of two consecutive optoelectronic sensors and the point C are equal, so that the length of the cord of the circular arc Cori in the example "COr 1 to Cor 4 "between two optical centers of two consecutive optoelectronic sensors Oj, O i + i remains identical regardless of the length of the radius R of the circle CE (formed between the optoelectronic sensors Oj and the focusing center C of the scene filmed) .
L'unité de calcul UC est programmée de manière à effectuer la détermination des positions des capteurs Oj dans l'exemple O1 à O5 sur le cercle (virtuel) CE ainsi que leur orientation en fonction du centre de mise au point souhaitée C.The calculation unit UC is programmed so as to determine the positions of the sensors Oj in the example O 1 to O 5 on the circle (virtual) CE and their orientation according to the desired focus center C.
Ce centre de mise au point C est déterminé, par exemple par une visée télémétrique ou éventuellement grâce à l'un des capteurs Oj dans l'exemple O1 à O5 (capteurs de référence), à l'aide duquel est effectuée une mise au point. Le dispositif de télémétrie associé au système d'auto focalisation de ce capteur permet de déterminer le rayon R du cercle virtuel, puis la valeur de l'angle au centre α et/ou de la corde Coη dans l'exemple Cori à Cor4 du cercle correspondant à la distance de la valeur constante séparant chacun des capteurs Oj dans l'exemple Oi à O5 entre eux sur la circonférence dudit cercle CE.This focusing center C is determined, for example by telemetric sighting or possibly by means of one of the sensors Oj in the example O 1 to O 5 (reference sensors), with which a setting is made. on point. The telemetry device associated with the self-focusing system of this sensor makes it possible to determine the radius R of the virtual circle, then the value of the angle at the center α and / or of the chord Coη in the example Cori to Cor 4 of the circle corresponding to the distance of the constant value separating each of the sensors Oj in the example Oi to O 5 between them on the circumference of said circle CE.
L'unité de calcul UC détermine alors les coordonnées OX OY de chacun des centres optiques des capteurs optoélectroniques dans le système decoordonnées XOY dans lequel fonctionnent les actionneurs Mi, Mi à M3 et Ai, Ai à A3, puis adresse à chacun de ces actionneurs les commandes correspondantes.The calculation unit UC then determines the coordinates OX OY of each of the optical centers of the optoelectronic sensors in the coordinate system XOY in which the actuators Mi, Mi to M 3 and Ai, Ai to A 3 operate, and then addresses to each of these actuators the corresponding commands.
Une fois les centres optiques des capteurs Oj, dans l'exemple Oi à O5, disposés en leurs emplacements respectifs sur le cercle C, l'unité de calcul commande en conséquence l'orientation des capteurs O1 dans l'exemple Oi à O5, pour qu'ils s'axent sur le centre de mise au point C.Once the optical centers of the sensors Oj, in the example Oi to O 5 , arranged in their respective locations on the circle C, the computing unit accordingly controls the orientation of the sensors O 1 in the example Oi to O 5, so that they focus on the center of focus C.
Les calculs effectués à cet effet par l'unité de calcul UC sont de simples calculs trigonométriques qui ne nécessitent pas d'être explicités en détail.The calculations made for this purpose by the calculation unit UC are simple trigonometric calculations that do not need to be explained in detail.
Les images brutes synchrones délivrées par les systèmes de prise de vue associés aux capteurs Oj par exemple Oi à O5 optoélectroniques font l'objet d'une séquence de traitement consistant à capturer, à traiter et à assembler les images des «n» capteurs électroniques, à modifier ces images sous formes numériques, à assembler tel quel ou par découpage les «n» images aux fins de créer une image finale correspondant au type d'écran auto-stéréoscopique cible, selon les recommandations du constructeur.Synchronous raw images delivered by shooting systems associated with the sensors for example Oj Oi O 5 optoelectronic subject to a processing sequence of capturing, processing and assembling the images of "n" electronic sensors , to modify these images in digital forms, to assemble as is or by cutting the "n" images for the purpose of creating a final image corresponding to the type of target auto-stereoscopic screen, according to the manufacturer's recommendations.
Conformément à un mode d'exécution particulièrement avantageux du procédé selon l'invention, les images brutes des «n» capteurs électroniques sont récupérées en valeur de gris ou en couleur. Dans les cas d'images en valeur de gris, il est possible d'utiliser un procédé de conversion d'images en valeur de gris en images en couleur, du type de celui décrit dans le brevet US N° 3971065.According to a particularly advantageous embodiment of the method according to the invention, the raw images of the "n" electronic sensors are recovered in gray value or in color. In the case of grayscale images, it is possible to use a method of converting grayscale images to color images of the type described in US Patent No. 3971065.
Dans l'exemple illustré sur la figure 2, on a également représenté avec les références O'j un mode de réalisation simplifié du système dans lequel les capteurs optoélectroniques O'j dans l'exemple O'i à O'5 , sont équipés d'un objectif à focale variable et où les bras Bs ont été supprimés. Dans ce mode de réalisation, ces capteurs optoélectroniques sont montés pivotants sur les chariots C1 dans l'exempleCI à C5, mobiles sur la poutre 1.In the example illustrated in FIG. 2, a simplified embodiment of the system in which the optoelectronic sensors O'j in the example O'1 to O ' 5 are also equipped with FIG. a lens with variable focal length and where the arms B s have been removed. In this embodiment, these optoelectronic sensors are mounted pivoting on the carriages C 1 in the exampleCI to C 5 , mobile on the beam 1.
Les capteurs O'j sont alors positionnés sur l'axe OX, de manière à respecter l'égalité des angles α, comme représenté par les positions O'i à O'δ et la distance entre chaque capteur n'est plus constante.The sensors O'j are then positioned on the axis OX, so as to respect the equality of the angles α, as represented by the positions O'i to O ' δ and the distance between each sensor is no longer constant.
L'écart de la distance entre la position des capteurs O^ à O'5 et le centre de mise au point C avec la longueur du rayon R est compensé individuellement par un ajustement de la focale de l'objectif de chacun des capteurs.The difference in the distance between the position of the sensors O 1 to O 5 and the center of focus C with the length of the radius R is individually compensated by an adjustment of the focal length of the lens of each of the sensors.
Par ailleurs, le traitement des images brutes délivrées par les capteurs optoélectroniques fait intervenir, comme illustré sur la figure 3, un générateur de signal de synchronisation 3 qui définit pour chaque prise de vue : le temps absolu de l'occurrence dudit signal de synchronisation, un temps de pause identique pour chaque capteur optoélectronique.Furthermore, the processing of the raw images delivered by the optoelectronic sensors involves, as illustrated in FIG. 3, a synchronization signal generator 3 which defines for each shot: the absolute time of the occurrence of said synchronization signal, an identical pause time for each optoelectronic sensor.
Le générateur de signal de synchronisation 3 est piloté par un déclencheur 4 manuel ou automatique de la prise de vues ainsi qu'éventuellement par un système de commande d'exploitation permettant notamment de saisir le nombre de séquences de traitement (en rafales) à exécuter.The synchronization signal generator 3 is controlled by a trigger 4 manual or automatic shooting and optionally by an operating control system including entering the number of processing sequences (burst) to run.
Il donne un ordre de mémorisation de l'image aux capteurs électroniques Oj , dans l'exemple Oi à O5 (temporisation/ouverture) (bloc 5).It gives an order of storage of the image to the electronic sensors Oj, in the example Oi to O 5 (time delay / opening) (block 5).
A la suite de cet ordre de mémorisation, les images mémorisées dans les «n » capteurs optoélectroniques Oi, dans l'exemple Oi à O5, sont collectées séquentiellement au format brut (appelé "RAW") et sont stockées en mémoire temporaire (mémoire tampon d'entrée des images brutes) (bloc 6) dans l'attente des traitements suivants. Ce groupe d'images synchrones, c'est-à-dire l'ensemble des images brutes prises au même instant par les «n» capteurs optoélectroniques, est appelé "train d'images".Following this order of storage, the images stored in the "n" optoelectronic sensors Oi, in the example Oi to O 5 , are collected sequentially in raw format (called "RAW") and are stored in temporary memory (memory raw image input buffer) (block 6) pending subsequent processing. This group of synchronous images, that is to say the set of raw images taken at the same time by the "n" optoelectronic sensors, is called "image train".
Le système de traitement effectue le recadrage (en anglais "cropping") (bloc 7) puis ajuste chaque image brute en ne gardant que la partie utile extraite de chacune des «n» images en images élémentaires (conversion des «n» images utiles en images élémentaires) (bloc 8).The processing system performs cropping (block 7) and then adjusts each raw image keeping only the useful part extracted from each of the "n" images in elementary images (conversion of the "n" useful images into elementary images) (block 8).
Les «n» images élémentaires, complètes ou découpées (bloc 9) sont ensuite réparties selon une grille de répartition spécifique à chaque type d'écrans auto-stéréoscopiques en vue de la fabrication de l'image composite noir et blanc (bloc 10). Les informations numériques relatives à l'image composite font l'objet d'une conversion « Bayer » pour constituer une image composite finale en couleur (bloc 11).The "n" elementary, complete or cut images (block 9) are then distributed according to a distribution grid specific to each type of auto-stereoscopic screens for the production of the black and white composite image (block 10). The digital information relating to the composite image is converted to "Bayer" to form a final composite image in color (block 11).
Cette image fait alors l'objet d'un traitement spécifique dans le but de réduire plus ou moins la quantité d'informations numériques la caractérisant à l'aide de programmes standard (MJPEG, MPEG ...) ou spécifiquement développés. Le choix du traitement appliqué à chaque image constituant une séquence est fonction de l'usage ultérieur qui en est envisagé.This image is then the subject of a specific treatment in order to reduce more or less the amount of digital information characterizing it using standard programs (MJPEG, MPEG ...) or specifically developed. The choice of the treatment applied to each image constituting a sequence is a function of the subsequent use envisaged.
Dans le cas d'une simple diffusion en direct, par exemple sur réseau IP, la réduction pourra être forte ou très forte si la dégradation du signal n'affecte pas la lisibilité de la séquence d'image. Dans le cas où la séquence est enregistrée et donc destinée à un réemploi ultérieur comme par exemple le montage de plusieurs prises de vues différentes, il faudra privilégier un mode d'encodage «non destructif» de manière à obtenir l'assurance que la qualité des générations d'images successives n'en sera pas affectée.In the case of a simple live broadcast, for example over an IP network, the reduction may be high or very high if the degradation of the signal does not affect the readability of the image sequence. In the case where the sequence is recorded and therefore intended for subsequent reuse such as for example the editing of several different shots, it will be necessary to favor a "non-destructive" encoding mode so as to obtain the assurance that the quality of generations of successive images will not be affected.
Cette image plus ou moins compressée (bloc 11') est ensuite stockée en mémoire tampon de sortie (bloc 12), Le déclenchement de l'enregistrement et/ou l'envoi au réseau de diffusion (bloc 13) peut ensuite être effectué. Les étapes de conversion en images élémentaires (bloc 8) et de fabrication de l'image composite N/B (bloc 10) sont pilotées à partir de paramètres spécifiques de la grille que l'on veut utiliser (bloc 13').This more or less compressed image (block 11 ') is then stored in the output buffer (block 12). Triggering the recording and / or sending to the broadcast network (block 13) can then be performed. The steps of conversion into elementary images (block 8) and fabrication of the composite B / W image (block 10) are controlled from specific parameters of the grid that is to be used (block 13 ').
Le rendu de l'effet relief dépend d'un ensemble de réglages propre à chaque scène captée qu'elle soit fixe ou en mouvement, le système support lui-même étant fixe ou en mouvement par rapport à la scène captée.The rendering of the relief effect depends on a set of adjustments specific to each scene captured whether it is fixed or moving, the support system itself being fixed or moving relative to the captured scene.
De ce fait, un certain nombre de réglages de positionnement des capteurs sont nécessaires avant d'effectuer une prise de vue et, s'il y a lieu, pendant la prise de vue.As a result, a number of sensor positioning adjustments are required before shooting and, if necessary, shooting.
Pour que l'effet relief souhaité soit obtenu, il est nécessaire d'effectuer un nombre d'actions telles que :So that the desired relief effect is obtained, it is necessary to perform a number of actions such as:
. des actions physiques sur le positionnement des capteurs optoélectroniques, des actions physiques sur les réglages des optiques de ces capteurs, des actions virtuelles sur l'image brute délivrée par les capteurs.. physical actions on sensor positioning optoelectronic, physical actions on the optical settings of these sensors, virtual actions on the raw image delivered by the sensors.
Comme précédemment mentionné, l'unité de calcul UC détermine, pour chaque configuration de prise de vues, à partir de la mesure de distance entre la scène captée ou élément de la scène captée et l'optique du capteur de référence prise de manière physique ou à l'aide d'un télémètre indépendant ou dépendant de l'ensemble du dispositif porteur soit dans le cas d'un système complet : les coordonnées X sur la poutre du positionnement de chaque bras Bj à B3,As previously mentioned, the calculation unit UC determines, for each camera configuration, from the measurement of distance between the captured scene or element of the captured scene and the optical of the reference sensor taken in a physical manner or with the aid of a rangefinder independent or dependent on the entire carrier device or in the case of a complete system: the X coordinates on the beam of the positioning of each arm Bj to B3,
- les coordonnées Y sur chacun des bras B] à B3 du positionnement de chacun des «n» systèmes micrométriques de rotation de chacun des «n capteurs optoélectroniques CM à O3,the coordinates Y on each of the arms B] to B3 of the positioning of each of the "n" micrometric rotation systems of each of the "n optoelectronic sensors CM to O 3 ,
. la valeur de l'angle de rotation R de chacun des «n» supports rotatifs des capteurs O\\ soit, dans le cas d'un système simplifié (sans bras) dans lequel on remplace les déplacements des bras par un ajustement des focales des zooms équipant les capteurs photoélectroniques :. the value of the rotation angle R of each of the "n" rotary supports of the sensors O \ is, in the case of a simplified system (without arms) in which the displacements of the arms are replaced by an adjustment of the focal lengths of the zooms equipping the photoelectronic sensors:
. les coordonnées de chaque capteur optoélectronique, . la valeur de l'angle d'orientation R de chacun des «n» capteurs vers le centre de prise de vue C.. the coordinates of each optoelectronic sensor,. the value of the orientation angle R of each of the "n" sensors towards the shooting center C.
Cette règle fournit les informations XYR aux chariots motorisés Ci dans l'exemple, C1 à C3 de chacun des bras, Bj dans l'exemple, Bi à B3 et de chacun des «n» systèmes micrométriques de rotation, permettant le positionnement précis des «n» capteurs optoélectroniques d'images O,, dans l'exemple O1 à O3.This rule provides the XYR information to the motorized carriages Ci in the example, C 1 to C 3 of each arm, Bj in the example, Bi to B 3 and each of the "n" micrometric rotation systems, allowing the positioning precise "n" optoelectronic image sensors O , in the example O 1 to O 3 .
En utilisation, l'opérateur humain ou robotisé informe le système de gestion du système de traitement des images brutes de la valeur du rayon R du cercle CE pour qu'ensuite l'unité de calcul UC pilote, par l'intermédiaire d'interface(s), les moteurs ou servomoteurs des actionneurs. L'utilisation d'un télémètre solidaire au capteur de référence, relié à l'unité de calcul UC, permet au dispositif d'être mis en œuvre rapidement pour la prise de vues et d'être dynamique pour recalculer les coordonnées XYR dans le cas de mouvement et ou de déplacement. Ces coordonnées sont recalculées en temps réel si : le dispositif porteur est en mouvement par rapport à un élément fixe de la scène captée, le dispositif porteur est fixe ou en mouvement et que l'effet relief est modifié. En tout cas, le télémètre peut être placé en tout point connu par le calculateur. Il peut être notamment couplé à un des «n» capteurs optoélectroniques du fait que le calculateur connaît les coordonnées XYR du capteur utilisé.In use, the human or robotic operator informs the management system of the raw image processing system of the value of the radius R of the circle CE so that subsequently the CPU calculation unit controls, via interface ( s), motors or actuators of the actuators. The use of a telemeter integral with the reference sensor, connected to the CPU calculation unit, allows the device to be implemented quickly for shooting and to be dynamic to recalculate the XYR coordinates in the case of movement and / or displacement . These coordinates are recalculated in real time if: the carrier device is moving relative to a fixed element of the captured scene, the carrier device is fixed or in motion and the relief effect is modified. In any case, the rangefinder can be placed at any point known by the computer. It can in particular be coupled to one of the "n" optoelectronic sensors because the computer knows the XYR coordinates of the sensor used.
La fonction de télémétrie peut être intégrée à un ou plusieurs des « n » capteurs optoélectroniques.The telemetry function can be integrated with one or more of the "n" optoelectronic sensors.
Le positionnement des images en recouvrement pour lesquelles les centres optiques doivent être confondus s'effectue en au moins deux étapes:The positioning of the overlapping images for which the optical centers are to be confused takes place in at least two steps:
. une étape nécessaire et obligatoire consistant à réaliser le positionnement physique des «n» capteurs optoélectroniques Oj dans l'exemple Oi à O3, ou O'-i établi en fonction de la scène captée et de l'effet relief recherché et obtenu par l'intermédiaire de la structure de support précédemment décrite, une étape complémentaire considérant le ou un des deux capteur(s) optoélectronique(s) positionné(s) le plus au centre de la structure support 1 comme réfèrent ; cette étape consiste à affiner l'étape précédente par une opération effectuée dans l'image brute récupérée de l'un des autres capteurs optoélectroniques, lors du traitement des images brutes, en déplaçant le cadrage virtuel, ceci dans la limite du nombre de pixels restant entre le cadre de l'image utile et le hors cadre de l'image brute, que ce soit dans la hauteur et/ou dans la largeur. Cette étape, répétée pour autant de capteurs optoélectroniques que nécessaire, est appelée « positionnement virtuel ». Ce positionnement virtuel pourra être effectué :. a necessary and obligatory step of physically positioning the "n" optoelectronic sensors Oj in the example Oi to O 3 , or O'-i established according to the scene captured and the desired relief effect obtained by the intermediate of the support structure described above, a complementary step considering the one or two optoelectronic sensor (s) positioned (s) most in the center of the support structure 1 as referent; this step consists in refining the preceding step by an operation performed in the raw image recovered from one of the other optoelectronic sensors, during the processing of the raw images, by moving the virtual framing, this within the limit of the number of pixels remaining between the frame of the useful image and the out-of-frame of the raw image, whether in height and / or in width. This step, repeated for as many optoelectronic sensors as necessary, is called "virtual positioning". This virtual positioning can be done:
. par déplacement manuel du cadrage de l'image utile dans l'image brute ; par un procédé de reconnaissance de forme d'après un ou plusieurs repères ajoutés ou déterminés dans la scène à l'intérieur ou à l'extérieur du cadre de l'image utile Par ailleurs, le positionnement physique des capteurs (dispositif porteur automatisé) pourra être assuré notamment grâce : à un procédé de reconnaissance de forme d'après un ou plusieurs repères choisis dans la scène captée, intégrés à l'image utile ; à un système de suivi d'un repère en mouvement choisi dans la scène captée, connu sous le terme anglo-saxon « tracking ».. by manual displacement of the framing of the useful image in the raw image; by a pattern recognition method according to one or more marks added or determined in the scene inside or outside the frame of the useful image Moreover, the physical positioning of the sensors (automated carrier device) can be ensured notably by: a pattern recognition method according to one or more selected markers in the captured scene, integrated into the useful image; to a tracking system of a moving landmark chosen in the captured scene, known as Anglo-Saxon "tracking".
Chaque système associé à un capteur optoélectronique pourra être autonome dans son calcul de géopositionnement et de repositionnement d'image, dans la mesure où tous les systèmes communiquent entre eux leurs informations de positionnement, tout en étant solidaires d'une structure physique ou virtuelle.Each system associated with an optoelectronic sensor can be autonomous in its calculation of image retrieval and repositioning, insofar as all the systems communicate with each other their positioning information, while being in solidarity with a physical or virtual structure.
Ceci est particulièrement valable lorsque le rayon R est important, par exemple de l'ordre de plusieurs kilomètres ou plus (prise de vue de paysages lointains).This is particularly valid when the radius R is important, for example of the order of several kilometers or more (shooting distant landscapes).
Chaque capteur optoélectronique pourra être de taille extrêmement réduite pour des prises de vues microscopiques. Il pourra, par exemple, comporter une optique comprenant une ou plusieurs microlentilles reliées à une cellule optoélectronique par l'intermédiaire d'un guide de lumière tel qu'une ou plusieurs fibres optiques. Grâce à ces dispositions, seules les optiques du capteur seront disposées sur le cercle CE.Each optoelectronic sensor can be extremely small size for microscopic shots. It may, for example, include an optical system comprising one or more microlenses connected to an optoelectronic cell via a light guide such as one or more optical fibers. Thanks to these arrangements, only the optics of the sensor will be arranged on the circle CE.
Le dispositif précédemment décrit pourra comprendre les modes de réglage suivants :The device described above may include the following adjustment modes:
Mode Focus : II s'agit de la commande de mise au point de l'image formée sur les «n» capteurs optoélectroniques Oj à O5. Cette mise au point pourra s'effectuer :Focus mode: This is the focus control of the image formed on the "n" optoelectronic sensors Oj to O 5 . This development can be done:
- manuellement, par action sur chacun des objectifs associés aux capteurs,- manually, by action on each of the objectives associated with the sensors,
- automatiquement, grâce à un système autofocus équipant chaque objectif,- automatically, thanks to an autofocus system equipping each objective,
- par pilotage des asservissements de mise au point associés à chaque capteur, au moyen d'une commande générale présentant une valeur unique pour l'ensemble des objectifs associés aux «n» capteurs électroniques,by controlling the debugging servocontrols associated with each sensor, by means of a general command having a single value for all the objectives associated with the "n" sensors electronic,
-par pilotage des asservissements de mise au point associés à chaque capteur, au moyen de commandes présentant une valeur spécifique pour chacun des objectifs associés aux «n» capteurs électroniques.by controlling the debugging servocontrols associated with each sensor, by means of commands presenting a specific value for each of the objectives associated with the "n" electronic sensors.
Mode Iris : Ce mode concerne la commande de diaphragme des optiques associées à chacun des capteurs. Il permet une commande manuelle directe sur l'objectif de chacune de ces optiques ou à une commande asservie.Iris mode: This mode concerns the iris control of the optics associated with each of the sensors. It allows a direct manual control on the lens of each of these optics or a slave control.
Mode Exposition : Ce mode de réglage permet de définir le temps d'exposition ou le temps de pose commun à chacun des systèmes de prise de vues.Exposure mode: This setting mode is used to set the exposure time or exposure time common to each camera system.
Mode Rafale : Ce mode permet de sélectionner le nombre d'images à traiter en une fraction de seconde (période élémentaire) pour obtenir l'image composite finale.Burst mode: This mode allows you to select the number of images to be processed in a fraction of a second (basic period) to obtain the final composite image.
Mode Rendu Relief : II s'agit ici de permettre un réglage de la longueur du rayon R (distance de mise au point) et de la longueur de la corde Cor (déterminant un indice de convergence).Rendering mode Relief: This is to allow an adjustment of the length of the radius R (focusing distance) and the length of the rope Cor (determining a convergence index).
Pour effectuer le positionnement physique des capteurs optoélectroniques, l'unité de calcul UC pourra comprendre un calculateur de positionnement physique comportant des moyens pour :To perform the physical positioning of the optoelectronic sensors, the computing unit UC may comprise a physical positioning calculator comprising means for:
- recevoir des informations métriques ou télémétriques,- receive metric or telemetry information,
- recevoir des informations modifiant les informations télémétriques pour que l'effet relief désiré soit obtenu,receiving information modifying the telemetric information so that the desired relief effect is obtained,
- calculer les valeurs des positions de chaque capteur optoélectronique,calculate the values of the positions of each optoelectronic sensor,
- piloter les actionneurs Mj à M3 et Aj à A3 ou analogues,- drive the actuators Mj to M 3 and Aj to A 3 or the like,
- optionnellement, piloter les moteurs des fonctions de zoom des objectifs des capteurs optoélectroniques,optionally, control the motors of the zoom functions of the lenses of the optoelectronic sensors,
- optionnellement, mémoriser tout ou partie de ces informations,- optionally, memorize all or part of this information,
- optionnellement, mettre ces informations à disposition de tiers par les techniques usuelles de communications numériques selon les normes en vigueur ou par interface de communication propriétaire, - optionnellement, piloter les moteurs assurant les fonctions de mise au point, de diaphragme et de zoom des objectifs des capteurs optoélectroniques.- optionally, make this information available to third parties by standard digital communications techniques in accordance with the standards in force or by proprietary communication interface, - Optionally, control the motors that provide the focus, iris and zoom functions of the optoelectronic sensors.
La figure 4 montre un schéma bloc théorique d'un système de positionnement physique faisant intervenir une interface de commande IC des actionneurs AX1 AY, AR selon les axes OX, OY et en rotation de chacun des capteurs optoélectroniques O.FIG. 4 shows a theoretical block diagram of a physical positioning system involving a control interface IC of the actuators AX 1 AY, AR along the axes OX, OY and in rotation of each of the optoelectronic sensors O.
Cette interface IC est pilotée par une unité de calcul UC et/ou un système de commande d'exploitation EX. L'unité de calcul UC est couplée à un télémètre TE destiné à fournir une information relative à la distance de mise au point d'au moins l'un des capteurs optoélectroniques O. Le système de commande d'exploitation peut lui-même être couplé à un organe de saisie ou de calcul OS de rayon R (distance de mise au point).This IC interface is controlled by a CPU calculation unit and / or an EX operating control system. The calculation unit UC is coupled to a TE rangefinder for providing information relating to the focusing distance of at least one of the optoelectronic sensors O. The operating control system can itself be coupled to an input or calculation device OS of radius R (focusing distance).
L'unité de calcul UC pourra, en outre, comprendre des moyens de positionnement virtuel ayant pour rôle d'afficher le positionnement réalisé par un calculateur de positionnement des capteurs optoélectroniques en interagissant sur le cadrage virtuel de l'image utile dans l'image brute. Ces moyens de positionnement virtuel ont notamment pour but d'analyser l'image brute ou l'image utile de référence, d'en extraire un repère prédéterminé ou choisi par l'opérateur, puis de reconnaître ce repère dans les images provenant des autres capteurs optoélectroniques pour agir sur le déplacement ou replacement du cadre virtuel.The calculation unit UC may furthermore comprise virtual positioning means whose function is to display the positioning performed by a positioning computer of the optoelectronic sensors by interacting on the virtual framing of the useful image in the raw image. . These virtual positioning means are intended in particular to analyze the raw image or the reference useful image, to extract a predetermined mark or chosen by the operator, then to recognize this marker in the images from other sensors optoelectronic to act on the displacement or replacement of the virtual frame.
Ce moyen de positionnement virtuel permet notamment de positionner le cadre de l'image utile dans l'image brute provenant du capteur optoélectronique de référence par l'intermédiaire d'un procédé de traitement des images brutes PTI, éventuellement complété d'un procédé d'analyse d'images intégrant une fonction de reconnaissance de forme.This virtual positioning means makes it possible, in particular, to position the frame of the useful image in the raw image coming from the reference optoelectronic sensor by means of a raw image processing method PTI, possibly supplemented by a method of image analysis incorporating a shape recognition function.
En mode manuel, l'opérateur positionne par l'intermédiaire d'une commande déplacement (dans le plan XOY) le cadre virtuel de la zone utile de référence dans l'image brute du capteur optoélectronique de référence. Les moyens de positionnement virtuel analysent l'image, font une reconnaissance d'une ou plusieurs formes et calculent les coordonnées de cette ou de ces formes par rapport au cadre de la zone utile. Les moyens de positionnement virtuel analysent les images brutes des autres capteurs électroniques et ce, par trains d'images, procèdent à la reconnaissance de(s) forme(s) identifiée(s) dans chaque image brute et procèdent au positionnement des cadres des zones utiles dans les images brutes des «n» capteurs optoélectroniques d'après les coordonnées xy mémorisées à chaque train d'image.In manual mode, the operator positions via a displacement command (in the XOY plane) the virtual frame of the reference useful area in the raw image of the optoelectronic reference sensor. The virtual positioning means analyze the image, make a recognition of one or more shapes and calculate the coordinates of this or these forms with respect to the frame of the useful zone. The virtual positioning means analyze the raw images of the other electronic sensors and, by image trains, proceed to the recognition of the form (s) identified in each raw image and proceed to the positioning of the frames of the zones. useful in the raw images of the "n" optoelectronic sensors according to the xy coordinates stored at each image train.
En mode automatique, l'opérateur visualise la scène captée d'après la partie utile ou de l'image brute du capteur optoélectronique de référence (cadre/hors cadre). Le système positionne alors les cadres utiles dans les « n » images brutes. Ce positionnement peut, par exemple, être centré, c'est-à- dire avec le cadre de la zone utile centré sur l'image brute de référence. Les moyens de positionnement virtuel déterminent par analyse d'image et reconnaissance de forme un ou plusieurs repères Obi (à partir de données préétablies) dans l'image brute (ou utile) de référence (figure 5). En principe, seuls les repères dans la partie utile de toutes les images sont exploitables car il est possible qu'un ou plusieurs repères existant dans l'image brute de référence soit absent dans une ou plusieurs images brutes d'autres capteurs optoélectroniques. Les moyens de positionnement utilisent les coordonnées Pix, Pxy du premier repère pour le positionnement du cadre CAi de zone utile dans l'image brute de chacun des «n» capteurs électroniques et répète cette opération pour autant de rafales.In automatic mode, the operator visualizes the scene captured from the useful part or the raw image of the optoelectronic reference sensor (frame / out of frame). The system then positions the useful frames in the "n" raw images. This positioning may, for example, be centered, that is to say with the framework of the useful area centered on the raw reference image. The virtual positioning means determines, by image analysis and shape recognition, one or more Obi markers (from pre-established data) in the raw (or useful) reference image (FIG. 5). In principle, only the marks in the useful part of all the images are exploitable because it is possible that one or more references existing in the raw reference image is absent in one or more raw images of other optoelectronic sensors. The positioning means use the coordinates Pix, Pxy of the first mark for the positioning of the frame CAi of useful area in the raw image of each of the "n" electronic sensors and repeats this operation for as many bursts.
Les moyens de positionnement virtuel permettent notamment de déterminer les distances QN, QE, QO et QS entre les bords du cadre de l'image utile CAi et les bords de l'image brute CA2 (figure 5). Si l'une de ces distances est trop faible, voire négative, inférieure à des tolérances de positionnement, ceci signifie que le capteur optoélectronique qui a formé l'image est mal positionné. L'opérateur ou les moyens de positionnement physique peut, dans ce cas, repositionner le capteur. Les tolérances de positionnement peuvent être différentes en fonction de la scène à capter, en fonction de l'image brute, même si cette dernière est différente d'un capteur optoélectronique à un autre et notamment lorsque la scène est animée et/ou selon l'effet de relief recherché.The virtual positioning means in particular make it possible to determine the distances QN, QE, QO and QS between the edges of the frame of the useful image CAi and the edges of the raw image CA2 (FIG. 5). If one of these distances is too small, or even negative, less than positioning tolerances, this means that the optoelectronic sensor that formed the image is incorrectly positioned. The operator or the physical positioning means may, in this case, reposition the sensor. The positioning tolerances may be different depending on the scene to be captured, depending on the raw image, even if the latter is different from one optoelectronic sensor to another and especially when the scene is animated and / or according to the desired relief effect.
Comme illustré sur la figure 6, les images brutes délivrées par les capteurs optoélectroniques (bloc 21) sont tout d'abord transférées dans une mémoire tampon d'entrée (bloc 22). Ces images sont ensuite transmises à un système de reconnaissance de forme SF comprenant deux chaînes de traitement, à savoir :As illustrated in FIG. 6, the raw images delivered by the optoelectronic sensors (block 21) are first transferred to an input buffer (block 22). These images are then transmitted to a form recognition system SF comprising two processing chains, namely:
• une première chaîne de traitement de l'image brute du capteur de référence qui comporte successivement : une analyse de l'image brute du capteur de référence (bloc 23), une reconnaissance du ou des repères (bloc 24), une mémorisation de la forme de chaque repère (bloc 25), un calcul des coordonnées de chaque repère (bloc 26),A first processing chain of the raw image of the reference sensor which comprises successively: an analysis of the raw image of the reference sensor (block 23), a recognition of the mark or references (block 24), a storage of the form of each marker (block 25), a calculation of the coordinates of each marker (block 26),
• une deuxième chaîne de traitement des images brutes de tous les capteurs, cette chaîne comportant : l'analyse des images brutes de « n » capteurs (bloc 27), la reconnaissance de chaque repère d'après les coordonnées x et y déterminées au bloc 26 (bloc 28).A second processing chain of the raw images of all the sensors, this chain including: the analysis of the raw images of "n" sensors (block 27), the recognition of each reference mark according to the x and y coordinates determined at the block; 26 (block 28).
Après avoir reconnu les repères présents dans les images brutes, le système effectue un cadrage de la zone utile dans l'image brute (bloc 29), puis détermine les images élémentaires (bloc 30). Ensuite, il assemble les images élémentaires dans une grille de répartition pour former l'image finale noir et blanc (bloc 31). Par une conversion « Bayer », il transforme cette image finale en une image couleur (bloc 32). Le système place enfin cette image couleur en mémoire tampon de sortie (bloc 33).After recognizing the markers present in the raw images, the system performs a framing of the useful area in the raw image (block 29), then determines the elementary images (block 30). Then, he assembles the elementary images in a distribution grid to form the final black and white image (block 31). By a "Bayer" conversion, it transforms this final image into a color image (block 32). The system finally places this color image in the output buffer (block 33).
Le système de reconnaissance du ou des repères Obj détermine si les valeurs QE, QN et QS sont supérieures à un seuil de tolérance de positionnement. Si ces valeurs sont inférieures audit seuil, le système effectue un calcul de positionnement du capteur optoélectronique concerné, de manière à corriger son positionnement (bloc 34).The recognition system of the objective marker (s) determines whether the QE, QN and QS values are greater than a positioning tolerance threshold. If these values are below said threshold, the system performs a positioning calculation of the optoelectronic sensor concerned, so as to correct its positioning (block 34).
Il doit être évident pour les personnes versées dans l'art que la présente invention permet des modes de réalisation sous de nombreuses autres formes spécifiques sans l'éloigner du domaine d'application de l'invention comme revendiqué. Par conséquent, les présents modes de réalisation doivent être considérés à titre d'illustration, mais peuvent être modifiés dans le domaine défini par la portée des revendications jointes, et l'invention ne doit pas être limitée aux détails donnés ci-dessus. It should be obvious to those skilled in the art that the present invention allows embodiments in many other specific forms without departing from the scope of the invention. the invention as claimed. Therefore, the present embodiments should be considered by way of illustration, but may be modified within the scope defined by the scope of the appended claims, and the invention should not be limited to the details given above.

Claims

Revendications claims
1. Procédé pour la réalisation de prise de vue à l'aide d'une pluralité de capteurs optoélectronique (Oi) en vue de créer une séquence finale d'images combinées affichables sur des écrans adaptés à cette combinaison d'images, caractérisé en ce qu'il comprend la répartition et l'orientation d'une pluralité de capteurs électroniques sur une ligne, de façon que les angles formés entre les axes optiques de deux capteurs consécutifs soient égaux et convergent vers un point C choisi sur la zone de la scène à capter sur lequel on effectue la mise au point d'au moins l'un des capteurs dénommé capteur de référence,A method for performing shooting with a plurality of optoelectronic sensors (Oi) to create a final sequence of combined images displayable on screens adapted to this combination of images, characterized in that it comprises the distribution and the orientation of a plurality of electronic sensors on a line, so that the angles formed between the optical axes of two consecutive sensors are equal and converge towards a point C chosen on the zone of the scene to be sensed on which is carried out the development of at least one of the sensors called reference sensor,
il comprend en outreit also includes
une étape de capture en valeur de gris, de façon à ordonnée et synchronisée de chaque image brute fournie par les « n » capteurs électroniques (Oi) pour former un train d'images brutes ;a grayscale capture step, in an orderly and synchronized manner of each raw image supplied by the "n" electronic sensors (Oi) to form a raw image stream;
une étape de cadrage de la partie utile de chaque image brute d'un train et l'extraction de cette partie utile qui constitue alors une image élémentaire;a step of framing the useful part of each raw image of a train and the extraction of this useful part which then constitutes an elementary image;
une étape transformation finale de l'image en noir et blanc en une image couleur par une transformation de « Bayer » ;a final transformation step of the black and white image into a color image by a "Bayer" transformation;
2. Procédé selon la revendication 1 , caractérisé en ce qu'il comprend en outre l'opération d'assemblage des images d'un train d'images aux fins de créer une image finale correspondant au type d'écran cible pour produire un effet relief correspond à une opération de répartition des images élémentaires selon une grille de répartition spécifique à un type d'écran auto stéréoscopique déterminé de manière à obtenir une image finale. 2. Method according to claim 1, characterized in that it further comprises the operation of assembling the images of a stream of images for the purpose of creating a final image corresponding to the type of target screen to produce an effect relief corresponds to a distribution operation of the elementary images according to a distribution grid specific to a type of auto stereoscopic screen determined so as to obtain a final image.
3. Procédé selon la revendication 2, caractérisé en ce que pour obtenir l'effet relief souhaité, le procédé comprend :3. Method according to claim 2, characterized in that to obtain the desired relief effect, the method comprises:
- des actions sur la répartition et l'orientation des capteurs optoélectroniques et/ou des actions sur les réglages des optiques de ces capteurs.- actions on the distribution and orientation of the optoelectronic sensors and / or actions on the optical settings of these sensors.
4. Procédé selon une des revendications précédentes, caractérisé en ce que l'étape de traitement et modification comprend une étape de positionnement virtuel des images en recouvrement pour lesquelles les centres optiques doivent être confondus, cette étape comportant le positionnement physique des capteurs optoélectroniques en fonction de la scène captée, de l'effet relief recherché, l'affinage de ce positionnement par un traitement de l'image brute provenant d'au moins un capteur autre que le capteur de référence, ce traitement consistant à déplacer un cadrage virtuel dans la limite du nombre de pixels restant entre le cadre de l'image utile et le hors cadre de l'image brute.4. Method according to one of the preceding claims, characterized in that the processing and modification step comprises a step of virtual positioning of the overlapping images for which the optical centers must be merged, this step comprising the physical positioning of the optoelectronic sensors in function of the captured scene, of the sought-after relief effect, the refining of this positioning by a processing of the raw image coming from at least one sensor other than the reference sensor, this processing consisting in moving a virtual frame in the limit of the number of pixels remaining between the frame of the useful image and the outermost frame of the raw image.
5. Procédé selon la revendication précédente, caractérisé en ce que le susdit positionnement virtuel est effectué par des déplacements manuel du cadrage de l'image utile dans l'image brute.5. Method according to the preceding claim, characterized in that the aforesaid virtual positioning is performed by manual movements of the framing of the useful image in the raw image.
6. Procédé selon une des revendications précédentes, caractérisé en ce que la synchronisation de la capture des images provenant des capteurs optoélectroniques est obtenue par un signal de synchronisation commun avec définition pour chaque prise de vue : du temps absolu de l'occurrence du dit signal de synchronisation et d'un temps de pose identique pour chaque capteur optoélectronique.6. Method according to one of the preceding claims, characterized in that the synchronization of the capture of the images from the optoelectronic sensors is obtained by a common synchronization signal with definition for each shot: the absolute time of the occurrence of said signal of synchronization and an identical exposure time for each optoelectronic sensor.
7. Procédé selon une des revendications précédentes, caractérisé en ce qu'un dispositif de calcul associé à un télémètre solidaire du capteur de référence permet de recalculer les coordonnées et les angles permettant de redéfinir la répartition et l'orientation des capteurs électroniques dans le cas de mouvements ou de déplacements relatifs du système de prise de vue par rapport à la zone de la scène à capter.7. Method according to one of the preceding claims, characterized in that a computing device associated with a telemeter integral with the reference sensor recalculates the coordinates and angles to redefine the distribution and orientation of the sensors. in the case of movements or relative movements of the shooting system with respect to the area of the scene to be captured.
8. Procédé selon une des revendications précédentes, caractérisé en ce que l'étape de cadrage utilise un procédé de reconnaissance de formes d'après un ou plusieurs repères ajoutés ou déterminés dans la scène à l'intérieur ou à l'extérieur du cadre de l'image utile.8. Method according to one of the preceding claims, characterized in that the step of framing uses a pattern recognition method according to one or more pins added or determined in the scene inside or outside the frame of the useful image.
9. Procédé selon la revendication 1 , caractérisé en ce que dans le cas d'une répartition sur une ligne droite, les capteurs optoélectroniques (Oi) sont équipés d'objectifs à focale variable ajustée de manière à compenser des variations de distance entre chacun des capteurs et le point C sur lequel est effectué la mise au point de référence.9. Method according to claim 1, characterized in that in the case of a distribution on a straight line, the optoelectronic sensors (Oi) are equipped with lenses with variable focal length adjusted to compensate for variations in distance between each of the sensors and the point C on which the reference focus is performed.
10. Procédé selon la revendication 1, caractérisé en ce que dans le cas d'une répartition sur une ligne circulaire la longueur de la corde (CORi) séparant deux centres optiques consécutifs de capteurs optoélectroniques adjacent (Oi), (Oi+1) est maintenue constante quelque soit la distance R entre le centre optique du capteur et le point C sur lequel est effectué la mise au point.10. Method according to claim 1, characterized in that in the case of a distribution on a circular line the length of the cord (CORi) separating two consecutive optical centers of adjacent optoelectronic sensors (Oi), (Oi + 1) is kept constant whatever the distance R between the optical center of the sensor and the point C on which the focusing is carried out.
11. Procédé selon une des revendications précédentes, caractérisé en ce que le centre de mise au point C est déterminé grâce au capteur de référence et en ce que la distance au point de convergence est déterminée par un dispositif de télémétrie associé au système d'auto- focalisation dudit capteur de référence.11. Method according to one of the preceding claims, characterized in that the focus center C is determined by the reference sensor and in that the distance to the point of convergence is determined by a telemetry device associated with the car system. focusing of said reference sensor.
12. Procédé selon une des revendications précédentes, caractérisé en ce que lesdits capteurs (Oi, O'i) ainsi que leurs objectifs éventuels sont actionnés par des actionneurs et le procédé comprend la détermination des coordonnées de chacun des centres optiques des capteurs électroniques (Oi, O'i) dans le système de coordonnées dans lequel fonctionne les actionneurs puis la transmission aux actionneurs des commandes correspondantes.12. Method according to one of the preceding claims, characterized in that said sensors (Oi, O'i) and their possible objectives are actuated by actuators and the method comprises determining the coordinates of each of the optical centers of the electronic sensors (Oi , O'i) in the coordinate system in which the actuators operate and then the transmission to the actuators of the corresponding commands.
13. Dispositif pour la mise en œuvre du procédé selon une des revendications précédentes caractérisé en ce qu'il comprend :13. Device for implementing the method according to one of the preceding claims, characterized in that it comprises:
une structure de support fixe équipé de moyen de réglages de l'horizontalité, cette structure support comprenant « au moins des moyens de répartitions d'une pluralité de capteurs optoélectroniques (Oi, O'i) selon une ligne de façon que les angles formés entre les axes optiques de deux capteurs consécutifs soient égaux et convergents vers un point C choisi sur la zone de la scène à capter et sur lequel une mise au point d'au moins l'un des capteurs dénommés capteur de référence a été effectuée » ;a fixed support structure equipped with horizontal adjustment means, said support structure comprising "at least means for distributing a plurality of optoelectronic sensors (Oi, O'i) in a line such that the angles formed between the optical axes of two consecutive sensors are equal and convergent towards a point C chosen on the area of the scene to be captured and on which a focus of at least one of the sensors referred to as the reference sensor has been performed ";
des moyens de déclenchement de la capture en valeur de gris de façon ordonnée et synchronisée de chaque image brute produite par les N capteurs électronique (Oi) pour former un train d'image brute mémorisée ;means for triggering grayscale capture in an orderly and synchronized manner of each raw image produced by the N electronic sensors (Oi) to form a stored raw image stream;
des moyens de cadrage de la partie utile de chaque image brute d'un train ;means for framing the useful part of each raw image of a train;
des moyens d'extraction de cette partie utile qui constitue alors une image élémentaireextraction means of this useful part which then constitutes an elementary image
des moyens de transformations de l'image noir et blanc en une image finale couleur par une transformation de »Bayer ».means for transforming the black and white image into a final color image by a "Bayer" transformation.
14. Dispositif selon la revendication 13 caractérisé en ce qu'il comprend des moyens d'assemblage des images d'un train d'images aux fins de créer une image finale correspondant au type d'écran cible pour produire un effet relief réalisé par des moyens de répartition des images élémentaires selon une grille de répartition spécifique à un type d'écran auto stéréoscopique déterminé de manière à obtenir une image finale.14. Device according to claim 13 characterized in that it comprises means for assembling images of a stream of images for the purpose of creating a final image corresponding to the target screen type to produce a relief effect made by means of distribution of the elementary images according to a distribution grid specific to a type of auto stereoscopic screen determined to obtain a final image.
15. Dispositif selon la revendication 13 ou 14, caractérisé en ce que les moyens de répartition des capteurs optoélectroniques sont des actionneurs, actionnant le positionnement des capteurs ainsi que les objectifs éventuels de ces capteurs, ces actionneurs étant commandés par une unité centrale, une unité de calcul déterminant les coordonnées de chacun des centres optiques des capteurs optoélectroniques dans le système de coordonnée dans lequel fonctionne les actionneurs puis transmettant aux actionneurs les commandes correspondantes.15. Device according to claim 13 or 14, characterized in that the distribution means of the optoelectronic sensors are actuators, actuating the positioning of the sensors and the possible objectives of these sensors, these actuators being controlled by a central unit, a unit calculation method determining the coordinates of each of the optical centers of the optoelectronic sensors in the coordinate system in which the actuators operate and then transmitting the corresponding commands to the actuators.
16. Dispositif selon une des revendications 13 à 15, caractérisé en ce que l'unité de calcul commande la synchronisation des capteurs optoélectroniques par un signal de synchronisation commun avec définition pour chaque prise de vue d'un train d'image du temps absolu de l'occurrence dudit signal de synchronisation, et d'un temps de pose identique pour chaque capteur optoélectronique (Oi).16. Device according to one of claims 13 to 15, characterized in that the computation unit controls the synchronization of the optoelectronic sensors by a common synchronization signal with definition for each shot of an image stream of the absolute time of the occurrence of said synchronization signal, and an identical exposure time for each optoelectronic sensor (Oi).
17. Dispositif selon une des revendications 13 à 16, caractérisé en ce que l'unité de calcul effectue le traitement numérique des images brutes, traitement qui comprend un positionnement virtuel des images en recouvrement, l'affinage de ce positionnement au moyen d'un système de reconnaissance de forme associé à un ou plusieurs repères ajoutés ou déterminés dans la scène à l'intérieur ou à l'extérieur de l'image utile.17. Device according to one of claims 13 to 16, characterized in that the computing unit performs the digital processing of raw images, processing which comprises a virtual positioning of the overlapping images, the refinement of this positioning by means of a shape recognition system associated with one or more markers added or determined in the scene inside or outside the useful image.
18. Dispositif selon la revendication 13, caractérisé en ce que la structure support fixe comprend une poutrelle rigide (1) définissant le premier axe OX et le long de laquelle les structures mobiles (Ci) sont montées coulissantes, cette poutrelle (1) étant équipée de systèmes micrométriques de transport permettant de positionner très précisément et indépendamment chacune des structures mobiles (Ci).18. Device according to claim 13, characterized in that the fixed support structure comprises a rigid beam (1) defining the first axis OX and along which the movable structures (Ci) are slidably mounted, this beam (1) being equipped of systems micrometric transport for positioning very precisely and independently each of the mobile structures (Ci).
19. Dispositif selon la revendication 18, caractérisé en ce que les susdites structures mobiles (Ci) comprennent des moyens de guidage de bras rigide (Bi) qui constituent les susdits éléments de support, selon le deuxième axe OY, chacun de ces bras (Bi) étant muni d'un système micrométrique de transport permettant de le faire coulisser le long de l'axe OY indépendamment des autres bras.19. Device according to claim 18, characterized in that the said movable structures (Ci) comprise rigid arm guide means (Bi) which constitute the said support elements, along the second axis OY, each of these arms (Bi). ) being provided with a micrometric transport system allowing it to slide along the axis OY independently of the other arms.
20. Dispositif selon la revendication 19, caractérisé en ce que chacun des bras (Bi) comprend un système micrométrique de rotation autour d'un axe vertical sur lequel est fixé un système de prises de vues dont le capteur optoélectronique (Oi) est centré sur l'axe de rotation (Zj).20. Device according to claim 19, characterized in that each of the arms (Bi) comprises a micrometric system of rotation about a vertical axis on which is fixed a camera system whose optoelectronic sensor (Oi) is centered on the axis of rotation (Zj).
21. Dispositif selon l'une des revendications 13 à 21 , caractérisé en ce que les susdits capteurs optoélectroniques (Oi, O'i) sont de taille réduite et comprennent chacun une optique comprenant une ou plusieurs microlentilles reliée à une cellule optoélectronique par l'intermédiaire d'un guide de lumière 21. Device according to one of claims 13 to 21, characterized in that the said optoelectronic sensors (Oi, O'i) are of reduced size and each comprise an optics comprising one or more microlenses connected to an optoelectronic cell by the intermediate of a light guide
PCT/FR2007/002002 2006-12-06 2007-12-05 Method and device for taking shots using a plurality of optoelectronic sensors WO2008081115A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0610634A FR2909778B1 (en) 2006-12-06 2006-12-06 METHOD AND DEVICE FOR PERFORMING SHOTS WITH A PLURALITY OF OPTOELECTRONIC SENSORS
FR0610634 2006-12-06

Publications (2)

Publication Number Publication Date
WO2008081115A2 true WO2008081115A2 (en) 2008-07-10
WO2008081115A3 WO2008081115A3 (en) 2008-09-18

Family

ID=38229941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2007/002002 WO2008081115A2 (en) 2006-12-06 2007-12-05 Method and device for taking shots using a plurality of optoelectronic sensors

Country Status (2)

Country Link
FR (1) FR2909778B1 (en)
WO (1) WO2008081115A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013034065A1 (en) * 2011-09-06 2013-03-14 Smart Edge Investments Limited A system and method for processing a very wide angle image

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012056437A1 (en) 2010-10-29 2012-05-03 École Polytechnique Fédérale De Lausanne (Epfl) Omnidirectional sensor array system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2226923A (en) * 1989-01-06 1990-07-11 Peng Seng Toh Automatic convergent stereoscopic machine vision
FR2699296A1 (en) * 1992-12-14 1994-06-17 Boute Olivier Video camera arrangement for forming three=dimensional images - has three cameras mounted on arm and spaced apart by variable distance and angle of convergence, with automatic objective regulation for depth, centre camera being fixed
EP0888017A2 (en) * 1993-08-26 1998-12-30 Matsushita Electric Industrial Co., Ltd. Stereoscopic image display apparatus and related system
US6748105B1 (en) * 2000-05-31 2004-06-08 Stmicroelectronics, Inc. Method and system for creating anaglyphs
US20050117040A1 (en) * 2003-11-28 2005-06-02 Mega Chips Lsi Solutions Inc. Color interpolation method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2226923A (en) * 1989-01-06 1990-07-11 Peng Seng Toh Automatic convergent stereoscopic machine vision
FR2699296A1 (en) * 1992-12-14 1994-06-17 Boute Olivier Video camera arrangement for forming three=dimensional images - has three cameras mounted on arm and spaced apart by variable distance and angle of convergence, with automatic objective regulation for depth, centre camera being fixed
EP0888017A2 (en) * 1993-08-26 1998-12-30 Matsushita Electric Industrial Co., Ltd. Stereoscopic image display apparatus and related system
US6748105B1 (en) * 2000-05-31 2004-06-08 Stmicroelectronics, Inc. Method and system for creating anaglyphs
US20050117040A1 (en) * 2003-11-28 2005-06-02 Mega Chips Lsi Solutions Inc. Color interpolation method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROSS B: "A practical stereo vision system" COMPUTER VISION AND PATTERN RECOGNITION, 1993. PROCEEDINGS CVPR '93., 1993 IEEE COMPUTER SOCIETY CONFERENCE ON NEW YORK, NY, USA 15-17 JUNE 1993, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, 15 juin 1993 (1993-06-15), pages 148-153, XP010095861 ISBN: 0-8186-3880-X *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013034065A1 (en) * 2011-09-06 2013-03-14 Smart Edge Investments Limited A system and method for processing a very wide angle image

Also Published As

Publication number Publication date
FR2909778A1 (en) 2008-06-13
FR2909778B1 (en) 2009-10-16
WO2008081115A3 (en) 2008-09-18

Similar Documents

Publication Publication Date Title
EP0511101B1 (en) Modelling process for image pick-up system and process and system for making combinations between real pictures and artifical pictures
US7962033B2 (en) Methods and apparatus for full-resolution light-field capture and rendering
JP5871862B2 (en) Image blur based on 3D depth information
US8189089B1 (en) Methods and apparatus for reducing plenoptic camera artifacts
US8315476B1 (en) Super-resolution with the focused plenoptic camera
US5497188A (en) Method for virtualizing an environment
CN104980644B (en) A kind of image pickup method and device
US20200074657A1 (en) Methods and systems for processing an image
JPH1042314A (en) Parallax image input device
EP0605045A1 (en) Image processing method and apparatus for generating one image from adjacent images
WO2007024709A3 (en) Cellular phone camera with three-dimensional imaging function
CN105827922A (en) Image shooting device and shooting method thereof
JP2008061237A (en) Systems and methods for panoramic image construction using small sensor array
FR2984057A1 (en) VIDEO FILM TURNING SYSTEM
JP2007517264A (en) Multidimensional imaging apparatus, system and method
US20100259670A1 (en) Methods and Apparatus for Coordinated Lens and Sensor Motion
EP3473000B1 (en) Image capture method and system using a virtual sensor
WO2008081115A2 (en) Method and device for taking shots using a plurality of optoelectronic sensors
CN104937468B (en) The focus method of image capturing device and image capturing device
EP1676444B1 (en) Method and device for capturing a large-field image and region of interest thereof
CN108513122B (en) Model adjusting method and model generating device based on 3D imaging technology
WO2019183808A1 (en) Control method, control device, imaging system, aircraft and storage medium
EP2406962B1 (en) System and method adapted for capturing a plurality of images for multiscopic restitution with controlled deformation
CN114339157B (en) Multi-camera real-time splicing system and method with adjustable observation area
JP6813936B2 (en) Ray 3D capture camcorders and televisions that move or move televisions, parallel ray filter devices, leveled liquid crystals or optical cells to generate real images formed on the anterior and posterior surfaces of the television. A parallel ray filter having a set of movable lenses including a multifocal soft lens, a method for obtaining the device.

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07871798

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07871798

Country of ref document: EP

Kind code of ref document: A2