WO2014076402A1 - Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques - Google Patents

Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques Download PDF

Info

Publication number
WO2014076402A1
WO2014076402A1 PCT/FR2013/052707 FR2013052707W WO2014076402A1 WO 2014076402 A1 WO2014076402 A1 WO 2014076402A1 FR 2013052707 W FR2013052707 W FR 2013052707W WO 2014076402 A1 WO2014076402 A1 WO 2014076402A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
capture
panoramic
stereoscopic
final
Prior art date
Application number
PCT/FR2013/052707
Other languages
English (en)
Inventor
Richard Ollier
Original Assignee
Giroptic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015542330A priority Critical patent/JP2016503618A/ja
Priority to US14/443,097 priority patent/US20150288864A1/en
Priority to MX2015006121A priority patent/MX355297B/es
Priority to CN201380059682.7A priority patent/CN104782114B/zh
Priority to EP13808073.4A priority patent/EP2920956A1/fr
Priority to BR112015010788A priority patent/BR112015010788A8/pt
Application filed by Giroptic filed Critical Giroptic
Priority to CA2889811A priority patent/CA2889811A1/fr
Priority to AU2013346603A priority patent/AU2013346603B2/en
Publication of WO2014076402A1 publication Critical patent/WO2014076402A1/fr
Priority to IL238622A priority patent/IL238622A0/en
Priority to IN3812DEN2015 priority patent/IN2015DN03812A/en
Priority to HK16100452.3A priority patent/HK1212835A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Definitions

  • the present invention relates to a method and a device for capturing and constructing a stream of panoramic or stereoscopic images.
  • This stream of panoramic or stereoscopic images may be recorded, transmitted or broadcast in the form of a film or processed to extract from the stream one or more static panoramic or stereoscopic images.
  • each image-capture device comprising a video capture sensor.
  • image for example of the CCD or CMOS type, coupled to optical means (objective) for projecting the image of a scene onto the image sensor.
  • optical means objective
  • the optical axes of the image capturing devices are oriented in different directions, and the optical fields of view of the image capturing devices may overlap to cover the entire field of the panoramic image.
  • the international patent application WO 2012/032236 discloses an example of a particularly compact optical device, comprising three image-capture devices, designated "optical groups", and allowing one-shot capture of panoramic images according to a field of view. 360 °.
  • panoramic image are to be taken in their broadest sense, and are not limited to an image captured in a 360 ° field, but more broadly cover an image constructed in a wider field than optical field covered by each image capture device used for capturing the panoramic image.
  • each image capture device acquires an image of a scene, in the form of a matrix of pixels, in a limited optical field, and the images are then transmitted to external digital processing means which enable to digitally "stitch" the images at their overlapping areas, so as to produce a final panoramic image.
  • Each pixel array representing an image captured by an image capture device results from a two-dimensional projection of the 3D surface of a sphere portion "viewed" by the image capture device. This two-dimensional projection depends on each image-capturing device, and in particular on the optical characteristics of the objective of the image-capture device, and on the spatial orientation ("Yaw”, “Pictch” and “Roll”). ) of the image capturing device when capturing the image.
  • the digital recolling of images to form a panoramic image is, for example, performed by juxtaposing the images delivered by the image sensors and digitally digitally stitching the images at their image level. overlap area so as to obtain a final panoramic image.
  • the implementation of this digital recollement does not change the two-dimensional projection of the pixels, and the pixels in the final panoramic image retain the two-dimensional projection of the image sensor from which they are derived.
  • This digital recollement can be performed automatically, as described for example in the international patent application WO 201 1/037964 or in the US patent application US 2009/0058988, or semi-automatically with manual assistance, such as described for example in the international patent application WO2010 / 01476.
  • the abovementioned techniques for capturing and constructing panoramic or stereoscopic images have the disadvantage of rendering a panoramic or stereoscopic image from images acquired by sensors which have different and independent optical means, which generates in the image final digital (panoramic or stereoscopic) homogeneity problems, especially with regard to colorimetry, white balance, exposure time and automatic gain.
  • the abovementioned digital recollection of the images requires computation time which is detrimental to the capture and the real-time rendering of a stream of panoramic images in the form of a film.
  • the present invention aims generally to propose a new technical solution for capturing and constructing an image stream panoramic or stereoscopic images by one or more image capturing devices.
  • the new solution of the invention makes it possible to accelerate the digital processing times, and thus facilitates the capture and construction in real time of a flow of panoramic or stereoscopic images.
  • the new solution of the invention makes it possible to overcome the aforementioned disadvantage resulting from the implementation of sensors which have different and independent optical means, and makes it possible in particular to obtain more easily panoramic or stereoscopic images of better quality.
  • the stream of panoramic or stereoscopic images may for example be recorded, transmitted or broadcast in the form of a film, or be processed later to extract from this stream one or more static panoramic or stereoscopic images.
  • the invention thus has for its first object a method for capturing and constructing a flow of panoramic or stereoscopic images of a scene, during which it is realized by means of at least one device for capturing images (C 1), several successive operations for capturing at least two different images of the scene, in the form of pixels, with or without overlap between the images, the successive capture operations being clocked at a frequency ( F) which defines a capture time (T) between the start of two successive capture operations; for each capture operation, (a) digitally treating the pixels of each captured image so as to form a final panoramic or stereoscopic image from said pixels with a processing time less than or equal to said capture time (T), and (b) generating, for a duration less than or equal to said capture time (T), a final panoramic or stereoscopic image previously formed; the digital processing (a) of each pixel of each captured image consists of at least keeping or abandoning said pixel, and in the case where the pixel is preserved, assigning to it one or more positions in the
  • Another object of the invention is a device for capturing and constructing a stream of panoramic or stereoscopic images.
  • This device comprises one or more image capture devices (C 1), which allow the capture of at least two different images in the form of a set of pixels, and electronic processing means which make it possible to construct an image panoramic or stereoscopic from the captured images;
  • the electronic processing means make it possible, by means of the one or more image-capture devices, to carry out several successive operations of capturing at least two different images of a scene, in the form of pixels, with or without overlap between the images, and with a timing of successive capture operations at a frequency (F) which defines a capture time (T) between the start of two successive capture operations;
  • the electronic processing means are capable, for each capture operation, of (a) numerically processing the pixels of each captured image so as to form a panoramic or stereoscopic final image from said pixels with a treatment duration less than or equal to said capture duration (T), and (b) generating, for a duration less than or equal to said capture duration
  • the invention also relates to a method for capturing and constructing a stream of panoramic or stereoscopic images of a scene, characterized in that it is realized by means of at least one device for capturing images (C 1), several successive operations for capturing at least two different images of the scene, in the form of pixels, with or without overlap between the images, in that during the image capture operations the pixels of the captured images are digitally processed to form panoramic or stereoscopic images, and a stream of panoramic or stereoscopic images is generated, and in that the digital processing of each pixel of each captured image consists at least of conserving or to abandon said pixel, and in the case where the pixel is preserved, to assign to it one or more positions in the panoramic or stereoscopic final image with a pre-weighting coefficient defined (W) for each position in the panoramic or stereoscopic final image.
  • C 1 device for capturing images
  • W pre-weighting coefficient defined
  • the invention also relates to a device for capturing and constructing a stream of panoramic or stereoscopic images, characterized in that it comprises one or more image capture devices (C 1) , which allow the capture of at least two different images in the form of a set of pixels, and electronic processing means which make it possible, by means of the one or more image-capture devices, to carry out several successive capture operations at least two different images of a scene, in the form of pixels, with or without overlap between the images, and which are capable, during the image capture operations, of digitally processing the pixels of the captured images in order to forming panoramic or stereoscopic images, and generating a stream of panoramic or stereoscopic images, and in that the digital processing of each pixel of each captured image consists of at least to conserve or abandoning said pixel, and in the case where the pixel is preserved, assigning to it one or more positions in the final panoramic or stereoscopic image with a predefined weighting coefficient (W) for each position in the final panoramic image or stereoscopic images,
  • W weighting
  • the subject of the invention is also a method for capturing and constructing a flow of panoramic or stereoscopic images of a scene, during which it is realized by means of at least one capture device.
  • images several successive operations of capturing at least two different images of the scene, in the form of pixels, with or without overlapping between the images; each image capture device allows the capture of an image in the form of a set of pixels and outputs for each captured image a stream of pixels synchronized at least by a first clock signal (H_captor).
  • H_captor first clock signal
  • Each pixel of each captured image is digitally processed so as to generate a final panoramic or stereoscopic image from said pixels in the form of a stream of pixels synchronized by at least a second clock signal (H).
  • the invention also relates to a device for capturing and constructing a stream of panoramic or stereoscopic images, said device comprising one or more image-capture devices that make it possible to carry out several successive operations of capturing at least two different images of a scene, in the form of pixels, with or without overlapping between the images, and electronic processing means which make it possible to construct a stream of panoramic or stereoscopic images from the captured images .
  • Each image capture device is capable of outputting, for each captured image, a stream of pixels synchronized at least by a first clock signal (H_captor).
  • the electronic processing means is adapted to digitally process each pixel of each captured image, thereby generating a panoramic or stereoscopic final image from said pixels in the form of a stream of pixels. synchronized by at least a second clock signal (H).
  • the invention also relates to a method for capturing and constructing at least one panoramic or stereoscopic image of a scene, in which at least two different images of the scene are captured by means of at least one image capture device (C 1), with or without overlap between the images, each image capture device for capturing an image as a set of pixels and outputting for each captured image a stream of pixels; the flux of pixels of each captured image is digitally processed so as to form at least one panoramic or stereoscopic final image from said pixels, and the digital processing of each pixel of the pixel stream corresponding to each captured image consists at least of conserving or to abandon said pixel, and in the case where the pixel is preserved, to assign to it one or more positions in the panoramic or stereoscopic final image with a predefined weighting coefficient (W) for each position in the panoramic or stereoscopic final image .
  • W weighting coefficient
  • the invention also relates to a device for capturing and constructing at least one panoramic or stereoscopic image, said device comprising one or more image capture devices (C 1) that enable the capture of images. at least two different images, with or without overlap between the images, each image sensor (C 1) being able to deliver a flux of pixels for each captured image, and electronic processing means which make it possible to construct, during the image capture operations, a panoramic or stereoscopic image from the pixel streams of each captured image.
  • image capture devices (C 1) that enable the capture of images. at least two different images, with or without overlap between the images
  • each image sensor (C 1) being able to deliver a flux of pixels for each captured image
  • electronic processing means which make it possible to construct, during the image capture operations, a panoramic or stereoscopic image from the pixel streams of each captured image.
  • the electronic processing means is adapted to process each pixel of the pixel stream of each captured image by retaining or discarding said pixel, and in the case where the pixel is retained, assigning it one or more different positions in the final image panoramic or stereoscopic with a coefficient of predefined weighting (W) for each position in the panoramic or stereoscopic final image.
  • W predefined weighting
  • FIG. 1 is a block diagram of an example of an electronic architecture of a device of the invention.
  • FIG. 2 is an example of a timing diagram of the main electrical signals of the device of FIG. 1.
  • FIG. 3 schematizes an example of an optical field angle / pixel match of the capture zone of a "fisheye" objective.
  • FIG. 4 is an example of remapping a pixel array captured by an image sensor in a final panoramic image portion.
  • FIG. 5 illustrates an example of geometric correspondence between a pixel P i; j of the final panoramic image and the pixel matrix captured by an image sensor.
  • FIGS. 6A to 61 schematize the different cases of remapping figures in the particular case of a RAW type image.
  • FIGS. 7A to 7D illustrate various examples of remapping a line of a sensor on a panoramic image.
  • FIG. 8 illustrates a particular example of remapping result of three images to form a final panoramic image.
  • FIG. 1 shows a particular example of device 1 according to the invention, which enables the capture and construction of panoramic images.
  • this device 1 has three image capturing devices Ci, C2, C3, for example of the CCD or CMOS type, which each allow the capture of an image each in the form of a matrix of pixels, and electronic processing means 10, which allow to construct a panoramic image from the pixels delivered by the image sensors Ci, C2, C3.
  • each image-capturing device Ci, C2, C3 comprises an image sensor, for example of the CCD or CMOS type, coupled to optical means (objective) comprising one or more lenses aligned with the image sensor. images, and to focus the light rays on the image sensor.
  • optical axes of the image capturing devices Ci, C2, C3 are oriented in different directions, and their optical fields cover the entire field of the final panoramic image, preferably with an overlap of the optical fields.
  • panoramic image should be taken in their broadest sense, and are not limited to a panoramic image constructed in a 360 ° field, but more generally cover an image constructed in a larger extended field. to the optical field covered by each image capture device used for image capture.
  • Ci, C2, C3 may for example constitute the three optical groups of the optical device with a small footprint, which is described in the international patent application WO 2012/032236, and which allows one-shot capture of panoramic images.
  • the device 1 of the invention is portable equipment, so that it can easily be transported and used in various places.
  • the digital processing means 10 deliver a base clock H10, which is generated for example from a quartz, and which is used to clock the operation of the image sensor of each capture device of images C1, C2, C3 .
  • the image sensor of each image capture device C1, C2, C3 delivers for each captured image a stream of pixels on a data bus "Pixels", synchronized by a first clock signal (“H_captor”) , which is generated by each image sensor from the base clock signal H10, and by two signals "Line Valid” and “Frame Valid".
  • the clock signals (“H_capteur) that are generated by each image capture device Ci, C2, C3 more particularly have the same frequency.
  • the electronic processing means 10 make it possible to construct a panoramic image from the pixels delivered by the image sensors of the image-capturing devices Ci, C2, C3, and in a manner comparable to the image-capturing devices Ci, C2 , C3 , output on a data bus "Pixels", a stream of pixels representative of the final panoramic image
  • the size of the "Pixel" data bus of the electronic processing means 10 may be the same or different from that of the "Pixel" data buses of the image capturing devices Ci, C2, C3, and is preferably greater.
  • the "Pixel" data buses of the image capturing devices Ci, C2, C3 are on eight bits and the "Pixels" data bus of the electronic processing means 10 is on 16 bits.
  • the stream of pixels generated by the electronic processing means 10 is synchronized by a second clock signal ("H"), which is generated by the electronic processing means 10 from the base clock signal, and by two signals "Line Valid And “Frame Valid” which are generated by the electronic processing means 10.
  • H second clock signal
  • FIG. 2 illustrates a particular and nonlimiting example of the invention, of synchronizing the aforementioned signals of a sensor.
  • the data transiting on the data buses "Pixels" are not represented.
  • the rising edge of the "Frame Valid" signal of each capture device Ci, C2 , C3 synchronizes the start of the transmission, on the "Pixel" data bus of each capture device Ci, C2 , C3 , pixels of an image captured by the capture device Ci, C2 , C3.
  • the falling edge of the signal "Frame Valid" of each capture device Ci, C2 , C3 marks the end of the transmission of the pixels, on the data bus "Pixels", of an image captured by said capture device Ci, C2 , C3.
  • These rising (respectively downstream) fronts of the "Frame Valid" signals delivered by the capture devices Ci, C2 , C3 are slightly offset temporally.
  • the "Line Valid" signal of each capture device Ci, C2 , C3 is synchronized on each rising edge of the signal “Frame Valid” and marks the beginning of the transmission of a line of pixels of the image. Each falling edge of the "Line Valid” signal marks the end of the transmission of a pixel line of the image.
  • the pixels of each image transmitted on each data bus “Pixels" of the three image capturing devices Ci, C2, C3 are sampled in parallel by the electronic processing means 10, respectively by means of each clock signal "H_capteur” delivered by each image capturing device Ci, C2 , C3.
  • the rising edge of the "Frame Valid" signal delivered by the electronic processing means 10 synchronises the start of the transmission, on the "Pixel" data bus of the electronic processing means 10, of an image final panoramic camera constructed from the pixels delivered by the image capturing devices Ci, C2 , C3 .
  • This rising edge is generated automatically, by the electronic processing means 10, from the rising edges of the Frame Valid signals delivered by the image capturing devices Ci, C2 , C3, more particularly by being generated on detection of the rising edge. generated lastly, that is to say in the particular example of FIG. 2, the rising edge of the "Frame Valid" signal delivered by the image-capturing device Ci.
  • the falling edge of the "Frame Valid" signal delivered by the electronic processing means 10 synchronizes the end of the transmission, on the data bus "Pixels" of the electronic processing means 10, of a final panoramic image constructed from the pixels delivered by the image capturing devices Ci, C2 , C3 .
  • the "Line Valid" signal delivered by the electronic processing means 10 is synchronized on each rising edge of the "Frame Valid” signal delivered by the electronic processing means 10, and marks the beginning of the transmission of a line of pixels of FIG. panoramic image. Each falling edge of the "Line Valid" signal delivered by the electronic processing means 10 marks the end of the transmission of a line of pixels of the panoramic image.
  • the writing of the pixels of each panoramic image on the data bus "Pixels" of the electronic processing means 10 is synchronized by the clock signal "H", which is generated by the electronic processing means 10, and which can be used by another external electronic device (for example the device 11) for reading these pixels on said data bus.
  • the clock signal "H” delivered by the electronic processing means 10 may be synchronous or asynchronous with the clock signals "H_capteur” delivered by the image sensors Ci, C2, C3 .
  • the frequency of the clock signal “H” may be equal to or different from the frequency of the clock signals "H_capteur” delivered by the image sensors Ci, C2, C3 .
  • the frequency of the clock signal “H” is greater than the frequency of the clock signals "H_capteur” delivered by the image sensors Ci, C2, C3 ., As illustrated in FIG. 2.
  • the time interval (t) is the time interval separating two successive rising edges of the image.
  • "Frame Valid" signal from the image capture device Ci that is to say the image capture device that first transmits the pixels on its data bus "Pixels”.
  • the electronic processing means 10 During said time interval (t) separating the start of two successive capture operations, the electronic processing means 10:
  • the flow of successive panoramic images is generated in real time by the electronic processing means at the same rate as the successive operations of image capture.
  • the capture time T of each time interval (t) between two successive image capture operations is 40ms, which corresponds to a capture frequency F of 25 Hz, and the electronic processing means also generate 25 panoramic images per second (a panoramic image every 40 ms).
  • the capture time T (duration of each time interval (t) between two successive operations of capturing images) will depend on the technology of the image capture devices Ci, C2, C3. In practice, the capture time T will preferably be less than or equal to 1 s, and more preferably still less than or equal to 100 ms.
  • the final panoramic image generated during each time interval (t), which separates the start of two successive capture operations is derived from the digital processing (a) of the pixels made during this same time interval. (t).
  • each successive panoramic image is generated in real time and substantially simultaneously with the capture of the images that were used to build this panoramic image, and before the next capture operation of the images that will be used to build the panoramic image. next.
  • the final image generated during each time interval (t), which separates the start of two successive capture operations is derived from the digital processing (a) of the pixels made during a time interval. time (t) earlier, and for example the time interval (t) previous.
  • each successive panoramic image is generated in real time and with a slight time shift with respect to the capture of the images that were used to build this panoramic image.
  • each panoramic image can start (rising edge of the "Frame Valid” signal delivered by the electronic processing means 10) during a given capture cycle (N), and terminate (falling edge of the signal " Frame Valid "delivered by the electronic processing means 10) during the next capture cycle (N + 1).
  • the duration between the rising edge and the next falling edge of the "Frame Valid” signal delivered by the electronic processing means 10 is less than or equal to the capture time T.
  • the pixel processing (a) performed for each capture operation may be temporally shifted with respect to the capture cycle.
  • the pixel processing time of all the images captured during a capture operation to form a final panoramic image is less than or equal to the capture time T.
  • the processing time (a) ) pixels realized to form a final panoramic image from images captured during a capture cycle N can be achieved by the electronic processing means 10 during a subsequent capture cycle, for example the N + capture cycle 1.
  • the electronic processing means 10 constitute a programmed electronic data processing unit which may, regardless of the invention, be implemented by means of any known type of electronic circuit or set of electronic circuits, such as for example under the form of one or more programmable circuits of the FPGA type and / or of one or more ASIC-type specific circuits, or of a programmable processing unit whose electronic architecture implements a microcontroller or a microprocessor.
  • the flow of successive panoramic images delivered in the form of a set of pixels by the electronic processing means 10 is processed by additional electronic processing means 1 1, which
  • they include a DSP-type circuit, which makes it possible, for example, to record in a memory and / or to display in real time on a screen a dynamic stream of panoramic images in the form of a film.
  • the additional electronic processing means 11 may be designed to process the flow of successive panoramic images delivered by the electronic processing means 10, by extracting from this stream one or more panoramic images.
  • each image capturing device Ci, C2, C3 comprises objective optical means "fisheye”, associated with a capture matrix, and each captured image is characterized by three spatial orientation information, which are commonly called “Yaw , "Pitch” and “Roll”, and which are specific to the spatial orientation of said image capturing device when capturing the image.
  • a "fisheye" lens has a useful spherical center detection surface (gray areas and white surface in FIG. 3), and the useful pixels of the image captured by the image sensor result known per se a two-dimensional projection of a portion ( Figure 3 - 864 pixels on 900 pixels) only of the detection surface of the image capture device.
  • each matrix of pixels representing an image captured by an image capture device Ci, C2, or C3 results from a two-dimensional projection of the 3D surface of a sphere part "seen” by the image capturing device Ci, C2, or C3.
  • This two-dimensional projection depends on each image-capturing device Ci, C2, or C3, and in particular optical means of the image-capturing device Ci, C2, or C3, and spatial orientation ("Yaw”). , "Pictch” and “Roll") of the image capturing device Ci, C2, or C3 when capturing the image.
  • FIG. 4 shows a matrix of pixels corresponding to an image captured by an image capture device C, (for example an image capture device Ci, C2 or C3 of FIG. 1).
  • the black pixels correspond to the pixels located outside the useful circular central part of the "fisheye” objective of the image capture device C 1.
  • Each pixel of this image captured by means of the image capture device C results from an operation called “mapping” or “mapping”, which corresponds to the aforementioned two-dimensional projection of the 3D surface of a portion of sphere “seen” by the "fisheye” lens of the image capture device C , and which is specific of this image sensor C ,.
  • the useful pixels of each image captured by each sensor C are remapped in the final panoramic image, with a portion at least one of said pixels that is remapped in the final panoramic image by preferably undergoing a new projection in two dimensions, which is different from their two-dimensional projection in the image of the image-capturing device C, from which they originate .
  • a single panoramic virtual image capture device is digitally reconstructed from the image capturing devices Ci, C2, or C3.
  • This remapping of the pixels is done automatically, by a processing (a) of each pixel of each captured image which consists in keeping or abandoning said pixel, and in the case where the pixel is conserved, to assign to it one or more positions in the image. final panoramic image with a predefined weighting coefficient for each position in the final panoramic image.
  • FIG. 4 only a portion of the final panoramic image is represented, said portion corresponding to the panoramic image portion resulting from the remapping of the pixels of an image captured by a single image-capture device C 1 .
  • the pixel Pi s situated in the first line of the image captured by the image capture device C, is by example remapped in the final panoramic image in the form of four pixels ⁇ , 9, ⁇ , ⁇ , Pi, n, Pi, 12 in four different positions adjacent in the first line of the final panoramic image, which results in a stretch of this pixel from the start image into the final panoramic image.
  • the mapping of this pixel Pi, s in the final panoramic image thus corresponds to a two-dimensional projection of this pixel in the final panoramic image which is different from the two-dimensional projection of this pixel in the captured initial image. by the image capture device.
  • This stretching of the pixel in the final panoramic image may, for example, advantageously be implemented to compensate in whole or in part for the optical deformations of the "fisheye" objective of the image capture device in the vicinity of its upper edge.
  • the same stretch can advantageously be implemented for the pixels in the vicinity of the lower edge.
  • the central pixel Ps, 8 of the image captured by the image capture device C is remapped identically in the final panoramic image in the form of a single pixel Pn, n, the objective "Fisheye" of the image capture device causing no or almost no optical distortion at its center.
  • the pixel Pio, 3 located in the lower left part of the image captured by the sensor C is for example remapped in the final panoramic image in the form of three pixels Pi 7 , 4 , Pis, 4, Pis, 5, in three different adjacent positions on two adjacent lines of the final panoramic image, which results in an enlargement in both directions of this pixel Pio, 3 of the starting image in the final panoramic image.
  • the mapping of this pixel Pio, 3 in the final panoramic image thus corresponds to a two-dimensional projection of this pixel in the final panoramic image which is different from the two-dimensional projection of this pixel in the captured initial image. by the image capture device.
  • a pixel may not be retained and not be included in the final panoramic image; for example, pixels in an area of overlapping images of at least two image capture devices.
  • an overlapping zone of the image capture devices for example, only one pixel of one of the sensors will be retained, the other corresponding pixels of the other sensors not being retained.
  • this affection is preferably performed with a predefined weighting coefficient of between 0 and 100%, for each position in the final panoramic image, that is to say for each pixel the panoramic final image.
  • This weighting and the reasons for this weighting will be better understood in the light of Figure 5.
  • each final pixel P i of the final panoramic image does not in practice correspond to the center of a pixel of the image captured by an image capture device C 1, but corresponds geometrically to a particular actual position P in the image captured by an image capture device C 1, which in the particular example shown diagrammatically in FIG. 4 is off-center near the lower and left corner of the pixel Pi of the image captured by the image capture device C ,.
  • Pj pixel j will be formed in this particular example not only from the pixel P2, but also the neighboring pixels Pi, P 3, P 4, by weighting the contribution of each pixel Pi, P2, P3, P4, e.g.
  • the pixel Pi is for example 25% of the pixel Pi, 35% of the pixel P2, 15% of the pixel P 3 and 5% of the pixel P.
  • the invention applies to any type of image format: RAW, YUV and its RGB derivatives ... In the case of RGB images whose color reconstruction has already been performed (information R, G, B known for each pixel of the image), the weighting referred to above will be made from adjacent pixels.
  • FIGS. 6A to 61 show the different cases of correspondence between a pixel Pj j of the final panoramic image and a matrix of pixels of the image captured by an image capture device d in the case of a coding of the RAW pixels.
  • the letters R, V, B respectively identify a pixel Red, Green, Blue.
  • W is the weight in the final image of the pixel R,, V, or B, of the initial image captured by the image capture device.
  • FIG. 6A corresponds to the case where the center of a pixel P ,,, red of the final panoramic image corresponds to a real position P, in the image captured by an image-capturing device C , which is on a blue pixel (B) of the image captured by an image capture device C 1.
  • said red pixel P ,,, of the final panoramic image will be constituted from the red pixels R 1, R 2, R 3, R 4 adjacent to said blue pixel B, respectively by applying weighting coefficients W 1 , W 2 , W 3 , W.
  • the values of these weighting coefficients W 1, W 2, W 3, W depend for example the center of gravity of the position P relative to the center pixel of each Ri, R2, R3, R 4. For example, if the position P is located at the center of the pixel P, in this case all the weighting coefficients W1, W 2, W 3, W 4 will be equal to 25%.
  • FIG. 6B corresponds to the case where the center of a pixel P ,,, blue of the final panoramic image corresponds to a real position P in the image captured by a sensor C, which is on a red pixel (R) of the image captured by an image capture device C 1.
  • FIG. 6C corresponds to the case where the center of a green pixel P ,,, of the final panoramic image corresponds to a real position P in the image captured by a sensor C, which is on a blue pixel (B) of the image captured by a C, image capture device.
  • FIG. 6D corresponds to the case where the center of a green pixel Pjj of the final panoramic image corresponds to a real position P in the image captured by a sensor C, which is on a red pixel (R) of the image captured by a C, image capture device.
  • FIG. 6E corresponds to the case where the center of a green pixel P ,,, of the final panoramic image corresponds to a real position P in the image captured by a sensor C, which is on a green pixel (V 5 ) of the image captured by a C, image capture device.
  • FIG. 6F corresponds to the case where the center of a pixel P ,,, red of the final panoramic image corresponds to a real position P in the image captured by a sensor C, which is on a green pixel (V) of the image captured by a C, image capture device.
  • FIG. 6G corresponds to the case where the center of a pixel P ,,, blue of the final panoramic image corresponds to a real position P in the image captured by a sensor C, which is on a green pixel (V) of the image captured by a C, image capture device.
  • FIG. 6H corresponds to the case where the center of a pixel P ,,, red of the final panoramic image corresponds to a real position P in the image captured by an image capture device C, which is on a pixel red (R 5 ) of the image captured by an image capture device C ,.
  • FIG. 61 corresponds to the case where the center of a pixel P ,,, blue of the final panoramic image corresponds to a real position P in the image captured by a sensor C, which is on a blue pixel (B 5 ) of the image captured by a C, image capture device.
  • the remapping process in the final panoramic image of each pixel of the image captured by an image capture device C consists in keeping or abandoning said image.
  • pixel and in the case where the pixel is preserved, to assign to it one or more different positions in the final panoramic or stereoscopic image with a predefined weighting coefficient for each position (i.e. for each pixel) in the final panoramic image.
  • the notion of "position" in the panoramic final image is confused with the notion of "pixel" in the final panoramic image
  • the distortions of each lens of each image pickup device Q can be corrected at least in part in the final image.
  • the additional electronic processing means 11 may, for example, implement known image processing algorithms (in particular algorithms for white balance, time-of-exposure management and gain management) on the final panoramic image. delivered by the electronic processing means 10, which makes it possible, if necessary, to obtain a more homogeneous final panoramic image, in particular as regards the colorimetry, the white balance, the exposure time and the gain, compared to a implementing these image processing algorithms on each image from the image capturing devices Ci, C2, C3, before construction of the panoramic image.
  • known image processing algorithms in particular algorithms for white balance, time-of-exposure management and gain management
  • FIGS. 7A to 7D show particular examples of remapping the pixels of a line L present in the starting image of an objective "Fisheye” to account for the optical distortion of the "fisheye” lens and its orientation in space (Yaw, Pitch, Roll).
  • the remapping depends on the position of the line L with respect to the center and the lower and upper edges of the "fisheye” lens (FIGS. 7A, 7B, 7C) or depends on the orientation in the lens space " fisheye "( Figure 7D).
  • FIG. 8 shows a particular example of three images h, h captured respectively by three image sensors Ci, C 2 , C 3 and the final panoramic image (I) resulting from a remapping of the pixels of
  • pixel remapping can be used to construct a final panoramic image by implementing any type of two-dimensional projection different from the two-dimensional projection of the capture devices.
  • Ci, C 2 , C3 for example for the purpose of automatically incorporating special effects into the final panoramic image.
  • This remapping can for example be implemented in the form of a correspondence table of the type of the following one, affecting each pixel ⁇ , ⁇ of each image capture device C, preserved in the final panoramic image, one or more pixels (Px P ano, Y P ano) in the image final panoramic with a weighting coefficient W of the pixel ⁇ , ⁇ in the pixel (Px pan o, Ypano) of the final panoramic image.
  • a correspondence table of the type of the following one, affecting each pixel ⁇ , ⁇ of each image capture device C, preserved in the final panoramic image, one or more pixels (Px P ano, Y P ano) in the image final panoramic with a weighting coefficient W of the pixel ⁇ , ⁇ in the pixel (Px pan o, Ypano) of the final panoramic image.
  • the remapping operation in the final panoramic image of each pixel of each image capture device Ci, C2, C3 is performed automatically by the electronic processing means 10 , from a correspondence table stored in a memory.
  • the calculation of the remapping in the final panoramic image of each pixel of each image capture device Ci, C2, C3 can also be performed automatically by the electronic processing means 10 by means of an algorithm of FIG. calibration and dynamic calculation stored in memory.
  • each pixel (P ⁇ pan o, Y pano) of the panoramic image resulting from the remapping operation is delivered at the output of the electronic processing means 10 ("pixels"), being synchronized by the clock signal "H” delivered by the electronic processing means 10.
  • the clock signal "H” delivered by the electronic processing means 10 may be synchronous or asynchronous with the clock signals "H_capteur” delivered by the image sensors Ci, C2, C3.
  • An advantage of the architecture of FIG. 1 is to allow the additional electronic processing means 11 to "see” the image sensors Ci, C2, C3 and the electronic processing means 10 as a single panoramic virtual sensor.
  • the device of FIG. 1 can advantageously be used to remap the pixels in real time as they are acquired by the electronic processing means 10.
  • the invention is not limited to the implementation of three fixed image capture devices Ci, C2, C3, but can more generally be implemented with at least two fixed image capture devices Ci, C2 .
  • each image capture corresponding to a different orientation and / or different position of the image capture device Ci, C2 , C3 mobile.
  • the capture frequency F is equal to the capture frequency of the image capturing devices Ci, C2, C3.
  • the capture frequency F may be less than the capture frequency of the image capturing devices Ci, C2, C3, the electronic processing means 10 treating for example only one image on m images (m > 2) delivered by each sensor, which corresponds to a frequency of successive capture operations lower than the frequency of the images delivered by the image capturing devices Ci, C2, C3.
  • the invention is not limited to the construction of panoramic images, but can also be applied to the construction of stereoscopic images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)

Abstract

Pour capturer et construire un flux d'images panoramiques ou stéréoscopiques d'une scène, on réalise, au moyen d'au moins un dispositif de capture d'images (C,), plusieurs opérations successives de capture d'au moins deux images différentes de la scène, sous la forme de pixels, avec ou sans chevauchement entre les images, les opérations successives de capture étant cadencées à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives. Pour chaque opération de capture, (a) on traite numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels avec une durée de traitement inférieure ou égale à ladite durée de capture (T), et (b) on génère, sur une durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée. Le traitement numérique (a) de chaque pixel de chaque image capturée consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique.

Description

PROCEDE ET DISPOSITIF DE CAPTURE ET DE CONSTRUCTION D'UN FLUX D'IMAGES PANORAMIQUES OU STEREOSCOPIQUES
Domaine technique
La présente invention concerne un procédé et un dispositif de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques. Ce flux d'images panoramiques ou stéréoscopiques peut être enregistré, transmis ou diffusé sous la forme d'un film ou être traité pour extraire du flux une ou plusieurs images panoramiques ou stéréoscopiques statiques.
Art antérieur
Dans le domaine de la capture dite « one shot » d'images panoramiques, il est connu d'utiliser plusieurs dispositifs de capture d'images, par exemple de type caméras CCD ou CMOS, chaque dispositif de capture d'images comportant un capteur d'image, par exemple de type CCD ou CMOS, couplé à des moyens optiques (objectif) permettant de projeter l'image d'une scène sur le capteur d'image. Les axes optiques des dispositifs de capture d'images sont orientés dans des directions différentes, et les champs de vision optiques des dispositifs de capture d'images peuvent se chevaucher de manière à couvrir tout le champ de l'image panoramique. La demande de brevet internationale WO 2012/032236 divulgue un exemple de dispositif optique particulièrement peu encombrant, comportant trois dispositifs de capture d'images, désignés « groupes optiques », et permettant la capture « one shot » d'images panoramiques selon un champ de 360°.
Dans le présent texte, les termes « image panoramique » doivent être pris dans leur acceptation la plus large, et ne se limitent pas à une image capturée selon un champ de 360°, mais couvrent plus généralement une image construite selon un champ étendu supérieur au champ optique couvert par chaque dispositif de capture d'images utilisé pour la capture de l'image panoramique.
Dans cette technique de capture d'image panoramique, chaque dispositif de capture d'images réalise l'acquisition d'une image d'une scène, sous la forme d'une matrice de pixels, dans un champ optique limité, et les images sont ensuite transmises à des moyens de traitement numérique externes qui permettent de réaliser un recollement (« stitching ») numérique des images au niveau de leurs zones de chevauchement, de manière à produire une image panoramique finale.
Chaque matrice de pixels représentant une image capturée par un dispositif de capture d'images résulte d'une projection en deux dimensions de la surface 3D d'une partie de sphère « vue » par le dispositif de capture d'images. Cette projection en deux dimensions dépend de chaque dispositif de capture d'images, et notamment des caractéristiques optiques de l'objectif du dispositif de capture d'images, et de l'orientation spatiale (« Yaw », « Pictch» et « Roll ») du dispositif de capture d'images lors de la capture de l'image.
Dans l'art antérieur, le recollement numérique d'images pour former une image panoramique est par exemple effectué en juxtaposant les images délivrées par les capteurs d'image et en effectuant numériquement un recollement numérique (« stitching ») des images au niveau de leur zone de recouvrement de manière à obtenir une image panoramique finale. Dans ce cas, la mise en œuvre de ce recollement numérique ne modifie pas la projection en deux dimensions des pixels, et les pixels dans l'image panoramique finale conservent la projection en deux dimensions du capteur d'image dont ils sont issus.
Ce recollement numérique peut être réalisé de manière automatique, tel que décrit par exemple dans la demande de brevet internationale WO 201 1/037964 ou dans la demande de brevet américain US 2009/0058988, ou de manière semi-automatique avec assistance manuelle, tel que décrit par exemple dans la demande de brevet internationale WO2010/01476.
II a également été proposé dans l'article intitulé « Image Alignment and Stitiching : A Tutorial », Richard Szeliski, 26 janvier 2005, des solutions de recollement numérique d'images pour former une image panoramique. Dans cet article, le recollement numérique est réalisé de manière statique sur des images enregistrées, et n'est pas réalisé de manière dynamique, de sorte que les solutions de recollement numérique divulguées dans cet article ne permettent pas de construire un flux dynamique d'images panoramiques, et a fortiori ne permettent pas de construire en temps réel un flux dynamique d'images panoramiques au fur et à mesure de la capture d'images.
Dans le domaine de la capture d'images stéréoscopiques, il est par ailleurs connu de réaliser la capture de deux images planes d'une scène suivie d'un traitement numérique des deux images planes, de manière à réaliser une image stéréoscopique 3D permettant de restituer à l'œil une perception du relief et de la profondeur.
Les techniques susvisées de capture et de construction d'images panoramiques ou stéréoscopiques présentent l'inconvénient de restituer une image panoramique ou stéréoscopique à partir d'images acquises par des capteurs qui ont des moyens optiques différents et indépendants, ce qui engendre dans l'image numérique finale (panoramique ou stéréoscopique) des problèmes d'homogénéité, notamment en ce qui concerne la colorimétrie, la balance des blancs, le temps d'exposition et le gain automatique.
Egalement, le recollement numérique susvisé des images nécessite du temps de calcul qui est préjudiciable à la capture et à la restitution en temps réel d'un flux d'images panoramiques sous la forme d'un film.
Dans la demande de brevet US 2009/0058988, afin d'améliorer les temps de traitement et permettre une capture d'image panoramique avec recollement numérique en temps réel, il est par exemple proposé une solution de recollement numérique basée sur un mappage réalisé à partir d'images basse résolution.
Objectif de l'invention
La présente invention vise d'une manière générale à proposer une nouvelle solution technique de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques au moyen d'un ou plusieurs dispositifs de capture d'images.
Plus particulièrement, selon un premier aspect plus particulier, la nouvelle solution de l'invention permet d'accélérer les temps de traitement numérique, et facilite par conséquent la capture et la construction en temps réel d'un flux d'images panoramiques ou stéréoscopiques.
Plus particulièrement, selon un autre aspect plus particulier, la nouvelle solution de l'invention permet de pallier l'inconvénient susvisé découlant de la mise en œuvre de capteurs qui ont des moyens optiques différents et indépendants, et permet notamment d'obtenir plus facilement des images panoramiques ou stéréoscopiques de meilleure qualité.
Dans le cadre de l'invention, le flux d'images panoramiques ou stéréoscopiques peut par exemple être enregistré, transmis ou diffusé sous la forme d'un film, ou être traité postérieurement pour extraire de ce flux une ou plusieurs images panoramiques ou stéréoscopiques statiques.
Résumé de l'invention
Selon un premier aspect, l'invention a ainsi pour premier objet un procédé de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques d'une scène, au cours duquel on réalise, au moyen d'au moins un dispositif de capture d'images (C,), plusieurs opérations successives de capture d'au moins deux images différentes de la scène, sous la forme de pixels, avec ou sans chevauchement entre les images, les opérations successives de capture étant cadencées à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives ; pour chaque opération de capture, (a) on traite numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels avec une durée de traitement inférieure ou égale à ladite durée de capture (T), et (b) on génère, sur une durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée ; le traitement numérique (a) de chaque pixel de chaque image capturée consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique.
L'invention a pour autre objet un dispositif de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques. Ce dispositif comporte un ou plusieurs dispositifs de capture d'images (C,), qui permettent la capture d'au moins deux images différentes sous la forme d'un ensemble de pixels, et des moyens électroniques de traitement qui permettent de construire une image panoramique ou stéréoscopique à partir des images capturées ; les moyens électroniques de traitement permettent, au moyen du ou desdits dispositifs de capture d'images, de réaliser plusieurs opérations successives de capture d'au moins deux images différentes d'une scène, sous la forme de pixels, avec ou sans chevauchement entre les images, et avec un cadencement des opérations successives de capture à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives ; les moyens électroniques de traitement sont aptes, pour chaque opération de capture, (a) à traiter numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels avec une durée de traitement inférieure ou égale à ladite durée de capture (T), et (b) à générer, sur une durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée ; le traitement numérique de chaque pixel de chaque image par les moyens électroniques de traitement consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique.
Selon un deuxième aspect, l'invention a également pour objet un procédé de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques d'une scène, caractérisé en ce qu'on réalise, au moyen d'au moins un dispositif de capture d'images (C,), plusieurs opérations successives de capture d'au moins deux images différentes de la scène, sous la forme de pixels, avec ou sans chevauchement entre les images, en ce que pendant les opérations de capture des images, on traite numériquement les pixels des images capturées en sorte de former des images panoramiques ou stéréoscopiques, et on génère un flux d'images panoramiques ou stéréoscopiques, et en ce que le traitement numérique de chaque pixel de chaque image capturée consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique.
Selon ce deuxième aspect, l'invention a également pour objet un dispositif de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques, caractérisé en ce qu'il comporte un ou plusieurs dispositifs de capture d'images (C,), qui permettent la capture d'au moins deux images différentes sous la forme d'un ensemble de pixels, et des moyens électroniques de traitement qui permettent, au moyen du ou desdits dispositifs de capture d'images, de réaliser plusieurs opérations successives de capture d'au moins deux images différentes d'une scène, sous la forme de pixels, avec ou sans chevauchement entre les images, et qui sont aptes, pendant les opérations de capture des images, à traiter numériquement les pixels des images capturées en sorte de former des images panoramiques ou stéréoscopiques, et à générer un flux d'images panoramiques ou stéréoscopiques, et en ce que le traitement numérique de chaque pixel de chaque image capturée consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique
Selon un troisième aspect, l'invention a également pour objet un procédé de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques d'une scène, au cours duquel on réalise au moyen d'au moins un dispositif de capture d'images, plusieurs opérations successives de capture d'au moins deux images différentes de la scène, sous la forme de pixels, avec ou sans chevauchement entre les images; chaque dispositif de capture d'images permet la capture d'une image sous la forme d'un ensemble de pixels et délivre en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur). On traite numériquement chaque pixel de chaque image capturée, en sorte de générer une image finale panoramique ou stéréoscopique à partir desdits pixels sous la forme d'un flux de pixels synchronisé au moins par un deuxième signal horloge (H).
Selon ce troisième aspect, l'invention a également pour objet un dispositif de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques, ledit dispositif comportant un ou plusieurs dispositifs de capture d'images qui permettent de réaliser plusieurs opérations successives de capture d'au moins deux images différentes d'une scène, sous la forme de pixels, avec ou sans chevauchement entre les images, et des moyens électroniques de traitement qui permettent de construire un flux d'images panoramiques ou stéréoscopiques à partir des images capturées. Chaque dispositif de capture d'images est apte à délivrer en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur). Les moyens électroniques de traitement sont conçus pour traiter numériquement chaque pixel de chaque image capturée, en sorte générer une image finale panoramique ou stéréoscopique à partir desdits pixels sous la forme d'un flux de pixels synchronisé par au moins un deuxième signal horloge (H).
Selon un quatrième aspect, l'invention a également pour objet un procédé de capture et de construction d'au moins une image panoramique ou stéréoscopique d'une scène, au cours duquel on capture au moins deux images différentes de la scène au moyen d'au moins un dispositif de capture d'images (C,), avec ou sans chevauchement entre les images, chaque dispositif de capture d'images permettant la capture d'une image sous la forme d'un ensemble de pixels et délivrant en sortie pour chaque image capturée un flux de pixels ; on traite numériquement le flux de pixels de chaque image capturée en sorte de former au moins une image finale panoramique ou stéréoscopique à partir desdits pixels, et le traitement numérique de chaque pixel du flux de pixels correspondant à chaque image capturée consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique.
Selon ce quatrième aspect, l'invention a également pour objet un dispositif de capture et de construction d'au moins une image panoramique ou stéréoscopique, ledit dispositif comportant un ou plusieurs dispositifs de captures d'image (C,) qui permettent la capture d'au moins deux images différentes, avec ou sans chevauchement entre les images, chaque capteur d'image (C,) étant apte à délivrer un flux de pixels pour chaque image capturée, et des moyens électroniques de traitement qui permettent de construire, pendant les opérations de capture d'images, une image panoramique ou stéréoscopique à partir des flux de pixels de chaque image capturée. Les moyens électroniques de traitement sont conçus pour traiter chaque pixel du flux de pixels de chaque image capturée en conservant ou en abandonnant ledit pixel, et dans le cas où le pixel est conservé, en lui affectant une ou plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique.
Brève description des figures
Les caractéristiques et avantages de l'invention ressortiront plus clairement à la lecture de la description détaillée qui suit d'une variante préférée de réalisation, laquelle description est faite, à titre d'exemple non limitatif et non exhaustif de l'invention, et en référence aux dessins annexés parmi lesquels :
- La figure 1 est un synoptique d'un exemple d'architecture électronique d'un dispositif de l'invention.
- La figure 2 est un exemple de chronogramme des principaux signaux électriques du dispositif de la figure 1 .
- La figure 3 schématise un exemple de correspondance angle de champ optique/pixels de la zone de capture d'un objectif « fisheye ». - La figure 4 est un exemple de remappage d'une matrice de pixels capturée par un capteur d'image dans une portion d'image panoramique finale.
- La figure 5 illustre un exemple de correspondance géométrique entre un pixel Pi;j de l'image panoramique finale et la matrice de pixels capturée par un capteur d'image.
- Les figures 6A à 61 schématisent les différents cas de figures de remappage dans le cas particulier d'une image de type RAW.
- Les figures 7A à 7D illustrent différents exemples de remappage d'une ligne d'un capteur sur une image panoramique.
- La figure 8 illustre un exemple particulier de résultat de remappage de trois images pour former une image panoramique finale.
Description détaillée
On a représenté sur la figure 1 , un exemple particulier de dispositif 1 conforme à l'invention, qui permet la capture et la construction d'images panoramiques.
Dans cet exemple particulier, ce dispositif 1 comporte trois dispositifs de capture d'images Ci, C2, C3, par exemple de type CCD ou CMOS, qui permettent chacun la capture d'une image sous la forme chacun d'une matrice de pixels, et des moyens électroniques de traitement 10, qui permettent de construire une image panoramique à partir des pixels délivrés par les capteurs d'image Ci, C2, C3. De manière usuelle, chaque dispositif de capture d'images Ci , C2, C3 comporte un capteur d'images, par exemple de type CCD ou CMOS, couplé à des moyens optiques (objectif) comportant une ou plusieurs lentilles alignées avec le capteur d'images, et permettant de focaliser les rayons lumineux sur le capteur d'images.
Les axes optiques des dispositifs de capture d'images Ci, C2, C3 sont orientés dans des directions différentes, et leurs champs optiques couvrent tout le champ de l'image panoramique finale, avec de préférence un chevauchement des champs optiques.
Dans le présent texte, les termes « image panoramique » doivent être pris dans leur acceptation la plus large, et ne se limitent pas à une image panoramique construite selon un champ de 360°, mais couvrent plus généralement une image construite selon un champ étendu supérieur au champ optique couvert par chaque dispositif de capture d'images utilisé pour la capture d'images.
A titre d'exemple uniquement, ces dispositifs de capture d'images
Ci , C2, C3 peuvent par exemple constituer les trois groupes optiques du dispositif optique à faible encombrement, qui est décrit dans la demande de brevet internationale WO 2012/032236, et qui permet la capture « one shot » d'images panoramiques.
De préférence, mais non nécessairement, le dispositif 1 de l'invention constitue un équipement portatif, de manière à pouvoir facilement être transporté et utilisé dans des lieux divers.
En référence à la figure 2, les moyens de traitement numériques 10 délivrent une horloge de base H10, qui est générée par exemple à partir d'un quartz, et qui est utilisée pour cadencer le fonctionnement du capteur d'images de chaque dispositif de capture d'images Ci , C2, C3. En sortie, le capteur d'image de chaque dispositif de capture d'images Ci , C2, C3 délivre pour chaque image capturée un flux de pixels sur un bus de données « Pixels », synchronisé par un premier signal horloge (« H_capteur »), qui est généré par chaque capteur d'images à partir du signal horloge de base H10, et par deux signaux « Line Valid » et « Frame Valid ». Les signaux horloge (« H_capteur ») qui sont générés par chaque dispositif de capture d'images Ci , C2, C3 ont plus particulièrement la même fréquence.
Les moyens électroniques de traitement 10 permettent de construire une image panoramique à partir des pixels délivrés par les capteurs d'image des dispositifs de capture d'images Ci , C2, C3, et de manière comparable aux dispositifs de capture d'images Ci , C2, C3, délivrent en sortie sur un bus de données « Pixels », un flux de pixels représentatif de l'image panoramique finale
La taille du bus de données « Pixels » des moyens électroniques de traitement 10 peut être identique ou différente de celle des bus de données « Pixels » des dispositifs de capture d'images Ci , C2, C3, et est de préférence supérieure. Par exemple, mais de manière non limitative de l'invention, les bus de données « Pixels » des dispositifs de capture d'images Ci , C2, C3 sont sur huit bits et le bus de données « Pixels » des moyens électroniques de traitement 10 est sur 16 bits.
Le flux de pixels généré par les moyens électroniques de traitement 10 est synchronisé par un deuxième signal horloge (« H »), qui est généré par les moyens électroniques de traitement 10 à partir du signal horloge de base, et par deux signaux « Line Valid » et « Frame Valid » qui sont générés par les moyens électroniques de traitement 10.
La figure 2 illustre un exemple particulier, et non limitatif de l'invention, de synchronisation des signaux susvisés d'un capteur. Sur cette figure, les données transitant sur les bus de données « Pixels » ne sont pas représentées.
En référence à la figure 2, les opérations successives de capture sont cycliques en étant cadencées à une fréquence F qui définit une durée de capture T (T=1/F) égale à la durée de l'intervalle de temps (t) entre le début de deux opérations de captures successives.
Plus particulièrement, sur cette figure 2 le front montant du signal « Frame Valid » de chaque dispositif de capture Ci, C2, C3 synchronise le début de la transmission, sur le bus de données « Pixels » de chaque dispositif de capture Ci, C2, C3, des pixels d'une image capturée par le dispositif de capture Ci, C2, C3. Le front descendant du signal « Frame Valid » de chaque dispositif de capture Ci, C2, C3 marque la fin de la transmission des pixels, sur le bus de données « Pixels », d'une image capturée par ledit dispositif de capture Ci, C2, C3. Ces fronts montants (respectivement descendants) des signaux « Frame Valid » délivrés par les dispositifs de capture Ci, C2, C3 sont légèrement décalés temporellement.
Le signal « Line Valid » de chaque dispositif de capture Ci, C2, C3 est synchronisé sur chaque front montant du signal « Frame Valid » et marque le début de la transmission d'une ligne de pixels de l'image. Chaque front descendant du signal « Line Valid » marque la fin de la transmission d'une ligne de pixels de l'image. Les pixels de chaque image transmis sur chaque bus de données « Pixels » des trois dispositifs de capture d'images Ci, C2, C3.sont échantillonnés en parallèle par les moyens électroniques de traitement 10, au moyen respectivement de chaque signal horloge « H_capteur » délivré par chaque dispositif de capture d'images Ci, C2, C3.
En référence à la figure 2, le front montant du signal « Frame Valid » délivré par les moyens électroniques de traitement 10 synchronise le début de la transmission, sur le bus de données « Pixels » des moyens électroniques de traitement 10, d'une image panoramique finale construite à partir des pixels délivrés par les dispositifs de capture d'images Ci, C2, C3. Ce front montant est généré automatiquement, par les moyens électroniques de traitement 10, à partir des fronts montants des signaux Frame Valid » délivrés pas les dispositifs de capture d'images Ci, C2, C3, plus particulièrement en étant généré sur détection du front montant généré en dernier, c'est-à-dire dans l'exemple particulier de la figure 2, du front montant du signal « Frame Valid » délivré par le dispositif de capture d'images Ci.
Le front descendant du signal « Frame Valid » délivré par les moyens électroniques de traitement 10 synchronise la fin de la transmission, sur le bus de données « Pixels » des moyens électroniques de traitement 10, d'une image panoramique finale construite à partir des pixels délivrés par les dispositifs de capture d'images Ci, C2, C3.
Le signal « Line Valid » délivré par les moyens électroniques de traitement 10 est synchronisé sur chaque front montant du signal « Frame Valid » délivré par les moyens électroniques de traitement 10, et marque le début de la transmission d'une ligne de pixels de l'image panoramique. Chaque front descendant du signal « Line Valid » délivré par les moyens électroniques de traitement 10 marque la fin de la transmission d'une ligne de pixels de l'image panoramique.
L'écriture des pixels de chaque image panoramique sur le bus de données « Pixels » des moyens électroniques de traitement 10 est synchronisée par le signal horloge « H », qui est généré par les moyens électroniques de traitement 10, et qui peut être utilisé par un autre dispositif électronique externe (par exemple le dispositif 11 ) pour lire ces pixels sur ledit bus de données.
Selon la variante de réalisation, le signal d'horloge « H » délivré par les moyens électroniques de traitement 10 peut être synchrone ou asynchrone avec les signaux horloge « H_capteur » délivrés par les capteurs d'image Ci, C2, C3. La fréquence du signal d'horloge « H » peut être égale à ou différente de la fréquence des signaux horloge « H_capteur » délivrés par les capteurs d'image Ci, C2, C3. De préférence, la fréquence du signal d'horloge « H » est supérieure à la fréquence les signaux horloge « H_capteur » délivrés par les capteurs d'image Ci, C2, C3., tel que cela est illustré sur la figure 2.
Dans ce cas particulier de la figure 2, à chaque opération de capture on réalise trois captures d'images en parallèle au moyen des dispositifs de capture d'images Ci , C2, C3, et dans ce cas particulier, l'intervalle de temps (t) est l'intervalle de temps séparant deux fronts montant successifs du signal « Frame Valid » du dispositif de capture d'images Ci, c'est-à-dire du dispositif de capture d'images qui transmet en premier les pixels sur son bus de données « Pixels ».
Pendant ledit intervalle de temps (t) séparant le début de deux opérations de capture successives, les moyens électroniques de traitement 10 :
(a) traitent numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique à partir desdits pixels ; dans le cas de l'architecture de la figure 1 et des signaux de la figure 2, il s'agit des pixels transmis aux moyens électroniques de traitement 10 sur les bus de données « Pixels » des dispositifs de captures d'images Ci , C2, C3, et
(b) génèrent une image finale panoramique ; dans le cas de l'architecture de la figure 1 et des signaux de la figure 2 , il s'agit des pixels délivrés en sortie par les moyens électroniques de traitement 10 sur leur bus de données « Pixels », les fronts montant et descendant du signal « Frame Valid « délivré par les moyens électroniques de traitement
10 étant générés pendant ledit intervalle temps (t).
Ainsi, le flux des images panoramiques successives est généré en temps réel par les moyens électroniques de traitement à la même cadence que les opérations successives de capture d'images. Par exemple, si les dispositifs de captures d'image Ci , C2, C3 sont conçus pour délivrer 25 images par secondes, la durée de capture T de chaque intervalle de temps (t) entre deux opérations successives de capture d'images vaut 40ms, ce qui correspond à une fréquence de capture F de 25Hz, et les moyens électroniques de traitement génèrent également 25 images panoramiques par seconde (une image panoramique toutes les 40ms). La durée de capture T (durée de chaque intervalle de temps (t) entre deux opérations successives de captures d'images) dépendra de la technologie des dispositifs de captures d'images Ci , C2, C3. En pratique, la durée de capture T sera de préférence inférieure ou égale à 1 s, et plus préférentiellement encore inférieure ou égale à 100ms.
De préférence, l'image finale panoramique générée au cours de chaque intervalle de temps (t), qui sépare le début de deux opérations de capture successives, est issue du traitement numérique (a) des pixels réalisé au cours de ce même intervalle de temps (t). Dans ce cas, chaque image panoramique successive est générée en temps réel et sensiblement en même temps que la capture des images qui ont servi à construire cette image panoramique, et avant l'opération de capture suivante des images qui serviront à construire l'image panoramique suivante.
Dans une autre variante, l'image finale générée au cours de chaque intervalle de temps (t), qui sépare le début de deux opérations de capture successives, est issue du traitement numérique (a) des pixels réalisé au cours d'un intervalle de temps (t) antérieur, et par exemple de l'intervalle de temps (t) précédent. Dans ce cas, chaque image panoramique successive est générée en temps réel et avec un léger décalage temporel par rapport à la capture des images qui ont servi à construire cette image panoramique.
Dans une autre variante, la génération de chaque image panoramique peut démarrer (front montant du signal « Frame Valid » délivré par les moyens électroniques de traitement 10) pendant un cycle de capture (N) donné, et se terminer (front descendant du signal « Frame Valid » délivré par les moyens électroniques de traitement 10) au cours du cycle de capture (N+1 ) suivant. De préférence, mais on nécessairement, la durée entre le front montant et le front descendant suivant du signal « Frame Valid » délivré par les moyens électroniques de traitement 10 est inférieure ou égale à la durée de capture T. Le traitement (a) des pixels réalisé pour chaque opération de capture peut être décalé temporellement par rapport au cycle de capture. De préférence, mais non nécessairement, la durée de traitement des pixels de toutes les images capturées au cours d'une opération de capture pour former une image panoramique finale est inférieure ou égale à la durée de capture T. Par exemple, le traitement (a) des pixels réalisé pour former une image panoramique finale à partir d'images capturées au cours d'un cycle de capture N peut être réalisé par les moyens électroniques de traitement 10 pendant un cycle de capture postérieur, par exemple le cycle de capture N+1 .
Les moyens électroniques de traitement 10 constituent une unité électronique de traitement de données numériques programmée qui peut, indifféremment selon l'invention, être implémentée au moyen de tout type connu de circuit électronique ou d'ensemble de circuits électroniques, tel que par exemple sous la forme d'un ou plusieurs circuits programmables de type FPGA et/ou d'un ou plusieurs circuits spécifiques de type ASIC, ou d'une unité de traitement programmable dont l'architecture électronique met en œuvre un microcontrôleur ou un microprocesseur.
Dans la variante particulière de réalisation illustrée sur la figure 1 , le flux d'images panoramiques successives délivré sous la forme d'un ensemble de pixels par les moyens électroniques de traitement 10, est traité par des moyens électroniques de traitement additionnels 1 1 , qui comportent par exemple un circuit de type DSP, et qui permettent par exemple d'enregistrer dans une mémoire et/ou d'afficher en temps réel sur un écran un flux dynamique d'images panoramiques sous la forme d'un film.
Egalement dans une autre variante, les moyens électroniques de traitement additionnels 1 1 peuvent être conçus pour traiter le flux d'images panoramiques successives délivré par les moyens électroniques de traitement 10, en extrayant de ce flux une ou plusieurs images panoramiques.
De manière usuelle, dans une variante particulière de réalisation chaque dispositif de capture d'images Ci , C2, C3 comporte des moyens optiques de type objectif « fisheye », associés à une matrice de capture, et chaque image capturée est caractérisée par trois informations d'orientation spatiales, qui sont communément appelées « Yaw », « Pitch» et « Roll », et qui sont spécifiques de l'orientation spatiale dudit dispositif de capture d'images lors de la capture de l'image.
En référence à la figure 3, un objectif « fisheye » présente une surface de détection centrale utile sphérique (surfaces grisées et surface blanche sur la figure 3), et les pixels utiles de l'image capturée par le capteur d'image résultent de manière connue en soi d'une projection en deux dimensions d'une partie (figure 3 - 864 pixels sur 900 pixels) seulement de la surface de détection du dispositif de capture d'images.
Ainsi, de manière usuelle, chaque matrice de pixels représentant une image capturée par un dispositif de capture d'images Ci , C2, ou C3 résulte d'une projection en deux dimensions de la surface 3D d'une partie de sphère « vue » par le dispositif de capture d'images Ci , C2, ou C3. Cette projection en deux dimensions dépend de chaque dispositif de capture d'images Ci , C2, ou C3, et notamment des moyens optiques du dispositif de capture d'images Ci , C2, ou C3, et de l'orientation spatiale (« Yaw », « Pictch» et « Roll ») du dispositif de capture d'images Ci , C2, ou C3 lors de la capture de l'image.
A titre d'exemple, on a représenté sur la figure 4, une matrice de pixels correspondant à une image capturée par un dispositif de capture d'images C, (par exemple dispositif de capture d'images Ci , C2 ou C3 de la figure 1 ). Sur cette figure, les pixels noirs correspondent aux pixels situés en dehors de la partie centrale circulaire utile de l'objectif « fisheye » du dispositif de capture d'images C, . Chaque pixel de cette image capturée au moyen du dispositif de capture d'images C, résulte d'une opération dite de « mapping » ou « mappage », qui correspond à la projection en deux dimensions susvisée de la surface 3D d'une partie de sphère « vue » par l'objectif « fisheye » du dispositif de capture d'images C,, et qui est spécifique de ce capteur d'image C,.
Antérieurement à l'invention, pour construire une image panoramique à partir des images capturées par chaque dispositif de capture d'images C,, on juxtapose le plus souvent lesdites images en effectuant numériquement un recollage numérique (« stitching ») des images au niveau de leur zone de recouvrement de manière à avoir une image panoramique finale continue. Il est important de comprendre que ce type de recollage numérique de l'art antérieur ne modifie par la projection en deux dimensions des pixels qui sont conservés dans l'image panoramique finale.
A la différence des recollages numériques susvisés de l'art antérieur, dans l'invention, pour construire l'image panoramique finale, les pixels utiles de chaque image capturée par chaque capteur C, sont remappés dans l'image panoramique finale, avec une partie au moins desdits pixels qui est remappée dans l'image panoramique finale en subissant de préférence une nouvelle projection en deux dimensions, qui est différente de leur projection en deux dimensions dans l'image du dispositif de capture d'images C, dont ils sont issus. On reconstitue donc numériquement un unique dispositif de capture d'images virtuel panoramique à partir des dispositifs de capture d'images Ci, C2, ou C3. Ce remappage des pixels est réalisé automatiquement, par un traitement (a) de chaque pixel de chaque image capturée qui consiste à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions dans l'image finale panoramique avec un coefficient de pondération prédéfini pour chaque position dans l'image finale panoramique.
Sur la figure 4, on a représenté une portion seulement de l'image panoramique finale, ladite portion correspondant à la partie d'image panoramique issue du remappage des pixels d'une image capturée par un seul dispositif de capture d'image C,.
En référence à cette figure 4, le pixel Pi,s situé dans la première ligne de l'image capturée par le dispositif de capture d'images C, est par exemple remappé dans l'image panoramique finale sous la forme de quatre pixels Ρι,9 , Ρι,ιο , Pi,n , Pi, 12 dans quatre positions différentes adjacentes dans la première ligne de l'image panoramique finale, ce qui se traduit par un étirement de ce pixel de l'image départ dans l'image panoramique finale. Le mappage de ce pixel Pi,s dans l'image panoramique finale correspond ainsi à une projection en deux dimensions de ce pixel dans l'image panoramique finale qui est différente de la projection en deux dimensions de ce pixel dans l'image de départ capturée par le dispositif de capture d'images. Cet étirement du pixel dans l'image panoramique finale peut par exemple être avantageusement mis en œuvre pour compenser en tout ou partie les déformations optiques de l'objectif « fisheye » du dispositif de capture d'images au voisinage de son bord supérieur. Le même étirement peut avantageusement être mis en œuvre pour les pixels au voisinage du bord inférieur.
Comparativement, le pixel central Ps,8 de l'image capturée par le dispositif de capture d'images C, est remappé à l'identique dans l'image panoramique finale sous la forme d'un unique pixel Pn,n, l'objectif « fisheye » du dispositif de capture d'image n'entraînant pas ou quasiment pas de déformation optique en son centre.
Le pixel Pio,3 situé dans la partie basse gauche de l'image capturée par le capteur C, est par exemple remappé dans l'image panoramique finale sous la forme de trois pixels Pi7,4 , Pis,4 , Pis,5 , dans trois positions différentes adjacentes sur deux lignes adjacentes de l'image panoramique finale, ce qui se traduit par un élargissement dans les deux directions de ce pixel Pio,3 de l'image de départ dans l'image panoramique finale. Le mappage de ce pixel Pio,3 dans l'image panoramique finale correspond ainsi à une projection en deux dimensions de ce pixel dans l'image panoramique finale qui est différente de la projection en deux dimensions de ce pixel dans l'image de départ capturée par le dispositif de capture d'images.
Lors de cette opération de remappage de chaque pixel de l'image de départ du capteur d'image C, dans l'image panoramique finale, un pixel peut ne pas être conservé et ne pas être repris dans l'image panoramique finale ; il s'agit par exemple des pixels dans une zone de chevauchement des images d'au moins deux dispositifs de capture d'images. Dans une zone de chevauchement des dispositifs de capture d'images, on conservera par exemple uniquement un pixel de l'un des capteurs, les autres pixels correspondant des autres capteurs n'étant pas conservés. Dans une autre variante, dans une zone de chevauchement d'au moins deux dispositifs de capture d'images, il est possible de construire le pixel de l'image finale à partir d'une moyenne ou d'une combinaison des pixels des images de départ.
Lors de l'opération de remappage d'un pixel, lorsque ce pixel est conservé et qu'on lui affecte une ou plusieurs positions différentes dans l'image finale panoramique, cette affection est de préférence réalisée avec un coefficient de pondération prédéfini compris entre 0 et 100%, pour chaque position dans l'image finale panoramique, c'est-a-dire pour chaque pixel l'image finale panoramique. Cette pondération et les raisons de cette pondération seront mieux comprises à la lumière de la figure 5.
En référence à la figure 5, le centre C de chaque pixel Pjj final de l'image panoramique finale ne correspond pas en pratique au centre d'un pixel de l'image capturée par un dispositif de capture d'images C,, mais correspond géométriquement à une position réelle P particulière dans l'image capturée par un dispositif de capture d'images C, , qui dans l'exemple particulier schématisé sur la figure 4 est décentrée à proximité du coin bas et gauche du pixel Pi de l'image capturée par le dispositif de capture d'images C,. Ainsi, le pixel Pjj sera constitué dans cet exemple particulier non seulement à partir du pixel P2 , mais également des pixels voisins Pi, P3, P4, en pondérant la contribution de chaque pixel Pi , P2, P3, P4, par exemple en tenant compte du barycentre de la position P par rapport au centre de chaque pixel Pi, Pi, P2, P3, PA- Dans cet exemple particulier, le pixel Pi est par exemple constitué de 25% du pixel Pi, de 35% du pixel P2, de 15% du pixel P3 et de 5% du pixel P . L'invention s'applique à tout type de format d'image : RAW, YUV et ses dérivées RGB... Dans le cas d'images RGB dont la reconstruction des couleurs a déjà été effectuée (informations R, G, B connues pour chaque pixel de l'image), la pondération susvisée sera effectuée à partir de pixels adjacents.
En revanche dans le cas d'images de type RAW, dans lesquelles chaque pixel ne représente qu'une seule composante colorimétrique, la pondération susvisée sera effectuée à partir de pixels voisins de même couleur que le pixel de l'image panoramique finale. Ce cas particulier de pondération pour un format type RAW sera mieux compris à la lumière des figures 6A à 61.
On a représenté sur les figures 6A à 61 les différents cas de figures de correspondance entre un pixel Pjj de l'image panoramique finale et une matrice de pixels de l'image capturée par un dispositif de capture d'images d dans le cas d'un codage des pixels de type RAW. Sur ces figures, les lettres R, V, B identifient respectivement un pixel Rouge, Vert, Bleu. W, est le poids dans l'image finale du pixel R, , V, ou B, de l'image de départ capturée par le dispositif de capture d'images.
La figure 6A correspond au cas où le centre d'un pixel P,,, rouge de l'image panoramique finale correspond à une position réelle P, dans l'image capturée par un dispositif de capture d'images C,, qui est sur un pixel bleu (B) de l'image capturée par un dispositif de capture d'images C,. Dans ce cas, ledit pixel rouge P,,, de l'image panoramique finale sera constitué à partir des pixels rouge Ri, R2, R3, R4 voisins dudit pixel bleu B, en appliquant respectivement des coefficients de pondérations W1, W2, W3, W . Les valeurs de ces coefficients de pondérations W1, W2, W3, W dépendront par exemple du barycentre de la position P par rapport au centre de chaque pixel Ri, R2, R3, R4 . Par exemple, si la position P se trouve située au centre du pixel P, dans ce cas tous les coefficients de pondérations W1, W2, W3, W4 seront égaux à 25%.
La figure 6B correspond au cas où le centre d'un pixel P,,, bleu de l'image panoramique finale correspond à une position réelle P dans l'image capturée par un capteur C, qui est sur un pixel rouge (R) de l'image capturée par un dispositif de capture d'images C,.
La figure 6C correspond au cas où le centre d'un pixel P,,, vert de l'image panoramique finale correspond à une position réelle P dans l'image capturée par un capteur C, qui est sur un pixel bleu (B) de l'image capturée par un dispositif de capture d'images C,.
La figure 6D correspond au cas où le centre d'un pixel Pjj vert de l'image panoramique finale correspond à une position réelle P dans l'image capturée par un capteur C, qui est sur un pixel rouge (R) de l'image capturée par un dispositif de capture d'images C,.
La figure 6E correspond au cas où le centre d'un pixel P,,, vert de l'image panoramique finale correspond à une position réelle P dans l'image capturée par un capteur C, qui est sur un pixel vert (V5) de l'image capturée par un dispositif de capture d'images C,.
La figure 6F correspond au cas où le centre d'un pixel P,,, rouge de l'image panoramique finale correspond à une position réelle P dans l'image capturée par un capteur C, qui est sur un pixel vert (V) de l'image capturée par un dispositif de capture d'images C,.
La figure 6G correspond au cas où le centre d'un pixel P,,, bleu de l'image panoramique finale correspond à une position réelle P dans l'image capturée par un capteur C, qui est sur un pixel vert (V) de l'image capturée par un dispositif de capture d'images C,.
La figure 6H correspond au cas où le centre d'un pixel P,,, rouge de l'image panoramique finale correspond à une position réelle P dans l'image capturée par un dispositif de capture d'images C, qui est sur un pixel rouge (R5) de l'image capturée par un dispositif de capture d'images C,.
La figure 61 correspond au cas où le centre d'un pixel P,,, bleu de l'image panoramique finale correspond à une position réelle P dans l'image capturée par un capteur C, qui est sur un pixel bleu (B5) de l'image capturée par un dispositif de capture d'images C,. En définitive, quel que soit le format de codage d'une image, le traitement de remappage dans l'image panoramique finale de chaque pixel de l'image capturée par un dispositif de capture d'images C, consiste à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini pour chaque position (c'est-à-dire pour chaque pixel) dans l'image finale panoramique. Dans le présent texte, la notion de « position » dans l'image finale panoramique se confond avec la notion de « pixel » dans l'image finale panoramique
Dans l'invention, en effectuant un remappage judicieux des pixels, on peut par exemple corriger au moins en partie dans l'image finale les distorsions de chaque objectif de chaque le dispositif de capture d'images Q.
Egalement, dans l'invention les dispositifs de capture d'images Ci,
C2, C3 et les moyens électroniques de traitement 10 sont vus, par exemple par les moyens électroniques additionnels de traitement 1 1 , comme un unique capteur virtuel d'image panoramique. Par conséquent, les moyens électroniques additionnels de traitement 1 1 peuvent par exemple mettre en œuvre des algorithmes de traitement d'image connus (notamment algorithmes de balance des blancs, de gestion du temps d'exposition et du gain) sur l'image panoramique finale délivrée par les moyens électroniques de traitement 10, ce qui permet le cas échéant d'obtenir une image panoramique finale plus homogène, notamment en ce qui concerne la colorimétrie, la balance des blancs, le temps d'exposition et le gain, comparativement à une mise en œuvre de ces algorithmes de traitement d'image sur chaque image issue des dispositifs de capture d'images Ci, C2, C3 , avant construction de l'image panoramique.
A titre uniquement d'exemples non limitatifs de l'invention, on a représenté sur les figures 7A à 7D, des exemples particuliers de remappage des pixels d'une ligne L présente dans l'image de départ d'un objectif « fisheye » afin de tenir compte de la déformation optique de l'objectif « fisheye » et de son orientation dans l'espace (Yaw, Pitch, Roll) . Le remappage dépend de la position de la ligne L par rapport au centre et aux bords inférieur et supérieur de l'objectif « fisheye » (figures 7A, 7B, 7C) ou dépend de l'orientation dans l'espace de l'objectif « fisheye » (Figure 7D).
On a représenté sur la figure 8, un exemple particulier de trois images h, , h capturées respectivement par trois capteurs d'image Ci, C2, C3 et de l'image panoramique finale (I ) résultant d'un remappage des pixels des images h, , h- Dans le cadre de l'invention, on peut utiliser le remappage des pixels pour construire une image panoramique finale en implémentant n'importe quel type de projection en deux dimensions différente de la projection en deux dimensions du dispositifs de capture d'images Ci, C2, C3, par exemple dans le but d'incorporer automatiquement des effets spéciaux dans l'image panoramique finale. On peut notamment mettre en œuvre les projections connues ci-après :
- projection plan ou rectilinéaire
- projection cylindrique
- projection de Mercator
- projection sphérique ou équirectangulaire.
Afin de permettre l'opération de remappage, il revient à l'homme du métier de prédéfinir au cas par cas le remappage de chaque pixel de chaque dispositif de capture d'images Ci, en définissant pour chaque pixel de chaque dispositif de capture d'images Ci, si ce pixel est conservé, et dans l'affirmative le ou les pixels correspondant dans l'image panoramique finale et le coefficient de pondération de ce pixel de départ pour chaque pixel de l'image panoramique finale.
Ce remappage peut par exemple être implémenté sous la forme d'une table de correspondance du type de celle-ci-après, affectant à chaque pixel Ρχ,γ de chaque dispositif de capture d'images C, conservé dans l'image panoramique finale, un ou plusieurs pixels (PxPano,YPano) dans l'image panoramique finale avec un coefficient de pondération W du pixel Ρχ,γ dans le pixel (Pxpano, Ypano) de l'image panoramique finale. Dans le tableau ci- dessous, par soucis de clarté, on a repris uniquement à titre d'exemple les pixels particuliers de l'exemple de la figure 4.
Capteur C
Pixel image capteur Pixel image panoramique Poids %(W)
X Y Xpano Ypano
1 8 1 9 15
1 8 1 10 25
1 8 1 11 35
1 8 1 12 15
8 8 11 11 100
10 3 17 4 25
10 3 18 4 15
10 3 18 5 50
Dans le cas particulier de l'architecture de la figure 1 , l'opération de remappage dans l'image panoramique finale de chaque pixel de chaque dispositif de capture d'images Ci , C2, C3 est effectuée automatiquement par les moyens électroniques de traitement 10, à partir d'une table de correspondance stockée dans une mémoire. Dans une autre variante, le calcul du remappage dans l'image panoramique finale de chaque pixel de chaque dispositif de capture d'images Ci, C2, C3 peut également être effectué automatiquement par les moyens électroniques de traitement 10 au moyen d'un algorithme de calibration et de calcul dynamique stocké en mémoire.
Dans l'exemple de la figure 1 , chaque pixel (Pxpano, Ypano) de l'image panoramique issu de l'opération remappage est délivré en sortie des moyens électroniques de traitement 10 ( « Pixels »), en étant synchronisé par le signal d'horloge « H » délivré par les moyens de électroniques de traitement 10. Selon la variante de réalisation, le signal d'horloge « H» délivré par les moyens électroniques de traitement 10 peut être synchrone ou asynchrone avec les signaux horloge « H_capteur » délivrés par les capteurs d'image Ci , C2, C3.
Un avantage de l'architecture de la figure 1 est de permettre aux moyens électroniques de traitement additionnels 1 1 de « voir » les capteurs d'image Ci , C2, C3 et les moyens électroniques de traitement 10 comme un unique capteur virtuel panoramique.
Le dispositif de la figure 1 peut être avantageusement utilisé pour effectuer un remappage en temps réel des pixels au fur et à mesure de leur acquisition par les moyens électroniques de traitement 10.
L'invention n'est pas limitée à la mis en œuvre de trois dispositifs de capture d'images Ci , C2, C3 fixes, mais peut plus généralement être mis en œuvre avec au moins deux dispositifs de capture d'images Ci , C2 fixes.
Il est également envisageable dans le cadre de l'invention, d'utiliser un unique dispositif de capture d'images mobile, chaque capture d'image correspondant à une orientation différente et/ou position différente du dispositif de capture d'images Ci , C2, C3 mobile.
Dans la variante particulière de réalisation qui été décrite, la fréquence de capture F est égale à la fréquence de capture des dispositifs de capture d'images Ci , C2, C3. Dans une autre variante, la fréquence de capture F peut être inférieure à la fréquence de capture des dispositifs de capture d'images Ci , C2, C3, les moyens électroniques de traitement 10 ne traitant par exemple qu'une image sur m images ( m>2) délivrées par chaque capteur, ce qui correspond à une fréquence des opérations de capture successives plus faible que la fréquence des images délivrés par les des dispositifs de capture d'images Ci , C2, C3.
L'invention n'est pas limitée à la construction d'images panoramiques, mais peut également s'appliquer à la construction d'images stéréoscopiques.

Claims

REVENDICATIONS
Procédé de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques d'une scène, caractérisé en ce qu'on réalise, au moyen d'au moins un dispositif de capture d'images (C,), plusieurs opérations successives de capture d'au moins deux images différentes de la scène, sous la forme de pixels, avec ou sans chevauchement entre les images, les opérations successives de capture étant cadencées à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives, en ce que pour chaque opération de capture, (a) on traite numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels avec une durée de traitement inférieure ou égale à ladite durée de capture (T), et (b) on génère, sur une durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée, et en ce que le traitement numérique (a) de chaque pixel de chaque image capturée consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique.
Procédé selon la revendication 1 , dans lequel les images finales panoramiques ou stéréoscopiques successives sont générées avec la même fréquence que la fréquence de capture (F).
Procédé selon l'une quelconque des revendications 1 ou 2, dans lequel la durée de capture (T) est inférieure ou égale à 1 s, et de préférence inférieure ou égale à 100ms.
Procédé selon l'une quelconque des revendications 1 à 3, dans lequel on génère successivement chaque image finale panoramique ou stéréoscopique pendant chaque intervalle de temps (t) séparant le début de deux opérations de capture successives.
Procédé selon la revendication 4, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours de ce même intervalle de temps (t).
Procédé selon la revendication 4, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours d'un intervalle de temps (t) antérieur.
Procédé selon l'une quelconque des revendications 1 à 6, dans lequel le traitement numérique de chaque pixel est réalisé de telle sorte qu'une partie au moins des pixels des images capturées est mappée dans l'image finale panoramique ou stéréoscopique en ayant subi une projection en deux dimensions qui est différente de la projection en deux dimensions de ces mêmes pixels dans l'image du dispositif de capture d'images dont ils sont issus.
Procédé selon l'une quelconque des revendications 1 à 7, dans lequel plusieurs pixels des images capturées sont traités en leur affectant chacun plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique.
Procédé selon l'une quelconque des revendications 1 à 8, dans lequel plusieurs pixels des images capturées sont traités en leur affectant chacun au moins une position dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération (W) non nul et strictement inférieur à 100%.
10. Procédé selon l'une quelconque des revendications 1 à 9, dans lequel on capture au moins deux images différentes de la scène au moyen d'au moins deux dispositifs de capture d'images (Ci , C2).
1 1 . Procédé selon l'une quelconque des revendications 1 à 9, dans lequel on capture au moins trois images différentes de la scène au moyen d'au moins trois dispositifs de capture d'images (Ci , C2, C3).
12. Procédé selon l'une quelconque des revendications 1 à 1 1 , dans lequel chaque dispositif de capture d'images (C,) est conçu pour délivrer en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur), et en ce que chaque image finale panoramique ou stéréoscopique est délivrée sous la forme d'un flux de pixels synchronisé au moins par un deuxième signal horloge (H).
13. Procédé selon la revendication 12, dans lequel le deuxième signal horloge (H) est asynchrone par rapport à chaque premier signal horloge (H_capteur).
14. Procédé selon la revendication 12, dans lequel le deuxième signal horloge (H) est synchrone avec le ou les premiers signaux horloge (H_capteur).
15. Procédé selon l'une quelconque des revendications précédentes dans lequel le traitement numérique des pixels d'une image capturée au moyen d'au moins un dispositif de capture d'images est effectué au moyen d'une table de correspondance préenregistrée codant, pour chaque pixel d'une image capturée au moyen d'au moins un dispositif de capture d'images, la ou les positions correspondantes de ce pixel dans l'image panoramique ou stéréoscopique finale, et codant pour chaque position ce pixel dans l'image panoramique ou stéréoscopique finale, le poids (W) de ce pixel dans l'image panoramique ou stéréoscopique finale. 16. Dispositif de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques, ledit dispositif comportant un ou plusieurs dispositifs de capture d'images (C,), qui permettent la capture d'au moins deux images différentes sous la forme d'un ensemble de pixels, et des moyens électroniques de traitement (10) qui permettent de construire une image panoramique ou stéréoscopique à partir des images capturées, caractérisé en ce que les moyens électroniques de traitement (10) permettent, au moyen du ou desdits dispositifs de capture d'images, de réaliser plusieurs opérations successives de capture d'au moins deux images différentes d'une scène, sous la forme de pixels, avec ou sans chevauchement entre les images, et avec un cadencement des opérations successives de capture à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives, en ce que les moyens électroniques de traitement (10) sont aptes, pour chaque opération de capture, (a) à traiter numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels avec une durée de traitement inférieure ou égale à ladite durée de capture (T), et (b) à générer, sur une durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée, et en ce que le traitement numérique de chaque pixel de chaque image par les moyens électroniques de traitement (10) consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique.
17. Dispositif selon la revendication 16, dans lequel les moyens électroniques de traitement (10) sont aptes à générer des images finales panoramiques ou stéréoscopiques successives avec la même fréquence que la fréquence de capture (F).
18. Dispositif selon la revendication 16 ou 17, dans lequel la durée de capture (T) est inférieure à ou égale à 1 s, et de préférence inférieure ou égale à 100ms.
19. Dispositif selon l'une quelconque des revendications 16 à 18, dans lequel les moyens électroniques de traitement sont conçus pour générer successivement chaque image finale panoramique ou stéréoscopique pendant chaque intervalle de temps (t) séparant le début de deux opérations de capture successives.
20. Dispositif selon la revendication 19, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours de ce même intervalle de temps (t).
21 . Dispositif selon la revendication 19, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours d'un intervalle de temps (t) antérieur.
22. Dispositif selon l'une quelconque des revendications 16 à 21 , dans lequel les moyens électroniques de traitement (10) sont conçus pour traiter chaque pixel de telle sorte qu'une partie au moins des pixels des images capturées est mappée dans l'image finale panoramique ou stéréoscopique en ayant subi une projection en deux dimensions qui est différente de la projection en deux dimensions de ces mêmes pixels dans l'image du dispositif de capture d'images dont ils sont issus.
23. Dispositif selon l'une quelconque des revendications 16 à 22, dans lequel les moyens électroniques de traitement (10) sont conçus pour traiter plusieurs pixels des images capturées en leur affectant chacun plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique.
24. Dispositif selon l'une quelconque des revendications 16 à 23, dans lequel les moyens électroniques de traitement (10) sont conçus pour traiter plusieurs pixels des images capturées en leur affectant chacun au moins une position dans l'image finale avec un coefficient de pondération (W) non nul et strictement inférieur à
100%.
25. Dispositif selon l'une quelconque des revendications 16 à 24, comportant au moins deux dispositifs de capture d'images (Ci, C2).
26. Dispositif selon l'une quelconque des revendications 16 à 24, comportant au moins trois dispositifs de capture d'images (Ci, C2,
C3).
27. Dispositif selon l'une quelconque des revendications 16 à 25, dans lequel chaque dispositif de capture d'images (C,) est conçu pour délivrer en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur), et en ce que les moyens électroniques de traitement sont aptes à délivrer chaque image finale panoramique ou stéréoscopique sous la forme d'un flux de pixels synchronisé au moins par un deuxième signal horloge (H).
28. Dispositif selon la revendication 27, dans lequel le deuxième signal horloge (H) est asynchrone par rapport à chaque premier signal horloge (H_capteur).
29. Dispositif selon la revendication 27, dans lequel le deuxième signal horloge (H) est synchrone avec le ou les premiers signaux horloge (H_capteur).
30. Dispositif selon l'une quelconque des revendications 16 à 29, dans lequel les moyens électroniques de traitement (10) comportent une table de correspondance préenregistrée codant, pour chaque pixel d'une image capturée au moyen d'au moins un dispositif de capture d'images (C,), la ou les positions correspondantes de ce pixel dans l'image panoramique ou stéréoscopique finale, et codant pour chaque position ce pixel dans l'image panoramique ou stéréoscopique finale, le poids (W) de ce pixel dans l'image panoramique ou stéréoscopique finale.
31 . Dispositif selon l'une quelconque des revendications 16 à 30 caractérisé en ce qu'il est portatif.
32. Procédé de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques d'une scène, caractérisé en ce qu'on réalise, au moyen d'au moins un dispositif de capture d'images (C,), plusieurs opérations successives de capture d'au moins deux images différentes de la scène, sous la forme de pixels, avec ou sans chevauchement entre les images, en ce que pendant les opérations de capture des images, on traite numériquement les pixels des images capturées en sorte de former des images panoramiques ou stéréoscopiques, et on génère un flux d'images panoramiques ou stéréoscopiques, et en ce que le traitement numérique de chaque pixel de chaque image capturée consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique.
33. Procédé selon la revendication 32, dans lequel les opérations successives de capture sont cadencées à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives.
34. Procédé selon la revendication 33 dans lequel pour chaque opération de capture, (a) on traite numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels avec une durée de traitement inférieure ou égale à ladite durée de capture (T), et (b) on génère, sur une durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée.
35. Procédé selon l'une quelconque des revendications 32 à 34, dans lequel les opérations successives de capture sont cadencées à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives, et les images finales panoramiques ou stéréoscopiques successives sont générées avec la même fréquence que la fréquence de capture (F).
36. Procédé selon l'une quelconque des revendications 32 à 35, dans lequel les opérations successives de capture sont cadencées à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives, et la durée de capture (T) est inférieure ou égale à 1 s, et de préférence inférieure ou égale à 100ms.
37. Procédé selon l'une quelconque des revendications 32 à 36, dans lequel on génère successivement chaque image finale panoramique ou stéréoscopique pendant chaque intervalle de temps (t) séparant le début de deux opérations de capture successives.
38. Procédé selon la revendication 37, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours de ce même intervalle de temps (t).
39. Procédé selon la revendication 37, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours d'un intervalle de temps (t) antérieur.
40. Procédé selon l'une quelconque des revendications 32 à 39, dans lequel le traitement numérique de chaque pixel est réalisé de telle sorte qu'une partie au moins des pixels des images capturées est mappée dans l'image finale panoramique ou stéréoscopique en ayant subi une projection en deux dimensions qui est différente de la projection en deux dimensions de ces mêmes pixels dans l'image du dispositif de capture d'images dont ils sont issus.
41 . Procédé selon l'une quelconque des revendications 32 à 40, dans lequel plusieurs pixels des images capturées sont traités en leur affectant chacun plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique.
42. Procédé selon l'une quelconque des revendications 32 à 41 , dans lequel plusieurs pixels des images capturées sont traités en leur affectant chacun au moins une position dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération (W) non nul et strictement inférieur à 100%.
43. Procédé selon l'une quelconque des revendications 32 à 42, dans lequel on capture au moins deux images différentes de la scène au moyen d'au moins deux dispositifs de capture d'images (Ci , C2).
44. Procédé selon l'une quelconque des revendications 32 à 42, dans lequel on capture au moins trois images différentes de la scène au moyen d'au moins trois dispositifs de capture d'images (Ci , C2, C3).
45. Dispositif de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques, caractérisé en ce qu'il comporte un ou plusieurs dispositifs de capture d'images (C,), qui permettent la capture d'au moins deux images différentes sous la forme d'un ensemble de pixels, et des moyens électroniques de traitement (10) qui permettent, au moyen du ou desdits dispositifs de capture d'images (C,), de réaliser plusieurs opérations successives de capture d'au moins deux images différentes d'une scène, sous la forme de pixels, avec ou sans chevauchement entre les images, et qui sont aptes, pendant les opérations de capture des images, à traiter numériquement les pixels des images capturées en sorte de former des images panoramiques ou stéréoscopiques, et à générer un flux d'images panoramiques ou stéréoscopiques, et en ce que le traitement numérique de chaque pixel de chaque image capturée consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique
46. Dispositif selon la revendication 45, dans lequel les moyens électroniques de traitement (10) permettent, au moyen du ou desdits dispositifs de capture d'images, de réaliser lesdites opérations successives de capture avec un cadencement des opérations successives de capture à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives.
47. Dispositif selon la revendication 46, dans lequel pour chaque opération de capture, les moyens électroniques de traitement (10) sont aptes (a) à traiter numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels avec une durée de traitement inférieure ou égale à ladite durée de capture (T), et (b) à générer, sur une durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée.
48. Dispositif selon l'une quelconque des revendications 45 à 47, dans lequel les moyens électroniques de traitement (10) permettent, au moyen du ou desdits dispositifs de capture d'images, de réaliser lesdites opérations successives de capture avec un cadencement des opérations successives de capture à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives, et sont aptes à générer des images finales panoramiques ou stéréoscopiques successives avec la même fréquence que la fréquence de capture (F).
49. Dispositif selon l'une quelconque des revendications 45 à 48, dans lequel les moyens électroniques de traitement (10) permettent, au
5 moyen du ou desdits dispositifs de capture d'images, de réaliser lesdites opérations successives de capture avec un cadencement des opérations successives de capture à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives, et la durée de capture (T) est inférieure à0 ou égale à 1 s, et de préférence inférieure ou égale à 100ms.
50. Dispositif selon l'une quelconque des revendications 45 à 49, dans lequel les moyens électroniques de traitement (10) sont conçus pour générer successivement chaque image finale panoramique ou stéréoscopique pendant chaque intervalle de temps (t) séparant le 5 début de deux opérations de capture successives.
51 . Dispositif selon la revendication 50, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au o cours de ce même intervalle de temps (t).
52. Dispositif selon la revendication 50, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au 5 cours d'un intervalle de temps (t) antérieur.
53. Dispositif selon l'une quelconque des revendications 45 à 52, dans lequel les moyens électroniques de traitement (10) sont conçus pour traiter chaque pixel de telle sorte qu'une partie au moins des pixels des images capturées est mappée dans l'image finale 0 panoramique ou stéréoscopique en ayant subi une projection en deux dimensions qui est différente de la projection en deux dimensions de ces mêmes pixels dans l'image du dispositif de capture d'images dont ils sont issus.
54. Dispositif selon l'une quelconque des revendications 45 à 53, dans lequel les moyens électroniques de traitement (10) sont conçus pour traiter plusieurs pixels des images capturées en leur affectant chacun plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique.
55. Dispositif selon l'une quelconque des revendications 45 à 54, dans lequel les moyens électroniques de traitement (10) sont conçus pour traiter plusieurs pixels des images capturées en leur affectant chacun au moins une position dans l'image finale avec un coefficient de pondération (W) non nul et strictement inférieur à 100%.
56. Dispositif selon l'une quelconque des revendications 45 à 55, comportant au moins deux dispositifs de capture d'images (Ci, C2).
57. Dispositif selon l'une quelconque des revendications 45 à 55, comportant au moins trois dispositifs de capture d'images (Ci, C2, C3).
58. Dispositif selon l'une quelconque des revendications 45 à 56, dans lequel chaque dispositif de capture d'images (C,) est conçu pour délivrer en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur), et en ce que les moyens électroniques de traitement (10) sont aptes à délivrer chaque image finale panoramique ou stéréoscopique sous la forme d'un flux de pixels synchronisé au moins par un deuxième signal horloge (H).
59. Dispositif selon la revendication 58, dans lequel le deuxième signal horloge (H) est asynchrone par rapport à chaque premier signal horloge (H_capteur).
60. Dispositif selon la revendication 58, dans lequel le deuxième signal horloge (H) est synchrone avec le ou les premiers signaux horloge (H_capteur).
61 . Dispositif selon l'une quelconque des revendications 45 à 60, dans lequel les moyens électroniques de traitement (10) comportent une table de correspondance préenregistrée codant, pour chaque pixel d'une image capturée au moyen d'au moins un dispositif de capture d'images (C,), la ou les positions correspondantes de ce pixel dans l'image panoramique ou stéréoscopique finale, et codant pour chaque position ce pixel dans l'image panoramique ou stéréoscopique finale, le poids (W) de ce pixel dans l'image panoramique ou stéréoscopique finale.
62. Dispositif selon l'une quelconque des revendications 45 à 61 caractérisé en ce qu'il est portatif.
63. Procédé de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques d'une scène, au cours duquel on réalise au moyen d'au moins un dispositif de capture d'images (C,), plusieurs opérations successives de capture d'au moins deux images différentes de la scène, sous la forme de pixels, avec ou sans chevauchement entre les images, au cours duquel chaque dispositif de capture d'images (C,) permet la capture d'une image sous la forme d'un ensemble de pixels et délivre en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur), et au cours duquel on traite numériquement chaque pixel de chaque image capturée, en sorte de générer une image finale panoramique ou stéréoscopique à partir desdits pixels sous la forme d'un flux de pixels synchronisé au moins par un deuxième signal horloge (H).
64. Procédé selon la revendication 63, dans lequel le deuxième signal horloge (H) est asynchrone par rapport à chaque premier signal horloge (H_capteur).
65. Procédé selon la revendication 63, dans lequel le deuxième signal horloge (H) est synchrone avec le ou les premiers signaux horloge (H_capteur).
66. Procédé selon l'une quelconque des revendications 63 à 65, dans lequel les opérations successives de capture sont cadencées à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives.
67. Procédé selon la revendication 66 dans lequel pour chaque opération de capture, (a) on traite numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels avec une durée de traitement inférieure ou égale à ladite durée de capture (T), et (b) on génère, sur une durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée.
68. Procédé selon l'une quelconque des revendications 63 à 67, dans lequel le traitement numérique de chaque pixel de chaque image capturée consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique.
69. Procédé selon l'une quelconque des revendications 63 à 68, dans lequel les opérations successives de capture sont cadencées à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives, et les images finales panoramiques ou stéréoscopiques successives sont générées avec la même fréquence que la fréquence de capture (F).
70. Procédé selon l'une quelconque des revendications 63 à 69, dans lequel les opérations successives de capture sont cadencées à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives, et la durée de capture (T) est inférieure ou égale à 1 s, et de préférence inférieure ou égale à 100ms.
71 . Procédé selon l'une quelconque des revendications 63 à 70, dans lequel on génère successivement chaque image finale panoramique ou stéréoscopique pendant chaque intervalle de temps (t) séparant le début de deux opérations de capture successives.
72. Procédé selon la revendication 71 , dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours de ce même intervalle de temps (t).
73. Procédé selon la revendication 71 , dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours d'un intervalle de temps (t) antérieur.
74. Procédé selon l'une quelconque des revendications 63 à 73, dans lequel le traitement numérique de chaque pixel est réalisé de telle sorte qu'une partie au moins des pixels des images capturées est mappée dans l'image finale panoramique ou stéréoscopique en ayant subi une projection en deux dimensions qui est différente de la projection en deux dimensions de ces mêmes pixels dans l'image du dispositif de capture d'images dont ils sont issus.
75. Procédé selon l'une quelconque des revendications 63 à 74, dans lequel plusieurs pixels des images capturées sont traités en leur affectant chacun plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique.
76. Procédé selon l'une quelconque des revendications 63 à 75, dans lequel plusieurs pixels des images capturées sont traités en leur affectant chacun au moins une position dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération (W) non nul et strictement inférieur à 100%.
77. Procédé selon l'une quelconque des revendications 63 à 76, dans lequel on capture au moins deux images différentes de la scène au moyen d'au moins deux dispositifs de capture d'images (Ci , C2).
78. Procédé selon l'une quelconque des revendications 63 à 76, dans lequel on capture au moins trois images différentes de la scène au moyen d'au moins trois dispositifs de capture d'images (Ci , C2, C3).
79. Procédé selon l'une quelconque des revendications 63 à 78, dans lequel chaque dispositif de capture d'images (C,) est conçu pour délivrer en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur), et en ce que chaque image finale panoramique ou stéréoscopique est délivrée sous la forme d'un flux de pixels synchronisé au moins par un deuxième signal horloge (H).
80. Procédé selon la revendication 79, dans lequel le deuxième signal horloge (H) est asynchrone par rapport à chaque premier signal horloge (H_capteur).
81 . Procédé selon la revendication 79, dans lequel le deuxième signal horloge (H) est synchrone avec le ou les premiers signaux horloge (H_capteur).
82. Dispositif de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques, ledit dispositif comportant un ou plusieurs dispositifs de capture d'images (C,) qui permettent de réaliser plusieurs opérations successives de capture d'au moins deux images différentes d'une scène, sous la forme de pixels, avec ou sans chevauchement entre les images, et des moyens électroniques de traitement (10) qui permettent de construire un flux d'images panoramiques ou stéréoscopiques à partir des images capturées, chaque dispositif de capture d'images est apte à délivrer en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur), et les moyens électroniques de traitement (10) sont conçus pour traiter numériquement chaque pixel de chaque image capturée, en sorte générer une image finale panoramique ou stéréoscopique à partir desdits pixels sous la forme d'un flux de pixels synchronisé par au moins un deuxième signal horloge (H).
83. Dispositif selon la revendication 82, dans lequel les moyens électroniques de traitement (10) permettent, au moyen du ou desdits dispositifs de capture d'images, de réaliser lesdites opérations successives de capture avec un cadencement des opérations successives de capture à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives.
84. Dispositif selon la revendication 83, dans lequel les moyens électroniques de traitement (10) sont aptes, pour chaque opération de capture, (a) à traiter numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels avec une durée de traitement inférieure ou égale à ladite durée de capture (T), et (b) à générer, sur une durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée.
85. Dispositif selon l'une quelconque des revendications 82 à 84, dans lequel le traitement numérique de chaque pixel de chaque image par les moyens électroniques de traitement (10) consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique.
86. Dispositif selon l'une quelconque des revendications 82 à 85 dans lequel les moyens électroniques de traitement (10) permettent, au moyen du ou desdits dispositifs de capture d'images, de réaliser lesdites opérations successives de capture avec un cadencement des opérations successives de capture à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives, et sont aptes à générer des images finales panoramiques ou stéréoscopiques successives avec la même fréquence que la fréquence de capture (F).
87. Dispositif selon l'une quelconque des revendications 82 à 86, dans lequel les moyens électroniques de traitement (10) permettent, au moyen du ou desdits dispositifs de capture d'images, de réaliser lesdites opérations successives de capture avec un cadencement des opérations successives de capture à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives, et la durée de capture (T) est inférieure à ou égale à 1 s, et de préférence inférieure ou égale à 100ms.
88. Dispositif selon l'une quelconque des revendications 82 à 87, dans lequel les moyens électroniques de traitement (10) sont conçus pour générer successivement chaque image finale panoramique ou stéréoscopique pendant chaque intervalle de temps (t) séparant le début de deux opérations de capture successives.
89. Dispositif selon la revendication 88, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours de ce même intervalle de temps (t).
90. Dispositif selon la revendication 88, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours d'un intervalle de temps (t) antérieur.
91 . Dispositif selon l'une quelconque des revendications 82 à 90, dans lequel les moyens électroniques de traitement (10) sont conçus pour traiter chaque pixel de telle sorte qu'une partie au moins des pixels des images capturées est mappée dans l'image finale panoramique ou stéréoscopique en ayant subi une projection en deux dimensions qui est différente de la projection en deux dimensions de ces mêmes pixels dans l'image du dispositif de capture d'images dont ils sont issus.
92. Dispositif selon l'une quelconque des revendications 82 à 91 , dans lequel les moyens électroniques de traitement (10) sont conçus pour traiter plusieurs pixels des images capturées en leur affectant chacun plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique.
93. Dispositif selon l'une quelconque des revendications 82 à 92, dans lequel les moyens électroniques de traitement (10) sont conçus pour traiter plusieurs pixels des images capturées en leur affectant chacun au moins une position dans l'image finale avec un coefficient de pondération (W) non nul et strictement inférieur à 100%.
94. Dispositif selon l'une quelconque des revendications 82 à 93, comportant au moins deux dispositifs de capture d'images (Ci, C2). 95. Dispositif selon l'une quelconque des revendications 82 à 93, comportant au moins trois dispositifs de capture d'images (Ci, C2, C3).
96. Dispositif selon l'une quelconque des revendications 82 à 95, dans lequel le deuxième signal horloge (H) est asynchrone par rapport à chaque premier signal horloge (H_capteur).
97. Dispositif selon l'une quelconque des revendications 82 à 95 dans lequel le deuxième signal horloge (H) est synchrone avec le ou les premiers signaux horloge (H_capteur).
98. Dispositif selon l'une quelconque des revendications 82 à 97, dans lequel les moyens électroniques de traitement (10) comportent une table de correspondance préenregistrée codant, pour chaque pixel d'une image capturée au moyen d'au moins un dispositif de capture d'images (C,), la ou les positions correspondantes de ce pixel dans l'image panoramique ou stéréoscopique finale, et codant pour chaque position ce pixel dans l'image panoramique ou stéréoscopique finale, le poids (W) de ce pixel dans l'image panoramique ou stéréoscopique finale.
99. Dispositif selon l'une quelconque des revendications 82 à 98 caractérisé en ce qu'il est portatif.
100. Procédé de capture et de construction d'au moins une image panoramique ou stéréoscopique d'une scène, au cours duquel on capture au moins deux images différentes de la scène au moyen d'au moins un dispositif de capture d'images (C,), avec ou sans chevauchement entre les images, chaque dispositif de capture d'images (C,) permettant la capture d'une image sous la forme d'un ensemble de pixels et délivrant en sortie pour chaque image capturée un flux de pixels, au cours duquel on traite numériquement le flux de pixels de chaque image capturée en sorte de former au moins une image finale panoramique ou stéréoscopique à partir desdits pixels, et le traitement numérique de chaque pixel du flux de pixels correspondant à chaque image capturée consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique.
101. Procédé selon la revendication 100, permettant la capture et la construction d'un flux de plusieurs images panoramiques ou stéréoscopiques d'une scène, au cours duquel on réalise au moyen d'au moins un dispositif de capture d'images (Ci), plusieurs opérations successives de capture d'au moins deux images différentes de la scène, sous la forme de pixels, avec ou sans chevauchement entre les images, et au cours duquel les opérations successives de capture sont cadencées à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives.
102. Procédé selon la revendication 01 , au cours duquel pour chaque opération de capture, (a) le traitement numériquement des pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels est effectué avec une durée de traitement inférieure ou égale à ladite durée de capture (T), et (b) on génère, sur une durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée.
03. Procédé selon selon l'une quelconque des revendications 100 à 102, au cours duquel les opérations successives de capture sont cadencées à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives, et les images finales panoramiques ou stéréoscopiques successives sont générées avec la même fréquence que la fréquence de capture (F).
104. Procédé selon l'une quelconque des revendications 100 à 103, au cours duquel les opérations successives de capture sont cadencées à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives, et la durée de capture (T) est inférieure ou égale à 1 s, et de préférence inférieure ou égale à 100ms.
105. Procédé selon l'une quelconque des revendications 100 à 104, dans lequel on génère successivement chaque image finale panoramique ou stéréoscopique pendant chaque intervalle de temps (t) séparant le début de deux opérations de capture successives.
106. Procédé selon la revendication 105, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours de ce même intervalle de temps (t).
107. Procédé selon la revendication 105, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours d'un intervalle de temps (t) antérieur.
108. Procédé selon l'une quelconque des revendications 100 à 107, dans lequel le traitement numérique de chaque pixel est réalisé de telle sorte qu'une partie au moins des pixels des images capturées est mappée dans l'image finale panoramique ou stéréoscopique en ayant subi une projection en deux dimensions qui est différente de la projection en deux dimensions de ces mêmes pixels dans l'image du dispositif de capture d'images dont ils sont issus.
109. Procédé selon l'une quelconque des revendications 100 à 108, dans lequel plusieurs pixels des images capturées sont traités en leur affectant chacun plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique.
1 10. Procédé selon l'une quelconque des revendications 100 à 109, dans lequel plusieurs pixels des images capturées sont traités en leur affectant chacun au moins une position dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération (W) non nul et strictement inférieur à 100%.
1 1 . Procédé selon l'une quelconque des revendications 100 à 1 10, dans lequel on capture au moins deux images différentes de la scène au moyen d'au moins deux dispositifs de capture d'images
(Ci , C2).
12. Procédé selon l'une quelconque des revendications 100 à 1 10, dans lequel on capture au moins trois images différentes de la scène au moyen d'au moins trois dispositifs de capture d'images
Figure imgf000051_0001
13. Procédé selon l'une quelconque des revendications 100 à 1 12, dans lequel le dispositif de capture d'images (C,) est conçu pour délivrer en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur), et en ce que chaque image finale panoramique ou stéréoscopique est délivrée sous la forme d'un flux de pixels synchronisé au moins par un deuxième signal horloge (H).
14. Procédé selon la revendication 1 13, dans lequel le deuxième signal horloge (H) est asynchrone par rapport à chaque premier signal horloge (H_capteur).
15. Procédé selon la revendication 1 13, dans lequel le deuxième signal horloge (H) est synchrone avec le ou les premiers signaux horloge (H_capteur).
16. Procédé selon l'une quelconque des revendications 100 à 1 15 dans lequel le traitement numérique des pixels d'une image capturée au moyen d'au moins un dispositif de capture d'images est effectué au moyen d'une table de correspondance préenregistrée codant, pour chaque pixel d'une image capturée au moyen d'au moins un dispositif de capture d'images, la ou les positions correspondantes de ce pixel dans l'image panoramique ou stéréoscopique finale, et codant pour chaque position ce pixel dans l'image panoramique ou stéréoscopique finale, le poids (W) de ce pixel dans l'image panoramique ou stéréoscopique finale. 17. Dispositif de capture et de construction d'au moins une image panoramique ou stéréoscopique, ledit dispositif comportant un ou plusieurs dispositifs de captures d'image (C,) qui permettent la capture d'au moins deux images différentes, avec ou sans chevauchement entre les images, chaque capteur d'image (C,) étant apte à délivrer un flux de pixels pour chaque image capturée, et des moyens électroniques de traitement (10) qui permettent de construire, pendant les opérations de capture d'images, une image panoramique ou stéréoscopique à partir des flux de pixels de chaque image capturée, lesdits moyens électroniques de traitement (10) étant conçus pour traiter chaque pixel du flux de pixels de chaque image capturée en conservant ou en abandonnant ledit pixel, et dans le cas où le pixel est conservé, en lui affectant une ou plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique.
18. Dispositif selon la revendication 1 15, permettant la capture et la construction d'un flux de plusieurs images panoramiques ou stéréoscopiques, dans lequel les moyens électroniques de traitement (10) permettent, au moyen du ou desdits dispositifs de capture d'images(Ci), de réaliser plusieurs opérations successives de capture d'au moins deux images différentes d'une scène, sous la forme de pixels, avec ou sans chevauchement entre les images, et avec un cadencement des opérations successives de capture à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives.
19. Dispositif selon la revendication 1 18, dans lequel les moyens électroniques de traitement (10) sont aptes, pour chaque opération de capture, (a) à traiter numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels avec une durée de traitement inférieure ou égale à ladite durée de capture (T), et (b) à générer, sur une durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée.
120. Dispositif selon l'une quelconque des revendications 1 17 à 1 19, dans lequel les moyens électroniques de traitement (10) permettent, au moyen du ou desdits dispositifs de capture d'images, de réaliser lesdites opérations successives de capture avec un cadencement des opérations successives de capture à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives, et sont aptes à générer des images finales panoramiques ou stéréoscopiques successives avec la même fréquence que la fréquence de capture (F).
121 . Dispositif selon l'une quelconque des revendications 1 17 à 120, dans lequel les moyens électroniques de traitement (10) permettent, au moyen du ou desdits dispositifs de capture d'images, de réaliser lesdites opérations successives de capture avec un cadencement des opérations successives de capture à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives, et dans lequel la durée de capture (T) est inférieure à ou égale à 1 s, et de préférence inférieure ou égale à 100ms.
122. Dispositif selon l'une quelconque des revendications 1 17 à 121 , dans lequel les moyens électroniques de traitement (10) sont conçus pour générer successivement chaque image finale panoramique ou stéréoscopique pendant chaque intervalle de temps (t) séparant le début de deux opérations de capture successives.
123. Dispositif selon la revendication 122, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours de ce même intervalle de temps (t).
124. Dispositif selon la revendication 122, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours d'un intervalle de temps (t) antérieur.
125. Dispositif selon l'une quelconque des revendications 1 17 à 124, dans lequel les moyens électroniques de traitement (10) sont conçus pour traiter chaque pixel de telle sorte qu'une partie au moins des pixels des images capturées est mappée dans l'image finale panoramique ou stéréoscopique en ayant subi une projection en deux dimensions qui est différente de la projection en deux dimensions de ces mêmes pixels dans l'image du dispositif de capture d'images dont ils sont issus.
126. Dispositif selon l'une quelconque des revendications 1 17 à 125, dans lequel les moyens électroniques de traitement (10) sont conçus pour traiter plusieurs pixels des images capturées en leur affectant chacun plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique.
127. Dispositif selon l'une quelconque des revendications 1 17 à 126, dans lequel les moyens électroniques de traitement (10) sont conçus pour traiter plusieurs pixels des images capturées en leur affectant chacun au moins une position dans l'image finale avec un coefficient de pondération (W) non nul et strictement inférieur à 100%.
128. Dispositif selon l'une quelconque des revendications 1 17 à 127, comportant au moins deux dispositifs de capture d'images (Ci, C2).
129. Dispositif selon l'une quelconque des revendications 1 17 à 127, comportant au moins trois dispositifs de capture d'images (Ci, C2, C3).
130. Dispositif selon l'une quelconque des revendications 1 17 à 129, dans lequel chaque dispositif de capture d'images (C,) est conçu pour délivrer en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur), et en ce que les moyens électroniques de traitement sont aptes à délivrer chaque image finale panoramique ou stéréoscopique sous la forme d'un flux de pixels synchronisé au moins par un deuxième signal horloge (H).
131 . Dispositif selon la revendication 130, dans lequel le deuxième signal horloge (H) est asynchrone par rapport à chaque premier signal horloge (H_capteur).
132. Dispositif selon la revendication 130, dans lequel le deuxième signal horloge (H) est synchrone avec le ou les premiers signaux horloge (H_capteur).
133. Dispositif selon l'une quelconque des revendications 1 17 à 132, dans lequel les moyens électroniques de traitement (10) comportent une table de correspondance préenregistrée codant, pour chaque pixel d'une image capturée au moyen d'au moins un dispositif de capture d'images (C,), la ou les positions correspondantes de ce pixel dans l'image panoramique ou stéréoscopique finale, et codant pour chaque position ce pixel dans l'image panoramique ou stéréoscopique finale, le poids (W) de ce pixel dans l'image panoramique ou stéréoscopique finale.
134. Dispositif selon l'une quelconque des revendications 1 17 à 133 caractérisé en ce qu'il est portatif.
PCT/FR2013/052707 2012-11-15 2013-11-12 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques WO2014076402A1 (fr)

Priority Applications (11)

Application Number Priority Date Filing Date Title
US14/443,097 US20150288864A1 (en) 2012-11-15 2013-11-12 Process and device for capturing and rendering a panoramic or stereoscopic stream of images
MX2015006121A MX355297B (es) 2012-11-15 2013-11-12 Procedimiento y dispositivo para capturar y convertir una corriente panoramica o estereoscopica de imagenes.
CN201380059682.7A CN104782114B (zh) 2012-11-15 2013-11-12 用于捕获与构造全景或立体图像流的方法与装置
EP13808073.4A EP2920956A1 (fr) 2012-11-15 2013-11-12 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
BR112015010788A BR112015010788A8 (pt) 2012-11-15 2013-11-12 processo de captura e de construção de um fluxo de imagens panorâmicas ou estereoscópicas de uma cena e dispositivo de captura e de construção de um fluxo de imagens panorâmicas ou estereoscópicas
JP2015542330A JP2016503618A (ja) 2012-11-15 2013-11-12 パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置
CA2889811A CA2889811A1 (fr) 2012-11-15 2013-11-12 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
AU2013346603A AU2013346603B2 (en) 2012-11-15 2013-11-12 Method and device for capturing and constructing a stream of panoramic or stereoscopic images
IL238622A IL238622A0 (en) 2012-11-15 2015-05-04 Process and apparatus for capturing and processing a panoramic or stereoscopic stream of images
IN3812DEN2015 IN2015DN03812A (fr) 2012-11-15 2015-05-05
HK16100452.3A HK1212835A1 (zh) 2012-11-15 2016-01-15 用於捕獲與構造全景或立體圖像流的方法與裝置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1260880 2012-11-15
FR1260880A FR2998126B1 (fr) 2012-11-15 2012-11-15 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques

Publications (1)

Publication Number Publication Date
WO2014076402A1 true WO2014076402A1 (fr) 2014-05-22

Family

ID=47754666

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2013/052707 WO2014076402A1 (fr) 2012-11-15 2013-11-12 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques

Country Status (15)

Country Link
US (1) US20150288864A1 (fr)
EP (1) EP2920956A1 (fr)
JP (2) JP2016503618A (fr)
KR (1) KR20150084807A (fr)
CN (1) CN104782114B (fr)
AU (1) AU2013346603B2 (fr)
BR (1) BR112015010788A8 (fr)
CA (1) CA2889811A1 (fr)
FR (4) FR2998126B1 (fr)
HK (1) HK1212835A1 (fr)
IL (1) IL238622A0 (fr)
IN (1) IN2015DN03812A (fr)
MX (1) MX355297B (fr)
TW (2) TWI612495B (fr)
WO (1) WO2014076402A1 (fr)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3190780A1 (fr) * 2016-01-05 2017-07-12 Giroptic Caméra sphérique à deux lentilles
US10943340B2 (en) 2016-04-18 2021-03-09 Avago Technologies International Sales Pte. Limited Blending images
EP3249929A1 (fr) * 2016-05-25 2017-11-29 Thomson Licensing Procédé et équipement de réseau permettant d'établir un manifeste
US20180018807A1 (en) * 2016-07-15 2018-01-18 Aspeed Technology Inc. Method and apparatus for generating panoramic image with texture mapping
CN108513119A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 图像的映射、处理方法、装置和机器可读介质
KR101925011B1 (ko) * 2017-03-14 2019-02-27 한국과학기술원 워터마크 삽입/검출 방법 및 장치
TWI775869B (zh) * 2017-06-29 2022-09-01 佳能企業股份有限公司 影像擷取裝置及影像處理方法
TWI642301B (zh) * 2017-11-07 2018-11-21 宏碁股份有限公司 影像處理方法與電子系統
WO2020185201A1 (fr) * 2019-03-10 2020-09-17 Google Llc Caméra à grand angle à 360 degrés ayant un point de liage en forme de balle
KR102294071B1 (ko) * 2020-07-21 2021-08-26 금오공과대학교 산학협력단 증강 현실에 기반한 o2o 카메라 솔루션에서의 객체 위치 표시 변환 및 id 부여 방법
KR102555534B1 (ko) * 2021-06-28 2023-07-17 한국과학기술원 구형 파노라마 영상에 대한 워터마크 검출 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090058988A1 (en) 2007-03-16 2009-03-05 Kollmorgen Corporation System for Panoramic Image Processing
WO2010001476A1 (fr) 2008-07-04 2010-01-07 清正工業株式会社 Appareil d’élimination de déchets médicaux
WO2011037964A1 (fr) 2009-09-22 2011-03-31 Tenebraex Corporation Systèmes et procédés de correction d'image dans un système multicapteur
WO2012032236A1 (fr) 2010-09-09 2012-03-15 Giroptic Dispositif optique pour la capture d'images selon un champ de 360 °

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6885392B1 (en) * 1999-12-31 2005-04-26 Stmicroelectronics, Inc. Perspective correction for preview area of panoramic digital camera
JP4499319B2 (ja) * 2001-08-24 2010-07-07 パナソニック株式会社 運転支援装置、運転支援方法および運転ガイドデータ作成方法
US20030135675A1 (en) * 2002-01-17 2003-07-17 Koninklijke Philips Electronics N.V. Configurable synchronous or asynchronous bus interface
US7782357B2 (en) * 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US7084904B2 (en) * 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
JP2004159014A (ja) * 2002-11-05 2004-06-03 Nec Corp デジタルカメラ付き携帯通信端末
TWI269648B (en) * 2004-03-09 2007-01-01 Chuin-Mu Wang Method and system for examining fitness by photography
CN201118859Y (zh) * 2007-07-27 2008-09-17 浙江大学 单体式实时全景无缝无失真视频摄像机
CN101119482B (zh) * 2007-09-28 2011-07-20 北京智安邦科技有限公司 一种全景监控方法及设备
CA2714492C (fr) * 2008-02-08 2014-07-15 Google, Inc. Apparel photographique panoramique equipe de multiples capteurs d'image faisant appel a des obturateurs synchronises
JP2010252015A (ja) * 2009-04-15 2010-11-04 Panasonic Corp 画像合成装置、画像合成方法およびプログラム
TWI379245B (en) * 2009-04-27 2012-12-11 Asustek Comp Inc Method for continuously outputting character by video-recording
JP2011119974A (ja) * 2009-12-03 2011-06-16 Sony Corp パノラマ画像合成装置、パノラマ画像合成方法、及びプログラム
CN102480622A (zh) * 2010-11-30 2012-05-30 比亚迪股份有限公司 立体图像获取方法及系统、移动终端
US9247133B2 (en) * 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
US20130321573A1 (en) * 2012-05-30 2013-12-05 Texas Instruments Incorporated Identification and display of time coincident views in video imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090058988A1 (en) 2007-03-16 2009-03-05 Kollmorgen Corporation System for Panoramic Image Processing
WO2010001476A1 (fr) 2008-07-04 2010-01-07 清正工業株式会社 Appareil d’élimination de déchets médicaux
WO2011037964A1 (fr) 2009-09-22 2011-03-31 Tenebraex Corporation Systèmes et procédés de correction d'image dans un système multicapteur
WO2012032236A1 (fr) 2010-09-09 2012-03-15 Giroptic Dispositif optique pour la capture d'images selon un champ de 360 °

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RICHARD SZELISKI, IMAGE ALIGNMENT AND STITICHING : A TUTORIAL, 26 January 2005 (2005-01-26)
SZELISKI RICHARD: "image Alignment and Stitching: A tutorial", INTERNET CITATION, October 2004 (2004-10-01), XP002477627, Retrieved from the Internet <URL:http://robots.stanford.edu/cs223b05/MSR-TR-2004-92-Jan26.pdf> [retrieved on 20080422] *

Also Published As

Publication number Publication date
FR3012001B1 (fr) 2016-05-06
BR112015010788A8 (pt) 2019-10-01
EP2920956A1 (fr) 2015-09-23
HK1212835A1 (zh) 2016-06-17
MX355297B (es) 2018-04-12
KR20150084807A (ko) 2015-07-22
TW201804432A (zh) 2018-02-01
CN104782114A (zh) 2015-07-15
BR112015010788A2 (pt) 2017-07-11
FR3012000A1 (fr) 2015-04-17
FR3012000B1 (fr) 2016-05-06
FR3011968B1 (fr) 2016-05-06
IL238622A0 (en) 2015-06-30
AU2013346603B2 (en) 2017-09-07
FR2998126B1 (fr) 2014-12-26
FR3011968A1 (fr) 2015-04-17
FR2998126A1 (fr) 2014-05-16
TW201435792A (zh) 2014-09-16
MX2015006121A (es) 2015-08-06
IN2015DN03812A (fr) 2015-10-02
US20150288864A1 (en) 2015-10-08
FR3012001A1 (fr) 2015-04-17
CN104782114B (zh) 2019-05-07
CA2889811A1 (fr) 2014-05-22
TWI612495B (zh) 2018-01-21
AU2013346603A1 (en) 2015-05-14
JP2016503618A (ja) 2016-02-04
JP2019041389A (ja) 2019-03-14

Similar Documents

Publication Publication Date Title
WO2014076402A1 (fr) Procede et dispositif de capture et de construction d&#39;un flux d&#39;images panoramiques ou stereoscopiques
CA2834883C (fr) Procede pour commander une action, notamment une modification de nettete, a partir d&#39;une image numerique en couleurs
EP3057317B1 (fr) Caméra plénoptique
FR2882160A1 (fr) Procede de capture d&#39;images comprenant une mesure de mouvements locaux
WO2017100061A1 (fr) Systèmes et procédés pour une réduction de bruit multiscopique et une plage fortement dynamique
CN103826033A (zh) 图像处理方法、图像处理设备、图像拾取设备和存储介质
CN102300113B (zh) 基于稀疏摄像机阵列的集成成像微图像阵列生成方法
JPH1062140A (ja) 形状の再構成方法および形状の再構成装置
US20190166335A1 (en) Plenoptic sub aperture view shuffling for a richer color sampling
FR3054093A1 (fr) Procede et dispositif de detection d&#39;un capteur d&#39;images
TWI504936B (zh) 影像處理裝置
TW201322754A (zh) 高動態範圍影像感測裝置、方法、及裝置製造方法
WO2011033186A1 (fr) Procédé de numérisation tridimensionnelle d&#39;une surface comprenant la projection d&#39;un motif combiné
FR2968108A1 (fr) Procede de reduction de la taille d’une image stereoscopique
FR2966257A1 (fr) Procede et dispositif de construction d&#39;une image en relief a partir d&#39;images en deux dimensions
WO2011033187A1 (fr) Procédé de numérisation tridimensionnelle comprenant une double mise en correspondance
LU102214B1 (en) Method for digital image processing
BE1020522A5 (fr) Procede de determination des parametres geometriques indiquant le mouvement d&#39;une camera.
WO2017149248A1 (fr) Appareil de prise de vue stereoscopique
EP4015228A1 (fr) Procédé de fabrication d&#39;un dispositif de sécurité et dispositif de sécurité associé
WO2023105164A1 (fr) Procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique
Seifi et al. On plenoptic sub-aperture view recovery
Hwang et al. Perspective view reconstruction of partially occluded objects by using computational integral imaging
JP5399986B2 (ja) 撮像装置、画像処理方法
Hwang et al. 3D sensing and visualization of occluded objects

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13808073

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2889811

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 20157011354

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013808073

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 238622

Country of ref document: IL

WWE Wipo information: entry into national phase

Ref document number: P610/2015

Country of ref document: AE

ENP Entry into the national phase

Ref document number: 2013346603

Country of ref document: AU

Date of ref document: 20131112

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2015/006121

Country of ref document: MX

ENP Entry into the national phase

Ref document number: 2015542330

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14443097

Country of ref document: US

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112015010788

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112015010788

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20150512