WO2014082864A1 - Procede de production d'images avec information de profondeur et capteur d'image - Google Patents

Procede de production d'images avec information de profondeur et capteur d'image Download PDF

Info

Publication number
WO2014082864A1
WO2014082864A1 PCT/EP2013/073844 EP2013073844W WO2014082864A1 WO 2014082864 A1 WO2014082864 A1 WO 2014082864A1 EP 2013073844 W EP2013073844 W EP 2013073844W WO 2014082864 A1 WO2014082864 A1 WO 2014082864A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
distance
pulse
light
image
Prior art date
Application number
PCT/EP2013/073844
Other languages
English (en)
Inventor
Pierre Fereyre
Bruno DIASPARRA
Vincent PREVOST
Original Assignee
E2V Semiconductors
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by E2V Semiconductors filed Critical E2V Semiconductors
Priority to CA2892659A priority Critical patent/CA2892659A1/fr
Priority to US14/647,492 priority patent/US9699442B2/en
Priority to JP2015543396A priority patent/JP6320406B2/ja
Priority to EP13789585.0A priority patent/EP2926162A1/fr
Priority to CN201380069412.4A priority patent/CN104884972A/zh
Publication of WO2014082864A1 publication Critical patent/WO2014082864A1/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the invention relates to the production of images associating at each point of the image a depth, that is to say a distance between the observed point and the camera that produces the image.
  • the production of images with an associated depth is used in particular but not exclusively for the visualization of relief images: in this application, for example, it is possible to produce an image with a camera, and to produce depth values associated with each point; then, from this single image, one can produce a left image and a right image different from each other; a point in the scene occupies the same position in the left image and in the right image if it is at an infinite distance; if it is closer to the camera, it occupies different positions, spaced laterally a distance greater as the point is closer.
  • the left and right images projected simultaneously but each observed by a respective eye give the impression of relief. Most often, the depth is obtained by two cameras apart from each other.
  • the invention proposes a solution with a single camera.
  • the present invention proposes a method for producing images of a scene by volume including distance information of each point of the scene, this method using a source pulsed light and an image sensor, the sensor comprising pixels capable of accumulating, in a respective storage node of each pixel, charges generated by the light, the method comprising the emission of N successive trains of light pulses from the light source and under the control of a reference clock, N being an integer representing the number of depth levels desired for the information of the light source. relief, and, iteratively for each pulse train of rank i among the N pulse trains: a) emission of the i th train of light pulses, the pulses being emitted at times determined from the reference clock and at intervals determined from this clock,
  • a1) integrating charges for each light pulse of the i th train during a short integration time slot T int beginning with a time offset t, with respect to the pulse, this time offset representing a travel time of the light pulse between the light source and the sensor after reflection on a point located at an i th distance (d,) of the sensor, the i th time shift t, being the same for all light pulses of the i th pulse train and the time offset values t, for the N trains being different from each other to correspond to different distances with respect to the sensor and being spaced from each other by an increment of duration greater than the integration duration T int ,
  • each train of pulses is intended for the observation of the points of the scene which are situated at a definite distance d, the other points being excluded from this observation.
  • the points closer than the distance d are not seen because the light pulse reflected by these points arrives before time t, that is, before a load integration time slot begins. (from t, to t, + T int ).
  • the more distant points are not seen because the light impulse reflected by these points arrive too late, while the time slot of load integration is already finished.
  • the time slot for integration of charges of duration T int is preferably established between the end of a reset signal of the photodiode, common to all the pixels, and the end of a charge transfer signal common to all the pixels.
  • the charge transfer signal allows charge transfer from a photodiode to the charge storage node of the pixel.
  • the reset signal vacates the charges of the photodiode and prevents the integration of charges therein.
  • the light pulses are brief and the time slots of charge integration are also brief because it is this brevity that allows a precision of location of the distance d ,.
  • the duration of the integration slots is less than the difference of two neighboring time offsets such that t, and t i + i if we want to correctly distinguish the corresponding neighboring distances d, and d i + i.
  • the light pulses are numerous (if possible) in each pulse train to compensate for their brevity and to ensure the cumulative reception of a sufficient quantity of photons before the reading of the accumulated charges in the storage node of each pixel at the end of the train. pulse.
  • the signal provided by a pixel for a given pulse train exists if a point of the scene observed by this pixel is at the distance d associated with this train and does not exist if the point of the scene is not at this distance.
  • the level of the signal provided, representing the amount of charge accumulated at the end of the pulse train, is approximately proportional to the reflectance or albedo of the point, with however a degraded signal level if the distance from this point is such that that the return of the reflected pulse coincides only partially with the load integration slot.
  • N frames of the scene are obtained with depth information associated with each image, and from there, depth information for each pixel is obtained.
  • the resulting information can be transmitted either in the form of N images representing N view planes corresponding to N different distances, or in the form of a single image gathering the luminances of the N images, added pixel by pixel, associated with a matrix of distances representing for each pixel the distance associated with this pixel, i.e., the distance from the point of the scene portion observed by the pixel.
  • the distance associated with the pixel may be the unique distance d, for which the pixel has received a signal, or for which the pixel has received the strongest signal among the N images. But it may also be, as will be indicated later, a distance calculated by interpolation if the pixel has received a non-zero signal for several different distances.
  • Time offsets t values differ from each other by a value one might call "time increment" values t. If the duration of a light pulse is T imp and the duration of a load integration time slot is T int , then the duration increment of the values t , which defines the resolution in depth, is preferably equal to the sum of the durations T imp and T int . These two durations can be equal or nearly equal. If the increment between two offsets t, is greater than this sum T im p + Ti nt , there is a risk of missing reflections on points situated between a distance d and a distance d i + i.
  • a point situated at approximately the distance d can give a response on the rank i pulse train corresponding to this distance d, but also a response on the rank i pulse train. -1 or i + 1, and one can have a discrimination problem of the most relevant distance value among several possible values.
  • a distance information from the different responses for example by selecting the distance for which the response is the highest, or by calculating a distance by interpolation from the distances for which a signal is received by a pixel: for example, a weighted interpolation distance is calculated on three values from the distance d, corresponding to the train pulse of rank i for which the signal read has the highest value and from the signals read for this pixel and corresponding to the distances dn and / or d i + i, by assigning to each distance a weight corresponding to the received signal level.
  • the interpolation can be done over five consecutive distances or even more.
  • An array of numerical values of distances is then established, associating with each pixel of the sensor a distance of a point of the scene observed by this pixel.
  • the invention relates to an image pickup apparatus comprising a pixel matrix image sensor and a light source capable of providing light pulses, the apparatus providing an image of the scene and distance information associated with each pixel of the pixel array, each pixel having a photodiode, photodiode reset means, charge storage means in the pixel, and means for reading accumulated charges in the storage node, the light source having means for providing N light pulse trains calibrated in duration and in intervals, the apparatus further comprising sequencing means for controlling the reset and the transfer charge of the photodiode to the storage node, and the sequencing means being synchronized with respect to the light pulses, characterized in that the Sequencing means are arranged to produce, for each of the N light pulse trains, a charge integration during a short time slot shifted with respect to each light pulse by an identical time shift (t,) for all the pulses.
  • FIG. 1 represents the general principle of producing images of a scene with distance information according to the invention
  • FIG. 2 represents successive images produced from the scene of FIG. 1;
  • FIG. 3 represents the constitution of a pixel and its reading circuit for the implementation of the invention
  • FIG. 4 represents a chronogram of operation of the method
  • FIG. 5 represents the detail of the synchronization of the signals for the establishment of an integration time slot following a light pulse.
  • the process according to the invention is shown schematically in FIG. It uses a CAM camera associated with an LS pulse light source, the operation of the image sensor of the camera being synchronized with respect to the operation of the light source.
  • the light source may be a source in the near infrared, particularly in the case of the production of images intended for the observation or the detection of obstacles in the fog.
  • the camera includes a lens and an image sensor.
  • the sensor includes an array of active pixels and internal sequencing circuits for establishing the internal control signals, including row and column control signals that allow the integration of generated photo charges and the reading of these charges.
  • control means for synchronizing the operation of the image sensor with respect to the Impulse operation of the light source are provided. They can be part of the light source, or the camera, or a SYNC electronic circuit connected to both the camera and the light source. These control means comprise a reference clock which is used by the sequencing circuits of the image sensor, to ensure synchronization.
  • a scene with objects in relief is represented in front of the camera, that is to say that the different parts of the scene are not all located at the same distance from the camera.
  • the light source emits short pulses of light.
  • a pulse When a pulse is emitted, it is reflected by the objects of the scene and the pulse reflected by an object or part of an object situated in an observation plane P, at a distance d, returns to the image sensor with a delay t, proportional to this distance.
  • the light source is assumed to be at the same distance d as the image sensor.
  • the time t is then equal to 2d, / c where c is the speed of light.
  • Deciding to collect an image by integrating photo charges generated during a very narrow time slot corresponding only to the moment of return of a brief pulse which has been reflected by the points of the scene situated in a plane P ,, to a distance d , we produce an image that contains only the points of the scene located in this plane.
  • FIG. 2 illustrates the different IM to IM 6 images that can be obtained with the sensor if only the light signal arriving at time t is collected for each image, that is to say if n ' Observe that the object parts located in the plane P, at the distance d ,, this for different planes P, ranging for example from Pi to P 6 .
  • N successive images of the scene are produced, each image corresponding only to a determined plane P.
  • An information distance is therefore inherently contained in the image succession obtained since, at each pixel of the sensor, it can be associated, depending on whether or not it provides a signal in the different images or on the value of this signal in the different images, a distance to the camera.
  • FIG. 3 is a reminder of the conventional constitution of a matrix image sensor pixel in CMOS technology and its reading circuit, which make it possible to implement the invention.
  • the pixel conventionally comprises a photodiode PH and a charge storage node ND in which the charges generated by the photodiode can be stored during an integration time T int .
  • the pixel furthermore comprises a plurality of MOS transistors which serve to control the pixel to define the integration time and to extract a signal representing the quantity of charges stored during the integration time.
  • the pixel comprises:
  • a transistor T1 which resets the potential of the photodiode before starting a new integration period of duration Tint; this transistor is controlled by a global reset signal RG common to all the pixels of the matrix; the end of the signal RG defines the beginning of the integration duration T int .
  • a charge transfer transistor T2 which makes it possible to empty in the storage node ND the charges generated after an integration duration T int ; this transistor is controlled by a charge transfer signal TR which may be common to all the pixels; the end of this signal defines the end of the integration duration T int;
  • a reset transistor T3 which makes it possible to reset the potential of the storage node after reading the quantity of charges that has been stored therein; this transistor is controlled by a reset signal RST which may be common to all the pixels;
  • a read transistor T4 which is mounted as a voltage follower and which makes it possible to transfer from its gate to its source the potential level of the charge storage node;
  • a selection transistor T5 which is connected to the source of the transistor T4 and which makes it possible to transfer to a column conductor COL (common to the pixels of the same column of the matrix) the potential of the load storage node when it is desired to read the quantity of charges stored in the load storage node; this transistor is controlled by a line selection signal SEL common to all the pixels of a line; the pixels are read line by line.
  • COL common to the pixels of the same column of the matrix
  • the reading circuit external to the pixel matrix and connected to the different column conductors, comprises a sampling circuit which samples, for example in two capacitors Cr and Cs, the potential of the column conductor by means of switches Kr and Ks, respectively at a time when the storage node has been reset and at a time when it is desired to determine the amount of charge accumulated in the storage node.
  • the difference between the sampled potentials in the capacities represents the amount of accumulated charges. It can be read by a differential amplifier AMP, then digitized, or directly digitized, for example using a counter, a linear voltage ramp, and a comparator.
  • Figure 4 shows the chronogram that leads to the production of N successive images representing the elements of the scene at different distances.
  • the line LP represents the light pulses.
  • the line INT represents the integration periods of the image sensor following each pulse.
  • the N images are obtained by producing N light pulse trains TR, where i is an integer index of 1 to N, and where N is the number of planes P, at different distances d, for which we want to collect a picture.
  • Each pulse train comprises several pulses, regularly distributed over the duration of the pulse train.
  • the pulses are clocked by a reference clock not shown, which may be part of the sensor or the light source or control means mentioned above, and which serves to synchronize the operation of the light source and that of the sensor.
  • a reference clock not shown, which may be part of the sensor or the light source or control means mentioned above, and which serves to synchronize the operation of the light source and that of the sensor.
  • the image sensor For each pulse of a pulse train TR , the image sensor records the photo charges generated during an integration time slot of duration T int . If we take as time reference (for each pulse) the beginning of the pulse, the time slot of duration T int begins at a time t, and ends at a time t, + T int .
  • the value t is the time shift between the light pulse and the start of the integration slot. It represents the distance traveled by the light pulse to go to the plane P, and return to the sensor.
  • the charges generated by the light during this duration T int are stored in the storage node ND of each pixel at the end of the slot. They are accumulated with the charges already stored in this node, resulting from other pulses of the same train TR ,.
  • the duration t, and duration T int are the same for all pulse train TR.
  • the storage nodes are then all reset by a signal
  • the information contained in the image I M is essentially the amount of light coming from the pulse and reflected by parts of objects located at the distance d, or in the vicinity of this distance. It is assumed here that the ambient illumination is negligible compared to the illumination provided by the pulsed light source.
  • the integration time T int for the pulses of the train TR i + is preferably the same as for the train TR ,. But the delay t i + i from which this integration time begins is different from the delay t ,, and it corresponds to a distance d i + i different from d ,.
  • the charges generated in the photodiodes during the time interval of t i + i to t i + i + T int following a light pulse are stored in the respective storage nodes and accumulated in these nodes with the charges generated by the other light pulses. of the same train TR i + .
  • An IM i + image is read after receiving the last pulse. Then the storage nodes are reset again. And so on, the N pulse trains are emitted and give rise to N IM images IM N , the set of N images providing both an observation of the scene, the signal level of each pixel of the albedo-dependent image of the point observed by this pixel, and a distance information associated with each pixel of the image, which is the distance corresponding to the image in which this pixel has provided a maximum signal level.
  • FIG. 5 shows the practical way in which integration slots are produced.
  • the line LP represents the emission of a light pulse of duration T imp .
  • the line RG represents the global reset signal of the photodiodes of the sensor, which prevents the integration of charges into the photodiode as long as it is at the high level and which authorizes it when it ends, that is to say when it goes down to the low level.
  • the falling edge of the reset signal RG i.e. the end of this signal, is emitted with a time offset t, after the start of the light pulse. This falling edge defines the beginning of the integration duration T int .
  • the signal TR defines the transfer of charges from the photodiode to the storage node. The beginning of this signal is later or simultaneous with the end of the reset signal. It is the end of this transfer signal which defines the end of the transfer and therefore the end of the integration time. It takes place after a duration T int following the end of the reset signal RG.
  • the INT line represents the resulting integration time.
  • the time shift t between the light pulse and the integration time window is precisely an offset between the start of the light pulse and the beginning of the integration of charges in the photodiodes. of the sensor.
  • the offset is counted differently, for example between the middle of the light pulse and the middle of the integration slot T int .
  • the choice can be made for example according to the relative durations T int and T imp which are not necessarily equal.
  • the distance resolution that is to say the step of separation of the different observation planes P , is governed by the separation between the different time offset values t ,, t i + i, etc. corresponding to the different pulse trains.
  • an integration window beginning at time ti includes not only a pulse reflected by the plane P, but also a pulse reflected by the plane P i + or PM. This risk exists if the duration of the pulses is too long or if the duration of the integration slots is too long.
  • the duration which separates two pulses in the pulse train is in principle such that it is possible to hold N times (T imp + T int ) between two successive light pulses, N being the number of images desired and therefore the number of different distances observed. This duration is therefore at least N. (T imp + T int ). If there are Z pulses in the train, the duration of the train is ZN (T imp + Tint) - And since there are N pulse trains, the duration of obtaining a global image, is that is to say, from N IM images to IM N , is ZN 2. (T imp + T int ).
  • the duration of the light pulse is preferably equal to or less than the duration of integration, otherwise part of the light energy would be systematically lost by the sensor, even when the pulse is reflected exactly in the plane ⁇ , corresponding to the pulse train.
  • T int it is advantageous to choose approximately equal to T imp .
  • the number of pulses in each pulse train will be limited by the desired production rate for the overall image and the ability to achieve very short light pulses and very short integration times.
  • T imp + T int less than or equal to 20 nanoseconds (round trip light 6 meters in 20 nanoseconds), in practice 10 nanoseconds for T imp and 10 nanoseconds for T int .
  • the duration between two pulses of a train is then 200 nanoseconds. If there are 10 pulses per train, the total duration of the N trains is 20 milliseconds, which gives the possible rate for the supply of an overall image comprising N images.
  • the level of digital signal coming from a pixel for a given image IM depends on the albedo (reflective power) of the point of the scene which has reflected a light pulse and which is therefore globally in the plane Pi observed by this image produced by the ith pulse train.
  • the luminous pulses have a non-zero duration; time slots for integration also have a non-zero duration.
  • the light pulse may coincide only partially with the time slot corresponding to it, for example because the point observed by the pixel is not exactly at the distance d, but at a distance slightly greater or less than d,. In this case, the signal level obtained is lower than it should be considering the albedo of the point.
  • the simplest is to consider the N images and to select the IM image, for which the signal level provided by this pixel is the highest among the different values. for this same pixel in the N images.
  • the associated distance is the distance di.
  • one can prefer to carry out a weighted interpolation on several images in the following way: one selects the image IM, for which the level of signal of the pixel is the highest, as well as the neighboring images ⁇ ⁇ and IM i + i, and we calculate an average distance which is the normalized weighted sum (a.di-i + bd, + cd i + i) of the distances dn, d, and d i + i, where a, b, and c represent the relative signal levels of the pixel in the three images, normalized to 1, i.e., (a + b + c) 1.
  • the weighting can be performed on a larger number of consecutive images, for example on 5 images with the same principle.
  • the output of the camera may consist of a group of N frames, the association processing of a distance to each pixel being made outside the camera.
  • the camera provides on the one hand an image of the luminances and on the other hand an array of distances associating a distance value with each pixel.
  • the luminance image is constituted by a numerical value of luminance for each pixel. This value can be the maximum value obtained for this pixel in the N images. But it can be obtained in other ways, for example by a concatenation of the different numerical values obtained in the N images. This concatenation can be for example the sum of the digital values detected in the N images, or the sum of the numerical values exceeding a minimum threshold (to avoid adding noise by the low value signals which do not necessarily correspond to a true reflection of 'light pulse).
  • luminance matrix image and the distance matrix it is also possible to process the luminance matrix image and the distance matrix to reconstruct a binocular image, that is to say a left image and a right image that are transformations of the image.
  • luminance image such that the luminance value assigned to a pixel of the luminance matrix is assigned to a pixel of the left image and a pixel of the right image which are offset with respect to each other (with respect to the lateral edges of the pixel matrix) by a given distance which is all the greater as the associated distance provided by the camera for this pixel is lower.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

L'invention concerne la production d'images associant à chaque point de l'image une profondeur, c'est-à-dire une distance entre le point observé et la caméra qui produit l'image. Une source lumineuse émet N trains d'impulsions lumineuses. Pour chaque train de rang i = 1 à N, on intègre les charges pendant un court créneau temporel de durée Tint qui commence avec un décalage temporel ti par rapport à l'impulsion, ce décalage temporel représentant un temps de trajet de l'impulsion lumineuse entre la source lumineuse et le capteur après une réflexion sur un point placé à distance di du capteur. Le décalage temporel ti est le même pour toutes les impulsions lumineuses du ième train d'impulsions mais les décalages temporels ti pour les N trains sont différents les uns des autres pour correspondre à différentes distances par rapport au capteur. On accumule les charges photo générées par les impulsions d'un même train; puis on lit la charge accumulée pour produire une image de rang i représentant les pixels situés à la distance di. L'observation d'une scène comporte la production de N images différentes grâce auxquelles on peut associer une distance à chaque pixel.

Description

PROCEDE DE PRODUCTION D'IMAGES AVEC INFORMATION DE PROFONDEUR ET CAPTEUR D'IMAGE
L'invention concerne la production d'images associant à chaque point de l'image une profondeur, c'est-à-dire une distance entre le point observé et la caméra qui produit l'image.
La production d'images avec une profondeur associée est utilisée notamment mais pas exclusivement pour la visualisation d'images en relief : dans cette application, on peut par exemple produire une image avec une caméra, et produire des valeurs de profondeurs associées à chaque point ; puis, à partir de cette image unique, on peut produire une image gauche et une image droite différentes l'une de l'autre ; un point de la scène occupe la même position dans l'image gauche et dans l'image droite s'il est à une distance infinie ; s'il est plus proche de la caméra, il occupe des positions différentes, écartées latéralement d'une distance d'autant plus grande que le point est plus rapproché. Les images gauche et droite projetées simultanément mais observées chacune par un œil respectif donnent l'impression de relief. Le plus souvent, la profondeur est obtenue par deux caméras écartées l'une de l'autre. L'invention propose une solution avec une seule caméra.
Dans une autre application, on recherche à établir une image avec des profondeurs associées pour faire de la détection d'obstacles. La connaissance de la distance entre un obstacle et un véhicule automobile peut servir à éviter des collisions. C'est le cas en particulier si l'image est prise en lumière infrarouge qui permet cette détection même en cas de brouillard. Dans ce cas, l'information de profondeur, qui représente la distance entre la caméra et l'obstacle ou des parties de l'obstacle est capitale.
Pour permettre de réaliser ces objectifs à l'aide d'une seule caméra, la présente invention propose un procédé de production d'images d'une scène en volume incluant une information de distance de chaque point de la scène, ce procédé utilisant une source de lumière impulsionnelle et un capteur d'image, le capteur comprenant des pixels aptes à accumuler, dans un nœud de stockage respectif de chaque pixel, des charges générées par la lumière, le procédé comprenant l'émission de N trains successifs d'impulsions lumineuses à partir de la source lumineuse et sous contrôle d'une horloge de référence, N étant un nombre entier représentant le nombre de niveaux de profondeur désiré pour l'information de relief, et, itérativement pour chaque train d'impulsions de rang i parmi les N trains d'impulsions : a) émission du ieme train d'impulsions lumineuses, les impulsions étant émises à des instants déterminés à partir de l'horloge de référence et à des intervalles déterminés à partir de cette horloge,
a1 ) intégration de charges pour chaque impulsion lumineuse du ieme train pendant un court créneau temporel d'intégration de durée Tint commençant avec un décalage temporel t, par rapport à l'impulsion, ce décalage temporel représentant un temps de trajet de l'impulsion lumineuse entre la source lumineuse et le capteur après une réflexion sur un point placé à une ieme distance (d,) du capteur, le ieme décalage temporel t, étant le même pour toutes les impulsions lumineuses du ieme train d'impulsions et les valeurs de décalages temporels t, pour les N trains étant différentes les unes des autres pour correspondre à différentes distances par rapport au capteur et étant espacées les unes des autres d'un incrément de durée supérieure à la durée d'intégration Tint,
b1 ) transfert des charges intégrées pour chaque impulsion lumineuse du ieme train, dans le nœud de stockage de charges de chaque pixel, et accumulation de ces charges avec les charges résultant des précédentes impulsions lumineuses du même train, b) lecture des charges contenues dans le nœud de stockage de chaque pixel après la fin du ieme train d'impulsions, réinitialisation du nœud de stockage, et fourniture d'une image respective de rang i représentant les points d'une scène située à la ieme distance (d,) du capteur.
En d'autres mots, chaque train d'impulsions est destiné à l'observation des points de la scène qui sont situés à une distance bien déterminée d,, les autres points étant exclus de cette observation. Les points plus proches que la distance d, ne sont pas vus parce que l'impulsion lumineuse réfléchie par ces points arrive avant l'instant t,, c'est-à-dire avant que ne commence un créneau temporel d'intégration de charges (de t, à t, + Tint). Les points plus lointains ne sont pas vus parce que l'impulsion lumineuse réfléchie par ces points arrive trop tard, alors que le créneau temporel d'intégration de charges est déjà terminé.
Le créneau temporel d'intégration de charges de durée Tint, synchronisé par rapport à l'impulsion lumineuse, est établi de préférence entre la fin d'un signal de réinitialisation de la photodiode, commun à tous les pixels, et la fin d'un signal de transfert de charges commun à tous les pixels. Le signal de transfert de charges autorise le transfert de charges d'une photodiode vers le nœud de stockage de charges du pixel. Le signal de réinitialisation vide les charges de la photodiode et empêche l'intégration de charges dans celle-ci.
Les impulsions lumineuses sont brèves et les créneaux temporels d'intégration de charges sont également brefs car c'est cette brièveté qui permet une précision de localisation de la distance d,. La durée des créneaux d'intégration est inférieure à la différence de deux décalages temporels voisins tels que t, et ti+i si on veut distinguer correctement les distances voisines correspondantes d, et di+i . Les impulsions lumineuses sont nombreuses (si possible) dans chaque train d'impulsions pour compenser leur brièveté et assurer la réception cumulée d'une quantité de photons suffisante avant la lecture des charges accumulées dans le nœud de stockage de chaque pixel à la fin du train d'impulsions.
Dans la théorie, le signal fourni par un pixel pour un train d'impulsions donné existe si un point de la scène observé par ce pixel se trouve à la distance d, associée à ce train et n'existe pas si le point de la scène n'est pas à cette distance. Le niveau du signal fourni, représentant la quantité de charges accumulée à la fin du train d'impulsions, est à peu près proportionnel au pouvoir de réflexion ou albedo du point, avec toutefois un niveau de signal dégradé si la distance de ce point est telle que le retour de l'impulsion réfléchie ne coïncide que partiellement avec le créneau d'intégration de charges.
Au bout de N trains d'impulsions, on obtient N images de la scène avec une information de profondeur associée à chaque image, et à partir de là on obtient donc une information de profondeur pour chaque pixel. L'information résultante peut être transmise soit sous la forme des N images représentant N plans de vue correspondant à N distances différentes, ou encore sous la forme d'une image unique rassemblant les luminances des N images, additionnées pixel à pixel, associée à une matrice de distances représentant pour chaque pixel la distance associée à ce pixel, c'est-à-dire la distance du point de la portion de scène observée par le pixel.
La distance associée au pixel peut être la distance unique d, pour laquelle le pixel a reçu un signal, ou pour laquelle le pixel a reçu le signal le plus fort parmi les N images. Mais elle peut être aussi, comme on l'indiquera plus loin, une distance calculée par interpolation si le pixel a reçu un signal non nul pour plusieurs distances différentes.
Les valeurs de décalages temporels t, diffèrent les uns des autres d'une valeur qu'on peut appeler "incrément de durée" des valeurs t,. Si la durée d'une impulsion lumineuse est Timp et si la durée d'un créneau temporel d'intégration de charges est Tint, alors l'incrément de durée des valeurs t,, qui définit la résolution en profondeur, est de préférence égal à la somme des durées Timp et Tint. Ces deux durées peuvent être égales ou à peu près égales. Si l'incrément entre deux décalages t, est supérieur à cette somme Timp+Tint, on risque de manquer des réflexions sur des points situés entre une distance d, et une distance di+i . Si l'incrément est inférieur, un point situé à peu près à la distance d, peut donner une réponse sur le train d'impulsions de rang i correspondant à cette distance d, mais aussi une réponse sur le train d'impulsions de rang i-1 ou i+1 , et on peut avoir un problème de discrimination de la valeur de distance la plus pertinente parmi plusieurs valeurs possibles.
Dans tous les cas où un même pixel reçoit un signal non nul pour plusieurs trains d'impulsions différents, le mieux est d'établir pour ce pixel une information de distance à partir des différentes réponses, par exemple en sélectionnant la distance pour laquelle la réponse est la plus élevée, ou encore en calculant une distance par interpolation à partir des distances pour lesquelles un signal est reçu par un pixel : par exemple, on calcule une distance par interpolation pondérée sur trois valeurs à partir de la distance d, correspondant au train d'impulsion de rang i pour lequel le signal lu a la valeur la plus élevée et à partir des signaux lus pour ce pixel et correspondant aux distances dn et/ou di+i , en affectant à chaque distance un poids correspondant au niveau de signal reçu. L'interpolation peut se faire sur cinq distances consécutives ou même plus.
On établit alors une matrice de valeurs numériques de distances, associant à chaque pixel du capteur une distance d'un point de la scène observé par ce pixel.
Outre le procédé de production d'image qui vient d'être résumé, l'invention concerne un appareil pour prise d'image comprenant un capteur d'image à matrice de pixels et une source de lumière apte à fournir des impulsions lumineuses, l'appareil fournissant une image de la scène et une information de distance associée à chaque pixel de la matrice de pixels, chaque pixel comportant une photodiode, des moyens de réinitialisation de la photodiode, des moyens de stockage de charge dans le pixel, et des moyens de lecture de charges accumulées dans le nœud de stockage, la source de lumière comportant des moyens pour fournir N trains d'impulsions de lumière calibrées en durée et en intervalles, l'appareil comportant en outre des moyens de séquencement pour commander la réinitialisation et le transfert de charges de la photodiode vers le nœud de stockage, et les moyens de séquencement étant synchronisés par rapport aux impulsions de lumière, caractérisé en ce que les moyens de séquencement sont agencés pour produire, pour chacun des N trains d'impulsions de lumière, une intégration de charges pendant un court créneau temporel décalé par rapport à chaque impulsion de lumière d'un décalage temporel (t,) identique pour toutes les impulsions de lumière d'un même train d'impulsions de rang i et différent de celui des autres trains d'impulsions, le décalage temporel correspondant à la durée de trajet de la lumière entre la source de lumière et le capteur après réflexion sur un point de la scène situé à une distance respective d,, les charges intégrées suite à l'éclairement par les impulsions d'un même train d'impulsions de rang i étant accumulées dans le nœud de stockage, puis lues à partir de ce nœud pour produire une image de rang i des points de la scène situés à distance t,, et éliminées à la fin du train d'impulsions en vue d'une nouvelle accumulation pour un autre train d'impulsions de rang i+1 correspondant à une autre distance di+i . La durée d'un créneau temporel court est inférieure à l'écart entre deux valeurs de décalage temporel voisines correspondant à deux trains d'impulsions différents. D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description détaillée qui suit et qui est faite en référence aux dessins annexés dans lesquels :
- la figure 1 représente le principe général de la production d'images d'une scène avec information de distance selon l'invention ;
- la figure 2 représente des images successives produites à partir de la scène de la figure 1 ;
- la figure 3 représente la constitution d'un pixel et de son circuit de lecture pour la mise en œuvre de l'invention ;
- la figure 4 représente un chronogramme de fonctionnement du procédé ;
- la figure 5 représente le détail de la synchronisation des signaux pour l'établissement d'un créneau temporel d'intégration suivant une impulsion lumineuse. Le procédé selon l'invention est schématisé à la figure 1 . Il utilise une caméra CAM associée à une source de lumière impulsionnelle LS, le fonctionnement du capteur d'image de la caméra étant synchronisé par rapport au fonctionnement de la source de lumière. La source de lumière peut être une source en proche infrarouge, notamment dans le cas de la production d'images destinées à l'observation ou la détection d'obstacles dans le brouillard. La caméra comprend un objectif et un capteur d'image. Le capteur comporte une matrice de pixels actifs et des circuits de séquencement internes pour établir les signaux de commande interne, notamment des signaux de commande de lignes et de colonnes qui permettent l'intégration de charges photo générées puis la lecture de ces charges.
Sur la figure 1 , la caméra et la source de lumière sont représentés comme deux objets séparés mais la source de lumière peut aussi être incorporée au boîtier de la caméra. Des moyens de contrôle pour synchroniser le fonctionnement du capteur d'image par rapport au fonctionnement impulsionnel de la source de lumière sont prévus. Ils peuvent faire partie de la source de lumière, ou de la caméra, ou d'un circuit électronique SYNC relié à la fois à la caméra et à la source de lumière. Ces moyens de contrôle comprennent une horloge de référence qui est utilisée par les circuits de séquencement du capteur d'image, pour assurer la synchronisation.
On a représenté devant la caméra une scène comportant des objets en relief, c'est-à-dire que les différentes parties de la scène ne sont pas toutes situées à la même distance de la caméra.
La source de lumière émet des impulsions de lumière brèves.
Lorsqu'une impulsion est émise, elle est réfléchie par les objets de la scène et l'impulsion réfléchie par un objet ou une partie d'objet situé dans un plan d'observation P, à une distance d, revient au capteur d'image avec un retard t, proportionnel à cette distance. La source de lumière est supposée être à la même distance d, que le capteur d'image. Le temps t, est alors égal à 2d,/c où c est la vitesse de la lumière.
Si on suppose qu'on s'intéresse à l'observation de points de la scène situés à des distances d, réparties dans une gamme de distances donnée allant de di (distance la plus proche) à dN (distance la plus lointaine), on peut donc déterminer une distance d'un point de la scène par la détermination du temps qui s'écoule entre l'émission d'une impulsion et le retour de cette impulsion après réflexion sur le point observé par un pixel.
En décidant de recueillir une image par intégration de charges photo générées pendant un créneau temporel très étroit correspondant uniquement à l'instant de retour d'une impulsion brève qui a été réfléchie par les points de la scène situés dans un plan P,, à une distance d,, on produit une image qui ne contient que les points de la scène situés dans ce plan.
La figure 2 illustre les images différentes IM à IM6 qu'on peut obtenir avec le capteur si on ne recueille pour chaque image que le signal de lumière parvenant à l'instant t,, c'est-à-dire si on n'observe que les parties d'objet situées dans le plan P, à la distance d,, ceci pour différents plans P, allant par exemple de Pi à P6.
Selon l'invention, on produit N images successives de la scène, chaque image ne correspondant qu'à un plan P, déterminé. Une information de distance est donc contenue intrinsèquement dans la succession d'images obtenue puisqu'à chaque pixel du capteur on peut associer, selon qu'il fournit ou non un signal dans les différentes images ou selon la valeur de ce signal dans les différentes images, une distance par rapport à la caméra.
Avant d'indiquer la manière dont sont établies ces images, on rappelle à la figure 3 la constitution classique d'un pixel de capteur d'image matriciel en technologie CMOS et son circuit de lecture, qui permettent de mettre en œuvre l'invention.
Le pixel comprend classiquement une photodiode PH et un nœud de stockage de charges ND dans lequel on peut stocker les charges engendrées par la photodiode pendant un temps d'intégration Tint. Le pixel comporte par ailleurs plusieurs transistors MOS qui servent à commander le pixel pour définir le temps d'intégration et extraire un signal représentant la quantité de charges stockées pendant le temps d'intégration.
Plus précisément, le pixel comporte :
- un transistor T1 qui permet la réinitialisation du potentiel de la photodiode avant de commencer une nouvelle période d'intégration de durée Tint ; ce transistor est commandé par un signal de réinitialisation global RG commun à tous les pixels de la matrice ; la fin du signal RG définit le début de la durée d'intégration Tint.
- un transistor de transfert de charges T2 qui permet de vider dans le nœud de stockage ND les charges engendrées après une durée d'intégration Tint ; ce transistor est commandé par un signal de transfert de charges TR qui peut être commun à tous les pixels ; la fin de ce signal définit la fin de la durée d'intégration Tint ;
- un transistor de réinitialisation T3 qui permet de réinitialiser le potentiel du nœud de stockage après la lecture de la quantité de charges qui y a été stockée ; ce transistor est commandé par un signal de réinitialisation RST qui peut être commun à tous les pixels ;
- un transistor de lecture T4 qui est monté en suiveur de tension et qui permet de reporter de sa grille vers sa source le niveau de potentiel du nœud de stockage de charges ;
- et enfin un transistor de sélection T5 qui est relié à la source du transistor T4 et qui permet de reporter vers un conducteur de colonne COL (commun aux pixels d'une même colonne de la matrice) le potentiel du nœud de stockage de charges lorsqu'on veut lire la quantité de charges stockée dans le nœud de stockage de charges ; ce transistor est commandé par un signal de sélection de lignes SEL commun à tous les pixels d'une ligne ; les pixels sont lus ligne par ligne.
Le circuit de lecture, extérieur à la matrice de pixels et relié aux différents conducteurs de colonne, comprend un circuit d'échantillonnage qui échantillonne, par exemple dans deux capacités Cr et Cs le potentiel du conducteur de colonne à l'aide d'interrupteurs Kr et Ks, respectivement à un instant où le nœud de stockage a été remis à zéro et à un instant où on veut déterminer la quantité de charges accumulée dans le nœud de stockage. La différence entre les potentiels échantillonnés dans les capacités représente la quantité de charges accumulée. Elle peut être lue par un amplificateur différentiel AMP, puis numérisée, ou directement numérisée, par exemple à l'aide d'un compteur, d'une rampe de tension linéaire, et d'un comparateur.
L'ensemble des signaux numériques recueillis pour tous les pixels de la matrice, lus successivement ligne par ligne, constitue une image de la scène. La figure 4 expose le chronogramme permettant d'aboutir à la production de N images successives représentant les éléments de la scène à différentes distances. La ligne LP représente les impulsions lumineuses. La ligne INT représente les périodes d'intégration du capteur d'image suivant chaque impulsion.
L'obtention des N images se fait en produisant N trains d'impulsions lumineuses TR, où i est un indice entier de 1 à N, et où N est le nombre de plans P, à des distances différentes d, pour lesquels on veut recueillir une image. Chaque train d'impulsions comprend plusieurs impulsions, régulièrement réparties au cours de la durée du train d'impulsions.
Les impulsions sont cadencées par une horloge de référence non représentée, pouvant faire partie du capteur ou de la source lumineuse ou des moyens de contrôle mentionnés plus haut, et qui sert à la synchronisation entre le fonctionnement de la source de lumière et celui du capteur. Pour chaque impulsion d'un train d'impulsions TR,, le capteur d'image enregistre les charges photo générées pendant un créneau temporel d'intégration de durée Tint. Si on prend comme référence temporelle (pour chaque impulsion) le début de l'impulsion, le créneau temporel de durée Tint commence à un instant t, et se termine à un instant t, + Tint . La valeur t, est donc le décalage temporel entre l'impulsion lumineuse et le début du créneau d'intégration. Elle représente la distance parcourue par l'impulsion lumineuse pour aller jusqu'au plan P, et revenir au capteur. Les charges générées par la lumière pendant cette durée Tint sont stockées dans le nœud de stockage ND de chaque pixel à la fin du créneau. Elles sont accumulées avec les charges déjà stockées dans ce nœud, résultant d'autres impulsions du même train TR,. La durée t, et la durée Tint sont les mêmes pour toutes les impulsions du train TR,.
A la fin du train d'impulsions TR,, c'est-à-dire après l'instant t, + Tint suivant la dernière impulsion du train TR,, les charges accumulées par les nœuds de stockage de tous les pixels sont lues ligne par ligne. Cette opération de lecture RD, produit une image I M, de rang i.
Les nœuds de stockage sont alors tous réinitialisés par un signal
RST.
L'information contenue dans l'image I M, est essentiellement la quantité de lumière provenant de l'impulsion et réfléchie par des parties d'objets situés à la distance d, ou au voisinage de cette distance. On suppose ici que l'éclairement ambiant est négligeable par rapport à l'éclairement fourni par la source de lumière impulsionnelle.
Un autre train d'impulsions lumineuses TRi+ commence alors. Le temps d'intégration Tint pour les impulsions du train TRi+ est de préférence le même que pour le train TR,. Mais le retard ti+i à partir duquel commence ce temps d'intégration est différent du retard t,, et il correspond à une distance di+i différente de d,. Les charges engendrées dans les photodiodes pendant l'intervalle de temps de ti+i à ti+i + Tint qui suit une impulsion lumineuse sont stockées dans les nœuds de stockage respectifs et accumulées dans ces nœuds avec les charges générées par les autres impulsions lumineuses du même train TRi+ .
Une image IMi+ est lue après réception de la dernière impulsion. Puis les nœuds de stockage sont à nouveau réinitialisés. Et ainsi de suite, les N trains d'impulsions sont émis et donnent lieu à N images IM à IMN, l'ensemble des N images fournissant à la fois une observation de la scène, le niveau de signal de chaque pixel de l'image dépendant de l'albedo du point observé par ce pixel, et une information de distance associée à chaque pixel de l'image, qui est la distance correspondant à l'image dans laquelle ce pixel a fourni un niveau de signal maximal.
La figure 5 représente la manière pratique dont sont produits les créneaux d'intégration.
La ligne LP représente l'émission d'une impulsion lumineuse de durée Timp.
La ligne RG représente le signal de réinitialisation global des photodiodes du capteur, qui empêche l'intégration de charges dans la photodiode tant qu'il est au niveau haut et qui l'autorise lorsqu'il se termine c'est-à-dire lorsqu'il redescend au niveau bas. Le front de descente du signal de réinitialisation RG, c'est-à-dire la fin de ce signal, est émis avec un décalage temporel t, après le début de l'impulsion lumineuse. Ce front de descente définit le début de la durée d'intégration Tint.
Le signal TR définit le transfert de charges de la photodiode vers le nœud de stockage. Le début de ce signal est postérieur ou simultané avec la fin du signal de réinitialisation. C'est la fin de ce signal de transfert qui définit la fin du transfert donc la fin de la durée d'intégration. Elle a lieu après une durée Tint suivant la fin du signal de réinitialisation RG.
La ligne INT représente la durée d'intégration qui en résulte.
Dans ce qui précède, on a considéré que le décalage temporel t, entre l'impulsion lumineuse et le créneau temporel d'intégration est précisément un décalage entre le début de l'impulsion lumineuse et le début de l'intégration de charges dans les photodiodes du capteur. On peut cependant envisager que le décalage soit compté différemment, par exemple entre le milieu de l'impulsion lumineuse et le milieu du créneau d'intégration Tint. Le choix peut être fait par exemple en fonction des durées relatives Tint et Timp qui ne sont pas nécessairement égales. On comprendra que la résolution en distance, c'est-à-dire le pas de séparation des différents plans d'observation P,, est régi par la séparation entre les différentes valeurs de décalage temporel t,, ti+i , etc. correspondant aux différents trains d'impulsions. On peut appeler "incrément de durée entre les différentes valeurs t," la différence entre une valeur t, et la valeur suivante ti+i ou la valeur précédente tn .
Plus la résolution doit être grande, plus les valeurs de décalage doivent être rapprochées les unes des autres.
Mais, lorsque les valeurs de décalage t, sont rapprochées les unes des autres, il faut éviter le risque qu'un créneau d'intégration commençant au temps ti englobe non seulement une impulsion réfléchie par le plan P, mais aussi une impulsion réfléchie par le plan Pi+ ou PM . Ce risque existe si la durée des impulsions est trop longue ou si la durée des créneaux d'intégration est trop longue. En pratique, il faut séparer les valeurs des temps ti et ti+i d'un incrément de durée au moins égal (et de préférence égal ou à peu près égal pour ne pas laisser de plans non observés) à la somme de la durée Timp de l'impulsion lumineuse et de la durée Tint du créneau d'intégration.
La durée qui sépare deux impulsions dans le train d'impulsions est en principe telle qu'on puisse faire tenir N fois (Timp + Tint) entre deux impulsions lumineuses successives, N étant le nombre d'images désirées et donc le nombre de distances différentes observées. Cette durée est donc au moins N.(Timp + Tint). S'il y a Z impulsions dans le train, la durée du train est Z.N.(Timp+Tint)- Et comme il y a N trains d'impulsions, la durée d'obtention d'une image globale, c'est-à-dire de N images IM à IMN, est Z.N2.(Timp+ Tint).
La durée de l'impulsion lumineuse est de préférence égale ou inférieure à la durée d'intégration, faute de quoi une partie de l'énergie lumineuse serait systématiquement perdue par le capteur, même lorsque l'impulsion est réfléchie exactement dans le plan Ρ, correspondant au train d'impulsions. Pour des raisons de maximisation de la sensibilité du capteur, on a intérêt à choisir Tint à peu près égal à Timp.
Le nombre d'impulsions dans chaque train d'impulsions sera limité par la cadence de production souhaitée pour l'image globale et par la capacité à réaliser des impulsions lumineuses très courtes et des durées d'intégration très courtes. Plus les impulsions sont courtes plus on mettra d'impulsions dans un train d'impulsions. Plus la cadence souhaitée est élevée, moins on mettra d'impulsions.
A titre d'exemple, si on veut un pas de résolution en distance de 3 mètres sur une distance de 30 mètres entre la distance la plus courte di et la distance la plus longue dN, avec par conséquent N = 10, on doit utiliser une durée Timp +Tint inférieure ou égale à 20 nanosecondes (aller-retour de la lumière 6 mètres en 20 nanosecondes), soit en pratique 10 nanosecondes pour Timp et 10 nanosecondes pour Tint. La durée entre deux impulsions d'un train est alors de 200 nanosecondes. S'il y a 10 impulsions par train, la durée totale des N trains est de 20 millisecondes, ce qui donne la cadence possible pour la fourniture d'une image globale comprenant N images.
Avec une cadence plus lente, on peut augmenter la plage de distances observées, et/ou le nombre Z d'impulsions par train d'impulsions. La durée maximale des impulsions lumineuse et des créneaux d'intégration reste fixée par la résolution en distance, c'est-à-dire la distance entre deux plans successifs observés : la somme (Timp + Tint) doit être inférieure ou égale à 2.(di+i - di)/c, c étant la vitesse de la lumière.
L'augmentation du nombre d'impulsions dans le train d'impulsions permet d'augmenter la sensibilité du capteur.
Le niveau de signal numérique issu d'un pixel pour une image donnée I M, dépend de l'albedo (pouvoir réfléchissant) du point de la scène qui a réfléchi une impulsion lumineuse et qui est donc globalement dans le plan Pi observé par cette image produite par le ieme train d'impulsions. Mais les impulsions lumineuses ont une durée non nulle ; les créneaux temporels d'intégration ont également une durée non nulle. L'impulsion lumineuse peut ne coïncider que partiellement avec le créneau temporel qui lui correspond, par exemple parce que le point observé par le pixel n'est pas exactement à la distance d, mais à une distance légèrement supérieure ou inférieure à d, . Dans ce cas, le niveau de signal obtenu est inférieur à ce qu'il devrait être compte-tenu de l'albedo du point.
Pour associer une distance à chaque pixel, le plus simple est de considérer les N images et de sélectionner l'image I M, pour laquelle le niveau de signal fourni par ce pixel est le plus élevé parmi les différentes valeurs pour ce même pixel dans les N images. La distance associée est la distance di.
Mais, de manière plus précise, pour augmenter la précision en distance on peut préférer effectuer une interpolation pondérée sur plusieurs images de la manière suivante : on sélectionne l'image I M, pour laquelle le niveau de signal du pixel est le plus élevé, ainsi que les images voisines ΙΜΜ et IMi+i , et on calcule une distance moyenne qui est la somme pondérée normalisée (a.di-i + b.d, + c.di+i ) des distances dn , d, et di+i , où a, b, et c représentent les niveaux relatifs de signal du pixel dans les trois images, normalisés à 1 c'est-à-dire que (a+b+c) = 1 .
La pondération peut être effectuée sur un plus grand nombre d'images consécutives, par exemple sur 5 images avec le même principe.
La sortie de la caméra peut consister en un groupe de N images, le traitement d'association d'une distance à chaque pixel étant fait en dehors de la caméra. Alternativement, on peut prévoir dans la caméra des moyens pour faire cette association selon les principes indiqués précédemment. Dans ce cas la caméra fournit d'une part une image des luminances et d'autre part une matrice de distances associant une valeur de distance à chaque pixel. L'image de luminance est constituée par une valeur numérique de luminance pour chaque pixel. Cette valeur peut être la valeur maximale obtenue pour ce pixel dans les N images. Mais elle peut être obtenue d'autres manières, par exemple par une concaténation des différentes valeurs numériques obtenues dans les N images. Cette concaténation peut être par exemple la somme des valeurs numériques détectées dans les N images, ou la somme des valeurs numériques dépassant un seuil minimum (pour éviter de rajouter du bruit par les signaux de faible valeur qui ne correspondent pas nécessairement à une véritable réflexion d'impulsion lumineuse).
Enfin, pour la vision en relief, on peut également traiter l'image matricielle de luminance et la matrice de distances pour reconstituer une image binoculaire, c'est-à-dire une image gauche et une image droite qui sont des transformations de l'image de luminance telles que la valeur de luminance affectée à un pixel de la matrice de luminance est affectée à un pixel de l'image gauche et un pixel de l'image droite qui sont décalés l'un par rapport à l'autre (par rapport aux bords latéraux de la matrice de pixels) d'une distance donnée d'autant plus grande que la distance associée fournie par la caméra pour ce pixel est plus faible.

Claims

REVENDICATIONS
1 . Procédé de production d'images d'une scène en volume incluant une information de distance de chaque point de la scène, ce procédé utilisant une source de lumière impulsionnelle et un capteur d'image, le capteur comprenant des pixels aptes à accumuler, dans un nœud de stockage respectif de chaque pixel, des charges générées par la lumière, le procédé comprenant l'émission de N trains successifs d'impulsions lumineuses à partir de la source lumineuse et sous contrôle d'une horloge de référence, N étant un nombre entier représentant le nombre de niveaux de profondeur désiré pour l'information de relief, et, itérativement pour chaque train d'impulsions de rang i parmi les N trains d'impulsions :
a) émission du ieme train d'impulsions lumineuses, les impulsions étant émises à des instants déterminés à partir de l'horloge de référence et à des intervalles déterminés à partir de cette horloge,
a1 ) intégration de charges pour chaque impulsion lumineuse du ieme train pendant une court créneau temporel d'intégration de durée Tint commençant avec un décalage temporel t, par rapport à l'impulsion, ce décalage temporel représentant un temps de trajet de l'impulsion lumineuse entre la source lumineuse et le capteur après une réflexion sur un point placé à une ieme distance (d,) du capteur, le décalage temporel t, étant le même pour toutes les impulsions lumineuses du ieme train d'impulsions et les valeurs des décalages temporels t, pour les N trains étant différentes les uns des autres pour correspondre à différentes distances par rapport au capteur et étant espacées les unes des autres d'un incrément de durée supérieure à la durée d'intégration Tint,
b1 ) transfert des charges intégrées pour chaque impulsion lumineuse du ieme train, dans le nœud de stockage de charges de chaque pixel, et accumulation de ces charges avec les charges résultant des précédentes impulsions lumineuses du même train, b) lecture des charges contenues dans le nœud de stockage de chaque pixel après la fin du ieme train d'impulsions, réinitialisation du nœud de stockage, et fourniture d'une image respective de rang i représentant les points d'une scène située à la ieme distance (d,) du capteur.
2. Procédé selon la revendication 1 , caractérisé en ce que les valeurs des décalages temporels t, sont espacées les unes des autres d'un incrément de durée à peu près égal à la somme d'une durée Timp d'une impulsion lumineuse et de la durée d'intégration Tint.
3. Procédé selon l'une des revendications 1 et 2, caractérisé en ce que la durée d'une impulsion lumineuse est sensiblement égale à la durée d'intégration Tint.
4. Procédé selon l'une des revendications 1 à 3, caractérisé en ce que l'on établit une matrice de valeurs numériques de distances, associant à chaque pixel du capteur une distance d'un point de la scène observé par ce pixel.
5. Procédé selon la revendication 4, caractérisé en ce que la distance associée au pixel est la distance d, correspondant au train d'impulsions pour lequel le signal issu du pixel a la valeur la plus élevée parmi les différentes valeurs pour ce même pixel dans les N images.
6. Procédé selon la revendication 4, caractérisé en ce que la distance associée à chaque pixel est calculée par interpolation
- à partir de la distance d, correspondant au train d'impulsion de rang i pour lequel le signal lu pour ce pixel a la valeur la plus élevée,
- et à partir des signaux lus pour ce pixel et correspondant aux distances distance dn et ou di+i .
7. Procédé selon l'une des revendications 1 à 6, caractérisé en ce que l'on établit pour chaque observation d'une scène une valeur de luminance reçue par chaque pixel.
8. Procédé selon la revendication 7, caractérisé en ce que la valeur de luminance reçue par un pixel est établie à partir du niveau de signal le plus élevé fourni par ce pixel parmi les N images, ou à partir d'une somme de niveaux de signal fournis par ce pixel dans plusieurs images.
9. Procédé selon l'une des revendications 1 à 8, caractérisé en ce qu'on établit à partir des N images deux images électroniques gauche et droite permettant une représentation stéréoscopique de la scène.
10. Appareil pour prise d'image comprenant un capteur d'image à matrice de pixels et une source de lumière apte à fournir des impulsions lumineuses, l'appareil fournissant une image de la scène et une information de distance associée à chaque pixel de la matrice, chaque pixel comportant une photodiode, des moyens de réinitialisation de la photodiode, des moyens de stockage de charge dans le pixel, et des moyens de lecture de charges accumulées dans le nœud de stockage, la source de lumière comportant des moyens pour fournir N trains d'impulsions de lumière calibrées en durée et en intervalles, l'appareil comportant en outre des moyens de séquencement pour commander la réinitialisation et le transfert de charges de la photodiode vers le nœud de stockage, et les moyens de séquencement étant synchronisés par rapport aux impulsions de lumière, caractérisé en ce que les moyens de séquencement sont agencés pour produire, pour chacun des N trains d'impulsions de lumière, une intégration de charges pendant un créneau temporel court décalé par rapport à chaque impulsion de lumière d'un décalage temporel (t,) identique pour toutes les impulsions de lumière d'un même train d'impulsions de rang i et différent de celui des autres trains d'impulsions, le décalage temporel correspondant à la durée de trajet de la lumière entre la source de lumière et le capteur après réflexion sur un point de la scène situé à une distance respective d,, les charges intégrées suite à l'éclairement par les impulsions d'un même train d'impulsions de rang i étant accumulées dans le nœud de stockage, puis lues à partir de ce nœud pour produire une image de rang i des points de la scène situés à distance d,, et éliminées à la fin du train d'impulsions en vue d'une nouvelle accumulation pour un autre train d'impulsions de rang i+1 correspondant à une autre distance di+i , la durée d'un créneau temporel court étant inférieure à l'écart entre deux valeurs de décalage temporel voisines correspondant à deux trains d'impulsions différents.
PCT/EP2013/073844 2012-11-27 2013-11-14 Procede de production d'images avec information de profondeur et capteur d'image WO2014082864A1 (fr)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CA2892659A CA2892659A1 (fr) 2012-11-27 2013-11-14 Procede de production d'images avec information de profondeur et capteur d'image
US14/647,492 US9699442B2 (en) 2012-11-27 2013-11-14 Method for producing images with depth information and image sensor
JP2015543396A JP6320406B2 (ja) 2012-11-27 2013-11-14 深さ情報および画像センサにより画像を生成する方法
EP13789585.0A EP2926162A1 (fr) 2012-11-27 2013-11-14 Procede de production d'images avec information de profondeur et capteur d'image
CN201380069412.4A CN104884972A (zh) 2012-11-27 2013-11-14 利用深度信息和图像传感器来产生图像的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1261270 2012-11-27
FR1261270A FR2998666B1 (fr) 2012-11-27 2012-11-27 Procede de production d'images avec information de profondeur et capteur d'image

Publications (1)

Publication Number Publication Date
WO2014082864A1 true WO2014082864A1 (fr) 2014-06-05

Family

ID=47902112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/073844 WO2014082864A1 (fr) 2012-11-27 2013-11-14 Procede de production d'images avec information de profondeur et capteur d'image

Country Status (7)

Country Link
US (1) US9699442B2 (fr)
EP (1) EP2926162A1 (fr)
JP (1) JP6320406B2 (fr)
CN (1) CN104884972A (fr)
CA (1) CA2892659A1 (fr)
FR (1) FR2998666B1 (fr)
WO (1) WO2014082864A1 (fr)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282623B1 (en) * 2015-09-25 2019-05-07 Apple Inc. Depth perception sensor data processing
US10397546B2 (en) * 2015-09-30 2019-08-27 Microsoft Technology Licensing, Llc Range imaging
US11297258B2 (en) * 2015-10-01 2022-04-05 Qualcomm Incorporated High dynamic range solid state image sensor and camera system
CN107370913B (zh) 2016-05-11 2021-03-16 松下知识产权经营株式会社 摄像装置、摄像系统以及光检测方法
US10627494B2 (en) * 2016-09-16 2020-04-21 Analog Devices, Inc. Interference handling in time-of-flight depth sensing
EP3301477A1 (fr) * 2016-10-03 2018-04-04 Xenomatix NV Système de télémétrie d'un objet
EP3301479A1 (fr) * 2016-10-03 2018-04-04 Xenomatix NV Procédé d'atténuation d'éclairage d'arrière-plan à partir d'une valeur d'exposition d'un pixel dans une mosaïque, et pixel pour une utilisation dans celle-ci
CN108259702B (zh) * 2016-12-28 2022-03-11 手持产品公司 一种用于同步多传感器成像器中的照明定时的方法和系统
EP3343246A1 (fr) * 2016-12-30 2018-07-04 Xenomatix NV Système de caractérisation de l'environnement d'un véhicule
US10928489B2 (en) * 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
CN110869804B (zh) * 2017-07-13 2023-11-28 苹果公司 用于光发射深度传感器的提前-滞后脉冲计数
JP7198507B2 (ja) * 2017-08-08 2023-01-04 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
US10670722B2 (en) * 2017-08-15 2020-06-02 Samsung Electronics Co., Ltd. Increase depth resolution and depth accuracy in ToF sensors by avoiding histogrammization
US11204432B2 (en) 2017-11-24 2021-12-21 Hamamatsu Photonics K.K. Photon counting device and photon counting method
EP3633406B1 (fr) 2018-07-18 2022-05-11 Shenzhen Goodix Technology Co., Ltd. Système à temps de vol et procédé d'étalonnage
US10708514B2 (en) * 2018-08-30 2020-07-07 Analog Devices, Inc. Blending depth images obtained with multiple exposures
US11486984B2 (en) 2018-12-26 2022-11-01 Beijing Voyager Technology Co., Ltd. Three-dimensional light detection and ranging system using hybrid TDC and ADC receiver
WO2020139380A1 (fr) * 2018-12-26 2020-07-02 Didi Research America, Llc Système de détection de lumière et de télémétrie tridimensionnelles utilisant un récepteur hybride à tdc et can
US11506764B2 (en) 2018-12-26 2022-11-22 Beijing Voyager Technology Co., Ltd. System and methods for ranging operations using multiple signals
CN110087057B (zh) * 2019-03-11 2021-10-12 歌尔股份有限公司 一种投影仪的深度图像获取方法和装置
US11438486B2 (en) * 2019-08-26 2022-09-06 Qualcomm Incorporated 3D active depth sensing with laser pulse train bursts and a gated sensor
US11768277B2 (en) * 2019-11-05 2023-09-26 Pixart Imaging Incorporation Time-of-flight sensor and control method thereof
KR20210055821A (ko) 2019-11-07 2021-05-18 삼성전자주식회사 깊이의 측정 범위에 기초하여 동작하는 센서 및 이를 포함하는 센싱 시스템
CN113744355B (zh) * 2020-05-29 2023-09-26 杭州海康威视数字技术股份有限公司 一种脉冲信号的处理方法、装置及设备
CN112584067A (zh) * 2020-12-14 2021-03-30 天津大学合肥创新发展研究院 基于脉冲间隔的脉冲图像传感器的噪声消除方法及装置
CN116648596A (zh) * 2020-12-22 2023-08-25 松下知识产权经营株式会社 成像装置
EP4235219A1 (fr) * 2022-02-28 2023-08-30 Imasenic Advanced Imaging, S.L. Capteur d'image à balayage de profondeur

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040233416A1 (en) * 2001-08-06 2004-11-25 Gunter Doemens Method and device for recording a three-dimensional distance-measuring image
WO2008152647A2 (fr) * 2007-06-15 2008-12-18 Ben Gurion University Of The Negev Research And Development Authority Procédé et appareil d'imagerie tridimensionnelle
US20100214554A1 (en) * 2008-12-23 2010-08-26 Thales Passive imaging system equipped with a range finder

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4862462A (fr) * 1971-12-03 1973-08-31
JPH09178853A (ja) * 1995-12-25 1997-07-11 Hitachi Ltd イメージングレーザー測距装置
JP5115912B2 (ja) * 2001-02-23 2013-01-09 独立行政法人日本原子力研究開発機構 高速ゲート掃引型３次元レーザーレーダー装置
US7382008B2 (en) * 2006-05-02 2008-06-03 Eastman Kodak Company Ultra-small CMOS image sensor pixel using a photodiode potential technique
EP2106527A2 (fr) * 2007-01-14 2009-10-07 Microsoft International Holdings B.V. Procédé, dispositif et système d'imagerie
KR101448152B1 (ko) * 2008-03-26 2014-10-07 삼성전자주식회사 수직 포토게이트를 구비한 거리측정 센서 및 그를 구비한입체 컬러 이미지 센서
JP5192880B2 (ja) * 2008-03-31 2013-05-08 三菱重工業株式会社 監視装置
US8471895B2 (en) * 2008-11-25 2013-06-25 Paul S. Banks Systems and methods of high resolution three-dimensional imaging
JP5713159B2 (ja) * 2010-03-24 2015-05-07 独立行政法人産業技術総合研究所 ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム
JP2011211535A (ja) * 2010-03-30 2011-10-20 Sony Corp 固体撮像素子およびカメラシステム
US9052381B2 (en) * 2010-05-07 2015-06-09 Flir Systems, Inc. Detector array for high speed sampling of an optical pulse
US8569700B2 (en) * 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
US8890812B2 (en) * 2012-10-25 2014-11-18 Jds Uniphase Corporation Graphical user interface adjusting to a change of user's disposition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040233416A1 (en) * 2001-08-06 2004-11-25 Gunter Doemens Method and device for recording a three-dimensional distance-measuring image
WO2008152647A2 (fr) * 2007-06-15 2008-12-18 Ben Gurion University Of The Negev Research And Development Authority Procédé et appareil d'imagerie tridimensionnelle
US20100214554A1 (en) * 2008-12-23 2010-08-26 Thales Passive imaging system equipped with a range finder

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2926162A1 *

Also Published As

Publication number Publication date
US20150319422A1 (en) 2015-11-05
FR2998666B1 (fr) 2022-01-07
JP6320406B2 (ja) 2018-05-09
EP2926162A1 (fr) 2015-10-07
CA2892659A1 (fr) 2014-06-05
JP2016506492A (ja) 2016-03-03
FR2998666A1 (fr) 2014-05-30
US9699442B2 (en) 2017-07-04
CN104884972A (zh) 2015-09-02

Similar Documents

Publication Publication Date Title
WO2014082864A1 (fr) Procede de production d'images avec information de profondeur et capteur d'image
BE1022488B1 (fr) Systeme d'appareil de prise de vues a temps-de-vol
US7911496B2 (en) Method of generating range images and apparatus therefor
EP0738074B1 (fr) Procédé de détection à cycles d'intégration et de lecture répartis pour caméra à balayage, et barrette de détection correspondante
TWI780462B (zh) 距離影像攝像裝置及距離影像攝像方法
FR3042912A1 (fr) Capteur d'images a grande gamme dynamique
FR3033973A1 (fr) Procede de reconstruction 3d d'une scene
FR3094857A1 (fr) Procédé d’imagerie avec lumière pulsée
FR2996957A1 (fr) Procede de lecture d'un pixel
FR3054093B1 (fr) Procede et dispositif de detection d'un capteur d'images
EP2538665B1 (fr) Detecteur a fonction d'imagerie selective et procédé de detection d'eclairs
EP3386191B1 (fr) Capteur matriciel a codage temporel sans arbitrage
EP3423860B1 (fr) Dispositif de détection d'un spot laser
EP2056126B1 (fr) Procédé de détection d'une impulsion lumineuse réfléchie sur un objet pour déterminer la distance de l'objet, capteur et dispositif de mise en oeuvre
EP3979648A1 (fr) Dispositif de compensation du mouvement d'un capteur événementiel et système d'observation et procédé associés
EP2926544B1 (fr) Procede de capture d'image avec un temps d'integration tres court
EP3310039B1 (fr) Dispositif électronique d'analyse d'une scène
FR2583882A1 (fr) Dispositif de mesure de la vitesse et de la position d'un mobile par rapport au sol
EP3069319B1 (fr) Système et un procédé de caractérisation d'objets d'intérêt présents dans une scène
EP2735886B1 (fr) Procédé d'imagerie 3D
FR3115145A1 (fr) Dispositif d'acquisition d'une image 2d et d'une image de profondeur d'une scene
FR3066271B1 (fr) Capteur de mouvement et capteur d'images
WO2014131726A1 (fr) Procede de production d'images et camera a capteur lineaire
FR3131163A1 (fr) Système d’observation et procédé d’observation associé
FR3116977A1 (fr) Dispositif de compensation du mouvement d’un capteur événementiel, systèmes et procédés associés

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13789585

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2015543396

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2892659

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14647492

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013789585

Country of ref document: EP