WO2017006546A1 - 距離測定装置および距離画像合成方法 - Google Patents

距離測定装置および距離画像合成方法 Download PDF

Info

Publication number
WO2017006546A1
WO2017006546A1 PCT/JP2016/003132 JP2016003132W WO2017006546A1 WO 2017006546 A1 WO2017006546 A1 WO 2017006546A1 JP 2016003132 W JP2016003132 W JP 2016003132W WO 2017006546 A1 WO2017006546 A1 WO 2017006546A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
pixel
unit
light
distance
Prior art date
Application number
PCT/JP2016/003132
Other languages
English (en)
French (fr)
Inventor
真由 西川
圭一 森
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2017527072A priority Critical patent/JP6764863B2/ja
Priority to CN201680037539.1A priority patent/CN107710015B/zh
Publication of WO2017006546A1 publication Critical patent/WO2017006546A1/ja
Priority to US15/852,352 priority patent/US11163043B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates

Definitions

  • the present disclosure relates to a distance image composition method, and more particularly, to a distance image composition method in a distance measurement device that measures a distance using a light delay using a light source and a solid-state imaging device.
  • a distance image an image having distance measurement information of a subject
  • the subject ranging method for generating a distance image includes a method of generating a distance image based on parallax of images captured using a plurality of cameras, a method of irradiating a subject with a known random dot pattern, and a dot pattern
  • measurement is performed by irradiating a subject with infrared light or laser light, reaching the subject, and reflecting and receiving light.
  • a TOF (Time (Of Flight) method for calculating (ranging) the distance to the subject based on the time can be mentioned.
  • the object is a road, a pedestrian, a preceding vehicle, an oncoming vehicle, etc.
  • the distance varies from a few meters to infinity. Therefore, it is considered that the optimum exposure setting is different between a short-distance object and a long-distance object.
  • Patent Document 1 a plurality of distance images with different exposures are acquired, a weighted average value of distance information is calculated for each pixel from the plurality of images, and a synthesized distance image with high distance measurement accuracy is generated.
  • signals having different sensitivities are extracted by individually setting the signal charge accumulation time in each of even-numbered pixel rows and odd-numbered pixel rows, and signals having different sensitivities are processed in the subsequent signal processing. Synthesize in the system. Specifically, for example, for each pixel in an even row, the accumulation time is set long to obtain a highly sensitive pixel signal, and for each pixel in the odd row, a short accumulation time is set to obtain a low sensitivity pixel signal.
  • a high-sensitivity pixel signal is selected and used for pixels in which even-numbered pixel signals (high-sensitivity pixel signals) are not saturated, and neighboring pixels in odd-numbered pixels (A synthesis process such as selecting a low-sensitivity pixel signal) is generally used.
  • the distance measuring device of Patent Document 1 has a frame memory for storing a plurality of distance images with different exposures. For this reason, if the resolution of the distance image is increased, the distance measuring device becomes large and expensive. There is a problem of becoming. Furthermore, although the synthesis process is performed after the distance image is generated, the intensity of the reflected light varies depending on the reflectance of the subject even when measuring the distance of the subject existing at the same distance. It is more desirable to carry out the pixel signal before generating the distance image than the image.
  • An object of the present invention is to provide a distance measuring apparatus and a distance image synthesis method capable of obtaining good distance accuracy over almost the entire distance image.
  • a distance measuring device includes a light emitting unit that emits light from a light source toward a subject, and reflected light generated by reflection of light emitted from the light emitting unit on the subject.
  • a light-receiving unit that receives light in a two-dimensionally arranged pixel group, and a composite signal that generates a composite signal by combining a plurality of pixel signals read from pixels exposed in different exposure periods of the pixel group
  • a distance calculation unit that calculates a distance value to the subject based on a time difference between irradiation and light reception and the synthesized signal, and the synthesizing unit receives a pixel signal exposed in a first exposure period.
  • the synthesized signal is generated by a first synthesis process when the level is higher than a predetermined saturation level, and the synthesized signal is generated by a second synthesis process when the level is lower than the saturation level.
  • the synthesis process is performed according to the signal level of the pixel signal, it is possible to cope with a change in the intensity of reflected light due to the reflectance of the subject. Furthermore, since all effective pixel information is used, even when the highly sensitive pixel signal is not saturated, the sensitivity can be increased with respect to the pixel signal before synthesis.
  • the distance measuring device of the present disclosure after all the effective pixel information is used, almost all of the distance image is obtained regardless of the distance to one or more objects existing in the imaging target space and the surface reflectance. Good distance accuracy can be obtained throughout.
  • FIG. 1 is a diagram illustrating a configuration example of a distance measuring apparatus according to the first embodiment.
  • FIG. 2 is a flowchart of the synthesis method.
  • FIG. 3 is a diagram illustrating an example of a distance measurement method using the TOF method.
  • FIG. 4A is a diagram illustrating an example of a distance measurement method using a TOF method.
  • FIG. 4B is a diagram illustrating another example of a distance measurement method using the TOF method.
  • FIG. 5 is a diagram illustrating an example of pixel arrangement and region division of the solid-state imaging device.
  • FIG. 6A is a diagram illustrating an example of measurement conditions.
  • FIG. 6B is a diagram illustrating another example of measurement conditions.
  • FIG. 7A is an explanatory diagram of signal levels obtained by the synthesis calculation process.
  • FIG. 7B is another explanatory diagram of the signal level by the synthesis calculation process.
  • FIG. 8A is a diagram illustrating a configuration of the synthesis unit.
  • FIG. 8B is a diagram illustrating another configuration of the combining unit.
  • FIG. 9 is a diagram illustrating an example of pixel arrangement and region division of the solid-state imaging device according to the second embodiment.
  • FIG. 10 is a diagram illustrating a configuration example of the distance measuring apparatus according to the second embodiment.
  • FIG. 11 is a diagram showing a two-dimensional interpolation process for the current frame.
  • FIG. 12 is a diagram showing a two-dimensional interpolation process for the previous frame.
  • FIG. 13 is a diagram illustrating an example of two-dimensional interpolation processing.
  • FIG. 11 is a diagram showing a two-dimensional interpolation process for the current frame.
  • FIG. 12 is a diagram showing a two-dimensional interpolation process for the previous frame.
  • FIG. 13 is a diagram illustrating an example of two
  • FIG. 14 is a flowchart of interpolation processing inside the synthesis unit 112 according to the second embodiment.
  • FIG. 15 is a flowchart of the addition process in the synthesis unit 112 according to the second embodiment.
  • FIG. 16 is a diagram illustrating a configuration example of the synthesis unit 112 according to the second embodiment.
  • FIG. 17A is a diagram showing a change in signal level due to the synthesis operation processing according to Embodiment 2.
  • FIG. 17B is a diagram showing a change in signal level due to the synthesis operation processing according to Embodiment 2.
  • FIG. 1 is a block diagram showing the configuration of the distance measuring apparatus according to the first embodiment.
  • the distance measuring apparatus shown in FIG. 1 includes an imaging signal processing unit 101, a light emitting unit 10, and a light receiving unit 20.
  • the imaging signal processing unit 101 includes a drive control unit 103, a line memory 111, a synthesis unit 112, a signal correction processing unit 113, and a distance calculation unit 114.
  • the light emitting unit 10 includes a light source driver 102 and a light source 104.
  • the light receiving unit 20 includes a solid-state imaging device 105 and an AFE (analog front end) 110.
  • AFE analog front end
  • Examples of light emitted from the light source 104 include infrared light and laser.
  • Examples of the solid-state imaging device 105 include a CCD (Charge Coupled Device), a CMOS (Complementary Metal-Oxide Semiconductor) sensor, and the like.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • the drive control unit 103 generates a light emission timing signal SG1 and an exposure timing signal SG2 corresponding thereto according to a predetermined condition.
  • the light source driver 102 is controlled by the light emission timing signal SG1, and the light source 104 emits the light L1 toward the object OBJ.
  • the irradiation light L1 is light having a pulse waveform having a predetermined emission width.
  • the irradiation light L1 is reflected by the object OBJ, and the reflected light L2 is received by the solid-state imaging device 105.
  • the solid-state imaging device 105 has a pixel group arranged two-dimensionally, performs exposure according to the exposure timing signal SG2, and outputs the charge accumulated in the pixel group to the AFE 110 as a signal.
  • the charge signal input to the AFE 110 is AD converted, and the converted digital data is input to the imaging signal processing unit 101.
  • a distance measurement method using the TOF method S0 exposure that receives all reflected light of light emitted from the light source, S1 exposure that receives a part of reflected light emitted from the light source, and only background light without causing the light source to emit light.
  • BG exposure to receive light is performed. These three types of exposure are repeated once or a plurality of times to accumulate charges, and the accumulated amount of charges is converted into digital data (S0, S1, BG). Then, (S0-BG) and (S1-BG) are calculated, and the distance is calculated from these ratios.
  • the calculation formula for the distance L is (Expression 1), where T0 is the emission pulse width (irradiation time) and c is the speed of light.
  • FIG. 4A and FIG. 4B are another example of the distance measurement method of the TOF method. Compared with FIG. 3, the width of the exposure signal is halved, and the light source is also emitted in BG exposure. In this case, the formula for calculating the distance L is (Expression 2).
  • Pixels that are close to the subject handle received light signals in the order of S0 exposure, S1 exposure, and BG exposure as shown in FIG. 4A, and pixels that are far from the subject are BG exposure, S0 exposure, and so on, as shown in FIG. 4B.
  • the measurable distance range can be doubled.
  • timing of the exposure signal and the formula for calculating the distance are not limited to this.
  • Digital data (S0, S1, BG) input to the imaging signal processing unit 101 is held in the line memory 111 in units of lines in the pixel group of the solid-state imaging device 105.
  • the combining unit 112 performs a combining process using the output of the AFE 110 and the output of the line memory 111.
  • the result of the combining process performed by the combining unit 112 is input to the signal correction processing unit 113, and the signal correction processing unit 113 performs level correction, noise reduction processing, and the like.
  • the distance calculation unit 114 calculates Formula (1) using the data output from the signal correction processing unit 113, and outputs a distance value D0 obtained as a result of the calculation.
  • the pixel group of the solid-state imaging device 105 is divided into a plurality of regions in units of lines.
  • the solid-state image sensor 105 selectively performs exposure for each region in accordance with the exposure timing signal SG2.
  • the drive control unit 103 can generate a light emission timing signal SG1 and an exposure timing signal SG2 for a plurality of regions in the solid-state imaging device 105 according to different measurement conditions.
  • FIG. 5 is an example of pixel arrangement and area division in the solid-state image sensor 105.
  • the pixel group of the solid-state image sensor 105 is divided into two areas AR1 and AR2, and the first area AR1 is arranged on the odd lines and the second area AR2 is arranged on the even lines. Further, the pixels are arranged so as to be shifted by half a pixel in the horizontal direction in the odd lines and the even lines.
  • the area size and the number of divisions are not limited to those shown in FIG.
  • FIGS. 6A and 6B are diagrams showing examples of measurement conditions.
  • the number of repetitions of exposure in the above-described S0 exposure and S1 exposure is changed depending on conditions.
  • FIG. 6A shows a first condition having a first exposure period.
  • FIG. 6B shows a second condition having a second exposure period. That is, under the first condition in FIG. 6A, the exposure is repeated eight times, and under the second condition in FIG. 6B, the exposure ratio is adjusted to be 4: 1 by repeating the exposure twice. Yes. If the number of exposure repetitions is large, more charges can be stored, and more accurate distance calculation can be performed, but if the stored charge amount exceeds the saturation upper limit, calculation cannot be performed correctly. . Therefore, since the signal in the first condition can obtain a charge amount four times that in the signal in the second condition, the distance measurement accuracy is high, while the charge amount easily reaches the saturation upper limit. Become.
  • the number of exposure repetitions is changed depending on conditions.
  • the same effect can be obtained by changing the light emission intensity of the light source 104 by controlling the light source driver 102 by the light emission timing signal SG1. It is done.
  • the drive control unit 103 generates the light emission timing signal SG1 and the exposure timing signal SG2 for the first area AR1 according to, for example, the first condition shown in FIG. 6A, and for the second area AR2.
  • the light emission timing signal SG1 and the exposure timing signal SG2 are generated according to the second condition shown in FIG. 6B.
  • the first area AR1 is imaged under a first condition with a large number of exposures
  • the second area AR2 is imaged with a second condition with a small number of exposures.
  • the solid-state imaging device 105 transfers the charges for each pixel obtained by imaging under two conditions to the AFE 110 continuously in units of frames.
  • a synthesis signal is generated by the synthesis unit 112.
  • the composite pixel P1X is generated on the pixel (P1c) having a signal under the first condition obtained from the first area AR1.
  • the synthesizer 112 uses the surrounding four pixels P1a, P1b, P1d, and P1e having a signal in the second condition, and thus the line memory 111 is necessary.
  • the surrounding four pixels P1a, P1b, P1d, and P1e exposed in the second exposure period have the pixel P1c.
  • the center of gravity is arranged symmetrically and vertically symmetrical.
  • FIGS. 7A and 7B are examples showing changes in the signal level due to the arithmetic processing described above when the measurement conditions are changed as in the examples of FIGS. 6A and 6B.
  • P1c having a signal in the first condition has a signal level four times that of the four pixels P1a, P1b, P1d, and P1e having a signal in the second condition.
  • FIG. 7A all pixels are added to generate a composite pixel P1X having a signal level that is twice P1c.
  • FIG. 7B adds four pixels P1a, P1b, P1d, and P1e having a signal under the second condition to generate a composite pixel having the same level as the signal level of P1c having the signal under the first condition.
  • a synthesized pixel P1X having the same signal level as in FIG. 7A is generated.
  • the pixel signal arranged around the correction target pixel is used when the signal correction processing unit 113 in the subsequent stage corrects the signal. It becomes possible.
  • noise reduction processing high-frequency components are generally determined as noise, and noise reduction is generally performed by applying spatial processing such as a low-pass filter or median filter that outputs only low-frequency components. If the signal level is different, spatial processing cannot be performed. Therefore, by unifying the signal level of the synthesized pixel P1X that is the output signal of the synthesis unit 112, the noise component can be reduced by the correction processing performed by the signal correction processing unit 113, and the ranging accuracy can be further improved.
  • FIG. 8A and 8B are block diagrams illustrating the configuration of the combining unit 112.
  • some background light exists like lighting such as sunlight and fluorescent lamps.
  • the background light is present in the reflected light at a constant ratio even if the measurement conditions are changed. Therefore, when the light emission intensity of the light source 104 is changed in addition to the number of repeated exposures by changing the measurement condition, an offset exists if the background light is included in the reflected light.
  • the signal ratio in the second condition are not equal to the ratio of the number of exposures. That is, even if the above-described combining method is used, since the linear characteristics of the signal under the first condition and the signal under the second condition cannot be maintained, the combining unit 112 does not perform appropriate combining processing.
  • the synthesis unit 112 includes a background light removal unit 801 before the synthesis process.
  • the background light removal unit 801 subtracts the background light BG from the reflected light (S0, S1) received by the S0 exposure and the S1 exposure, thereby removing the background light component contained in the reflected light and then combining the processing unit 802. To enter.
  • the ratio between the signal under the first condition and the signal under the second condition becomes equal to the ratio of the number of exposures, so that the composition process can be appropriately performed by the composition method described above.
  • the combination calculation processing unit 802 performs combination processing by the above-described combining method.
  • the gain correction unit 804 outputs the result of the addition under the second condition.
  • the coefficient K is multiplied. Therefore, the synthesized pixel P1X can be generated by the aforementioned synthesis method.
  • FIG. 8B is a diagram showing background light removal when the light source emits light even in BG exposure as shown in FIG. 4B.
  • the background light determination unit 803 determines whether the received reflected light (A0, A1, A2) is received by exposure of S0 exposure, S1 exposure, or BG exposure. Specifically, the magnitude relationship between A0 and A2 is compared, and it is determined that a pixel with a low signal level is background light.
  • the result of the second condition with a small number of exposures is adopted for a pixel in which the S0 signal or the S1 signal is saturated under the first condition with a large number of exposures.
  • the pixel signals of both the first condition and the second condition are employed. As a result, it is possible to select the result under the optimum conditions for all the pixels, so that the ranging accuracy can be improved.
  • FIG. 2 is a flowchart of the distance image synthesis method according to the first embodiment.
  • step S201 it is determined whether the pixel signal exposed under the second condition is saturated. If the determination result is NO in Step S201, the process proceeds to Step S202, and at least one process from Step S202 to Step S206 is executed. On the other hand, if the decision result in the step S201 is YES, the process moves to a step S207. In step S207, since the pixel signals of both the first condition and the second condition are saturated, the combined pixel P1X is output as an abnormal value.
  • the distance value D0 that is the calculation result when the distance calculation unit 114 calculates for example, the mathematical expression (1) is also “ It becomes 0 ”, and it can be determined that it is an abnormal value.
  • the value of the output result of the abnormality process in step S207 is not limited to “0” as long as the distance calculation unit 114 can determine the value.
  • step S202 the background light component contained in the reflected light is removed by subtracting the background light BG from the reflected light (S0, S1) received by the S0 exposure and S1 exposure as described above, and the signal in the first condition And the signal ratio in the second condition are made equal to the ratio of the number of exposures.
  • step S203 it is determined whether the pixel signal exposed under the first condition is saturated. If the determination result is NO in Step S203, the process proceeds to Step S206 (second synthesis process). On the other hand, if the decision result in the step S203 is YES, the process shifts to a step S204 (first synthesis process).
  • step S206 addition processing is performed as the second synthesis processing. That is, the synthesized pixel P1X is generated by adding the pixels having the signal under the first condition and the surrounding four pixels having the signal under the second condition, and the synthesis process is terminated.
  • step S204 interpolation processing is performed as the first composition processing. That is, since the S0 signal or S1 signal exposed under the first condition is saturated, interpolation processing is performed using the S0 signal and S1 signal exposed under the second condition. For example, when a pixel exposed under the first condition is saturated, interpolation processing is performed by adding four pixels exposed under the second condition arranged around the pixel.
  • step S205 the gain correction is performed by multiplying the addition result of the pixels exposed under the second condition by a coefficient K. With this process, a synthesized pixel P1X having the same signal level as that of the synthesized pixel P1X to be generated in step S206 is generated only with the signal under the second condition.
  • gain correction is performed in step S205, the synthesis process is terminated.
  • the distance measuring device includes the light emitting unit 10 that emits the irradiation light L1 from the light source 104 toward the object OBJ, and the irradiation light L1 that is emitted from the light emitting unit 10 is the object.
  • a plurality of pixels read from pixels exposed in different exposure periods of the light receiving unit 20 that receives reflected light L2 generated by reflection on the OBJ in a two-dimensionally arranged pixel group
  • a synthesizing unit 112 that synthesizes signals to generate a synthesized signal
  • a distance calculation unit 114 that calculates a time difference between irradiation and light reception and a distance value to the object OBJ based on the synthesized signal.
  • the combining unit 112 generates a combined signal by the first combining process when the pixel signal exposed in the first exposure period is larger than the predetermined saturation level, and generates the second combined signal when the pixel signal is smaller than the saturation level.
  • the composite signal is generated by processing.
  • a combined signal may be generated using a pixel signal exposed in a second exposure period shorter than the first exposure period among a plurality of pixel signals.
  • the second combining process adds the pixel signal exposed in the first exposure period and the pixel signal exposed in the second exposure period among the plurality of pixel signals to obtain a combined signal. It may be generated.
  • the first combining process is an interpolation process using a combined signal that should have been obtained from the second combining process if it is not greater than the saturation level, and a pixel signal exposed in the second exposure period. May be generated.
  • the combining unit 112 may include a background light removing unit 801 that removes a pixel signal indicating background light from a pixel signal indicating the reflected light L2, and may generate a combined signal using the pixel signal after the removal.
  • the combining unit 112 gains based on the ratio of the exposure period so as to match the signal level of the combined signal obtained by the second combining process with respect to the combined signal obtained by the first combining process.
  • a gain correction unit 804 for correction may be provided, and the distance calculation unit 114 may calculate a distance value to the object OBJ using the combined signal after gain correction.
  • the ratio between the first exposure period and the second exposure period may be arranged symmetrically with respect to the center of gravity of the composite signal.
  • the distance image synthesis method includes a light emission step of irradiating the object OBJ with the irradiation light L1 from the light source 104, and a reflected light L2 generated by the irradiation light L1 being reflected by the object OBJ
  • a light receiving step for receiving light in a two-dimensionally arranged pixel group, and a combining step for generating a combined signal by combining a plurality of pixel signals read from pixels exposed in different exposure periods of the pixel group;
  • the level is higher than the saturation level, a combined signal is generated by the first combining process, and when the level is lower than the saturation level, the combined signal is generated by the second combining process.
  • FIG. 9 is an explanatory diagram for explaining an arrangement pattern of the two areas AR1 and AR2 in the present embodiment.
  • the lines of the areas AR1 and AR2 are switched.
  • a signal under the first condition and a signal under the second condition are obtained at the same spatial position of the pixel. It is done. Thereby, even if the pixel of the solid-state image sensor 105 is divided into two regions AR1 and AR2, it is possible to prevent a decrease in resolution.
  • the resolution of the distance image generated from the composite pixel P1X can be maintained at the same level as the resolution of the distance image generated from all the pixels of the solid-state imaging element 105.
  • the area size and the number of divisions are not limited to those shown in FIG.
  • FIG. 10 is a block diagram showing a part of the configuration of the distance measuring apparatus according to the second embodiment.
  • the distance measuring apparatus in FIG. 6 differs from that in FIG. 1 in that a frame memory 1001, a first interpolation pixel generation unit 1002, a second interpolation pixel generation unit 1003, and a motion detection unit 1004 are added.
  • a frame memory 1001 a first interpolation pixel generation unit 1002, a second interpolation pixel generation unit 1003, and a motion detection unit 1004 are added.
  • the imaging signal input to the imaging signal processing unit 101 in the first frame (previous frame) is temporarily stored in the frame memory 1001. Then, the imaging signal is read out in the second frame (current frame). At this time, the two areas AR1 and AR2 of the first frame and the second frame are switched by switching the pixel measurement conditions (see FIG. 9).
  • the captured image of the previous frame and the captured image of the current frame read from the frame memory 1001 are input to the first interpolation pixel generation unit 1002 and the second interpolation pixel generation unit 1003.
  • the first interpolation pixel generation unit 1002 and the second interpolation pixel generation unit 1003 separate the pixel signal for each of the areas AR1 and AR2, and two-dimensionally interpolate the separated pixel signal, so that the signal in the first condition and the second A signal in the condition is generated for all pixels.
  • four signals of a signal in the first condition of the previous frame, a signal in the second condition, a signal in the first condition of the current frame, and a signal in the second condition are generated for all pixels.
  • the four signals are input to the motion detection unit 1004 and the synthesis unit 112.
  • FIG. 11 is a diagram illustrating interpolation processing of the current frame in the first interpolation pixel generation unit 1002 and the second interpolation pixel generation unit 1003.
  • the imaging signal of the current frame is separated into a first area AR1 composed of odd lines and a second area AR2 composed of even lines.
  • the signal under the first condition obtained from the first area AR1 is two-dimensionally interpolated by the first interpolation pixel generation unit 1002, and the signal under the first condition is generated for all pixels (first interpolation image).
  • the signal under the second condition obtained from the second area AR2 is two-dimensionally interpolated by the second interpolation pixel generation unit 1003, and the signal under the second condition is generated for all pixels (second interpolation image).
  • pixels input from the solid-state imaging device 105 to the imaging signal processing unit 101 are indicated by solid lines, and pixels generated by two-dimensional interpolation are indicated by dotted lines.
  • FIG. 12 is a diagram illustrating interpolation processing of the previous frame in the first interpolation pixel generation unit 1002 and the second interpolation pixel generation unit 1003.
  • the imaging signal of the previous frame is separated into a second area AR2 composed of odd lines and a first area AR1 composed of even lines.
  • the signal under the first condition obtained from the first area AR1 is two-dimensionally interpolated by the first interpolation pixel generation unit 1002, and the signal under the first condition is generated for all pixels (third interpolation image).
  • the signal under the second condition obtained from the second area AR2 is two-dimensionally interpolated by the second interpolation pixel generation unit 1003, and the signal under the second condition is generated for all pixels (fourth interpolation image).
  • the two-dimensional interpolation processing in the first interpolation pixel generation unit 1002 and the second interpolation pixel generation unit 1003 exists around a pixel (interpolation pixel) generated by interpolation as shown in FIG. 13, for example.
  • a pixel signal of the interpolation pixel is generated by averaging the pixel signals of a plurality of pixels. That is, in FIG. 13, the pixel signal P2X of the interpolation pixel is derived from the pixel signals of the pixels (P2a, P2b, P2c, P2d) around the interpolation pixel.
  • the motion detection unit 1004 receives the first signal of the current frame. By comparing pixels at the same spatial position in the first interpolation image generated from the signal in the condition and the third interpolation image generated from the signal in the first condition of the previous frame, for each pixel between frames Is detected.
  • the motion amount X is, for example, a difference value between signal levels of pixels at the same spatial position.
  • the second interpolation image generated from the signal under the second condition of the current frame and the previous frame are used using the signal under the second condition.
  • the motion amount X for each pixel between frames is detected by comparing pixels at the same spatial position in the fourth interpolation image generated from the signal in the second condition.
  • the detected motion amount X is input to the combining unit 112.
  • FIG. 14 is a flowchart inside the interpolation process (step S204 in FIG. 2) of the synthesis unit 112 according to the second embodiment.
  • step 1401 it is determined whether or not the measurement condition of the line to be processed is the first condition. If the determination result is NO, the process proceeds to step S1403. In step S1403, since the measurement condition of the processing target line is the second condition, a pixel is selected from the second interpolation image that is the signal of the current frame, and the interpolation process is terminated. On the other hand, if the decision result in the step S1401 is YES, the process moves to a step S1402, and at least one process from the step S1402 to the step S1405 is executed. In step 1402, it is determined whether or not the motion amount X input from the motion detection unit 1004 is smaller than a predetermined threshold.
  • step S1405 it is determined from the determination result in step S1402 that the pixel has little motion, that is, the subject does not change much, and the fourth interpolation image is selected as a signal in the second condition. As a result, pixel signals at the same spatial position in the previous frame are output, and the interpolation process is terminated.
  • step S1404 it is determined from the determination result in step S1402 that the pixel has moved due to a change in the position of the subject, and the second interpolation image is selected as a signal in the second condition. As a result, the pixel signal generated from the signal in the second condition of the current frame is output without using the pixel signal of the previous frame for the pixel that has moved, and the interpolation processing ends.
  • FIG. 15 is a flowchart inside the addition process (step S206 in FIG. 2) of the synthesis unit 112 according to the second embodiment.
  • step S1501 it is determined whether the measurement condition of the line to be processed is the first condition. If the determination result is NO, the process proceeds to step S1502, and at least one process from step S1502 to step S1505 is executed.
  • step S1502 since the measurement condition of the processing target line is the second condition, a pixel is selected from the second interpolation image that is the signal of the current frame, and the process proceeds to step S1503.
  • step S1503 it is determined whether the motion amount X input from the motion detection unit 1004 is smaller than a predetermined threshold. If the determination result is YES, the process proceeds to step S1505.
  • step S1505 it is determined from the determination result in step S1503 that the pixel is a stationary state with little motion, that is, a pixel with little change in the subject, the third interpolation image is selected as a signal in the first condition, and the process proceeds to step S1506. .
  • step S1506 the signal in the second condition of the current frame selected in step S1502 and the signal in the first condition of the previous frame selected in step S1505 are added, and the addition process ends.
  • the decision result in the step S1503 is NO, the process moves to a step S1504.
  • step S1504 it is determined from the determination result in step S1503 that the subject is in a moving state, that is, a pixel that has moved due to a change in the position of the subject, and the first interpolation image is selected as a signal in the first condition.
  • the process proceeds to step S1506.
  • step S1506 the signal in the second condition of the current frame selected in step S1502 and the signal in the first condition of the current frame selected in step S1504 are added, and the addition process ends.
  • step S1501 determines whether the determination in step S1501 is YES. If the determination in step S1501 is YES, the process proceeds to step S1507, and at least one process from step S1507 to step S1509 is executed.
  • step S1507 since the measurement condition of the processing target line is the first condition, a pixel is selected from the first interpolation image that is the signal of the current frame, and the process proceeds to step S1503.
  • step S1503 it is determined whether the motion amount X input from the motion detection unit 1004 is smaller than a predetermined threshold. If the determination result is YES, the process proceeds to step S1509.
  • step S1509 it is determined from the determination result in step S1503 that the pixel has little motion, that is, the subject does not change much, the fourth interpolation image is selected as a signal in the second condition, and the process proceeds to step S1506.
  • step S1506 the signal in the first condition of the current frame selected in step S1507 and the signal in the second condition of the previous frame selected in step S1509 are added, and the addition process ends.
  • the decision result in the step S1503 is NO, the process moves to a step S1508.
  • step S1508 it is determined from the determination result in step S1503 that the pixel has moved due to a change in the position of the subject, the second interpolation image is selected as a signal in the second condition, and the process proceeds to step S1506. .
  • step S1506 the signal in the first condition of the current frame selected in step S1507 and the signal in the second condition of the current frame selected in step S1508 are added, and the addition process ends.
  • the motion detection unit 1004 determines the presence or absence of the movement of the subject based on the movement amount X output from the motion detection unit 1004, the current frame pixel or the previous frame pixel is used according to the movement of the subject. It is possible to switch between them, and it is possible to suppress the occurrence of blurring and afterimages in the distance image.
  • FIG. 16 is an example of a block diagram illustrating a configuration of the synthesis unit 112 according to the second embodiment, and the gain correction unit 804 and the synthesis calculation processing unit 802 are interchanged as compared with FIG. 8A.
  • the signal levels of the pixel Pl having the signal under the first condition and the pixel PS having the signal under the second condition are unified, and the result of the first condition is saturated.
  • the composite pixel P1X is generated by calculating an average value of Ps in which the signal level is adjusted to Pl and Pl.
  • the symbol in the above formula means the data of the pixel.
  • the composite pixel P1X is generated only with the signal under the second condition.
  • the coefficient K to be multiplied is determined from the exposure amount ratio and becomes “4”.
  • FIG. 17A and FIG. 17B are examples showing changes in the signal level according to the second embodiment.
  • the pixel Pl having a signal under the first condition has a signal level four times that of the pixel PS having a signal under the second condition. If there is no saturated pixel even as a result of the first condition, the average value of Ps obtained by adding the signal levels to Pl and Pl is set as the combined pixel P1X as shown in FIG. 17A.
  • the composite pixel P1X is generated only with the signal under the second condition as shown in FIG. 17B.
  • the signal correction processing unit 113 can perform spatial processing. Therefore, the noise component can be reduced by the correction processing performed by the signal correction processing unit 113, and the ranging accuracy can be further increased.
  • the first pixel signal read from the pixels on the first line exposed in the first exposure period, and the first pixel signal A first line exposed in a second exposure period shorter than one exposure period and a second pixel signal read from pixels on a second line different from the first exposure period.
  • the second line and the second line are alternately arranged for each line.
  • the pixel groups may be arranged so as to be shifted by half a pixel in the horizontal direction.
  • the ratio between the first exposure period and the second exposure period may be 4: 1.
  • the light receiving unit 20 may alternately generate a frame having the first line as the first row and a frame having the second line as the first row.
  • a frame memory 1001 that records all pixel signals of one frame obtained by the light receiving unit 20, a motion detection unit 1004 that detects the movement of the object OBJ, and a first pixel for all pixels from the first pixel signal.
  • the first interpolation pixel generation unit 1002 that generates the pixel signal of the second pixel
  • the second interpolation pixel generation unit 1003 that generates the second pixel signal for all pixels from the second pixel signal.
  • the detection unit 1004 determines that the object OBJ is in a stationary state, the current pixel signal and the pixel signal existing at the same position one frame before are combined, and the motion detection unit 1004 determines that the object OBJ is When it is determined that it is in a moving state, the first pixel signal generated by the first interpolation pixel generation unit 1002 and the second pixel signal generated by the second interpolation pixel generation unit 1003 are combined. Moyo .
  • the first interpolation image generation unit 1002 generates a first interpolation image including the first pixel signal from the pixel signal obtained by the light receiving unit 20, and the second interpolation image generation unit 1003 generates the second pixel signal.
  • a second interpolation image is generated, and a first interpolation image generation unit 1002 generates a third interpolation image consisting of the first pixel signal from the pixel signal of the previous frame recorded by the frame memory 1001, and the second interpolation image
  • the interpolation image generation unit 1003 generates a fourth interpolation image composed of the second pixel signal, and the motion detection unit 1004 compares the first interpolation image and the third interpolation image, and the second interpolation image and the fourth interpolation image.
  • the motion of the object OBJ is detected, and when the motion is smaller than the threshold, the synthesis unit 112 generates a synthesized signal by the first synthesis processing using the fourth interpolation image, and the motion is When not less than the value, it may generate a synthesized signal by a first combining process using the second interpolation image.
  • the present disclosure is useful for distance range expansion and accuracy improvement of a distance measuring device that measures the distance and shape of a measurement object, and is applied to, for example, an input device that detects a human finger and performs gesture input. it can.

Abstract

表面反射率に関わらず、距離画像のほぼ全体にわたって良好な距離精度を得ることが可能な距離測定装置を提供する。距離測定装置は、光源から被写体に向けて光を照射する発光部（１０）と、発光部（１０）で照射された光が被写体に反射して生じた反射光を、二次元状に配置された画素群にて受光する受光部（２０）と、画素群の、異なる露光期間で露光された画素から読み出された複数の画素信号を合成して合成信号を生成する合成部（１１２）と、照射と受光との時間差および合成信号に基づいて被写体までの距離値を算出する距離演算部（１１４）とを備え、合成部（１１２）は、第１の露光期間で露光された画素信号が、所定の飽和レベルよりも大きいときには、第１の合成処理により合成信号を生成し、飽和レベルよりも小さいときには、第２の合成処理により合成信号を生成する。

Description

距離測定装置および距離画像合成方法
　本開示は、距離画像合成方法に関し、特に、光源と固体撮像素子により光の遅延を用いて距離を測定する距離測定装置における距離画像合成方法に関する。
　近年、被写体の測距情報を有する画像（以下、距離画像）を生成する装置や手法は、機器の小型化や一般消費者向け商品の出現により、従来利用されていたゲームやアミューズメント分野における利用に留まらず、医療や広告等の多分野への用途・技術展開に注目が集まっている。
　距離画像を生成するための被写体の測距手法には、複数のカメラを用いて撮像した画像の視差に基づいて距離画像を生成する方法や、既知のランダムドットパターンを被写体に照射し、ドットパターンの歪みに基づいて距離画像を生成する方法等、幾つか存在し、それらの方法の一例として赤外光やレーザー光を被写体に向けて照射し、被写体に到達し反射して受光するまでの計測時間に基づいて、被写体までの距離を算出（測距）するＴＯＦ（Time Of Flight）方式が挙げられる。
　被写体の測距精度が高ければ、制御の自由度が増すことは明白である。ＴＯＦ方式は被写体で反射した光を固体撮像素子により露光して得た信号量を利用するため、固体撮像素子から被写体までの距離や、被写体の表面反射率に応じて、受光する反射光の露出調整を適宜施すことにより、受光信号の飽和やＳ／Ｎ比の悪化防止に伴う測距精度の向上及び高精度の距離画像の生成が期待できる。
　しかしながら、受光する反射光の強度は被写体までの距離やその表面反射率などによって大きく変動するため、露出設定をどのように定めたとしても、距離画像全体にわたって測距精度を良好に維持できるとは限らない。
　例えば、反射光の露出調整を実施し露光量を増やすと、近距離にある物体や表面反射率の高い物体からの反射光が強くなって飽和しやすくなる。逆に、露光量を減らすと、遠距離にある物体や表面反射率の低い物体からの反射光が弱くなってＳ／Ｎ比が悪化する。いずれにしても、距離精度の悪化につながってしまう。
　また、光は光源からの距離の二乗に反比例して減衰するため、屋外、例えば車両前方の距離を測定するような場合、対象物は道路や歩行者、先行車、対向車などであり、それらの距離は数メートルから無限遠にまで変化する。ゆえに、近距離の対象物と遠距離の対象物でそれぞれ最適な露出設定は異なると考えられる。
　特許文献１では、露出の異なる複数枚の距離画像を取得し、それら複数画像から画素毎に距離情報の重み付き平均値を算出して、測距精度の高い合成距離画像を生成する。
　特許文献２では、固体撮像素子において、偶数画素行と奇数画素行とで、それぞれ信号電荷の蓄積時間を個別に設定することにより異なる感度の信号を取り出し、これら感度の異なる信号を後段の信号処理系で合成する。具体的には、例えば、偶数行の各画素については蓄積時間を長く設定し高感度の画素信号を得て、奇数行の各画素については蓄積時間を短く設定し低感度の画素信号を得る。合成処理においては、偶数行の画素信号（高感度の画素信号）が飽和していない画素については高感度の画素信号を選択して利用し、飽和した画素については近傍の奇数行の画素信号（低感度の画素信号）を選択するといった合成処理が一般的である。
特開２０１２－２２５８０７号公報 特開２００６－２５３８７６号公報
　しかしながら、特許文献１の距離測定装置は、露出の異なる複数枚の距離画像を記憶するため、フレームメモリを持ち、このため、距離画像の解像度を上げようとすると、距離測定装置が大型化かつ高価になるという問題がある。さらに、距離画像生成後に合成処理を実施しているが、同じ距離に存在する被写体の距離を測定する場合であっても、被写体の反射率によって反射光の強度が変わるため、合成処理は、距離画像よりも距離画像を生成する前の画素信号で実施したほうが望ましい。
　特許文献２の合成処理では、高感度の画素信号が飽和していない場合は高感度の画素信号のみを利用するため、低感度の画素信号の画素情報は有効であっても利用されないことになる。
　従来技術のこのような課題に鑑み、本開示は、有効な画素情報は全て利用した上で、撮像対象空間内に存在する１つ以上の物体までのそれぞれの距離や表面反射率に関わらず、距離画像のほぼ全体にわたって良好な距離精度を得ることが可能な距離測定装置および距離画像合成方法を提供することを目的とする。
　上記目的を達成するため、本開示に係る距離測定装置は、光源から被写体に向けて光を照射する発光部と、前記発光部で照射された光が前記被写体に反射して生じた反射光を、二次元状に配置された画素群にて受光する受光部と、前記画素群の、異なる露光期間で露光された画素から読み出された複数の画素信号を合成して合成信号を生成する合成部と、照射と受光との時間差および前記合成信号に基づいて前記被写体までの距離値を算出する距離演算部と、を備え、前記合成部は、第１の露光期間で露光された画素信号が、所定の飽和レベルよりも大きいときには、第１の合成処理により前記合成信号を生成し、前記飽和レベルよりも小さいときには、第２の合成処理により前記合成信号を生成することを特徴とする。
　本開示によると、画素信号の信号レベルに応じた合成処理であるため、被写体の反射率による反射光の強度の変化にも対応可能である。さらに、有効な画素情報は全て利用するため、高感度の画素信号が飽和していない場合であっても、合成前の画素信号に対し感度を上げることができる。
　本開示の距離測定装置によれば、有効な画素情報は全て利用した上で、撮像対象空間内に存在する１つ以上の物体までのそれぞれの距離や表面反射率に関わらず、距離画像のほぼ全体にわたって良好な距離精度を得ることができる。
図１は、実施の形態１に係る距離測定装置の構成例を示す図である。 図２は、合成方法のフローチャートである。 図３は、ＴＯＦ方式の距離測定法の例を示す図である。 図４Ａは、ＴＯＦ方式の距離測定法の例を示す図である。 図４Ｂは、ＴＯＦ方式の距離測定法の他の例を示す図である。 図５は、固体撮像素子の画素配列および領域分割の例を示す図である。 図６Ａは、測定条件の例を示す図である。 図６Ｂは、測定条件の他の例を示す図である。 図７Ａは、合成演算処理による信号レベルの説明図である。 図７Ｂは、合成演算処理による信号レベルの他の説明図である。 図８Ａは、合成部の構成を示す図である。 図８Ｂは、合成部の他の構成を示す図である。 図９は、実施の形態２に係る固体撮像素子の画素配列および領域分割の例を示す図である。 図１０は、実施の形態２に係る距離測定装置の構成例を示す図である。 図１１は、現フレームの二次元補間処理を示した図である。 図１２は、前フレームの二次元補間処理を示した図である。 図１３は、二次元補間処理の例を示す図である。 図１４は、実施の形態２に係る合成部１１２内部の補間処理のフローチャートである。 図１５は、実施の形態２に係る合成部１１２内部の加算処理のフローチャートである。 図１６は、実施の形態２に係る合成部１１２の構成例を示す図である。 図１７Ａは、実施の形態２に係る合成演算処理による信号レベルの変化を示す図である。 図１７Ｂは、実施の形態２に係る合成演算処理による信号レベルの変化を示す図である。
　以下、実施形態について、図面を参照しながら詳細に説明する。
　（実施の形態１）
　以下に説明する実施形態では、距離画像を生成する技術について特に制限はないが、被写体に対して赤外光やレーザー光を照射して、その往復時間を求めることで測距するＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を用いる場合を例として説明する。
　図１は実施の形態１に係る距離測定装置の構成を示すブロック図である。図１に示す距離測定装置は、撮像信号処理部１０１、発光部１０および受光部２０を備えている。撮像信号処理部１０１は、駆動制御部１０３、ラインメモリ１１１、合成部１１２、信号補正処理部１１３、および距離演算部１１４を備えている。発光部１０は、光源ドライバ１０２および光源１０４を備える。受光部２０は、固体撮像素子１０５およびＡＦＥ（アナログフロントエンド）１１０を備える。
　光源１０４で照射する光としては、赤外光やレーザー等が挙げられる。
　固体撮像素子１０５としては、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等が挙げられる。
　駆動制御部１０３は、所定の条件に従って、発光タイミング信号ＳＧ１と、これに対応する露光タイミング信号ＳＧ２とを生成する。発光タイミング信号ＳＧ１により光源ドライバ１０２が制御され、光源１０４が対象物ＯＢＪに向かって光Ｌ１を照射する。照射光Ｌ１は所定の発光幅を持つパルス波形の光である。
　照射光Ｌ１は対象物ＯＢＪによって反射し、この反射光Ｌ２は固体撮像素子１０５が受光する。固体撮像素子１０５は二次元状に配置された画素群を有しており、露光タイミング信号ＳＧ２に従って露光を行い、画素群に蓄積された電荷を信号としてＡＦＥ１１０に出力する。ＡＦＥ１１０に入力された電荷信号はＡＤ変換され、変換後のデジタルデータが撮像信号処理部１０１に入力される。
　まず、図３を用いてＴＯＦ方式の距離測定法の一例を説明する。ＴＯＦ方式では、光源から照射される光の反射光を全て受光するＳ０露光、光源から照射される光の一部の反射光を受光するＳ１露光、および、光源を発光させずに背景光のみを受光するＢＧ露光を行う。これらの３種類の露光をそれぞれ１回もしくは複数回ずつ繰り返して電荷を蓄積し、その蓄積した電荷量をデジタルデータ（Ｓ０、Ｓ１、ＢＧ）に変換する。そして、（Ｓ０－ＢＧ）と（Ｓ１－ＢＧ）を計算し、これらの比より距離を計算する。その距離Ｌの計算式は、発光パルス幅（照射時間）をＴ０、光の速度をｃとすると、（式１）となる。
Figure JPOXMLDOC01-appb-M000001
　図４Ａ、図４Ｂは、ＴＯＦ方式の距離測定法のもう一つの例である。図３と比較すると露光信号の幅が半分になり、ＢＧ露光においても光源を発光している。この場合の距離Ｌの計算式は、（式２）となる。
Figure JPOXMLDOC01-appb-M000002
　被写体までの距離が近い画素は、図４ＡのようにＳ０露光、Ｓ１露光、ＢＧ露光の順で受光信号を扱い、被写体までの距離が遠い画素は、図４ＢのようにＢＧ露光、Ｓ０露光、Ｓ１露光の順で受光信号を扱うことで、測定可能な距離範囲を倍にすることが可能となる。
　なお、露光信号のタイミングおよび距離計算式はこれだけに限定されるものではない。
　撮像信号処理部１０１に入力されたデジタルデータ（Ｓ０、Ｓ１、ＢＧ）は、固体撮像素子１０５の画素群におけるライン単位で、ラインメモリ１１１に保持される。合成部１１２は、ＡＦＥ１１０の出力とラインメモリ１１１の出力を用いて合成処理を行う。合成部１１２で行われた合成処理の結果は、信号補正処理部１１３に入力され、信号補正処理部１１３では、レベル補正、ノイズリダクション処理等が行われる。距離演算部１１４は、信号補正処理部１１３から出力されたデータを用いて数式（１）の計算を行い、計算の結果得られた距離値Ｄ０を出力する。
　本実施形態では、固体撮像素子１０５の画素群は、ライン単位で複数の領域に分割されているものとする。そして固体撮像素子１０５は、露光タイミング信号ＳＧ２に従って、領域毎に選択的に露光を行う。駆動制御部１０３は、固体撮像素子１０５における複数の領域に対して、それぞれ、互いに異なる測定条件に従って、発光タイミング信号ＳＧ１および露光タイミング信号ＳＧ２を生成することができる。
　図５は固体撮像素子１０５における画素配列および領域分割の一例である。図５では、固体撮像素子１０５の画素群は、２つの領域ＡＲ１、ＡＲ２に分割されており、第１領域ＡＲ１を奇数ラインに、第２領域ＡＲ２を偶数ラインに配置している。また、奇数ラインと偶数ラインとにおいて、画素が水平方向に半画素ずらして配置されている。なお、領域のサイズや分割数は図５に示したものに限られるものではない。
　図６Ａ、図６Ｂは測定条件の例を示す図である。図６Ａ、図６Ｂの例では、上述したＳ０露光およびＳ１露光における露光の繰り返し回数を、条件によって変えている。図６Ａは、第１の露光期間を有する第１条件を示す。図６Ｂは第２の露光期間を有する第２条件を示す。すなわち、図６Ａの第１条件では、露光を８回ずつ繰り返しており、図６Ｂの第２条件では、露光を２回ずつ繰り返すことで、露光量の比が４：１となるよう調整している。露光の繰り返し回数が多ければ、それだけ多くの電荷を貯めることができ、より正確な距離の計算を行うことができるが、貯めた電荷量が飽和上限を超えた場合、正しく計算を行うことができない。したがって、第１条件における信号は、第２条件における信号と比較し４倍の電荷量を得ることが可能となるため、測距精度が高くなる一方で、電荷量が飽和上限に達しやすいことになる。
　なお、図６Ａ、図６Ｂの例では、条件によって露光の繰り返し回数を変更しているが、発光タイミング信号ＳＧ１により光源ドライバ１０２を制御し、光源１０４の発光強度を変更しても同じ効果が得られる。
　図５に示す例では、駆動制御部１０３は、第１領域ＡＲ１に対して例えば図６Ａに示す第１条件に従って、発光タイミング信号ＳＧ１および露光タイミング信号ＳＧ２を生成し、第２領域ＡＲ２に対して例えば図６Ｂに示す第２条件に従って、発光タイミング信号ＳＧ１および露光タイミング信号ＳＧ２を生成する。この結果、第１領域ＡＲ１では露光回数が多い第１条件で撮像され、第２領域ＡＲ２では露光回数が少ない第２条件で撮像される。固体撮像素子１０５は、２つの条件での撮像によって得られた画素ごとの電荷をフレーム単位で連続してＡＦＥ１１０へ転送する。
　そして、合成部１１２により合成信号を生成する。
　図５に示す例では、第１領域ＡＲ１から得られる第１条件における信号を持つ画素（Ｐ１ｃ）上に合成画素Ｐ１Ｘを生成する。合成部１１２は、この演算処理を行うにあたり、第２条件における信号を持つ周囲の４個の画素Ｐ１ａ、Ｐ１ｂ、Ｐ１ｄ、Ｐ１ｅを使用するため、ラインメモリ１１１が必要となる。
　なお、第１の露光期間で露光された画素Ｐ１ｃ上に合成画素Ｐ１Ｘを生成するとき、第２の露光期間で露光された周囲の４個の画素Ｐ１ａ、Ｐ１ｂ、Ｐ１ｄおよびＰ１ｅは、画素Ｐ１ｃを重心として、左右対称および上下対称に配置されている。
　例えば、露光回数が多い第１条件の結果においても飽和している画素が存在しない場合は、全ての画素を利用して、
　Ｐ１Ｘ＝（Ｐ１ａ＋Ｐ１ｂ＋Ｐ１ｃ＋Ｐ１ｄ＋Ｐ１ｅ）　・・・（式３）
とする。なお、上式の記号は当該画素のデータを意味している。
　このような計算により、飽和している画素が存在しない場合においても、第２条件の結果を有効に利用し、第１条件のみで露光した結果よりも、より多くの信号量を得て、ダイナミックレンジを拡大することができる。よって、測距精度を高めることができる。
　一方、第１条件でＳ０信号またはＳ１信号が飽和している画素については、露光回数が少ない第２条件の結果を採用し、
　Ｐ１Ｘ＝（Ｐ１ａ＋Ｐ１ｂ＋Ｐ１ｄ＋Ｐ１ｅ）×Ｋ　・・・（式４）
とする。ここで、乗算される係数Ｋは、露光量の比から決定し、図６Ａ、図６Ｂに示す例では“２”となる。
　図７Ａ、図７Ｂは、図６Ａ、図６Ｂの例のように測定条件を変更した際の、上述した演算処理による信号レベルの変化を示す例である。第１条件における信号を持つＰ１ｃは、第２条件における信号を持つ４個の画素Ｐ１ａ、Ｐ１ｂ、Ｐ１ｄ、Ｐ１ｅと比較し４倍の信号レベルを持っている。図７Ａは、全ての画素を加算することで、Ｐ１ｃの倍の信号レベルを持つ合成画素Ｐ１Ｘを生成する。図７Ｂは、第２条件における信号を持つ４個の画素Ｐ１ａ、Ｐ１ｂ、Ｐ１ｄ、Ｐ１ｅを加算し、第１条件における信号を持つＰ１ｃの信号レベルと同じレベルの合成画素を生成し、さらに２倍することで、図７Ａの場合と同じ信号レベルの合成画素Ｐ１Ｘを生成する。
　このように、係数Ｋを乗算して合成画素Ｐ１Ｘの信号レベルを統一することにより、後段の信号補正処理部１１３において信号を補正する際に、補正対象画素の周辺に配置される画素信号を用いることが可能になる。例えば、ノイズリダクション処理では、高周波成分をノイズとして判定し、低周波成分のみを出力するローパスフィルタやメディアンフィルタ等の空間処理を施すことでノイズを低減させる処理が一般的であるが、画素単位で信号レベルが異なると、空間処理を施すことが出来ない。よって、合成部１１２の出力信号である合成画素Ｐ１Ｘの信号レベルを統一させることで、信号補正処理部１１３で行う補正処理によりノイズ成分を低減させ、より測距精度を高めることができる。
　図８Ａ、図８Ｂは、合成部１１２の構成を示すブロック図である。一般の環境下では、太陽光や蛍光灯などの照明のように何らかの背景光が存在する。背景光は、測定条件が変わっても反射光の中に一定の比率で存在している。そのため、測定条件の変更によって露光の繰り返し回数の他に、光源１０４の発光強度を変更した場合、反射光の中に背景光を含んだままでは、オフセットが存在するために、第１条件における信号と第２条件における信号の比が、露光回数の比と等しくならない。つまり、前述した合成方法を用いても、第１条件における信号と第２条件における信号の線形特性を保てないために、合成部１１２において適切な合成処理が行なわれない。
　そのため、図８Ａのように合成部１１２は、合成処理の前に背景光除去部８０１を設けている。背景光除去部８０１において、Ｓ０露光、Ｓ１露光により受光した反射光（Ｓ０、Ｓ１）から背景光ＢＧを減算することで、反射光に含まれる背景光成分を除去した上で合成演算処理部８０２に入力する。これにより、第１条件における信号と第２条件における信号の比が、露光回数の比と等しくなるため、前述した合成方法により適切に合成処理が可能になる。合成演算処理部８０２では、合成に必要な第１条件における信号と第２条件における信号が揃うと、前述した合成方法により合成処理を実施する。このとき第１条件でＳ０信号またはＳ１信号が飽和している画素については、ゲイン補正部８０４にゲイン補正が必要である情報を出力し、ゲイン補正部８０４において、第２条件の加算結果に対し係数Ｋが乗算される。よって、前述した合成方法により合成画素Ｐ１Ｘを生成することができる。
　図８Ｂは、図４ＢのようにＢＧ露光においても光源を発光している場合における背景光除去を示す図である。ＢＧ露光においても光源を発光している場合、Ｓ０露光、Ｓ１露光、ＢＧ露光のうち、どの露光タイミングで得られた画素が背景光であるか不明である。そのため図８Ｂのように、受光した反射光（Ａ０、Ａ１、Ａ２）を背景光判定部８０３においてＳ０露光、Ｓ１露光、ＢＧ露光のいずれの露光により受光したかを判定する。具体的には、Ａ０、Ａ２の大小関係を比較し、信号レベルが小さい画素が背景光であると判定する。
　このような合成処理により、露光回数が多い第１条件でＳ０信号またはＳ１信号が飽和している画素については、露光回数が少ない第２条件の結果を採用し、それ以外の画素については、第１条件と第２条件との両方の画素信号を採用する。これにより、全画素において最適な条件での結果を選択することができるため、測距精度を高めることができる。
　図２は実施の形態１に係る距離画像合成方法のフローチャートである。
　まず、ステップＳ２０１では、第２条件で露光した画素信号が飽和しているか否かの判定を行う。ステップＳ２０１において、この判定結果がＮＯならば、処理はステップＳ２０２に移行し、ステップＳ２０２～ステップＳ２０６までの少なくとも一つの処理を実行する。一方、ステップＳ２０１での判定結果がＹＥＳならば、ステップＳ２０７に移行する。ステップＳ２０７では、第１条件と第２条件の両方の画素信号が飽和しているため、その合成画素Ｐ１Ｘは異常値として出力する。具体的には、ステップＳ２０７により合成画素Ｐ１Ｘのデータを“０”で出力することにより、距離演算部１１４で例えば数式（１）の計算を行った際に、計算結果となる距離値Ｄ０も“０”となり異常値であることが判別可能となる。なお、ステップＳ２０７による異常処理の出力結果の値は、距離演算部１１４で判別可能であれば、“０”に限定されるものではない。
　ステップＳ２０２では、前述のようにＳ０露光、Ｓ１露光により受光した反射光（Ｓ０、Ｓ１）から背景光ＢＧを減算することで、反射光に含まれる背景光成分を除去し、第１条件における信号と第２条件における信号の比を、露光回数の比と等しくする。
　ステップＳ２０３では、第１条件で露光した画素信号が飽和しているか否かの判定を行う。ステップＳ２０３において、この判定結果がＮＯならば、ステップＳ２０６（第２の合成処理）に移行する。一方、ステップＳ２０３での判定結果がＹＥＳならば、ステップＳ２０４（第１の合成処理）に移行する。
　ステップＳ２０６では、第２の合成処理として加算処理を行う。すなわち、第１条件における信号を持つ画素と、第２条件における信号を持つ周囲の４個の画素との加算することにより合成画素Ｐ１Ｘを生成し、合成処理を終了する。
　ステップＳ２０４では、第１の合成処理として補間処理を行う。すなわち、第１条件で露光したＳ０信号またはＳ１信号が飽和しているため、第２条件で露光したＳ０信号及びＳ１信号を用いて補間処理を行う。例えば、第１条件で露光した画素が飽和している場合に、その周囲に配置している第２条件で露光した４個の画素を加算することで補間処理を行う。補間処理を行うと、処理はステップＳ２０５に移行する。ステップＳ２０５では、第２条件で露光した画素の加算結果に対し係数Ｋを乗算しゲイン補正を行う。この処理により、第２条件における信号のみで、ステップＳ２０６で生成すべき合成画素Ｐ１Ｘと同じ信号レベルを持つ合成画素Ｐ１Ｘが生成される。ステップＳ２０５でゲイン補正を行うと、合成処理を終了する。
　以上により、有効な画素情報は全て利用した上で、物体までの距離や表面反射率に関わらず、距離画像のほぼ全体にわたって測距可能となり、さらに、合成画素Ｐ１Ｘの信号レベルを統一させることで、ノイズリダクション等の空間処理を施すことが可能となり、より測距精度を高めることができる。
　以上の説明してきたように本実施の形態における距離測定装置は、光源１０４から対象物ＯＢＪに向けて照射光Ｌ１を照射する発光部１０と、発光部１０で照射された照射光Ｌ１が対象物ＯＢＪに反射して生じた反射光Ｌ２を、二次元状に配置された画素群にて受光する受光部２０と、画素群の、異なる露光期間で露光された画素から読み出された複数の画素信号を合成して合成信号を生成する合成部１１２と、照射と受光との時間差および合成信号に基づいて対象物ＯＢＪまでの距離値を算出する距離演算部１１４とを備える。合成部１１２は、第１の露光期間で露光された画素信号が、所定の飽和レベルよりも大きいときには、第１の合成処理により合成信号を生成し、飽和レベルよりも小さいときには、第２の合成処理により前記合成信号を生成する。
　ここで、上記第１の合成処理は、複数の画素信号のうち、第１の露光期間よりも短い第２の露光期間で露光された画素信号を使用して合成信号を生成してもよい。
　ここで、上記第２の合成処理は、複数の画素信号のうち、第１の露光期間で露光された画素信号、および、第２の露光期間で露光された画素信号を加算して合成信号を生成してもよい。
　ここで、上記第１の合成処理は、飽和レベルよりも大きくなければ上記第２の合成処理から得られたはずの合成信号を、第２の露光期間で露光された画素信号を用いた補間処理によって生成してもよい。
　ここで、合成部１１２は、反射光Ｌ２を示す画素信号から背景光を示す画素信号を除去する背景光除去部８０１を備え、除去後の画素信号を用いて合成信号を生成してもよい。
　ここで、合成部１１２では、上記第１の合成処理により得られる合成信号に対して、上記第２の合成処理により得られる合成信号の信号レベルに合わせるように、露光期間の比率に基づいてゲイン補正するゲイン補正部８０４を備え、距離演算部１１４は、ゲイン補正後の合成信号を用いて対象物ＯＢＪまでの距離値を算出してもよい。
　ここで、第１の露光期間と第２の露光期間との比率は、合成信号の重心に対して対称に配置されていてもよい。
　また、本実施の形態における距離画像合成方法は、光源１０４から対象物ＯＢＪに向けて照射光Ｌ１を照射する発光ステップと、照射光Ｌ１が対象物ＯＢＪに反射して生じた反射光Ｌ２を、二次元状に配置された画素群にて受光する受光ステップと、画素群の、異なる露光期間で露光された画素から読み出された複数の画素信号を合成して合成信号を生成する合成ステップと、照射と受光との時間差および合成信号に基づいて対象物ＯＢＪまでの距離値を算出する距離演算ステップとを備え、上記合成ステップにおいて、第１の露光期間で露光された画素信号が、所定の飽和レベルよりも大きいときには、第１の合成処理により合成信号を生成し、飽和レベルよりも小さいときには、第２の合成処理により前記合成信号を生成する。
　（実施の形態２）
　実施の形態２では、実施の形態１で説明した距離測定装置の他の例を説明する。本実施の形態では、フレームごとに画素の測定条件を切り替えることで、固体撮像素子１０５の２つの領域ＡＲ１、ＡＲ２をフレーム単位で入れ替えている。
　図９は、本実施の形態における、２つの領域ＡＲ１、ＡＲ２の配置パターンを説明するための説明図である。現フレームと前フレームにおいて、測定条件を切り替えることで、領域ＡＲ１、ＡＲ２のラインが入れ替わっている。このような領域ＡＲ１、ＡＲ２の配置パターンをとることで、現フレームと前フレームの両方の画素を用いれば、空間的に同じ画素位置で、第１条件における信号と、第２条件における信号を得られる。これにより、固体撮像素子１０５の画素を２つの領域ＡＲ１、ＡＲ２に分割しても解像度の低下を防止できる。すなわち、合成画素Ｐ１Ｘから生成した距離画像の解像度を、固体撮像素子１０５の全画素から生成した距離画像の解像度と同程度に保つことが可能となる。なお、領域のサイズや分割数は図９に示したものに限られるものではない。
　図１０は実施の形態２に係る距離測定装置の構成の一部を示すブロック図である。同図の距離測定装置は、図１と比べて、フレームメモリ１００１、第１補間画素生成部１００２、第２補間画素生成部１００３、動き検出部１００４が追加されている点が異なっている。以下異なる点を中心に説明する。なお、実施の形態１と実質的に同一の構成に対する重複説明を省略する場合がある。
　図１０において、第１フレーム（前フレーム）で撮像信号処理部１０１に入力された撮像信号は、フレームメモリ１００１に一旦保存される。そして、次に第２フレーム（現フレーム）で撮像信号が読み出される。このとき、画素の測定条件を切り替えることで、第１フレームと、第２フレームの２つの領域ＡＲ１、ＡＲ２を入れ替える（図９参照）。
　フレームメモリ１００１から読み出された前フレームの撮像画像及び現フレームの撮像画像は、第１補間画素生成部１００２、第２補間画素生成部１００３に入力される。
　第１補間画素生成部１００２、第２補間画素生成部１００３では、領域ＡＲ１、ＡＲ２毎に画素信号を分離し、分離された画素信号を二次元補間することで、第１条件における信号と第２条件における信号を全画素分生成する。これにより、前フレームの第１条件における信号、第２条件における信号、現フレームの第１条件における信号、第２条件における信号の４つの信号が全画素分生成されることになる。４つの信号は、動き検出部１００４と合成部１１２に入力される。
　図１１は、第１補間画素生成部１００２、第２補間画素生成部１００３における現フレームの補間処理を示した図である。まず、現フレームの撮像信号は、奇数ラインからなる第１領域ＡＲ１と、偶数ラインからなる第２領域ＡＲ２に分離される。第１領域ＡＲ１から得られる第１条件における信号は、第１補間画素生成部１００２によって二次元補間され、第１条件における信号を全画素分生成する（第１補間画像）。第２領域ＡＲ２から得られる第２条件における信号は、第２補間画素生成部１００３によって二次元補間され、第２条件における信号を全画素分生成する（第２補間画像）。
　ここで、図１１から図１３では、固体撮像素子１０５から撮像信号処理部１０１へ入力された画素は実線で、二次元補間して生成された画素は点線で図示してある。
　図１２は、第１補間画素生成部１００２、第２補間画素生成部１００３における前フレームの補間処理を示した図である。まず、前フレームの撮像信号は、奇数ラインからなる第２領域ＡＲ２と、偶数ラインからなる第１領域ＡＲ１に分離される。第１領域ＡＲ１から得られる第１条件における信号は、第１補間画素生成部１００２によって二次元補間され、第１条件における信号を全画素分生成する（第３補間画像）。第２領域ＡＲ２から得られる第２条件における信号は、第２補間画素生成部１００３によって二次元補間され、第２条件における信号を全画素分生成する（第４補間画像）。
　ここで、第１補間画素生成部１００２、第２補間画素生成部１００３における二次元補間処理は、例えば、図１３に示すように、補間を行い生成される画素（補間画素）の周囲に存在する複数の画素の画素信号を加算平均することによって、補間画素の画素信号を生成する。つまり、図１３において、補間画素の画素信号Ｐ２Ｘは、補間画素の周囲の画素（Ｐ２ａ、Ｐ２ｂ、Ｐ２ｃ、Ｐ２ｄ）の画素信号から、
　Ｐ２Ｘ＝（Ｐ２ａ＋Ｐ２ｂ＋Ｐ２ｃ＋Ｐ２ｄ）／４　・・・（式５）
とする。なお、上式の記号は当該画素のデータを意味しており、補間画素を生成するための計算式はこれだけに限定されるものではない。
　動き検出部１００４は、前フレームの第１条件における信号、第２条件における信号、現フレームの第１条件における信号、第２条件における信号の４つの信号が入力されると、現フレームの第１条件における信号から生成された第１補間画像と、前フレームの第１条件における信号から生成された第３補間画像の空間的に同じ位置にある画素同士を比較することにより、フレーム間における画素毎の動き量Ｘを検出する。動き量Ｘは、例えば、空間的に同じ位置にある画素同士の信号レベルの差分値とする。このとき、第１条件でＳ０信号またはＳ１信号が飽和している画素については、第２条件おける信号を用いて、現フレームの第２条件における信号から生成された第２補間画像と、前フレームの第２条件における信号から生成された第４補間画像の空間的に同じ位置にある画素同士を比較することにより、フレーム間における画素毎の動き量Ｘを検出する。検出された動き量Ｘは合成部１１２に入力される。
　図１４は、実施の形態２に係る合成部１１２の補間処理（図２のステップＳ２０４）内部のフローチャートである。
　まず、ステップ１４０１では、処理対象としているラインの測定条件が第１条件か否かを判定する。この判定結果がＮＯならば、処理はステップＳ１４０３に移行する。ステップＳ１４０３では、処理対象ラインの測定条件が第２条件であるため、現フレームの信号である第２補間画像から画素を選択し補間処理を終了する。一方、ステップＳ１４０１での判定結果がＹＥＳならば、ステップＳ１４０２に移行し、ステップＳ１４０２～ステップＳ１４０５までの少なくとも一つの処理を実行する。ステップ１４０２では、動き検出部１００４から入力された動き量Ｘが所定の閾値より小さいか否かを判定する。この判定の判定結果がＹＥＳならば、処理はステップＳ１４０５に移行する。ステップＳ１４０５では、ステップＳ１４０２の判定結果から、動きが少ない、つまり被写体の変化があまりない画素であると判定し、第２条件における信号として第４補間画像を選択する。これにより、前フレームの空間的に同じ位置にある画素信号を出力して補間処理を終了する。一方、ステップＳ１４０２での判定結果がＮＯならば、ステップＳ１４０４に移行する。ステップＳ１４０４では、ステップＳ１４０２の判定結果から、被写体の位置が変化する等して動きのあった画素であると判定し、第２条件における信号として第２補間画像を選択する。これにより、動きのあった画素については、前フレームの画素信号は使用せず、現フレームの第２条件における信号から生成された画素信号を出力して補間処理を終了する。
　図１５は、実施の形態２に係る合成部１１２の加算処理（図２のステップＳ２０６）内部のフローチャートである。
　まず、ステップＳ１５０１では、処理対象としているラインの測定条件が第１条件か否かを判定する。この判定結果がＮＯならば、処理はステップＳ１５０２に移行し、ステップＳ１５０２～ステップＳ１５０５までの少なくとも一つの処理を実行する。ステップＳ１５０２では、処理対象ラインの測定条件が第２条件であるため、現フレームの信号である第２補間画像から画素を選択し、ステップＳ１５０３に移行する。ステップＳ１５０３では、動き検出部１００４から入力された動き量Ｘが所定の閾値より小さいか否かを判定する。この判定の判定結果がＹＥＳならば、処理はステップＳ１５０５に移行する。ステップＳ１５０５では、ステップＳ１５０３の判定結果から、動きが少ない静止状態、つまり被写体の変化があまりない画素であると判定し、第１条件における信号として第３補間画像を選択し、ステップＳ１５０６に移行する。ステップＳ１５０６では、ステップＳ１５０２で選択された現フレームの第２条件における信号と、ステップＳ１５０５で選択された前フレームの第１条件における信号とを加算し、加算処理を終了する。一方、ステップＳ１５０３での判定結果がＮＯならば、ステップＳ１５０４に移行する。ステップＳ１５０４では、ステップＳ１５０３の判定結果から、被写体が動状態、つまり被写体の位置が変化する等して動きのあった画素であると判定し、第１条件における信号として第１補間画像を選択し、ステップＳ１５０６に移行する。ステップＳ１５０６では、ステップＳ１５０２で選択された現フレームの第２条件における信号と、ステップＳ１５０４で選択された現フレームの第１条件における信号とを加算し、加算処理を終了する。
　ステップＳ１５０１での判定がＹＥＳならば、処理はステップＳ１５０７に移行し、ステップＳ１５０７～ステップＳ１５０９までの少なくとも一つの処理を実行する。ステップＳ１５０７では、処理対象ラインの測定条件が第１条件であるため、現フレームの信号である第１補間画像から画素を選択し、ステップＳ１５０３に移行する。ステップＳ１５０３では、動き検出部１００４から入力された動き量Ｘが所定の閾値より小さいか否かを判定する。この判定結果がＹＥＳならば、処理はステップＳ１５０９に移行する。ステップＳ１５０９では、ステップＳ１５０３の判定結果から、動きが少ない、つまり被写体の変化があまりない画素であると判定し、第２条件における信号として第４補間画像を選択し、ステップＳ１５０６に移行する。ステップＳ１５０６では、ステップＳ１５０７で選択された現フレームの第１条件における信号と、ステップＳ１５０９で選択された前フレームの第２条件における信号とを加算し、加算処理を終了する。一方、ステップＳ１５０３での判定結果がＮＯならば、ステップＳ１５０８に移行する。ステップＳ１５０８では、ステップＳ１５０３の判定結果から、被写体の位置が変化する等して動きのあった画素であると判定し、第２条件における信号として第２補間画像を選択し、ステップＳ１５０６に移行する。ステップＳ１５０６では、ステップＳ１５０７で選択された現フレームの第１条件における信号と、ステップＳ１５０８で選択された現フレームの第２条件における信号とを加算し、加算処理を終了する。
　このように、動き検出部１００４から出力された動き量Ｘによって、被写体の動きの有無を判別することで、被写体の動きに応じて、現フレームの画素を使用するか前フレームの画素を使用するかを切り替えることが可能となり、距離画像にぶれや残像が生じるのが抑えられる。
　図１６は、実施の形態２に係る合成部１１２の構成を示すブロック図の一例であり、図８Ａと比較し、ゲイン補正部８０４と、合成演算処理部８０２が入れ替わっている。合成演算処理部８０２に信号を入力する前に、第１条件における信号を持つ画素Ｐｌと、第２条件における信号を持つ画素ＰＳの信号レベルを統一させておき、第１条件の結果においても飽和している画素が存在しない場合は、ＰｌとＰｌに信号レベルを合わせたＰｓの平均値を算出することで、合成画素Ｐ１Ｘを生成する。
　Ｐ１Ｘ＝（Ｐｌ＋Ｐｓ×Ｋ）／２　・・・（式６）
　なお、上式の記号は当該画素のデータを意味している。一方、第１条件でＳ０信号またはＳ１信号が飽和している画素については第２条件における信号のみで合成画素Ｐ１Ｘを生成する。
　Ｐ１Ｘ＝Ｐｓ×Ｋ　・・・（式７）
　ここで、乗算される係数Ｋは、露光量の比から決定し“４”となる。
　また、図１７Ａ、図１７Ｂは、実施の形態２に係る信号レベルの変化を示す例である。例えば、第１条件における信号を持つ画素Ｐｌは、第２条件における信号を持つ画素ＰＳと比較し４倍の信号レベルを持っている。第１条件の結果においても飽和している画素が存在しない場合は、図１７Ａのように、ＰｌとＰｌに信号レベルを合わせたＰｓの平均値を合成画素Ｐ１Ｘとする。一方、第１条件でＳ０信号またはＳ１信号が飽和している画素については、図１７Ｂのように第２条件における信号のみで合成画素Ｐ１Ｘを生成する。
　このように、係数Ｋを乗算して合成画素Ｐ１Ｘの信号レベルを統一することで、信号補正処理部１１３において、空間処理を施すことが可能となる。よって、信号補正処理部１１３で行う補正処理によりノイズ成分を低減させ、より測距精度を高めることができる。
　以上により、被写体のぶれや残像の発生を抑えるとともに、固体撮像素子１０５の全画素分の解像度を確保したまま、物体までの距離や表面反射率に関わらず、距離画像のほぼ全体にわたって測距可能となる。
　以上の説明してきたように本実施の形態における距離測定装置は、画素群が、第１の露光期間で露光された第１のライン上の画素から読み出された第１の画素信号と、第１の露光期間より短い第２の露光期間で露光された第１のラインと異なる第２のライン上の画素から読み出された第２の画素信号とから構成され、１フレームには、第１のラインと第２のラインとがライン毎に交互に配置されている。
　ここで、画素群は、水平方向に半画素ずらして配置されていてもよい。
　ここで、第１の露光期間と第２の露光期間との比率は４：１であってもよい。
　ここで、受光部２０は、第１のラインを先頭行とするフレームと、第２のラインを先頭行とするフレームとを交互に生成してもよい。
　ここで、受光部２０で得られた１フレームの全画素信号を記録するフレームメモリ１００１と、対象物ＯＢＪの動きを検出する動き検出部１００４と、第１の画素信号から全画素分の第１の画素信号を生成する第１補間画素生成部１００２と、第２の画素信号から全画素分の第２の画素信号を生成する第２補間画素生成部１００３とを備え、合成部１１２は、動き検出部１００４により対象物ＯＢＪが静止状態であると判定された場合には、現在の画素信号と１フレーム前の同位置に存在する画素信号とを合成し、動き検出部１００４により対象物ＯＢＪが動状態であると判定された場合には、第１補間画素生成部１００２により生成された第１の画素信号と第２補間画素生成部１００３により生成された第２の画素信号とを合成してもよい。
　ここで、受光部２０で得られた画素信号から、第１補間画像生成部１００２により第１の画素信号から成る第１補間画像を生成し、第２補間画像生成部１００３により第２の画素信号から成る第２補間画像を生成し、フレームメモリ１００１により記録された１フレーム前の画素信号から、第１補間画像生成部１００２により第１の画素信号から成る第３補間画像を生成し、第２補間画像生成部１００３により第２の画素信号から成る第４補間画像を生成し、動き検出部１００４は、第１補間画像と第３補間画像を比較するとともに、第２補間画像と第４補間画像を比較することによって、対象物ＯＢＪの動きを検出し、合成部１１２は、動きが閾値より小さいとき、第４補間画像を用いて第１の合成処理により合成信号を生成し、動きが閾値より小さくないとき、第２補間画像を用いて第１の合成処理により合成信号を生成してもよい。
　以上、例示的な各実施の形態について説明したが、本願の請求の範囲は、これらの実施の形態に限定されるものではない。添付の請求の範囲に記載された主題の新規な教示および利点から逸脱することなく、上記各実施の形態においてさまざまな変形を施してもよく、上記各実施の形態の構成要素を任意に組み合わせて他の実施の形態を得てもよいことを、当業者であれば容易に理解するであろう。したがって、そのような変形例や他の実施の形態も本開示に含まれる。
　本開示は、測定対象物との距離や形状の測定を行う距離測定装置の距離範囲拡大や精度向上等に有用であり、例えば、人の指を検知してジェスチャー入力を行う入力装置等に適用できる。
　１０　　発光部
　２０　　受光部
　１０１　　撮像信号処理部
　１０２　　光源ドライバ
　１０３　　駆動制御部
　１０４　　光源
　１０５　　固体撮像素子
　１１０　　ＡＦＥ
　１１１　　ラインメモリ
　１１２　　合成部
　１１３　　信号補正処理部
　１１４　　距離演算部
　８０１　　背景除去部
　８０２　　合成演算部
　８０３　　背景光判定部
　８０４　　ゲイン補正部
　１００１　　フレームメモリ
　１００２　　第１補間画素生成部
　１００３　　第２補間画素生成部
　１００４　　動き検出部
　ＡＲ１　　第１領域
　ＡＲ２　　第２領域
　Ｄ０　　距離値
　ＳＧ１　　発光タイミング信号
　ＳＧ２　　露光タイミング信号
　Ｘ　　動き量

Claims (14)

  1. 　光源から被写体に向けて光を照射する発光部と、
    　前記発光部で照射された光が前記被写体に反射して生じた反射光を、二次元状に配置された画素群にて受光する受光部と、
    　前記画素群の、異なる露光期間で露光された画素から読み出された複数の画素信号を合成して合成信号を生成する合成部と、
    　照射と受光との時間差および前記合成信号に基づいて前記被写体までの距離値を算出する距離演算部と、を備え、
    　前記合成部は、第１の露光期間で露光された画素信号が、所定の飽和レベルよりも大きいときには、第１の合成処理により前記合成信号を生成し、前記飽和レベルよりも小さいときには、第２の合成処理により前記合成信号を生成する
    　距離測定装置。
  2. 　請求項１記載の距離測定装置において、
    　前記第１の合成処理は、前記複数の画素信号のうち、前記第１の露光期間よりも短い第２の露光期間で露光された画素信号を使用して前記合成信号を生成する
    　距離測定装置。
  3. 　請求項２記載の距離測定装置において、
    　前記第２の合成処理は、前記複数の画素信号のうち、前記第１の露光期間で露光された画素信号、および、前記第２の露光期間で露光された画素信号を加算して前記合成信号を生成する
    　距離測定装置。
  4. 　請求項３記載の距離測定装置において、
    　前記第１の合成処理は、前記飽和レベルよりも大きくなければ前記第２の合成処理から得られたはずの合成信号を、前記第２の露光期間で露光された画素信号を用いた補間処理によって生成する
    　距離測定装置。
  5. 　請求項１記載の距離測定装置において、
    　前記合成部は、前記反射光を示す画素信号から背景光を示す画素信号を除去する背景光除去部を備え、除去後の画素信号を用いて前記合成信号を生成する
    　距離測定装置。
  6. 　請求項５記載の距離測定装置において、
    　前記合成部では、前記第１の合成処理により得られる前記合成信号に対して、前記第２の合成処理により得られる前記合成信号の信号レベルに合わせるように、露光期間の比率に基づいてゲイン補正するゲイン補正部を備え、
    　前記距離演算部は、ゲイン補正後の前記合成信号を用いて前記距離値を算出する
    　距離測定装置。
  7. 　請求項２記載の距離測定装置において、
    　前記第１の露光期間と前記第２の露光期間との比率は、前記合成信号の重心に対して対称に配置されている
    　距離測定装置。
  8. 　請求項７記載の距離測定装置において、
    　前記画素群は、第１の露光期間で露光された第１のライン上の画素から読み出された第１の画素信号と、前記第１の露光期間より短い第２の露光期間で露光された前記第１のラインと異なる第２のライン上の画素から読み出された第２の画素信号とから構成され、
    　１フレームには、前記第１のラインと前記第２のラインとがライン毎に交互に配置されている
    　距離測定装置。
  9. 　請求項８記載の距離測定装置において、
    　前記画素群は、水平方向に半画素ずらして配置されている
    　距離測定装置。
  10. 　請求項９記載の距離測定装置において、
    　前記第１の露光期間と前記第２の露光期間との比率は４：１である
    　距離測定装置。
  11. 　請求項８記載の距離測定装置において、
    　前記受光部は、前記第１のラインを先頭行とするフレームと、前記第２のラインを先頭行とするフレームとを交互に生成する
    　距離測定装置。
  12. 　請求項１１記載の距離測定装置において、
    　前記受光部で得られた１フレーム前の全画素信号を記録するフレームメモリと、
    　前記被写体の動きを検出する動き検出部と、
    　前記第１の画素信号から全画素分の前記第１の画素信号を生成する第１補間画素生成部と、
    　前記第２の画素信号から全画素分の前記第２の画素信号を生成する第２補間画素生成部と
    を備え、
    　前記合成部は、
    　前記動き検出部により前記被写体が静止状態であると判定された場合には、現在の画素信号と１フレーム前の同位置に存在する画素信号とを合成し、
    　前記動き検出部により前記被写体が動状態であると判定された場合には、前記第１補間画素生成部により生成された前記第１の画素信号と前記第２補間画素生成部により生成された前記第２の画素信号とを合成する
    　距離測定装置。
  13. 　請求項１２記載の距離測定装置において、
    　前記受光部で得られた画素信号から、
    　前記第１補間画像生成部により前記第１の画素信号から成る第１補間画像を生成し、
    　前記第２補間画像生成部により前記第２の画素信号から成る第２補間画像を生成し、
    　前記フレームメモリにより記録された１フレーム前の画素信号から、
    　前記第１補間画像生成部により前記第１の画素信号から成る第３補間画像を生成し、
    　前記第２補間画像生成部により前記第２の画素信号から成る第４補間画像を生成し、
    　前記動き検出部は、前記第１補間画像と前記第３補間画像を比較するとともに、前記第２補間画像と前記第４補間画像を比較することによって、被写体の動きを検出し、
    　前記合成部は、前記動きが閾値より小さいとき、前記第４補間画像を用いて前記第１の合成処理により前記合成信号を生成し、前記動きが閾値より小さくないとき、前記第２補間画像を用いて前記第１の合成処理により前記合成信号を生成する
    　距離測定装置。
  14. 　光源から被写体に向けて光を照射する発光ステップと、
    　照射された光が前記被写体に反射して生じた反射光を、二次元状に配置された画素群にて受光する受光ステップと、
    　前記画素群の、異なる露光期間で露光された画素から読み出された複数の画素信号を合成して合成信号を生成する合成ステップと、
    　照射と受光との時間差および前記合成信号に基づいて前記被写体までの距離値を算出する距離演算ステップと、
    を備え、
    　前記合成ステップにおいて、第１の露光期間で露光された画素信号が、所定の飽和レベルよりも大きいときには、第１の合成処理により前記合成信号を生成し、前記飽和レベルよりも小さいときには、第２の合成処理により前記合成信号を生成する
    　距離画像合成方法。
PCT/JP2016/003132 2015-07-03 2016-06-30 距離測定装置および距離画像合成方法 WO2017006546A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017527072A JP6764863B2 (ja) 2015-07-03 2016-06-30 距離測定装置
CN201680037539.1A CN107710015B (zh) 2015-07-03 2016-06-30 距离测量装置以及距离图像合成方法
US15/852,352 US11163043B2 (en) 2015-07-03 2017-12-22 Distance measuring device and distance image synthesizing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015134677 2015-07-03
JP2015-134677 2015-07-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/852,352 Continuation US11163043B2 (en) 2015-07-03 2017-12-22 Distance measuring device and distance image synthesizing method

Publications (1)

Publication Number Publication Date
WO2017006546A1 true WO2017006546A1 (ja) 2017-01-12

Family

ID=57684976

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/003132 WO2017006546A1 (ja) 2015-07-03 2016-06-30 距離測定装置および距離画像合成方法

Country Status (4)

Country Link
US (1) US11163043B2 (ja)
JP (1) JP6764863B2 (ja)
CN (1) CN107710015B (ja)
WO (1) WO2017006546A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020145035A1 (ja) * 2019-01-11 2020-07-16 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及び距離測定方法
US10911702B2 (en) * 2017-05-31 2021-02-02 Canon Kabushiki Kaisha Imaging device and imaging apparatus
JPWO2021070320A1 (ja) * 2019-10-10 2021-04-15
JP2021515455A (ja) * 2018-02-23 2021-06-17 エルジー イノテック カンパニー リミテッド カメラモジュール及びその超解像度映像処理方法
WO2022230520A1 (ja) * 2021-04-26 2022-11-03 キヤノン株式会社 投光ユニットおよびそれを用いた測距装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6583430B2 (ja) * 2015-12-16 2019-10-02 株式会社ニコン 撮像装置および動き検出方法
JP2019211231A (ja) * 2018-05-31 2019-12-12 株式会社日立エルジーデータストレージ 距離画像生成カメラ及び距離画像生成方法
US11092678B2 (en) * 2018-06-21 2021-08-17 Analog Devices, Inc. Measuring and removing the corruption of time-of-flight depth images due to internal scattering
JP7139168B2 (ja) * 2018-07-04 2022-09-20 株式会社日立エルジーデータストレージ 距離測定装置
JP7402160B2 (ja) * 2018-07-23 2023-12-20 ヌヴォトンテクノロジージャパン株式会社 距離測定装置および信頼性判定方法
EP3614174B1 (en) * 2018-08-21 2021-06-23 Omron Corporation Distance measuring device and distance measuring method
WO2020049906A1 (ja) * 2018-09-03 2020-03-12 パナソニックＩｐマネジメント株式会社 距離測定装置
EP3663801B1 (en) * 2018-12-07 2022-09-28 Infineon Technologies AG Time of flight sensor module, method, apparatus and computer program for determining distance information based on time of flight sensor data
JP7133484B2 (ja) * 2019-01-04 2022-09-08 株式会社ユニバーサルエンターテインメント 遊技機
JP7133483B2 (ja) * 2019-01-04 2022-09-08 株式会社ユニバーサルエンターテインメント 遊技機
CN113728246A (zh) * 2019-04-22 2021-11-30 株式会社小糸制作所 ToF照相机、车辆用灯具、汽车
KR20200129388A (ko) * 2019-05-08 2020-11-18 엘지이노텍 주식회사 카메라 모듈
TW202130973A (zh) * 2019-09-27 2021-08-16 日商索尼半導體解決方案公司 資訊處理裝置、修正方法及程式
CA3166988A1 (en) * 2020-03-23 2021-09-30 Ricoh Company, Ltd. Information processing apparatus and method of processing information
CN111818222A (zh) * 2020-06-16 2020-10-23 上海龙旗科技股份有限公司 一种步行安全防护方法及移动终端
CN113296114A (zh) * 2021-05-21 2021-08-24 Oppo广东移动通信有限公司 dTOF深度图像的采集方法、装置、电子设备及介质
JP2023128077A (ja) * 2022-03-02 2023-09-14 株式会社東芝 画像処理装置、測距装置、及び画像処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013516913A (ja) * 2010-01-06 2013-05-13 メサ・イメージング・アー・ゲー ピクセルアレイと記憶アレイを別個に備える復調センサ
WO2014207983A1 (ja) * 2013-06-27 2014-12-31 パナソニックＩｐマネジメント株式会社 距離測定装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050030435A1 (en) * 2003-05-02 2005-02-10 Fuji Photo Film Co., Ltd. Image forming method and apparatus
JP2006253876A (ja) 2005-03-09 2006-09-21 Sony Corp 物理量分布検知装置および物理量分布検知装置の駆動方法
US7583372B2 (en) * 2005-06-01 2009-09-01 Hunter Engineering Company Machine vision vehicle wheel alignment image processing methods
JP4649313B2 (ja) * 2005-10-28 2011-03-09 株式会社東芝 固体撮像装置
JP2009152669A (ja) * 2007-12-18 2009-07-09 Sony Corp 撮像装置、撮像処理方法及び撮像制御プログラム
DE102009029372A1 (de) * 2009-09-11 2011-03-24 Robert Bosch Gmbh Messvorrichtung zur Messung einer Entfernung zwischen der Messvorrichtung und einem Zielobjekt mit Hilfe optischer Messstrahlung
JP2011146767A (ja) * 2010-01-12 2011-07-28 Panasonic Corp 撮像装置
WO2012137434A1 (ja) * 2011-04-07 2012-10-11 パナソニック株式会社 立体撮像装置
JP2012225807A (ja) 2011-04-20 2012-11-15 Optex Co Ltd 距離画像カメラおよび距離画像合成方法
JP2013055499A (ja) * 2011-09-02 2013-03-21 Sony Corp 固体撮像素子およびカメラシステム
US9573215B2 (en) * 2012-02-10 2017-02-21 Illinois Tool Works Inc. Sound-based weld travel speed sensing system and method
DE102012204512B4 (de) * 2012-03-21 2020-08-06 pmdtechnologies ag Vorrichtung zur Phasenmessung eines modulierten Lichts
KR101871235B1 (ko) * 2012-06-05 2018-06-27 삼성전자주식회사 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치
KR101904720B1 (ko) * 2012-12-28 2018-10-05 삼성전자주식회사 영상 처리 장치 및 방법
US9019480B2 (en) * 2013-02-26 2015-04-28 Jds Uniphase Corporation Time-of-flight (TOF) system, sensor pixel, and method
US9407832B2 (en) * 2014-04-25 2016-08-02 Himax Imaging Limited Multi-exposure imaging system and method for eliminating rolling shutter flicker

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013516913A (ja) * 2010-01-06 2013-05-13 メサ・イメージング・アー・ゲー ピクセルアレイと記憶アレイを別個に備える復調センサ
WO2014207983A1 (ja) * 2013-06-27 2014-12-31 パナソニックＩｐマネジメント株式会社 距離測定装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10911702B2 (en) * 2017-05-31 2021-02-02 Canon Kabushiki Kaisha Imaging device and imaging apparatus
JP2021515455A (ja) * 2018-02-23 2021-06-17 エルジー イノテック カンパニー リミテッド カメラモジュール及びその超解像度映像処理方法
JP7312185B2 (ja) 2018-02-23 2023-07-20 エルジー イノテック カンパニー リミテッド カメラモジュール及びその超解像度映像処理方法
US11770626B2 (en) 2018-02-23 2023-09-26 Lg Innotek Co., Ltd. Camera module and super resolution image processing method thereof
WO2020145035A1 (ja) * 2019-01-11 2020-07-16 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及び距離測定方法
JPWO2021070320A1 (ja) * 2019-10-10 2021-04-15
WO2021070320A1 (ja) * 2019-10-10 2021-04-15 株式会社ブルックマンテクノロジ 距離画像撮像装置、及び距離画像撮像方法
JP7469779B2 (ja) 2019-10-10 2024-04-17 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
WO2022230520A1 (ja) * 2021-04-26 2022-11-03 キヤノン株式会社 投光ユニットおよびそれを用いた測距装置
GB2621063A (en) * 2021-04-26 2024-01-31 Canon Kk Light projection unit and distance measurement device using same

Also Published As

Publication number Publication date
JP6764863B2 (ja) 2020-10-07
CN107710015A (zh) 2018-02-16
CN107710015B (zh) 2021-08-24
US20180120423A1 (en) 2018-05-03
US11163043B2 (en) 2021-11-02
JPWO2017006546A1 (ja) 2018-04-26

Similar Documents

Publication Publication Date Title
WO2017006546A1 (ja) 距離測定装置および距離画像合成方法
JP6296401B2 (ja) 距離測定装置および固体撮像素子
JP6676866B2 (ja) 測距撮像装置及び固体撮像素子
US11448757B2 (en) Distance measuring device
US9188663B2 (en) Time-of-flight imager
JP5655626B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5155324B2 (ja) 被写体運動ぶれが低減されたデジタル画像
JP6434963B2 (ja) 画像処理装置、画像処理方法、電子機器、並びにプログラム
JP5850680B2 (ja) 撮像装置及びその制御方法
JP2019531489A (ja) イメージング・アレイ内のピクセルの露出値から背景光を差し引くための方法、及び、この方法における使用のためのピクセル
JP2020517924A (ja) ピクセル構造
JP4802891B2 (ja) 距離測定システム及び距離測定方法
WO2016133053A1 (ja) 距離画像計測装置
JP7209198B2 (ja) 距離測定装置および画像生成方法
JP2019114949A (ja) 撮像装置、撮像システム、および撮像装置の駆動方法
US10348966B2 (en) Optical apparatus and a control method for performing image readout and reconstruction based on a delayed readout from different partial regions
CN109565553B (zh) 投光摄像装置及投光摄像方法
WO2018180660A1 (ja) 固体撮像装置
WO2020196378A1 (ja) 距離画像の取得方法、及び、距離検出装置
JP5520562B2 (ja) 立体形状測定システム及び立体形状測定方法
JP2016072295A (ja) 撮像素子及び撮像装置
JP6244984B2 (ja) カメラ装置
JP6573379B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2014021100A (ja) ３次元情報検出装置および３次元情報検出方法
JP7417560B2 (ja) 光電変換装置、光電変換システム、輸送機器および信号処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16821022

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017527072

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16821022

Country of ref document: EP

Kind code of ref document: A1