WO2024014393A1 - 測距装置、補正量生成装置、測距方法および補正量生成方法 - Google Patents

測距装置、補正量生成装置、測距方法および補正量生成方法 Download PDF

Info

Publication number
WO2024014393A1
WO2024014393A1 PCT/JP2023/025129 JP2023025129W WO2024014393A1 WO 2024014393 A1 WO2024014393 A1 WO 2024014393A1 JP 2023025129 W JP2023025129 W JP 2023025129W WO 2024014393 A1 WO2024014393 A1 WO 2024014393A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
correction amount
pixel
solid
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/025129
Other languages
English (en)
French (fr)
Inventor
真由 小川
清治 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Nuvoton Technology Corp Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuvoton Technology Corp Japan filed Critical Nuvoton Technology Corp Japan
Priority to JP2024533682A priority Critical patent/JPWO2024014393A1/ja
Publication of WO2024014393A1 publication Critical patent/WO2024014393A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Definitions

  • the present disclosure relates to a distance measurement device, a correction amount generation device, a distance measurement method, and a correction amount generation method.
  • a distance measuring device that employs the indirect TOF method includes, for example, a light source and a solid-state image sensor. Such a distance measuring device uses a solid-state imaging device to receive light emitted by a light source that is reflected by an object, and generates a distance image using a signal based on the reflected light.
  • the present disclosure provides a distance measurement device, a correction amount generation device, a distance measurement method, and a correction amount generation method that can improve the quality of distance images.
  • a distance measuring device includes a light source that emits irradiation light, and a photoelectric conversion element that receives reflected light reflected by an object of the irradiation light irradiated from the light source and converts it into an electric charge.
  • a solid-state image sensor that includes a plurality of pixels arranged in a two-dimensional manner and outputs a signal based on the charge for each pixel; a distance calculation unit that calculates the distance to the object for each pixel by performing a predetermined calculation based on the output signal; and correction of the distance for each pixel based on fixed pattern noise of the solid-state image sensor. and a distance correction unit that corrects the distance calculated by the distance calculation unit for each pixel using the correction amount stored in the storage unit.
  • a correction amount generation device is a correction amount generation device that generates a correction amount for correcting a distance calculated by a distance measuring device including a solid-state image sensor, the solid-state image sensor comprising:
  • the correction amount generating device includes a plurality of pixels each including a photoelectric conversion element that receives light and converts it into an electric charge, and is arranged in a two-dimensional manner, and the correction amount generating device is configured to fix the solid-state image sensor.
  • a distance correction amount for each pixel is generated based on pattern noise, and the generated correction amount is output.
  • a distance measuring method is a distance measuring method using a distance measuring device, wherein the distance measuring device includes a light source that irradiates irradiation light and an object of the irradiation light irradiated from the light source.
  • a plurality of pixels each of which includes a photoelectric conversion element that receives reflected reflected light and converts it into an electric charge, are arranged in a two-dimensional manner, and each pixel generates a signal based on the electric charge. and a solid-state image sensor that outputs, and the distance measuring method calculates the distance to the target object by performing a predetermined calculation based on the signal output from the solid-state image sensor for each pixel.
  • a distance calculation step, and a distance correction step of correcting the distance calculated in the distance calculation step for each pixel using a distance correction amount for each pixel based on fixed pattern noise of the solid-state image sensor. include.
  • a correction amount generation method is a correction amount generation method for generating a correction amount for correcting a distance calculated by a distance measuring device including a solid-state image sensor, the solid-state image sensor comprising:
  • the correction amount generation method includes a plurality of pixels each including a photoelectric conversion element that receives light and converts it into an electric charge, and is arranged in a two-dimensional manner, and the correction amount generation method is performed by fixing the solid-state image sensor.
  • the method includes a generation step of generating a distance correction amount for each pixel based on pattern noise, and an output step of outputting the generated correction amount.
  • the quality of distance images can be improved.
  • FIG. 1 is a functional block diagram showing an example of the configuration of a distance measuring device according to an embodiment.
  • FIG. 2 is a schematic diagram of a solid-state image sensor included in the distance measuring device according to the embodiment.
  • FIG. 3 is a flowchart showing an overview of the operation of the distance measuring device according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of timing of light emission and exposure of the distance measuring device according to the embodiment.
  • FIG. 5 is a flowchart showing an overview of the operation of the correction amount generation section of the distance measuring device according to the embodiment.
  • FIG. 6 is a functional block diagram showing an example of the configuration of a distance measuring device according to a modification of the embodiment.
  • FIG. 7 is a diagram showing an example of the correspondence between temperature ranges and correction tables.
  • FIG. 8 is a flowchart showing an overview of the operation of the distance measuring device according to a modification of the embodiment.
  • FIG. 9 is a functional block diagram showing an example of the configuration of another distance measuring device according
  • Patent Document 1 and Patent Document 2 disclose distance measuring devices that perform correction processing in order to improve distance measurement accuracy.
  • the techniques of Patent Document 1 and Patent Document 2 are insufficient to suppress variations in distance measurement accuracy between pixels and improve the quality of distance images.
  • noise reduction processing may be performed using a two-dimensional spatial filter such as a Gaussian filter and an averaging filter.
  • a two-dimensional spatial filter such as a Gaussian filter and an averaging filter.
  • two-dimensional spatial filters can remove high-frequency component noise and improve distance measurement accuracy, low-frequency component noise may remain, resulting in wave-like patterns in distance images. be.
  • applying a large spatial filter significantly reduces the resolution of the range image.
  • adaptive processing is required, leading to a significant increase in the number of processing circuits.
  • the present inventors focused on the fact that the main noises that occur in a solid-state image sensor and affect the distance include shot noise and fixed pattern noise.
  • Shot noise is noise that occurs as random thermal noise. For example, shot noise tends to increase outdoors where sunlight is incident because the average size of the noise varies depending on the amount of light incident on the solid-state image sensor. Furthermore, the influence of shot noise also changes depending on the distance from the distance measuring device to the target object and the reflectance of the target object.
  • fixed pattern noise is fixed noise whose magnitude does not change depending on the environment, distance to the object to be measured, time, etc.
  • Fixed pattern noise is caused by, for example, variations in manufacturing of solid-state image sensors.
  • the magnitude of noise differs from pixel to pixel.
  • the influence of shot noise can be removed by increasing the number of distance measurements.
  • fixed pattern noise occurs as a fixed amount of error for each pixel, the influence cannot be removed even if the number of distance measurements is increased.
  • fixed pattern noise varies from pixel to pixel and causes quality deterioration such as unevenness in a distance image.
  • the present inventors have found that it is important to reduce the influence of fixed pattern noise on distance in order to improve distance image quality.
  • the inventors also discovered that the effect of fixed pattern noise appears as an offset in the distance for each pixel.
  • the magnitude of fixed pattern noise is constant regardless of the environment, etc., and fixed pattern noise affects distance as an offset, so the effect is particularly large when measuring the distance to a relatively close object. .
  • the present disclosure provides a distance measuring device, a correction amount generation device, a distance measurement method, and a correction amount generation method that can improve the quality of distance images by reducing the influence of fixed pattern noise on distance measurement accuracy.
  • FIG. 1 is a functional block diagram showing an example of the configuration of a distance measuring device 100 according to an embodiment.
  • FIG. 2 is a schematic diagram of the solid-state image sensor 20 included in the distance measuring device 100 according to the embodiment.
  • the distance measuring device 100 is a distance measuring device using a TOF method.
  • the distance measuring device 100 generates a distance image indicating the distance to the object OBJ.
  • the quality of the generated distance image can be improved, so the accuracy in a recognition system such as face recognition can be improved, for example. Therefore, the distance measuring device 100 may be used in a recognition system such as a face recognition system.
  • the distance measuring device 100 includes a light source 10, a solid-state image sensor 20, a drive control section 30, a distance calculation section 50, a distance correction section 60, a correction amount generation section 70, and a storage section 80.
  • the light source 10 irradiates the object OBJ with irradiation light at a predetermined pulse width according to the timing indicated by the input light emission control pulse.
  • the light source 10 is, for example, a light emitting diode or a laser element that emits infrared light.
  • the solid-state image sensor 20 is, for example, a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor.
  • the solid-state image sensor 20 has a plurality of pixels 21 arranged two-dimensionally. In FIG. 2, for the sake of explanation, the configuration is 4 pixels horizontally and 4 pixels vertically, which is a total of 16 pixels, but the number of pixels 21 that the solid-state image sensor 20 has is not particularly limited.
  • the number of pixels 21 that the solid-state image sensor 20 has may be, for example, 20,000 pixels or more and 5 million pixels or less.
  • Each of the plurality of pixels 21 includes at least one photoelectric conversion element such as a photodiode that receives reflected light from the object OBJ of the irradiation light emitted from the light source 10 and converts it into an electric charge.
  • a photoelectric conversion element such as a photodiode that receives reflected light from the object OBJ of the irradiation light emitted from the light source 10 and converts it into an electric charge.
  • the solid-state image sensor 20 outputs, for each pixel 21, a signal based on the charge obtained in each exposure according to a plurality of exposure control pulses.
  • the solid-state image sensor 20 transfers charges obtained in each exposure to different vertical transfer paths (VCCDs) or charge storage units (FDs) in accordance with a plurality of exposure control pulses for each pixel 21, and performs multiple exposures.
  • a signal based on the charge obtained in each exposure is read out according to the control pulse.
  • the solid-state image sensor 20 performs, for example, AD (Analog to Digital) conversion when reading a signal, and outputs an AD-converted digital signal.
  • AD Analog to Digital
  • the drive control section 30 outputs control signals for controlling the operations of the light source 10 and the solid-state image sensor 20.
  • the drive control unit 30 outputs, as a control signal for controlling the light source 10, a light emission control pulse that instructs the light source 10 to emit irradiation light with a predetermined pulse width. Further, the drive control unit 30 outputs an exposure control pulse that instructs the solid-state image sensor 20 to perform exposure as a control signal for controlling the solid-state image sensor 20 .
  • the distance calculation unit 50 calculates the distance to the object OBJ for each pixel 21 by performing a predetermined calculation based on the signal output from the solid-state image sensor 20 for each pixel 21.
  • the distance calculation unit 50 outputs the calculated distance to the distance correction unit 60. Further, the distance calculation unit 50 outputs the calculated distance to the correction amount generation unit 70 when a process for generating a correction amount, which will be described later, is performed.
  • the distance correction unit 60 corrects the distance calculated by the distance calculation unit 50 for each pixel 21 based on the distance correction amount for each pixel 21 stored in the storage unit 80.
  • the distance correction unit 60 outputs the corrected distance for each pixel 21.
  • the correction amount used by the distance correction unit 60 is a fixed distance amount for each pixel 21, and does not change every time the distance is corrected.
  • the correction amount generation unit 70 generates a distance correction amount for each pixel 21 for all pixels 21 included in the solid-state image sensor 20 based on the fixed pattern noise of the solid-state image sensor 20.
  • the correction amount generation unit 70 outputs the generated correction amount and stores it in the storage unit 80.
  • the drive control unit 30, distance calculation unit 50, distance correction unit 60, and correction amount generation unit 70 are realized by, for example, a memory that stores a program, a processor that executes the program, and the like. Although they are shown as separate block diagrams, all or some of the drive control section 30, distance calculation section 50, distance correction section 60, and correction amount generation section 70 are configured with the same memory and processor. You can.
  • the storage unit 80 stores the distance correction amount for each pixel 21 based on the fixed pattern noise of the solid-state image sensor 20.
  • the storage unit 80 stores, for example, the correction amount generated by the correction amount generation unit 70.
  • the storage unit 80 stores, for example, a correction table 81 in which the position of the pixel 21 and the distance correction amount are associated for each pixel 21 with respect to all the pixels 21 included in the solid-state image sensor 20.
  • the storage unit 80 is realized by, for example, a memory such as a semiconductor memory.
  • the correction amount generation section 70 does not need to be included in the distance measuring device 100, and may be realized as an independent correction amount generation device having the function of the correction amount generation section 70, for example. Further, in this case, the correction amount generation device may further include a distance calculation section 50.
  • FIG. 3 is a flowchart showing an overview of the operation (distance measurement method) of the distance measurement device 100 according to the embodiment.
  • FIG. 4 is a diagram showing an example of timing of light emission and exposure of the distance measuring device 100 according to the embodiment.
  • the drive control unit 30 outputs a light emission control pulse to the light source 10 and outputs an exposure control pulse to the solid-state image sensor 20 (step S11).
  • the solid-state image sensor 20 receives the reflected light from the object OBJ of the irradiation light from the light source 10, and outputs a signal based on the charge obtained by exposure according to the exposure control pulse for each pixel 21. do.
  • a digital signal that has been AD converted by the solid-state image sensor 20 is output to the distance calculation section 50.
  • the drive control section 30 outputs a light emission control pulse with a pulse width Tp, for example.
  • the light emission control pulse causes the light source 10 to emit illumination light when it is at a high level. Thereby, the light source 10 emits pulsed light having a pulse width Tp.
  • the drive control unit 30 outputs a plurality of exposure control pulses A0, A1, and A2 for each pixel 21, for example.
  • the exposure control pulse exposes the pixel 21 of the solid-state image sensor 20 when it is at a low level.
  • the plurality of exposure control pulses A0, A1, and A2 have different start timings based on the light emission control pulse.
  • the exposure widths (exposure periods) of the plurality of exposure control pulses A0, A1, and A2 are each the same as the pulse width Tp of the irradiation light. Specifically, the exposure control pulse A0 starts at the same time t1 as the start timing of the light emission control pulse.
  • the exposure control pulse A1 starts at time t3, which is the same time as time t2, which is the end timing of the light emission control pulse and the exposure control pulse A0.
  • the exposure control pulse A2 starts at time t5, which is the same time as time t4, which is the end timing of the exposure control pulse A1, and ends at time t6.
  • the phase difference between the exposure control pulse A0 and the exposure control pulse A1 and the phase difference between the exposure control pulse A1 and the exposure control pulse A2 are each the pulse width Tp of the irradiation light.
  • the solid-state image sensor 20 transmits, for each pixel 21, a signal S0 based on the charge obtained by exposure according to the exposure control pulse A0, a signal S1 based on the charge obtained by the exposure according to the exposure control pulse A1, and a signal S1 based on the charge obtained by exposure according to the exposure control pulse A1.
  • a signal S2 based on the charge obtained by exposure according to the control pulse A2 is output.
  • the exposure control pulse A0 is an example of the first exposure control pulse
  • the exposure control pulse A1 is an example of the second exposure control pulse.
  • the signal S0 is an example of the first signal
  • the signal S1 is an example of the second signal.
  • any one of the exposure control pulse A0, the exposure control pulse A1, and the exposure control pulse A2 may be output for one emission control pulse.
  • the signals S0, S1, and S2 are output from each pixel 21 by outputting the light emission control pulses corresponding to the plurality of exposure control pulses A0, A1, and A2, and the plurality of exposure control pulses A0, A1, and A2. May be output.
  • the distance calculation unit 50 calculates the distance to the object OBJ for each pixel 21 by performing a predetermined calculation based on the signal output from the solid-state image sensor 20 for each pixel 21 (step S12). .
  • the distance calculation unit 50 outputs the calculated distance to the distance correction unit 60.
  • step S12 is an example of a distance calculation step.
  • the calculation of the distance by the distance calculation unit 50 is performed, for example, as follows.
  • the reflected light of the irradiation light from the light source 10 reflected by the object OBJ returns to the distance measuring device 100 with a delay of time ⁇ t from the irradiation of the irradiation light, and enters the solid-state image sensor 20.
  • the time ⁇ t is shorter than the pulse width Tp.
  • signals based on charges generated by exposure according to each exposure control pulse are schematically shown as patterned rectangles. The area of the rectangle corresponds to the size of the signal. A part of the reflected light is received by the pixel 21 during exposure according to the exposure control pulse A0, and is converted into an electric charge.
  • the signal S0 is a signal based on the background light and the reflected light having a time width obtained by subtracting the time ⁇ t from the pulse width Tp.
  • the signal S1 is a signal based on background light and reflected light having a time width of time ⁇ t.
  • Signal S2 is a signal based on background light. Therefore, by subtracting the signal S2 from each of the signal S0 and the signal S1, the influence of background light can be removed. Further, the sum of the signal S0 obtained by subtracting the signal S2 and the signal S1 obtained by subtracting the signal S2 becomes a signal based on the reflected light having the time width of the pulse width Tp. Therefore, ⁇ t is calculated by the following formula.
  • the signals S0, S1, and S2 may each be output multiple times from the solid-state image sensor 20 in step S11, and the distance calculation unit 50 may calculate the distance using the signals S0, S1, and S2 output multiple times. .
  • the distance calculation unit 50 may calculate the distance using the average value of each of the signals S0, S1, and S2 output multiple times.
  • the distance calculated by the distance calculation unit 50 does not have to be an absolute distance, and may be a normalized distance value that takes a value from 0 to 1, for example.
  • the timing of the light emission control pulse and the exposure control pulse is not limited to the example shown in FIG. You may go.
  • the distance calculation unit 50 may calculate the distance without subtracting the signal S2 from the signal S1 and the signal S0 when the influence of background light is slight. In this case, the exposure control pulse A2 may not be output.
  • step S13 is an example of a distance correction step.
  • the distance correction unit 60 outputs the corrected distance for each pixel 21, that is, a distance image, to the outside.
  • step S13 the distance correction unit 60 corrects the distance calculated by the distance calculation unit 50 for each pixel 21, for example, for all pixels 21 included in the solid-state image sensor 20. Note that the distance correction unit 60 may correct the distance calculated by the distance calculation unit 50 for each pixel 21 for some of the pixels 21 included in the solid-state image sensor 20.
  • the distance correction unit 60 calculates the distance for each pixel 21 only for the pixels 21 corresponding to the area necessary for recognition processing.
  • the distance calculated by the calculation unit 50 may be corrected.
  • each pixel 21 of the solid-state image sensor 20 is ideally performed at the same timing as the exposure control pulse as shown in FIG. Due to variations, etc., a deviation from the timing of the exposure control pulse may occur for each pixel 21.
  • the timing of the switching operation varies among the pixels 21 due to the characteristics of the transistor for starting the exposure operation. Therefore, a shift in the times at which the transistors should be turned on and off according to each exposure control pulse, such as from time t1 to t6 shown in FIG. 4, may occur for each pixel 21. In other words, a shift in the start and end times of exposure according to each exposure control pulse may occur for each pixel 21.
  • the transfer time when transferring charges converted by a photoelectric conversion element to convert them into a signal may vary from pixel to pixel 21.
  • the charge transfer time from the photoelectric conversion element to the vertical transfer path varies.
  • the time for charge transfer from the photoelectric conversion element to the charge storage section varies. Therefore, even if each pixel 21 receives the reflected light for the same amount of time, the timing at which the charges are transferred is shifted, and the time for receiving the reflected light (the amount of light received) during exposure substantially varies.
  • the solid-state image sensor 20 unique fixed pattern noise occurs in each pixel 21 due to variations in switching operation and transfer. Further, since this variation is caused by the characteristics of the pixel 21, it is constant for each pixel 21 regardless of the environment, etc., and occurs in the same way for each exposure. Therefore, the magnitudes of the signals S0, S1, and S2 vary by a certain amount for each pixel 21. For example, when the end of exposure by the exposure control pulse A0, which should end at time t2, in a certain pixel 21 is a certain amount earlier than time t2, the signal S0 becomes smaller by a certain amount.
  • the distance calculated by the distance calculation unit 50 based on the above equation will shift by a certain amount.
  • the influence of fixed pattern noise of the solid-state image sensor 20 occurs as a distance offset. Further, this distance offset occurs by the same amount for each ranging operation.
  • the distance correction unit 60 performs correction using the distance correction amount for each pixel 21 based on the fixed pattern noise of the solid-state image sensor 20. Specifically, the distance correction unit 60 adds or subtracts the correction amount stored in the storage unit 80 to the distance calculated by the distance calculation unit 50 for each pixel 21. Thereby, the influence of fixed pattern noise on distance measurement accuracy can be reduced, and the quality of the output distance image can be improved. In particular, the influence of fixed pattern noise appears as a distance offset, so the shorter the distance to be measured, the greater the influence on distance measurement accuracy, and the effect of improving the quality of a distance image is greater for short distance measurement. Therefore, by applying the distance measuring device 100 to applications such as face recognition that require relatively short distances (for example, the measurement distance is 1 m or less), the accuracy of the applications can be improved.
  • the distance correction unit 60 uses the distance correction amount, the correction process can be simplified and the correction It is possible to reduce the number of correction tables, etc. for
  • FIG. 5 is a flowchart outlining the operation (correction amount generation method) of the correction amount generation section 70 of the distance measuring device 100 according to the embodiment.
  • the correction amount generation unit 70 acquires the distance for each pixel 21 calculated by the distance calculation unit 50 for a plurality of frames (step S21). That is, the correction amount generation unit 70 obtains distance images for a plurality of frames that have been calculated by the distance calculation unit 50 and have not been corrected.
  • the distance calculating section 50 calculates the distance for each pixel 21 from the distance measuring device 100 to an object placed at a predetermined distance, and outputs the distance to the correction amount generating section 70.
  • the predetermined distance is an arbitrary distance within the distance measurement range of the distance measurement device 100, and is, for example, the minimum value of the distance measurement range.
  • a series of light emission control pulses and exposure control pulses necessary for distance calculation by the distance calculation unit 50 are output.
  • step S11 to step S12 described above are repeated for the number of frames, and the distance calculating section 50 outputs the distance for each pixel 21 for the plurality of frames.
  • the correction amount generation unit 70 obtains the distance for each pixel 21 for a plurality of frames output from the distance calculation unit 50.
  • the number of frames for acquiring the distance for each pixel 21 is, for example, 100 frames or more and 2000 frames or less.
  • the correction amount generation unit 70 calculates a first representative value of distance for multiple frames for each pixel 21 (step S22).
  • the correction amount generation unit 70 calculates, for example, an average value of distances for a plurality of frames for each pixel 21. That is, the first representative value is, for example, an average value of distances for a plurality of frames, and can also be said to be a time average value of distances for each pixel 21.
  • shot noise that randomly occurs for each frame is averaged and canceled, and a distance image from which the influence of shot noise has been removed is obtained.
  • the first representative value may be another representative value such as the median or mode of distances for multiple frames.
  • the first representative value in order to remove extremely large or small distances, distances outside the predetermined range are removed from the calculation target of the representative value, and then the representative value is calculated. Good too.
  • the correction amount generation unit 70 calculates, for each pixel 21, a second representative value that is a representative value of the first representative values of the own pixel 21 and the surrounding pixels 21 (step S23).
  • the correction amount generation unit 70 calculates, for each pixel 21, a representative value of the first representative value of the pixel 21 in a range of 5 ⁇ 5 pixels or more and 25 ⁇ 25 pixels or less centered on the own pixel 21 as the second representative value. do.
  • the correction amount generation unit 70 calculates a second representative value for each pixel 21 by applying averaging filter processing to the first representative values of the own pixel 21 and the surrounding pixels 21. .
  • the second representative value is, for example, the average value of the first representative values of the own pixel 21 and the surrounding pixels 21, and can also be said to be the spatial average value of the first representative values for each pixel 21.
  • variations in distance for each pixel 21 due to fixed pattern noise are averaged, and a distance image is obtained in which the influence of fixed pattern noise in addition to shot noise is removed.
  • the second representative value may be another representative value such as the median or mode of the first representative values of the own pixel 21 and the surrounding pixels 21.
  • the second representative value in order to remove extremely large or small first representative values, first representative values outside a predetermined range are removed from the representative value calculation target, and then, A representative value may be calculated. Further, the second representative value may be a representative value of the first representative values of all pixels 21.
  • the correction amount generation unit 70 generates a distance correction amount for each pixel 21 based on the difference between the first representative value and the second representative value calculated for each pixel 21 (step S24).
  • the first representative value calculated as described above is a distance where the influence of shot noise is removed and the influence of fixed pattern noise remains.
  • the second representative value calculated as described above is a distance from which the influence of shot noise and fixed pattern noise has been removed. Therefore, by subtracting the second representative value from the first representative value for each pixel 21, the influence of fixed pattern noise can be extracted, and a distance correction amount for each pixel 21 based on the fixed pattern noise is generated.
  • the distance is calculated by the distance calculating section 50 to be longer than the actual distance. It is corrected by subtracting the value (absolute value).
  • the distance is calculated by the distance calculation unit 50 to be shorter than the actual distance, so the distance calculated by the distance calculation unit 50 is It is corrected by adding the value (absolute value) to
  • the correction amount generation unit 70 generates a distance correction amount for each pixel 21 based on the fixed pattern noise of the solid-state image sensor 20.
  • the correction amount generation method according to the present embodiment includes a generation step of generating a distance correction amount for each pixel 21 based on the fixed pattern noise of the solid-state image sensor 20.
  • step S25 is an example of an output step.
  • the correction amount generation unit 70 stores the position of the pixel 21 and the distance correction amount in association with each other for each pixel 21 in the storage unit 80 .
  • a correction table 81 is generated and stored in the storage section 80.
  • the processing of the above correction amount generation method may be performed in conjunction with the calibration processing of the distance measuring device 100.
  • parameters for calculation by the distance calculation unit 50 are adjusted based on a predetermined distance from the distance measuring device 100 to the target object and the distance calculated by the distance calculation unit 50.
  • correction amounts are generated for all pixels 21 included in the solid-state image sensor 20, but correction amounts are generated for some pixels 21 included in the solid-state image sensor 20. You can.
  • the distance measuring device 100 receives the light source 10 that emits irradiation light and the reflected light that is reflected by the target object of the irradiation light irradiated from the light source 10, and converts it into an electric charge.
  • a solid-state image sensor 20 that has a plurality of pixels 21 each including a photoelectric conversion element and is arranged two-dimensionally, and outputs a signal based on electric charge for each pixel 21;
  • a distance calculation unit 50 calculates the distance to the object for each pixel 21 by performing a predetermined calculation based on the signal output from the solid-state image sensor 20 at each time, and a distance calculation unit 50 calculates the distance to the target object for each pixel 21.
  • a storage unit 80 that stores the distance correction amount for each pixel 21, and a distance correction unit 60 that corrects the distance calculated by the distance calculation unit 50 for each pixel 21 using the correction amount stored in the storage unit 80. and.
  • the distance for each pixel 21 calculated by the distance calculation unit 50 is corrected by the distance correction amount based on the fixed pattern noise of the solid-state image sensor 20, so it is possible to reduce the variation in distance errors between pixels 21. . Therefore, unevenness and the like in the distance image are reduced, and the quality of the distance image can be improved. Furthermore, even when noise reduction processing is performed at a later stage to further improve the quality of the distance image, the weight of the noise reduction processing can be reduced because distance errors due to fixed pattern noise are reduced by correction. For example, since the size of a two-dimensional spatial filter used for noise reduction processing can be reduced, the scale of the processing circuit can be reduced, and the resolution of the processed distance image can be improved.
  • the distance measuring device 100 may include a correction amount generation unit 70 that generates a correction amount based on fixed pattern noise and stores the generated correction amount in the storage unit 80.
  • the distance measuring device 100 can generate the correction amount based on the fixed pattern noise by itself.
  • the correction amount generation unit 70 can generate the correction amount in accordance with the calibration process of the distance measuring device 100.
  • the correction amount generation unit 70 acquires the distance for each pixel 21 calculated by the distance calculation unit 50, and the distance from the distance measuring device 100 to the target object placed at a predetermined distance for a plurality of frames. Then, for each pixel 21, a first representative value of the distance for a plurality of frames is calculated, and for each pixel 21, a second representative value that is a representative value of the first representative values of itself and pixels around itself is calculated. , the correction amount may be generated based on the difference between the first representative value and the second representative value calculated for each pixel 21.
  • the distance that removes the influence of shot noise is calculated, and for each pixel 21, the distance that is the representative value of the first representative value of the spatial distance is calculated.
  • the distance that is the representative value of the first representative value of the spatial distance is calculated.
  • the first representative value may be an average value of distances for multiple frames.
  • the first representative value can be calculated with simple processing.
  • the second representative value may be the average value of the first representative values of the pixels 21 of itself and its surroundings.
  • the second representative value can be calculated with simple processing.
  • the second representative value may be the median value of the first representative values of the pixels 21 of itself and its surroundings.
  • the distance measuring device 100 may generate a light emission control pulse that instructs the light source 10 to emit the irradiation light with a predetermined pulse width, instructs the solid-state image sensor 20 to perform exposure, and starts using the light emission control pulse as a reference.
  • the solid-state image sensor 20 includes a drive control unit 30 that outputs a first exposure control pulse and a second exposure control pulse whose timings are different from each other, and the solid-state image sensor 20 can obtain exposure for each pixel 21 according to the first exposure control pulse.
  • the distance calculation unit 50 outputs a first signal based on the electric charge obtained by exposure according to the second exposure control pulse, and a second signal based on the electric charge obtained by exposure according to the second exposure control pulse. The distance may be calculated based on the two signals.
  • the distance correction unit 60 performs correction using the distance correction amount, so the first signal and the second signal are individually calculated. Distance can be corrected without any correction.
  • the distance measuring method is a distance measuring method using the distance measuring device 100, in which a predetermined calculation is performed for each pixel 21 based on the signal output from the solid-state image sensor 20, and a target A distance calculation step that calculates the distance to , and a distance that corrects the distance calculated in the distance calculation step for each pixel 21 using a distance correction amount for each pixel 21 based on the fixed pattern noise of the solid-state image sensor 20. a correction step.
  • the distance for each pixel 21 calculated in the distance calculation step is corrected by the distance correction amount based on the fixed pattern noise of the solid-state image sensor 20, variations in distance errors between pixels 21 can be reduced. Therefore, unevenness and the like in the distance image are reduced, and the quality of the distance image can be improved.
  • the correction amount generation method is a correction amount generation method for generating a correction amount for correcting the distance calculated by the distance measuring device 100 including the solid-state image sensor 20.
  • the method includes a generation step of generating a distance correction amount for each pixel 21 based on the 20 fixed pattern noises, and an output step of outputting the generated correction amount.
  • the distance measuring device 100 can reduce variations in distance errors between pixels 21 and improve the quality of distance images.
  • FIG. 6 is a functional block diagram showing an example of the configuration of a distance measuring device 100A according to this modification.
  • the distance measuring device 100A is different from the distance measuring device 100 according to the embodiment in that the storage unit 80 stores a plurality of correction tables 81, and further includes a temperature sensor 90. They differ in some respects.
  • the distance correction section 60 corrects the distance calculated by the distance calculation section 50 using the temperature measured by the temperature sensor 90 in addition to the correction amount based on fixed pattern noise.
  • the storage unit 80 stores a plurality of correction tables 81.
  • the plurality of correction tables 81 are, for example, tables in which the position of the pixel 21 and the distance correction amount are associated for each pixel 21, which are generated by the correction amount generation unit 70 under mutually different temperature conditions of the solid-state image sensor 20. It is.
  • the plurality of correction tables 81 are associated with, for example, a temperature range based on the temperature of the solid-state image sensor 20 when the correction table 81 is generated.
  • the correction table 81 associated with the temperature range to which the temperature of the solid-state image sensor 20 measured by the temperature sensor 90 corresponds is used by the distance correction unit 60 to correct the distance.
  • FIG. 7 is a diagram showing an example of the correspondence between temperature ranges and the correction table 81.
  • the distance measuring device 100A operates in a temperature range of -20° C. to 120° C.
  • the storage unit 80 stores four correction tables 81: A, B, C, and D. remembered.
  • Correction tables A, B, C, and D are each associated with temperature ranges that do not overlap with each other.
  • the temperature ranges associated with the correction tables A, B, C, and D cover the temperature range in which the distance measuring device 100A operates.
  • FIG. 7 is a diagram showing an example of the correspondence between temperature ranges and the correction table 81.
  • the correction tables A, B, C, and D are respectively -20°C or higher and lower than 20°C, 20°C or higher and lower than 60°C, 60°C or higher and lower than 100°C, and 100°C or higher and lower than 120°C. mapped to a temperature range.
  • the temperature range associated with the correction table 81 and the number of correction tables 81 are not particularly limited, and can be arbitrarily set according to the characteristics of the solid-state image sensor 20.
  • Each of the plurality of correction tables 81 is generated, for example, by performing the correction amount generation method described using FIG. 5 above in an environment where the temperature of the solid-state image sensor 20 is adjusted to a predetermined temperature. be done.
  • the predetermined temperature is, for example, the upper limit, lower limit, or median value of the temperature range associated with the correction table 81.
  • the temperature sensor 90 measures the temperature of the solid-state image sensor 20.
  • the temperature sensor 90 outputs the measured temperature of the solid-state image sensor 20 to the distance correction section 60.
  • the temperature sensor 90 may directly measure the temperature of the solid-state image sensor 20, or may measure the temperature of the solid-state image sensor 20 indirectly, such as by measuring the temperature around the solid-state image sensor 20.
  • FIG. 8 is a flowchart showing an overview of the operation (distance measurement method) of the distance measurement device 100A according to this modification.
  • step S11 and step S12 are performed in the same way as the operation of the ranging device 100 described using FIG. 3 above.
  • the distance correction unit 60 acquires the temperature of the solid-state image sensor 20 measured by the temperature sensor 90 (step S31). Then, the distance correction unit 60 uses the temperature of the solid-state image sensor 20 acquired in step S31 and the correction amount based on the fixed pattern noise of the solid-state image sensor 20 stored in the storage unit 80 to calculate the following for each pixel 21. The distance calculated by the distance calculating section 50 in step S12 is corrected (step S32).
  • the distance correction unit 60 first selects one correction table 81 used for distance correction from among the plurality of correction tables 81 stored in the storage unit 80 based on the obtained temperature of the solid-state image sensor 20. select. For example, the distance correction unit 60 selects one correction table 81 that is associated with a temperature range to which the obtained temperature of the solid-state image sensor 20 corresponds. For example, when the temperature of the solid-state image sensor 20 is 40°C and selection is made from correction tables A, B, C, and D shown in FIG. Select the attached correction table B. The distance correction unit 60 then refers to the selected one correction table 81 and corrects the distance calculated by the distance calculation unit 50 for each pixel 21.
  • fixed pattern noise is noise unique to each pixel 21 due to variations in switching operation and transfer.
  • the switching operation and transfer characteristics in such a pixel 21 can be affected by temperature.
  • the fixed pattern noise of the solid-state image sensor 20 can be affected by temperature.
  • the distance correction unit 60 corrects the distance calculated by the distance calculation unit 50 based on the temperature of the solid-state image sensor 20 and using a correction amount based on fixed pattern noise of the solid-state image sensor 20. Therefore, even if the temperature of the solid-state image sensor 20 changes, the distance correction unit 60 can correct the distance for each pixel 21 by taking into account the influence of the temperature of the solid-state image sensor 20. Therefore, variations in distance errors between pixels 21 can be further reduced.
  • the influence of temperature on the switching operation and transfer characteristics in the pixel 21 can vary from pixel to pixel 21. That is, the effect of temperature on fixed pattern noise can vary from pixel to pixel 21.
  • the distance correction unit 60 selects one correction table 81 to be used for distance correction from the plurality of correction tables 81 as described above, so that each pixel 21 corresponds to the temperature of the solid-state image sensor 20. The distance for each pixel 21 can be corrected using the correction amount. Furthermore, since the amount of correction can be determined by referring to the correction table 81, the processing by the distance correction section 60 can also be reduced.
  • FIG. 9 is a functional block diagram showing an example of the configuration of another distance measuring device 100B according to this modification. As shown in FIG.
  • the storage unit 80 stores one correction table 81 generated in an environment where the temperature of the solid-state image sensor 20 is adjusted to a predetermined temperature, and Change amount information 82 indicating the amount of change in the correction amount with respect to the temperature of the image sensor 20 is stored.
  • the change amount information 82 is, for example, a change amount table in which temperature and change amount are associated with each other, but it may also be a function indicating the relationship between temperature and change amount.
  • the change amount information 82 is calculated using, for example, a correction amount obtained by performing the correction amount generation method described using FIG. 5 above under several temperature conditions of the solid-state image sensor 20.
  • the distance correction unit 60 calculates the amount of change based on the obtained temperature of the solid-state image sensor 20 using the amount of change information 82. Then, the distance correction unit 60 adds or subtracts the change amount to the correction amount for each pixel 21, and corrects the distance calculated by the distance calculation unit 50 using the correction amount after the addition or subtraction. Thereby, the number of correction tables 81 stored in the storage section 80 can be reduced, so the capacity of the storage section 80 can be reduced. Furthermore, by using the change amount information 82, the correction amount can be changed in response to small changes in the temperature of the solid-state image sensor 20, so that sudden changes in the correction amount can be avoided.
  • the change amount information 82 is, for example, commonly used by all pixels 21, but a plurality of change amount information 82 that is commonly used by pixels 21 having similar relationships between temperature and change amount among all pixels 21 is stored.
  • the information may be stored in the section 80.
  • the distance measuring device does not need to include all the components described in the above embodiments, and may be configured only with components for performing the desired operation.
  • each component may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • each component may be realized by hardware.
  • Each component may be a circuit (or integrated circuit). These circuits may constitute one circuit as a whole, or may be separate circuits. Further, each of these circuits may be a general-purpose circuit or a dedicated circuit.
  • general or specific aspects of the present disclosure may be implemented in a system, apparatus, method, integrated circuit, computer program, or computer-readable recording medium such as a CD-ROM. Further, the present invention may be realized by any combination of a system, an apparatus, a method, an integrated circuit, a computer program, and a recording medium.
  • the present disclosure may be realized as the distance measuring device of the above embodiment, or may be realized as a control device that controls the distance measuring device, or the steps ( It may be realized as a distance measurement method including processing), or it may be realized as a program for causing a computer to execute such a distance measurement method. It may also be realized as a temporary recording medium. Further, the present disclosure may be realized as a correction amount generation device including a correction amount generation unit, or as a correction amount generation method including steps (processing) performed by components constituting the correction amount generation device. Alternatively, it may be realized as a program for causing a computer to execute such a correction amount generation method, or it may be realized as a computer-readable non-temporary recording medium in which such a program is recorded. .
  • the distance measuring device and the like according to the present disclosure can be applied to various uses such as a distance measuring system and a sensing system and recognition system using distance images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

測距装置（１００）は、照射光を照射する光源（１０）と、光源（１０）から照射された照射光の対象物で反射した反射光を受光して電荷に変換する光電変換素子をそれぞれが含む複数の画素であって、二次元状に配列された複数の画素を有し、画素毎に、電荷に基づく信号を出力する固体撮像素子（２０）と、画素毎に固体撮像素子（２０）から出力された信号を基に所定の演算を行うことで、画素毎の対象物までの距離を算出する距離演算部（５０）と、固体撮像素子（２０）の固定パターンノイズに基づく画素毎の距離の補正量を記憶する記憶部（８０）と、記憶部（８０）に記憶された補正量を用いて、画素毎に、距離演算部（５０）で算出された距離を補正する距離補正部（６０）と、を備える。

Description

測距装置、補正量生成装置、測距方法および補正量生成方法
　本開示は、測距装置、補正量生成装置、測距方法および補正量生成方法に関する。
　従来、間接ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式を採用した測距装置が知られている（例えば、特許文献１および特許文献２）。
　間接ＴＯＦ方式を採用した測距装置は、例えば、光源と固体撮像素子とを備える。このような測距装置は、光源が照射する光の対象物による反射光を固体撮像素子で受光し、反射光に基づく信号によって距離画像を生成する。
国際公開第２０２１／２３４９３２号 特開２０１７－１９８４７７号公報
　固体撮像素子を用いた測距装置では、測距精度を向上して距離画像の品質を向上することが求められている。
　本開示では、距離画像の品質を向上できる測距装置、補正量生成装置、測距方法および補正量生成方法を提供する。
　本開示の一態様に係る測距装置は、照射光を照射する光源と、前記光源から照射された前記照射光の対象物で反射した反射光を受光して電荷に変換する光電変換素子をそれぞれが含む複数の画素であって、二次元状に配列された複数の画素を有し、前記画素毎に、前記電荷に基づく信号を出力する固体撮像素子と、前記画素毎に前記固体撮像素子から出力された信号を基に所定の演算を行うことで、前記画素毎の前記対象物までの距離を算出する距離演算部と、前記固体撮像素子の固定パターンノイズに基づく前記画素毎の距離の補正量を記憶する記憶部と、前記記憶部に記憶された前記補正量を用いて、前記画素毎に、前記距離演算部で算出された距離を補正する距離補正部と、を備える。
　本開示の一態様に係る補正量生成装置は、固体撮像素子を備える測距装置によって算出される距離を補正するための補正量を生成する補正量生成装置であって、前記固体撮像素子は、光を受光して電荷に変換する光電変換素子をそれぞれが含む複数の画素であって、二次元状に配列された複数の画素を有し、前記補正量生成装置は、前記固体撮像素子の固定パターンノイズに基づいて前記画素毎の距離の補正量を生成し、生成した前記補正量を出力する。
　本開示の一態様に係る測距方法は、測距装置による測距方法であって、前記測距装置は、照射光を照射する光源と、前記光源から照射された前記照射光の対象物で反射した反射光を受光して電荷に変換する光電変換素子をそれぞれが含む複数の画素であって、二次元状に配列された複数の画素を有し、前記画素毎に、前記電荷に基づく信号を出力する固体撮像素子と、を備え、前記測距方法は、前記画素毎に、前記固体撮像素子から出力された前記信号を基に所定の演算を行い、前記対象物までの距離を算出する距離演算ステップと、前記固体撮像素子の固定パターンノイズに基づく前記画素毎の距離の補正量を用いて、前記画素毎に、前記距離演算ステップで算出された距離を補正する距離補正ステップと、を含む。
　本開示の一態様に係る補正量生成方法は、固体撮像素子を備える測距装置によって算出される距離を補正するための補正量を生成する補正量生成方法であって、前記固体撮像素子は、光を受光して電荷に変換する光電変換素子をそれぞれが含む複数の画素であって、二次元状に配列された複数の画素を有し、前記補正量生成方法は、前記固体撮像素子の固定パターンノイズに基づいて前記画素毎の距離の補正量を生成する生成ステップと、生成した前記補正量を出力する出力ステップと、を含む。
　本開示によれば、距離画像の品質を向上できる。
図１は、実施の形態に係る測距装置の構成の一例を示す機能ブロック図である。 図２は、実施の形態に係る測距装置に備えられる固体撮像素子の概略図である。 図３は、実施の形態に係る測距装置の動作の概要を示すフローチャートである。 図４は、実施の形態に係る測距装置の発光および露光のタイミングの例を示す図である。 図５は、実施の形態に係る測距装置の補正量生成部の動作の概要を示すフローチャートである。 図６は、実施の形態の変形例に係る測距装置の構成の一例を示す機能ブロック図である。 図７は、温度範囲と補正テーブルとの対応付けの一例を示す図である。 図８は、実施の形態の変形例に係る測距装置の動作の概要を示すフローチャートである。 図９は、実施の形態の変形例に係る別の測距装置の構成の一例を示す機能ブロック図である。
　（本開示の一態様を得るに至った経緯）
　上述のように、固体撮像素子を用いた測距装置では、測距精度を向上して距離画像の品質を向上することが求められている。例えば、固体撮像素子を用いた測距装置において、固体撮像素子の画素間で測距精度にばらつきが生じると、得られる距離画像に実際の対象物には存在しない凹凸が発生し、距離画像の品質が低下する。
　特許文献１および特許文献２では、測距精度を向上させるため、補正処理を行う測距装置が開示されている。しかしながら、特許文献１および特許文献２の技術は、画素間の測距精度のばらつきを抑制し、距離画像の品質を向上するには不十分である。
　また、隣接画素間で距離のばらつきを抑制するため、ガウシアンフィルタおよび平均化フィルタなどの二次元の空間フィルタによりノイズリダクション処理を行う場合もある。しかし、このような二次元の空間フィルタでは、高周波成分となるノイズを除去して測距精度を向上できるものの、低周波成分のノイズが残り、距離画像に波のようなパターンが発生する場合がある。また、大きな空間フィルタを適用すると、距離画像の解像度が大幅に低下する。また、解像度を保持しようとする場合には、適応処理が必要となり、処理回路の大幅な増加につながる。
　本発明者らは、上記課題を解決するにあたり、固体撮像素子で発生して距離に影響を及ぼす主要なノイズには、ショットノイズと固定パターンノイズとがあることに着目した。
　ショットノイズは、ランダムな熱雑音として発生するノイズ等である。ショットノイズは、例えば、固体撮像素子への入射光の量によりノイズの平均的な大きさが変動するため、太陽光が入射する屋外で増加しやすい。また、ショットノイズによる影響は、測距装置から対象物までの距離および対象物の反射率によっても変化する。
　一方、固定パターンノイズは、環境、測距の対象物との距離および時間等によって大きさが変化しない固定のノイズである。固定パターンノイズは、例えば、固体撮像素子の製造時のばらつきに起因する。また、固定パターンノイズでは、画素毎にノイズの大きさが異なる。
　ショットノイズは、距離の計測回数を増やす等によって影響を除去できる。一方、固定パターンノイズは、画素毎に一定量の誤差として発生するため、距離の計測回数を増やしても影響を除去できない。また、固定パターンノイズは、画素毎でばらついており、距離画像において凹凸等の品質低下の要因となる。
　このように、本発明者らは、距離画像品質の向上のためには、固定パターンノイズによる距離への影響を低減することが重要であることを見出した。また、本発明者らは、固定パターンノイズの影響は、画素毎の距離のオフセットとして現れることも見出した。固定パターンノイズの大きさは、環境等によらず一定であり、固定パターンノイズがオフセットとして距離に影響するため、特に、比較的近距離の対象物までの距離を計測する場合に影響が大きくなる。
　よって、本開示では、固定パターンノイズによる測距精度への影響を低減することで、距離画像の品質を向上できる測距装置、補正量生成装置、測距方法および補正量生成方法を提供する。
　以下、本開示の実施の形態について、図面を用いて詳細に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の本実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、模式図であり、必ずしも厳密に図示したものではない。また、各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略または簡略化することがある。
　（実施の形態）
　［構成］
　まず、本実施の形態に係る測距装置の構成について説明する。図１は、実施の形態に係る測距装置１００の構成の一例を示す機能ブロック図である。図２は、実施の形態に係る測距装置１００に備えられる固体撮像素子２０の概略図である。
　測距装置１００は、ＴＯＦ方式による測距装置である。測距装置１００は、対象物ＯＢＪまでの距離を示す距離画像を生成する。本実施の形態に係る測距装置１００では、生成される距離画像の品質を向上できるので、例えば、顔認識などの認識システムでの精度を向上できる。そのため、測距装置１００は、顔認識システム等の認識システムに用いられてもよい。
　測距装置１００は、光源１０と、固体撮像素子２０と、駆動制御部３０と、距離演算部５０と、距離補正部６０と、補正量生成部７０と、記憶部８０と、を備える。
　光源１０は、入力される発光制御パルスの示すタイミングに従って、対象物ＯＢＪに対して所定のパルス幅で照射光を照射する。光源１０は、例えば、赤外光を発光する発光ダイオードまたはレーザ素子である。
　固体撮像素子２０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサである。固体撮像素子２０は、二次元状に配列された複数の画素２１を有する。図２では、説明のため横４ｐｉｘ、縦４ｐｉｘの合計１６ｐｉｘの構成となっているが、固体撮像素子２０が有する画素２１の数は特に制限されない。固体撮像素子２０が有する画素２１の数は、例えば、２万ｐｉｘ以上５００万ｐｉｘ以下であってもよい。
　複数の画素２１は、それぞれ、光源１０から照射された照射光の対象物ＯＢＪで反射した反射光を受光して電荷に変換するフォトダイオード等の光電変換素子を少なくとも１つ含む。
　固体撮像素子２０は、画素２１毎に、複数の露光制御パルスに従ってそれぞれの露光で得られた電荷に基づく信号を出力する。固体撮像素子２０は、例えば、画素２１毎に、複数の露光制御パルスに従ってそれぞれの露光で得られた電荷を互いに異なる垂直転送路（ＶＣＣＤ）または電荷蓄積部（ＦＤ）に転送し、複数の露光制御パルスに従ってそれぞれの露光で得られた電荷に基づく信号を読み出す。固体撮像素子２０は、例えば、信号の読み出しにおいてＡＤ（Ａｎａｌｏｇ　ｔｏ　Ｄｉｇｉｔａｌ）変換を行い、ＡＤ変換されたデジタルの信号を出力する。
　駆動制御部３０は、光源１０および固体撮像素子２０の動作を制御するための制御信号を出力する。駆動制御部３０は、光源１０を制御するための制御信号として、照射光を所定のパルス幅で照射させるように光源１０に指示する発光制御パルスを出力する。また、駆動制御部３０は、固体撮像素子２０を制御するための制御信号として、固体撮像素子２０に露光を指示する露光制御パルスを出力する。
　距離演算部５０は、画素２１毎に固体撮像素子２０から出力された信号を基に所定の演算を行うことで、画素２１毎の対象物ＯＢＪまでの距離を算出する。距離演算部５０は、算出した距離を距離補正部６０に出力する。また、距離演算部５０は、後述する補正量を生成する処理が行われる際には、算出した距離を補正量生成部７０に出力する。
　距離補正部６０は、記憶部８０に記憶された画素２１毎の距離の補正量に基づいて、画素２１毎に、距離演算部５０で算出された距離を補正する。距離補正部６０は、画素２１毎の補正した距離を出力する。距離補正部６０によって用いられる補正量は、画素２１毎で固定の距離量であり、距離の補正毎に変化しない。
　補正量生成部７０は、固体撮像素子２０の固定パターンノイズに基づいて、固体撮像素子２０に含まれる全ての画素２１についての、画素２１毎の距離の補正量を生成する。補正量生成部７０は、生成した補正量を出力し、記憶部８０に格納する。
　なお、駆動制御部３０、距離演算部５０、距離補正部６０および補正量生成部７０は、例えば、プログラムを格納するメモリおよびプログラムを実行するプロセッサ等で実現される。なお、ブロック図としては別々になっているが、駆動制御部３０、距離演算部５０、距離補正部６０および補正量生成部７０の全て、または、一部は、同じメモリおよびプロセッサで構成されていてもよい。
　記憶部８０は、固体撮像素子２０の固定パターンノイズに基づく画素２１毎の距離の補正量を記憶する。記憶部８０には、例えば、補正量生成部７０によって生成された補正量が格納されている。記憶部８０は、例えば、固体撮像素子２０に含まれる全ての画素２１について、画素２１毎に画素２１の位置と距離の補正量とが対応付けられた補正テーブル８１を記憶する。記憶部８０は、例えば、半導体メモリ等のメモリで実現される。
　なお、補正量生成部７０は、測距装置１００に備えられていなくてもよく、例えば、補正量生成部７０の機能を有する独立した補正量生成装置として実現されてもよい。また、この場合、補正量生成装置は、距離演算部５０をさらに有していてもよい。
　［動作］
　次に、本実施の形態に係る測距装置１００の動作について説明する。
　まず、測距装置１００の動作として、測距装置１００による測距方法について説明する。図３は、実施の形態に係る測距装置１００の動作（測距方法）の概要を示すフローチャートである。図４は、実施の形態に係る測距装置１００の発光および露光のタイミングの例を示す図である。
　まず、駆動制御部３０は、光源１０に対して発光制御パルスを出力し、固体撮像素子２０に対して露光制御パルスを出力する（ステップＳ１１）。これにより、固体撮像素子２０は、光源１０からの照射光の対象物ＯＢＪで反射した反射光を受光し、画素２１毎に、露光制御パルスに従った露光で得られた電荷に基づく信号を出力する。例えば、固体撮像素子２０によってＡＤ変換されたデジタルの信号が距離演算部５０に出力される。
　図４に示されるように、駆動制御部３０は、例えば、パルス幅Ｔｐの発光制御パルスを出力する。図４に示される例では、発光制御パルスは、ハイレベルのときに光源１０に照射光を照射させる。これにより、光源１０は、パルス幅Ｔｐのパルス光を照射する。
　また、駆動制御部３０は、例えば、画素２１毎に、複数の露光制御パルスＡ０、Ａ１、Ａ２を出力する。図４に示される例では、露光制御パルスは、ローレベルのときに固体撮像素子２０の画素２１を露光させる。複数の露光制御パルスＡ０、Ａ１、Ａ２は、互いに、発光制御パルスを基準とする開始タイミングが互いに異なる。また、複数の露光制御パルスＡ０、Ａ１、Ａ２の露光幅（露光期間）はそれぞれ、照射光のパルス幅Ｔｐと同じである。具体的には、露光制御パルスＡ０は、発光制御パルスの開始タイミングと同じ時刻ｔ１に開始する。露光制御パルスＡ１は、発光制御パルスおよび露光制御パルスＡ０の終了タイミングである時刻ｔ２と同じ時刻ｔ３に開始する。露光制御パルスＡ２は、露光制御パルスＡ１の終了タイミングである時刻ｔ４と同じ時刻ｔ５に開始し、時刻ｔ６に終了する。露光制御パルスＡ０と露光制御パルスＡ１との位相差、および、露光制御パルスＡ１と露光制御パルスＡ２との位相差はそれぞれ、照射光のパルス幅Ｔｐである。
　固体撮像素子２０は、画素２１毎に、露光制御パルスＡ０に従った露光で得られた電荷に基づく信号Ｓ０と、露光制御パルスＡ１に従った露光で得られた電荷に基づく信号Ｓ１と、露光制御パルスＡ２に従った露光で得られた電荷に基づく信号Ｓ２とを出力する。本実施の形態において、露光制御パルスＡ０は、第１露光制御パルスの一例であり、露光制御パルスＡ１は、第２露光制御パルスの一例である。また、本実施の形態において、信号Ｓ０は第１信号の一例であり、信号Ｓ１は第２信号の一例である。
　なお、図４に示される例では、１回の発光制御パルスに対して、複数の露光制御パルスＡ０、Ａ１、Ａ２が連続して出力されたが、これに限らない。例えば、上記の位相差の関係が維持されれば、１回の発光制御パルスに対して、露光制御パルスＡ０、露光制御パルスＡ１および露光制御パルスＡ２のいずれかが出力されてもよい。つまり、複数の露光制御パルスＡ０、Ａ１、Ａ２のそれぞれに対応する発光制御パルスと複数の露光制御パルスＡ０、Ａ１、Ａ２とが出力されることで、各画素２１から信号Ｓ０、Ｓ１、Ｓ２が出力されてもよい。
　次に、距離演算部５０は、画素２１毎に固体撮像素子２０から出力された信号を基に所定の演算を行うことで、画素２１毎の対象物ＯＢＪまでの距離を算出する（ステップＳ１２）。距離演算部５０は、算出した距離を距離補正部６０に出力する。本実施の形態において、ステップＳ１２は、距離演算ステップの一例である。
　距離演算部５０による距離の算出は、例えば以下のようにして行われる。
　図４に示されるように、光源１０からの照射光の対象物ＯＢＪで反射した反射光は、照射光の照射から時間Δｔだけ遅れて測距装置１００に返り、固体撮像素子２０に入射する。ここで、時間Δｔは、パルス幅Ｔｐより短い時間であるとする。図４において、各露光制御パルスに従った露光で生成する電荷に基づく信号が、模様を付した矩形で模式的に示されている。当該矩形の面積は、信号の大きさに対応する。反射光の一部は、露光制御パルスＡ０に従った露光で画素２１に受光されて電荷に変換される。また、反射光が照射光の照射から時間Δｔだけ遅れて返るため、遅れた時間Δｔに対応する反射光の残りの一部は、露光制御パルスＡ１に従った露光で画素２１に受光されて電荷に変換される。また、反射光は、露光制御パルスＡ２に従った露光では画素２１に受光されない。また、背景光は、露光制御パルスＡ０、Ａ１、Ａ２に従ったそれぞれの露光で画素２１に受光され、電荷に変換される。そのため、信号Ｓ０は、背景光と、パルス幅Ｔｐから時間Δｔを除いた時間幅の反射光とに基づく信号である。信号Ｓ１は、背景光と、時間Δｔの時間幅の反射光とに基づく信号である。信号Ｓ２は、背景光に基づく信号である。よって、信号Ｓ０および信号Ｓ１のそれぞれから信号Ｓ２を差し引くことで、背景光の影響を除去できる。また、信号Ｓ２を差し引いた信号Ｓ０と信号Ｓ２を差し引いた信号Ｓ１との合計がパルス幅Ｔｐの時間幅の反射光に基づく信号になる。よって、Δｔは、下記の式により算出される。
Δｔ＝Ｔｐ×（Ｓ１－Ｓ２）／［（Ｓ０－Ｓ２）＋（Ｓ１－Ｓ２）］
　その結果、測距装置１００と対象物ＯＢＪとの距離をＤとし、光速をｃとした場合、光源１０による照射光が時間Δｔで距離Ｄを往復するため、距離Ｄは下記の式により算出される。
Ｄ＝ｃ×Δｔ／２
　＝（ｃ×Ｔｐ／２）×（Ｓ１－Ｓ２）／［（Ｓ０－Ｓ２）＋（Ｓ１－Ｓ２）］
　なお、ステップＳ１１において固体撮像素子２０から信号Ｓ０、Ｓ１、Ｓ２がそれぞれ複数回出力され、距離演算部５０は、複数回出力された信号Ｓ０、Ｓ１、Ｓ２を用いて距離を演算してもよい。例えば、距離演算部５０は、複数回出力された信号Ｓ０、Ｓ１、Ｓ２それぞれの平均値を用いて距離を演算してもよい。また、距離演算部５０が算出する距離は、絶対的な距離でなくてもよく、例えば、０から１の値をとる正規化された距離値であってもよい。また、固体撮像素子２０が出力する信号に基づいて距離を算出できれば、発光制御パルスおよび露光制御パルスのタイミングは図４に示される例に限らず、公知のＴＯＦ方式での他の距離演算方法を行ってもよい。例えば、距離演算部５０は、背景光の影響が軽微であるなどの場合には、信号Ｓ２を信号Ｓ１および信号Ｓ０から差し引かずに距離を算出してもよい。この場合、露光制御パルスＡ２が出力されなくてもよい。
　次に、距離補正部６０は、記憶部８０に記憶された固体撮像素子２０の固定パターンノイズに基づく補正量を用いて、画素２１毎に、ステップＳ１２において距離演算部５０で算出された距離を補正する（ステップＳ１３）。本実施の形態において、ステップＳ１３は、距離補正ステップの一例である。距離補正部６０は、画素２１毎の補正した距離、つまり距離画像を外部に出力する。ステップＳ１３において、距離補正部６０は、例えば、固体撮像素子２０が有する全ての画素２１について、画素２１毎に、距離演算部５０で算出された距離を補正する。なお、距離補正部６０は、固体撮像素子２０が有する一部の画素２１について、画素２１毎に、距離演算部５０で算出された距離を補正してもよい。例えば、出力される距離画像が顔認識システム等の認識システムに用いられる場合には、距離補正部６０は、認識処理に必要な領域に対応する画素２１のみに対して、画素２１毎に、距離演算部５０で算出された距離を補正してもよい。
　ここで、上記のようにして距離演算部５０で算出される距離で発生する誤差、および、この誤差を補正するための補正量について説明する。
　固体撮像素子２０の各画素２１の露光動作は、理想的には図４で示されるような露光制御パルスと同一のタイミングで行われるが、実際には、固体撮像素子２０の画素２１間の製造ばらつき等により、画素２１毎に露光制御パルスのタイミングからのずれが生じうる。
　例えば、露光動作を開始するためのトランジスタ等の特性に起因して、スイッチング動作のタイミングが画素２１間でばらつく。そのため、図４で示される時刻ｔ１からｔ６等の、各露光制御パルスに従ってトランジスタがオンオフするべき時刻のずれが画素２１毎に生じうる。つまり、各露光制御パルスに従った露光の開始および終了の時刻のずれが画素２１毎に生じうる。
　また、例えば、光電変換素子で変換された電荷を信号に変換するために転送する際の転送時間が画素２１毎にばらつきうる。例えば、固体撮像素子２０がＣＣＤセンサである場合、光電変換素子から垂直転送路への電荷転送時間がばらつく。また、例えば、固体撮像素子２０がＣＭＯＳセンサである場合、光電変換素子から電荷蓄積部への電荷転送時間がばらつく。そのため、各画素２１が同じ時間だけ反射光を受光していても、電荷が転送されるタイミングがずれて、実質的に露光での反射光の受光時間（受光量）が変動したことになる。
　このように、固体撮像素子２０では、スイッチング動作および転送のばらつき等に起因して各画素２１で固有の固定パターンノイズが生じる。また、このばらつきは、画素２１の特性に起因するため、環境等によらず画素２１毎に一定であり、露光毎に同じように生じる。そのため、信号Ｓ０、Ｓ１、Ｓ２の大きさに、画素２１毎に一定量の増減が生じる。例えば、ある画素２１で時刻ｔ２において終了すべき露光制御パルスＡ０による露光の終了が時刻ｔ２より一定時間早くなると、信号Ｓ０は一定量小さくなる。
　その結果、画素２１毎で、上記の式に基づいて距離演算部５０によって算出される距離が一定量ずれることになる。つまり、固体撮像素子２０の固定パターンノイズによる影響は、距離のオフセットとして生じる。また、この距離のオフセットは、測距動作毎に同じ量生じる。
　本実施の形態においては、距離補正部６０は、このような固体撮像素子２０の固定パターンノイズに基づく画素２１毎の距離の補正量を用いて補正を行う。具体的には、距離補正部６０は、画素２１毎に、距離演算部５０で算出された距離に対して、記憶部８０に記憶された補正量の加減算を行う。これにより、固定パターンノイズによる測距精度への影響を低減し、出力される距離画像の品質を向上させることができる。特に、固定パターンノイズによる影響は距離のオフセットとして現れるため、測定する距離が短いほど測距精度への影響が大きくなり、近距離の測距に対して距離画像の品質向上の効果が大きい。そのため、顔認識等の比較的近距離（例えば測定する距離が１ｍ以下）でのアプリケーションへ測距装置１００を適用することで、アプリケーションでの精度を高めることができる。
　また、距離補正部６０は、距離の補正量を用いるため、距離の演算に用いる個別の信号Ｓ０、Ｓ１、Ｓ２を補正してから距離を演算する場合と比べて、補正処理の簡素化および補正のための補正テーブル等の数を減らすことができる。
　次に、測距装置１００によって算出される距離を補正するための補正量を生成する補正量生成方法について説明する。図５は、実施の形態に係る測距装置１００の補正量生成部７０の動作（補正量生成方法）の概要を示すフローチャートである。
　まず、補正量生成部７０は、距離演算部５０によって算出された画素２１毎の距離を複数フレーム分取得する（ステップＳ２１）。つまり、補正量生成部７０は、距離演算部５０によって算出され、補正されていない複数フレーム分の距離画像を取得する。例えば、距離演算部５０は、測距装置１００から所定の距離に配置された対象物までの画素２１毎の距離を算出し、補正量生成部７０に出力する。所定の距離は、測距装置１００の測距レンジのうちの任意の距離であり、例えば、測距レンジの最小値である。また、１フレームでは、距離演算部５０による距離の算出に必要な一連の発光制御パルスおよび露光制御パルスが出力される。
　より具体的には、まず、距離画像全体が同一距離になるように、例えば、全ての画角を網羅し、かつ、全ての画角で測距装置１００との距離が一定となるような対象物を配置する。そして、上述のステップＳ１１からステップＳ１２の動作が複数フレームの数だけ繰り返され、距離演算部５０から、複数フレーム分の画素２１毎の距離が出力される。補正量生成部７０は、距離演算部５０から出力された複数フレーム分の画素２１毎の距離を取得する。画素２１毎の距離を取得するフレーム数は、例えば、１００フレーム以上２０００フレーム以下である。
　次に、補正量生成部７０は、画素２１毎に、複数フレーム分の距離の第１代表値を算出する（ステップＳ２２）。補正量生成部７０は、例えば、画素２１毎に、複数フレーム分の距離の平均値を算出する。つまり、第１代表値は、例えば、複数フレーム分の距離の平均値であり、画素２１毎の距離の時間平均値であるとも言える。これにより、フレーム毎にランダムに生じるショットノイズが平均化されてキャンセルされ、ショットノイズの影響が除去された距離画像が得られる。
　なお、第１代表値は、複数フレーム分の距離の中央値または最頻値等の他の代表値であってもよい。また、第１代表値の算出において、極端に大きい、または、小さい距離を除去するために、所定の範囲外の距離を、代表値の算出の対象から除去した上で、代表値を算出してもよい。
　次に、補正量生成部７０は、画素２１毎に、自身の画素２１および自身の周囲の画素２１の第１代表値の代表値である第２代表値を算出する（ステップＳ２３）。補正量生成部７０は、画素２１毎に、例えば、自身の画素２１を中心とした５×５ｐｉｘ以上２５×２５ｐｉｘ以下の範囲の画素２１の第１代表値の代表値を第２代表値として算出する。補正量生成部７０は、例えば、画素２１毎に、自身の画素２１および自身の周囲の画素２１の第１代表値に対して平均化フィルタ処理を適用することで、第２代表値を算出する。つまり、第２代表値は、例えば、自身の画素２１および自身の周囲の画素２１の第１代表値の平均値であり、画素２１毎の第１代表値の空間平均値であるとも言える。これにより、固定パターンノイズによる画素２１毎の距離のばらつきが平均化され、ショットノイズに加えて固定パターンノイズの影響も除去された距離画像が得られる。
　なお、第２代表値は、自身の画素２１および自身の周囲の画素２１の第１代表値の中央値または最頻値等の他の代表値であってもよい。また、第２代表値の算出において、極端に大きい、または、小さい第１代表値を除去するために、所定の範囲外の第１代表値を、代表値の算出の対象から除去した上で、代表値を算出してもよい。また、第２代表値は、全画素２１の第１代表値の代表値であってもよい。
　次に、補正量生成部７０は、画素２１毎に算出された第１代表値と第２代表値との差に基づいて、画素２１毎の距離の補正量を生成する（ステップＳ２４）。
　上述のようにして算出された第１代表値は、ショットノイズの影響が除去され、固定パターンノイズの影響が残っている距離である。また、上述のようにして算出された第２代表値は、ショットノイズおよび固定パターンノイズの影響が除去された距離である。そのため、画素２１毎に、第１代表値から第２代表値を差し引くことで、固定パターンノイズの影響を抽出でき、固定パターンノイズに基づく画素２１毎の距離の補正量が生成される。第１代表値から第２代表値を差し引いた値が正の値となる画素２１では、距離演算部５０によって実際よりも距離が長く算出されるため、距離演算部５０によって算出される距離から当該値（絶対値）を減算することで補正される。また、第１代表値から第２代表値を差し引いた値が負の値となる画素２１では、距離演算部５０によって実際よりも距離が短く算出されるため、距離演算部５０によって算出される距離に当該値（絶対値）を加算することで補正される。
　以上のようなステップＳ２１からステップＳ２４によって、補正量生成部７０は、固体撮像素子２０の固定パターンノイズに基づいて画素２１毎の距離の補正量を生成する。このように、本実施の形態に係る補正量生成方法は、固体撮像素子２０の固定パターンノイズに基づいて画素２１毎の距離の補正量を生成する生成ステップを含む。
　次に、補正量生成部７０は、ステップＳ２４で生成した画素２１毎の補正量を出力する（ステップＳ２５）。本実施の形態において、ステップＳ２５は、出力ステップの一例である。補正量生成部７０は、例えば、画素２１毎に画素２１の位置と距離の補正量とを対応付けて、記憶部８０に格納する。これにより、補正テーブル８１が生成され、記憶部８０に記憶される。
　なお、上記の補正量生成方法の処理は、測距装置１００の校正処理に併せて行われてもよい。例えば、校正処理では、測距装置１００から対象物までの所定の距離と距離演算部５０で算出される距離とに基づいて、距離演算部５０による演算のパラメータを調整する。また、上記の補正量生成方法の処理では、例えば、固体撮像素子２０が有する全ての画素２１について補正量が生成されるが、固体撮像素子２０が有する一部の画素２１について補正量が生成されてもよい。
　［まとめ］
　以上のように、本実施の形態に係る測距装置１００は、照射光を照射する光源１０と、光源１０から照射された照射光の対象物で反射した反射光を受光して電荷に変換する光電変換素子をそれぞれが含む複数の画素２１であって、二次元状に配列された複数の画素２１を有し、画素２１毎に、電荷に基づく信号を出力する固体撮像素子２０と、画素２１毎に固体撮像素子２０から出力された信号を基に所定の演算を行うことで、画素２１毎の対象物までの距離を算出する距離演算部５０と、固体撮像素子２０の固定パターンノイズに基づく画素２１毎の距離の補正量を記憶する記憶部８０と、記憶部８０に記憶された補正量を用いて、画素２１毎に、距離演算部５０で算出された距離を補正する距離補正部６０と、を備える。
　これにより、距離演算部５０によって算出される画素２１毎の距離が、固体撮像素子２０の固定パターンノイズに基づく距離の補正量によって補正されるため、画素２１間の距離の誤差のばらつきを低減できる。よって、距離画像における凹凸等が低減され、距離画像の品質を向上できる。また、更なる距離画像の品質向上のために後段でノイズリダクション処理を行う場合でも、固定パターンノイズによる距離の誤差が補正によって低減されているため、当該ノイズリダクション処理の軽量化が可能となる。例えば、ノイズリダクション処理に用いる二次元の空間フィルタの大きさを小さくできるため、処理回路規模を小さくでき、また、処理後の距離画像の解像度を向上できる。
　また、例えば、測距装置１００は、固定パターンノイズに基づいて補正量を生成し、生成した補正量を記憶部８０に格納する補正量生成部７０を備えていてもよい。
　これにより、測距装置１００は、自ら固定パターンノイズに基づく補正量を生成することができる。例えば、補正量生成部７０は、測距装置１００の校正処理にあわせて、補正量を生成できる。
　また、例えば、補正量生成部７０は、距離演算部５０によって算出された画素２１毎の距離であって、測距装置１００から所定の距離に配置された対象物までの距離を複数フレーム分取得し、画素２１毎に、複数フレーム分の距離の第１代表値を算出し、画素２１毎に、自身および自身の周囲の画素の第１代表値の代表値である第２代表値を算出し、画素２１毎に算出された第１代表値と第２代表値との差に基づいて補正量を生成してもよい。
　これにより、画素２１毎に時間的な距離の第１代表値を算出することでショットノイズの影響を除去した距離が算出され、画素２１毎に空間的な第１代表値の代表値である第２代表値を算出することでショットノイズおよび固定パターンノイズの影響を除去した距離が算出される。よって、第１代表値と第２代表値との差に基づいて補正量を生成することで、画素２１毎にトランジスタ等の特性等の個別の固定パターンノイズの原因についての検査をすることなく、簡易に固定パターンノイズに基づく補正量を生成できる。
　また、例えば、第１代表値は、複数フレーム分の距離の平均値であってもよい。
　これにより、簡易な処理で第１代表値を算出できる。
　また、例えば、第２代表値は、自身および自身の周囲の画素２１の第１代表値の平均値であってもよい。
　これにより、簡易な処理で第２代表値を算出できる。
　また、例えば、第２代表値は、自身および自身の周囲の画素２１の第１代表値の中央値であってもよい。
　これにより、測距精度への固定パターンノイズの影響が大きい画素２１が存在する場合でも、当該画素２１による第２代表値への影響を低減できる。
　また、例えば、測距装置１００は、照射光を所定のパルス幅で照射させるように光源１０に指示する発光制御パルスと、固体撮像素子２０に露光を指示し、発光制御パルスを基準とする開始タイミングが互いに異なる第１露光制御パルスおよび第２露光制御パルスと、を出力する駆動制御部３０を備え、固体撮像素子２０は、画素２１毎に、第１露光制御パルスに従った露光で得られた電荷に基づく第１信号と、第２露光制御パルスに従った露光で得られた電荷に基づく第２信号と、を出力し、距離演算部５０は、画素２１毎に、第１信号と第２信号とに基づいて距離を算出してもよい。
　このような第１信号および第２信号を用いて距離を算出する場合であっても、距離補正部６０が距離の補正量を用いて補正を行うため、第１信号および第２信号を個別に補正することなく距離の補正を行うことができる。
　また、本実施の形態に係る測距方法は、測距装置１００による測距方法であって、画素２１毎に、固体撮像素子２０から出力された信号を基に所定の演算を行い、対象物までの距離を算出する距離演算ステップと、固体撮像素子２０の固定パターンノイズに基づく画素２１毎の距離の補正量を用いて、画素２１毎に、距離演算ステップで算出された距離を補正する距離補正ステップと、を含む。
　距離演算ステップによって算出される画素２１毎の距離が、固体撮像素子２０の固定パターンノイズに基づく距離の補正量によって補正されるため、画素２１間の距離の誤差のばらつきを低減できる。よって、距離画像における凹凸等が低減され、距離画像の品質を向上できる。
　また、本実施の形態に係る補正量生成方法は、固体撮像素子２０を備える測距装置１００によって算出される距離を補正するための補正量を生成する補正量生成方法であって、固体撮像素子２０の固定パターンノイズに基づいて画素２１毎の距離の補正量を生成する生成ステップと、生成した補正量を出力する出力ステップと、を含む。
　これにより、固体撮像素子２０の固定パターンノイズに基づいて、測距装置１００によって算出される距離の補正量を生成することができる。測距装置１００は、このような補正量を用いることで、画素２１間の距離の誤差のばらつきを低減でき、距離画像の品質を向上できる。
　［変形例］
　次に、実施の形態の変形例について説明する。以下の変形例の説明において、実施の形態との相違点を中心に説明し、共通点の説明を省略または簡略化する。
　図６は、本変形例に係る測距装置１００Ａの構成の一例を示す機能ブロック図である。図６に示されるように、測距装置１００Ａは、実施の形態に係る測距装置１００と比較して、記憶部８０が複数の補正テーブル８１を記憶する点、および、温度センサ９０をさらに備える点で相違する。測距装置１００Ａでは、距離補正部６０は、固定パターンノイズに基づく補正量に加えて、温度センサ９０が測定した温度を用いて、距離演算部５０で算出された距離を補正する。
　記憶部８０は、複数の補正テーブル８１を記憶する。複数の補正テーブル８１は、例えば、互いに異なる固体撮像素子２０の温度の条件で補正量生成部７０によって生成された、画素２１毎に画素２１の位置と距離の補正量とが対応付けられたテーブルである。
　複数の補正テーブル８１は、例えば、補正テーブル８１を生成する際の固体撮像素子２０の温度に基づいた温度範囲と対応付けられる。複数の補正テーブル８１のうち、温度センサ９０で測定された固体撮像素子２０の温度が該当する温度範囲に対応付けられた補正テーブル８１が、距離補正部６０による距離の補正に用いられる。
　図７は、温度範囲と補正テーブル８１との対応付けの一例を示す図である。図７で示される例では、測距装置１００Ａが－２０℃以上１２０℃以下の温度範囲で動作し、記憶部８０には、４つの補正テーブル８１として、補正テーブルＡ、Ｂ、ＣおよびＤが記憶されている。補正テーブルＡ、Ｂ、ＣおよびＤは、それぞれ、互いに重複しない温度範囲に対応付けられている。補正テーブルＡ、Ｂ、ＣおよびＤに対応付けられた温度範囲は、測距装置１００Ａが動作する温度範囲を網羅する。図７で示される例では、補正テーブルＡ、Ｂ、ＣおよびＤは、それぞれ、－２０℃以上２０℃未満、２０℃以上６０℃未満、６０℃以上１００℃未満および１００℃以上１２０℃以下の温度範囲に対応付けられている。
　なお、補正テーブル８１と対応付けられる温度範囲、および、補正テーブル８１の数は、特に制限されず、固体撮像素子２０の特性に応じて任意に設定することが可能である。
　複数の補正テーブル８１はそれぞれ、例えば、固体撮像素子２０の温度が所定の温度になるように調整された環境下で、上記の図５を用いて説明した補正量生成方法が行われることで生成される。所定の温度は、例えば、補正テーブル８１に対応付けられた温度範囲の上限、下限または中央値等である。
　温度センサ９０は、固体撮像素子２０の温度を測定する。温度センサ９０は、測定した固体撮像素子２０の温度を距離補正部６０に出力する。温度センサ９０は、固体撮像素子２０の温度を直接的に測定してもよく、固体撮像素子２０の周囲の温度を測定する等によって固体撮像素子２０の温度を間接的に測定してもよい。
　図８は、本変形例に係る測距装置１００Ａの動作（測距方法）の概要を示すフローチャートである。
　まず、上記の図３を用いて説明した測距装置１００の動作と同様に、ステップＳ１１およびステップＳ１２が行われる。
　次に、距離補正部６０は、温度センサ９０が測定した固体撮像素子２０の温度を取得する（ステップＳ３１）。そして、距離補正部６０は、ステップＳ３１で取得した固体撮像素子２０の温度と、記憶部８０に記憶された固体撮像素子２０の固定パターンノイズに基づく補正量とを用いて、画素２１毎に、ステップＳ１２において距離演算部５０で算出された距離を補正する（ステップＳ３２）。
　具体的には、距離補正部６０は、まず、取得した固体撮像素子２０の温度に基づいて、記憶部８０に記憶された複数の補正テーブル８１から、距離の補正に用いる１つの補正テーブル８１を選択する。距離補正部６０は、例えば、取得した固体撮像素子２０の温度が該当する温度範囲に対応付けられた１つの補正テーブル８１を選択する。例えば、固体撮像素子２０の温度が４０℃であり、図７で示される補正テーブルＡ、Ｂ、ＣおよびＤから選択する場合、距離補正部６０は、２０℃以上６０℃未満の温度範囲に対応付けられた補正テーブルＢを選択する。そして、距離補正部６０は、選択した１つの補正テーブル８１を参照し、画素２１毎に、距離演算部５０で算出された距離を補正する。
　上記で説明したように、固定パターンノイズは、スイッチング動作および転送のばらつき等に起因した各画素２１で固有のノイズである。このような画素２１におけるスイッチング動作および転送の特性は、温度によって影響され得る。つまり、固体撮像素子２０の固定パターンノイズは、温度に影響され得る。測距装置１００Ａでは、距離補正部６０が、固体撮像素子２０の温度に基づき、固体撮像素子２０の固定パターンノイズに基づく補正量を用いて、距離演算部５０で算出された距離を補正する。そのため、固体撮像素子２０の温度が変化しても、距離補正部６０は、固体撮像素子２０の温度の影響を加味して画素２１毎の距離を補正することができる。よって、画素２１間の距離の誤差のばらつきをさらに低減できる。
　また、画素２１におけるスイッチング動作および転送の特性に対する温度の影響は、画素２１毎で変化し得る。つまり、固定パターンノイズへの温度の影響は、画素２１毎で変化し得る。測距装置１００Ａでは、距離補正部６０が、上記のように複数の補正テーブル８１から距離の補正に用いる１つの補正テーブル８１を選択することで、固体撮像素子２０の温度に対応した画素２１毎の補正量を用いて、画素２１毎の距離を補正することができる。また、補正テーブル８１を参照することで補正量を決定できるため、距離補正部６０による処理も軽減できる。
　なお、上記では、固体撮像素子２０の温度に応じて用いられる複数の補正テーブル８１が測距装置１００Ａの記憶部８０に記憶される場合を説明したが、距離補正部６０が距離の補正に固体撮像素子２０の温度を用いる態様は、これに限らず、特に制限されない。例えば、距離補正部６０は、記憶部８０に１つの補正テーブル８１が記憶されている場合でも、固体撮像素子２０の温度と、固定パターンノイズに基づく補正量とを用いて、補正することは可能である。図９は、本変形例に係る別の測距装置１００Ｂの構成の一例を示す機能ブロック図である。図９に示されるように、測距装置１００Ｂでは、記憶部８０は、固体撮像素子２０の温度が所定の温度になるように調整された環境下で生成された１つの補正テーブル８１と、固体撮像素子２０の温度に対する補正量の変化量を示す変化量情報８２とを記憶する。変化量情報８２は、例えば、温度と変化量とが対応付けられた変化量テーブルであるが、温度と変化量との関係を示す関数であってもよい。変化量情報８２は、例えば、いくつかの固体撮像素子２０の温度の条件で上記の図５を用いて説明した補正量生成方法を行うことで得られる補正量を用いて算出される。
　測距装置１００Ｂでは、上記のステップＳ３２において、距離補正部６０は、取得した固体撮像素子２０の温度に基づいて、変化量情報８２を用いて変化量を算出する。そして、距離補正部６０は、画素２１毎の補正量に対して変化量の加減算を行い、加減算後の補正量を用いて距離演算部５０で算出された距離を補正する。これにより、記憶部８０に記憶される補正テーブル８１の数を減らすことができるため、記憶部８０の容量を減らすことができる。また、変化量情報８２を用いることで、細かな固体撮像素子２０の温度の変化に対応して補正量を変化させることができるため、急激に補正量が変化することを避けることができる。
　なお、変化量情報８２は、例えば、全画素２１で共通で用いられるが、全画素２１のうち温度と変化量との関係が類似する画素２１で共通で用いられる複数の変化量情報８２が記憶部８０に記憶されていてもよい。
　（その他の実施の形態）
　以上、本開示の一つまたは複数の態様に係る測距装置について、実施の形態に基づいて説明したが、本開示は、実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
　また、本開示に係る測距装置は、上記実施の形態で説明した各構成要素を全て備えていなくてもよく、目的の動作をさせるための構成要素のみで構成されていてもよい。
　また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、各構成要素は、ハードウェアによって実現されてもよい。各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　例えば、本開示は、上記実施の形態の測距装置として実現されてもよいし、測距装置を制御する制御装置として実現されてもよいし、測距装置を構成する構成要素が行うステップ（処理）を含む測距方法として実現されてもよいし、このような測距方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。また、本開示は、補正量生成部を含む補正量生成装置として実現されてもよいし、補正量生成装置を構成する構成要素が行うステップ（処理）を含む補正量生成方法として実現されてもよいし、このような補正量生成方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。
　本開示に係る測距装置等は、距離測定システムならびに距離画像を用いたセンシングシステムおよび認識システム等の様々な用途に適用できる。
　１０　光源
　２０　固体撮像素子
　２１　画素
　３０　駆動制御部
　５０　距離演算部
　６０　距離補正部
　７０　補正量生成部
　８０　記憶部
　８１　補正テーブル
　８２　変化量情報
　９０　温度センサ
　１００、１００Ａ、１００Ｂ　測距装置

Claims (11)

  1. 　照射光を照射する光源と、
    　前記光源から照射された前記照射光の対象物で反射した反射光を受光して電荷に変換する光電変換素子をそれぞれが含む複数の画素であって、二次元状に配列された複数の画素を有し、前記画素毎に、前記電荷に基づく信号を出力する固体撮像素子と、
    　前記画素毎に前記固体撮像素子から出力された信号を基に所定の演算を行うことで、前記画素毎の前記対象物までの距離を算出する距離演算部と、
    　前記固体撮像素子の固定パターンノイズに基づく前記画素毎の距離の補正量を記憶する記憶部と、
    　前記記憶部に記憶された前記補正量を用いて、前記画素毎に、前記距離演算部で算出された距離を補正する距離補正部と、を備える、
    　測距装置。
  2. 　前記固定パターンノイズに基づいて前記補正量を生成し、生成した前記補正量を前記記憶部に格納する補正量生成部を備える、
    　請求項１に記載の測距装置。
  3. 　前記補正量生成部は、
    　　前記距離演算部によって算出された前記画素毎の距離であって、前記測距装置から所定の距離に配置された対象物までの距離を複数フレーム分取得し、
    　　前記画素毎に、前記複数フレーム分の距離の第１代表値を算出し、
    　　前記画素毎に、自身および自身の周囲の画素の前記第１代表値の代表値である第２代表値を算出し、
    　　前記画素毎に算出された前記第１代表値と前記第２代表値との差に基づいて前記補正量を生成する、
    　請求項２に記載の測距装置。
  4. 　前記第１代表値は、前記複数フレーム分の距離の平均値である、
    　請求項３に記載の測距装置。
  5. 　前記第２代表値は、前記自身および前記自身の周囲の画素の前記第１代表値の平均値である、
    　請求項３または４に記載の測距装置。
  6. 　前記第２代表値は、前記自身および前記自身の周囲の画素の前記第１代表値の中央値である、
    　請求項３または４に記載の測距装置。
  7. 　前記照射光を所定のパルス幅で照射させるように前記光源に指示する発光制御パルスと、前記固体撮像素子に露光を指示し、前記発光制御パルスを基準とする開始タイミングが互いに異なる第１露光制御パルスおよび第２露光制御パルスと、を出力する駆動制御部を備え、
    　前記固体撮像素子は、前記画素毎に、前記第１露光制御パルスに従った露光で得られた電荷に基づく第１信号と、前記第２露光制御パルスに従った露光で得られた電荷に基づく第２信号と、を出力し、
    　前記距離演算部は、前記画素毎に、前記第１信号と前記第２信号とに基づいて距離を算出する、
    　請求項１から６のいずれか１項に記載の測距装置。
  8. 　前記固体撮像素子の温度を測定する温度センサをさらに備え、
    　前記距離補正部は、前記温度センサで測定された前記固体撮像素子の温度と、前記記憶部に記憶された前記補正量とを用いて、前記画素毎に、前記距離演算部で算出された距離を補正する、
    　請求項１から７のいずれか１項に記載の測距装置。
  9. 　固体撮像素子を備える測距装置によって算出される距離を補正するための補正量を生成する補正量生成装置であって、
    　前記固体撮像素子は、光を受光して電荷に変換する光電変換素子をそれぞれが含む複数の画素であって、二次元状に配列された複数の画素を有し、
    　前記補正量生成装置は、前記固体撮像素子の固定パターンノイズに基づいて前記画素毎の距離の補正量を生成し、生成した前記補正量を出力する、
    　補正量生成装置。
  10. 　測距装置による測距方法であって、
    　前記測距装置は、
    　　照射光を照射する光源と、
    　　前記光源から照射された前記照射光の対象物で反射した反射光を受光して電荷に変換する光電変換素子をそれぞれが含む複数の画素であって、二次元状に配列された複数の画素を有し、前記画素毎に、前記電荷に基づく信号を出力する固体撮像素子と、を備え、
    　前記測距方法は、
    　　前記画素毎に、前記固体撮像素子から出力された前記信号を基に所定の演算を行い、前記対象物までの距離を算出する距離演算ステップと、
    　　前記固体撮像素子の固定パターンノイズに基づく前記画素毎の距離の補正量を用いて、前記画素毎に、前記距離演算ステップで算出された距離を補正する距離補正ステップと、を含む、
    　測距方法。
  11. 　固体撮像素子を備える測距装置によって算出される距離を補正するための補正量を生成する補正量生成方法であって、
    　前記固体撮像素子は、光を受光して電荷に変換する光電変換素子をそれぞれが含む複数の画素であって、二次元状に配列された複数の画素を有し、
    　前記補正量生成方法は、
    　　前記固体撮像素子の固定パターンノイズに基づいて前記画素毎の距離の補正量を生成する生成ステップと、
    　　生成した前記補正量を出力する出力ステップと、を含む、
    　補正量生成方法。
PCT/JP2023/025129 2022-07-15 2023-07-06 測距装置、補正量生成装置、測距方法および補正量生成方法 Ceased WO2024014393A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024533682A JPWO2024014393A1 (ja) 2022-07-15 2023-07-06

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022113912 2022-07-15
JP2022-113912 2022-07-15

Publications (1)

Publication Number Publication Date
WO2024014393A1 true WO2024014393A1 (ja) 2024-01-18

Family

ID=89536635

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/025129 Ceased WO2024014393A1 (ja) 2022-07-15 2023-07-06 測距装置、補正量生成装置、測距方法および補正量生成方法

Country Status (2)

Country Link
JP (1) JPWO2024014393A1 (ja)
WO (1) WO2024014393A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015177528A (ja) * 2014-03-18 2015-10-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20200074608A1 (en) * 2018-09-05 2020-03-05 Infineon Technologies Ag Time of Flight Camera and Method for Calibrating a Time of Flight Camera
CN111624580A (zh) * 2020-05-07 2020-09-04 Oppo广东移动通信有限公司 飞行时间模组的校正方法、校正装置和校正系统
WO2021251152A1 (ja) * 2020-06-10 2021-12-16 ソニーセミコンダクタソリューションズ株式会社 受光装置およびその製造方法、並びに、測距装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015177528A (ja) * 2014-03-18 2015-10-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20200074608A1 (en) * 2018-09-05 2020-03-05 Infineon Technologies Ag Time of Flight Camera and Method for Calibrating a Time of Flight Camera
CN111624580A (zh) * 2020-05-07 2020-09-04 Oppo广东移动通信有限公司 飞行时间模组的校正方法、校正装置和校正系统
WO2021251152A1 (ja) * 2020-06-10 2021-12-16 ソニーセミコンダクタソリューションズ株式会社 受光装置およびその製造方法、並びに、測距装置

Also Published As

Publication number Publication date
JPWO2024014393A1 (ja) 2024-01-18

Similar Documents

Publication Publication Date Title
JP6501403B2 (ja) イメージセンサ
US10686994B2 (en) Imaging device, and solid-state imaging element used for same
US9188663B2 (en) Time-of-flight imager
KR100946536B1 (ko) 광학적으로 검은 픽셀 및 결합된 픽셀을 모두 사용하여이미저에서 블랙 레벨을 설정하는 방법 및 장치
JP6738334B2 (ja) 固体撮像装置
JP2019091969A (ja) 放射線撮像装置
JPWO2017006546A1 (ja) 距離測定装置および距離画像合成方法
JP6773724B2 (ja) 精度情報を出力する測距装置
US7869007B2 (en) Ranging apparatus and ranging method
US9247163B2 (en) Radiation image pickup system, computer having reset operation to reset electric charge of pixels caused by dark current, and computer-readable medium storing program therefor
JP6362511B2 (ja) 撮像装置及びその制御方法
US9894300B2 (en) Image sensing device for measuring temperature without temperature sensor and method for driving the same
JP2012151664A (ja) 固体撮像装置
JP2012225807A (ja) 距離画像カメラおよび距離画像合成方法
JP2020139937A (ja) 測距装置及び電子機器
WO2021059748A1 (ja) 情報処理装置、補正方法およびプログラム
JP6190690B2 (ja) 距離測定システム及び補正用データの取得方法
WO2024014393A1 (ja) 測距装置、補正量生成装置、測距方法および補正量生成方法
JP5027932B2 (ja) スタートラッカー装置に使用されるアクティブピクセルセンサー装置
JP7709780B2 (ja) イベントセンサ、およびイベントデータを含む信号ストリームを生成するための方法
US20230281957A1 (en) Distance image capturing device and distance image capturing method
JP2022189184A (ja) 測距センサ、測距装置及び測距方法
WO2025070338A1 (ja) 測距装置および測距方法
WO2026028976A1 (ja) 測距装置、及び、測距方法
JP2025039531A (ja) イメージセンシング装置、イメージ処理装置、およびこれらを含むイメージング装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23839565

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024533682

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23839565

Country of ref document: EP

Kind code of ref document: A1