WO2020196378A1 - 距離画像の取得方法、及び、距離検出装置 - Google Patents

距離画像の取得方法、及び、距離検出装置 Download PDF

Info

Publication number
WO2020196378A1
WO2020196378A1 PCT/JP2020/012645 JP2020012645W WO2020196378A1 WO 2020196378 A1 WO2020196378 A1 WO 2020196378A1 JP 2020012645 W JP2020012645 W JP 2020012645W WO 2020196378 A1 WO2020196378 A1 WO 2020196378A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
distance image
group
image
pixel
Prior art date
Application number
PCT/JP2020/012645
Other languages
English (en)
French (fr)
Inventor
春日　繁孝
信三 香山
田丸　雅規
浩旨 越田
悠吾 能勢
征人 竹本
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202080022008.1A priority Critical patent/CN113597567A/zh
Priority to JP2021509375A priority patent/JPWO2020196378A1/ja
Publication of WO2020196378A1 publication Critical patent/WO2020196378A1/ja
Priority to US17/480,475 priority patent/US20220003876A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
    • H01L31/101—Devices sensitive to infrared, visible or ultraviolet radiation
    • H01L31/102—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier
    • H01L31/107—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier the potential barrier working in avalanche mode, e.g. avalanche photodiodes

Definitions

  • This disclosure relates to a distance image acquisition method and a distance detection device.
  • the distance image is three-dimensional information in the space of the object, and is composed of pixel values indicating the distance to the object (that is, the subject).
  • Patent Document 1 discloses a device that irradiates light to detect three-dimensional information (three-dimensional shape) of an object.
  • distance image sensors used in automobiles and the like are required to quickly acquire information up to an object over a wide range from a short distance to a long distance in front of them.
  • the fineness of the distance to be measured that is, the distance measurement resolution is also required to be highly accurate.
  • the present disclosure provides a method for acquiring a distance image capable of quickly acquiring information to an object with high accuracy resolution over a wide range from a short distance to a long distance, and a distance detecting device. The purpose.
  • the method for acquiring a distance image includes a setting step of setting a plurality of distance division sections in the depth direction and an imaging step of acquiring a distance image based on the set plurality of distance division sections.
  • the imaging step includes a first distance image group imaging step for acquiring a plurality of distance images obtained by capturing a part of the plurality of distance division sections, and a distance division section having a phase different from that of the part of the plurality of distance division sections. It includes a second distance image group imaging step of acquiring a plurality of captured distance images.
  • the distance detection device includes an image sensor in which pixels having APD (Avalanche Photo Deode) are arranged in a two-dimensional manner, a light source that emits irradiation light toward an object to be imaged, and a light source.
  • a calculation unit that processes an image captured by the image sensor, a control unit that controls the light source, the image sensor, and the calculation unit, a composition unit that synthesizes an image processed by the calculation unit, and a composite image.
  • the control unit includes an output unit that adds and outputs predetermined information, and the control unit is set by setting a plurality of distance division sections in the depth direction and controlling the light source, the image sensor, and the calculation unit.
  • a first distance image group which is a plurality of distance images obtained by capturing a part of the plurality of distance division sections, was acquired, and a distance division section having a phase different from that of the part of the plurality of distance division sections was imaged.
  • a second range image group which is a plurality of range images is acquired.
  • the distance detection method and the distance detection device it is possible to quickly acquire information to an object with high accuracy resolution over a wide range from a short distance to a long distance.
  • FIG. 1 is a block diagram showing a configuration of a distance detection device according to a first embodiment.
  • FIG. 2 is a block diagram showing a configuration of a camera according to the first embodiment.
  • FIG. 3A is a circuit diagram showing a pixel configuration according to the first embodiment.
  • FIG. 3B is a circuit diagram showing the configuration of the CDS circuit according to the first embodiment.
  • FIG. 3C is a circuit diagram showing the configuration of the ADC circuit according to the first embodiment.
  • FIG. 4A is a diagram showing an example of the distance measurement processing timing in the first subframe of the A group of the distance detection device according to the first embodiment.
  • FIG. 4B is a diagram showing a first subframe image according to the first embodiment.
  • FIG. 5A is a diagram showing an example of the distance measurement processing timing in the third subframe of the A group of the distance detection device according to the first embodiment.
  • FIG. 5B is a diagram showing a third subframe image according to the first embodiment.
  • FIG. 6A is a diagram showing an example of the distance measurement processing timing in the fifth subframe of the A group of the distance detection device according to the first embodiment.
  • FIG. 6B is a diagram showing a fifth subframe image according to the first embodiment.
  • FIG. 7 is a diagram showing a distance image after composition according to the first embodiment.
  • FIG. 8 is a flowchart showing an example of the distance image generation process of the distance detection device according to the first embodiment.
  • FIG. 9A is a schematic diagram for explaining an example of the first distance image according to the first embodiment.
  • FIG. 9B is a flowchart schematically showing a flow in which the first distance image according to the first embodiment is generated.
  • FIG. 9C is a schematic diagram for explaining an example of the second distance image according to the first embodiment.
  • FIG. 9D is a diagram showing a first example of the relationship between the distance measuring sections for each frame according to the first embodiment.
  • FIG. 9E is a diagram showing a second example of the relationship between the distance measuring sections for each frame according to the first embodiment.
  • FIG. 10A is a schematic diagram for explaining another example of the first distance image according to the first embodiment.
  • FIG. 10B is a schematic diagram for explaining another example of the second distance image according to the first embodiment.
  • FIG. 10C is a diagram showing a third example of the relationship between the distance measuring sections for each frame according to the first embodiment.
  • FIG. 10D is a diagram showing a fourth example of the relationship between the distance measuring sections for each frame according to the first embodiment.
  • FIG. 11 is a block diagram showing a configuration of the distance detection device according to the second embodiment.
  • FIG. 12 is a block diagram showing the configuration of the image sensor according to the second embodiment.
  • FIG. 13 is a circuit diagram showing a pixel configuration according to the second embodiment.
  • FIG. 14 is a diagram showing the distance measurement processing timing of the distance detection device according to the second embodiment.
  • FIG. 15 is a schematic diagram for explaining a one-frame distance image according to the second embodiment.
  • FIG. 16 is a flowchart showing an example of the distance image generation process of the distance detection device according to the second embodiment.
  • FIG. 17A is a schematic diagram for explaining an example of the first distance image according to the second embodiment.
  • FIG. 17B is a flowchart schematically showing a flow in which the first distance image according to the second embodiment is generated.
  • FIG. 17C is a schematic diagram for explaining an example of the second distance image according to the second embodiment.
  • FIG. 18A is a schematic diagram for explaining another example of the first distance image according to the second embodiment.
  • FIG. 18B is a schematic diagram for explaining another example of the second distance image according to the second embodiment.
  • FIG. 1 is a block diagram showing a configuration of a distance detection device 100 according to the present embodiment.
  • FIG. 2 is a block diagram showing a configuration of the camera 120 according to the present embodiment.
  • the distance detection device 100 generates a distance image showing the distance of an object located within the distance range of the measurement target by the TOF (Time-Of-Flight) method.
  • the distance detection device 100 can be used, for example, in a three-dimensional image sensor.
  • the distance detection device 100 includes a light source 110, a camera 120, a control unit 130, a calculation unit 140, a storage unit 150, a synthesis unit 160, and an output unit 170.
  • the light source 110 irradiates the irradiation light.
  • the light source 110 has a light emitting unit 111 and a driving unit 112.
  • the light emitting unit 111 emits irradiation light (for example, an optical pulse).
  • the light emitting unit 111 is, for example, an LD (laser diode) or an LED (light emitting diode).
  • the drive unit 112 controls the light emission by the light emitting unit 111 by controlling the timing of supplying electric power to the light emitting unit 111.
  • the camera 120 generates a detection signal by receiving the reflected light reflected by the object.
  • the camera 120 is a camera including an APD (Avalanche Photodiode) which is an avalanche amplification type light receiving element.
  • APD Anagonal Photodiode
  • the camera 120 includes a lens 121, an image sensor 122, a CDS circuit 126 (correlated double sampling circuit), and an ADC circuit 127.
  • the lens 121 collects the reflected light on the image sensor 122.
  • the image sensor 122 receives the reflected light and outputs a detection integrated value having a value corresponding to the amount of the received light.
  • the image sensor 122 is a CMOS (Complementary metal-axis-simiconductor) image sensor having a light receiving portion formed by arranging pixels having APDs in a two-dimensional manner.
  • CMOS Complementary metal-axis-simiconductor
  • the CDS circuit 126 is a circuit for removing the offset component included in the detection integrated value which is the output from the pixel 122a.
  • the offset component may have a different value for each pixel 122a.
  • the ADC circuit 127 converts an analog signal (detection integrated value from which the offset component has been removed), which is a signal output from the CDS circuit 126, into a digital signal.
  • the ADC circuit 127 is a single that digitally converts, for example, an analog signal (for example, a detection integration signal after offset removal) CDSOUT (see FIG. 3B) output from the CDS circuit 126 with a RAMP signal (also referred to as a lamp signal).
  • a digital signal for example, a detection integration signal after digital conversion
  • the analog signal CDSOUT may also be described as an output signal CDSOUT.
  • the distance detection device 100 includes an example of including the CDS circuit 126, but the distance detection device 100 may not include the CDS circuit 126. Further, the ADC circuit 127 may be included in the arithmetic unit 140.
  • the control unit 130 controls the irradiation timing of the light source 110 and the light receiving timing (exposure period) of the camera 120. Further, the control unit 130 sets different distance measuring ranges in the first frame and the second frame after the first frame.
  • the first frame and the second frame are, for example, temporally adjacent frames among a plurality of frames.
  • the control unit 130 sets each of the plurality of subframes included in the subframe group of the A group in which the first frame is divided, for example, a distance measuring range different from each other and having no distance continuity with each other. Set. Then, the control unit 130 controls the irradiation timing of the light source 110 and the light receiving timing of the camera 120 so as to perform distance measurement in the set distance measurement range in each of the subframe groups of the A group.
  • the subframe group of the A group is composed of, for example, a part of the distance measuring sections (subframes) obtained by dividing the first frame.
  • the distance measurement ranges of the subframe groups of the A group are not continuous.
  • the fact that there is no distance continuity means that, for example, the distance measuring range of one subframe of the two subframes of group A and the distance measuring range of the other subframe do not overlap at least in part.
  • the distance measurement range between the distance measurement range of one subframe and the distance measurement range of the other subframe is the distance measurement measured in a frame other than the first frame (in the present embodiment, the second frame). It is a range, and those ranging ranges are measured by a plurality of subframes set in the second frame.
  • control unit 130 sets a ranging range that is not set in the first frame for each of the plurality of subframes included in the subframe group of the B group that divides the second frame. For example, the control unit 130 sets a distance measuring range that is not set in the first frame, is a distance measuring range that is different from each other, and has no distance continuity with each other, and is set in the subframe group of the B group. Set for each. Then, the control unit 130 controls the irradiation timing of the light source 110 and the light receiving timing of the camera 120 so as to perform distance measurement in the set distance measurement range in each of the subframe groups of the B group.
  • the subframe group of the B group may be composed of, for example, a part of the ranging sections (subframes) obtained by dividing the second frame.
  • the subframe group of the B group may be composed of, for example, subframes corresponding to sections in which a plurality of ranging sections of the A group are shifted in the depth direction.
  • the control unit 130 controls the light source 110 and the camera 120 for each distance measurement range to generate a digitally converted detection integrated signal (detection signal) for generating a distance image indicating the distance of an object within the distance range. Let the camera 120 generate it.
  • control unit 130 sets the distance measurement range so that the distance measurement range in the first frame and the distance measurement range in the second frame are distance ranges having distance continuity. ..
  • the control unit 130 does not improve the frame rate of the image sensor 122 in terms of hardware, but apparently expands the distance measurement range per hour to measure a wide range from a short distance to a long distance in a short time. From this point of view, the distance range of each of the three or more frames may be set so as to have the distance continuity with the three or more frames. The details of the ranging range set by the control unit 130 will be described later.
  • the calculation unit 140 of the object in the subframe based on the detection integrated value output signal (voltage signal) output from the output circuit 125 in each of the subframe groups of the A group and each of the subframe groups of the B group. It is a processing unit that determines the presence or absence. In the present embodiment, the calculation unit 140 determines the presence or absence of an object based on the digitally converted detection and integration signal obtained by performing a predetermined process (for example, a correlation double sampling process described later) on the detection and integration value output signal. judge. The arithmetic unit 140 may determine the presence or absence of an object by, for example, comparing the digitally converted detection and integration signal with a predetermined threshold value (for example, a LUT stored in the storage unit 150).
  • a predetermined threshold value for example, a LUT stored in the storage unit 150.
  • the calculation unit 140 determines that an object is in the ranging range (the subframe), and after digital conversion.
  • the value of the detection integration signal is less than a predetermined threshold value, it may be determined that there is no object in the ranging range (the subframe).
  • the value of the detected integrated signal after digital conversion is a value corresponding to the detected integrated value based on the number of times the APD receives the reflected light.
  • the calculation unit 140 identifies the subframe number (subframe No.) for each subframe, and determines the presence or absence of an object for each pixel of the subframe. Then, the calculation unit 140 outputs the subframe number and the object presence / absence determination result for each pixel to the synthesis unit 160. In the present embodiment, the calculation unit 140 outputs “Z” indicating the presence of an object, “0” indicating no object, and the subframe number to the synthesis unit 160 as the determination result.
  • the compositing unit 160 is a processing unit that generates one distance image based on the object presence / absence information for each of a plurality of subframes acquired from the calculation unit 140 and the subframe number.
  • the synthesis unit 160 generates one distance image by converting the subframe number output from the calculation unit 140 into distance information and then synthesizing the subframe, that is, the object presence / absence information indicating the presence / absence of an object for each distance. To do. It can be said that the compositing unit 160 generates one distance image by synthesizing a plurality of distance images (also referred to as a distance image group). For convenience, the distance image of each distance measurement section is also described as a section distance image.
  • the compositing unit 160 is, for example, an object presence / absence determination result and a distance for each pixel 122a in each of the subframe groups of the A group in the first frame (distance image group of the A group, for example, the first distance image group described later). Based on the information, a first distance image corresponding to the first frame is generated. Specifically, the compositing unit 160 extracts and synthesizes the determination result of the subframe image (interval distance image) in each of the subframe groups of the A group and the distance information, thereby combining one first distance image. Generate.
  • the compositing unit 160 determines, for example, the presence or absence of an object for each pixel 122a in each of the subframe groups of the B group in the second frame (the distance image group of the B group, for example, the second distance image group described later). Based on the result and the distance information, a second distance image corresponding to the second frame is generated. Specifically, the compositing unit 160 extracts one second distance image by extracting and synthesizing the determination result of the subframe image (interval distance image) and the distance information in each of the subframe groups of the B group. Generate.
  • first distance image and the second distance image may be, for example, images obtained by measuring distances different from each other. With the first distance image and the second distance image, the distance of the object within the entire distance range that can be measured by the distance detection device 100 can be acquired.
  • the compositing unit 160 may generate a three-dimensional distance image from the first distance image group. Further, the compositing unit 160 may generate a three-dimensional distance image from the second distance image group. Further, when the synthesis unit 160 determines by the calculation unit 140 that there is an object in a plurality of (two or more) section distance images of the same pixel 122a in each of the first distance image group and the second distance image group, The determination result of the section distance image on the front side in the depth direction may be preferentially selected.
  • the storage unit 150 is, for example, a RAM, and stores data or the like (for example, a LUT) used for the calculation of the calculation unit 140.
  • the output unit 170 adds distance information to the first distance image and the distance image based on the second distance image synthesized by the synthesis unit 160 and outputs the distance information. Further, the output unit 170 may add different colors individually set to the first distance image (for example, the distance image generated by the first distance image group imaging step described later) to the first distance image. Good. The output unit 170 may add the color to the three-dimensional distance image, for example. The output unit 170 may, for example, add color to the pixel 122a determined by the calculation unit 140 to have an object. Further, the output unit 170 may add different colors individually set to the second distance image (for example, the distance image generated by the second distance image group imaging step described later) to the second distance image. Good. The colors may be different from each other in each of the first distance image group and the second distance image group.
  • the calculation unit 140 determines that there is an object in a plurality of (two or more) section distance images of the same pixel 122a in each of the first distance image group and the second distance image group, and When the determination result of the section distance image on the front side in the depth direction is preferentially selected by the compositing unit 160, color may be added to the selected distance image among the plurality of distance images.
  • the output unit 170 may have, for example, an interface for outputting a distance image to the outside of the distance detection device 100.
  • the interface is, for example, a USB interface.
  • the output unit 170 outputs a distance image to an external PC (personal computer) or the like.
  • a control signal or a program or the like may be input to the distance detection device 100 from the external PC or the like via the interface.
  • the control unit 130, the calculation unit 140, the synthesis unit 160, and the output unit 170 are realized by, for example, an FPGA (Field Programmable Gate Array).
  • At least one of the control unit 130, the arithmetic unit 140, and the synthesis unit 160 may be realized by a reconfigurable processor capable of reconfiguring the connection and setting of the circuit cells inside the LSI, or may be realized by dedicated hardware. It may be realized by hardware (circuit), or it may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • FIG. 3A is a circuit diagram showing the configuration of the pixel 122a according to the present embodiment.
  • FIG. 3A shows a circuit diagram of one pixel 122a among the plurality of pixels included in the image sensor 122.
  • the image sensor 122 is composed of three blocks, a light receiving circuit 123 that receives incident light, an integrating circuit 124, and an output circuit 125.
  • a light receiving circuit 123 that receives incident light
  • an integrating circuit 124 that receives incident light
  • an output circuit 125 an output circuit 125.
  • the specific configuration described below is an example, and the configuration of the pixel 122a is not limited to that described below. For example, even with other configurations having similar functions, the same action and effect as those of the present embodiment can be obtained.
  • “ON” means applying a high-level voltage value signal
  • "OFF” means applying a low-level voltage value signal. ..
  • Each of the plurality of pixels 122a constituting the image sensor 122 has a light receiving circuit 123, an integrating circuit 124, and an output circuit 125.
  • a pixel region (not shown) is formed by a plurality of pixels 122a arranged in a two-dimensional manner.
  • the light receiving circuit 123 has a function of outputting a light receiving signal that changes depending on the presence or absence of incident light that has reached the APD within a predetermined exposure time to the integrating circuit 124.
  • the light receiving circuit 123 has an APD and transistors TR1 and TR2.
  • the APD is an example of a light receiving element for detecting photons.
  • the APD is an avalanche amplification type photodiode. That is, the APD is a photoelectric conversion unit that photoelectrically converts the incident light to generate an electric charge and multiplies the generated electric charge by an avalanche.
  • the anode of the APD is connected to the power supply VSUB and the cathode is connected to the floating diffusion FD via the transistor TR2.
  • APD captures incident photons and generates an electric charge by the captured photons.
  • the generated electric charge is accumulated and held in the floating diffusion FD via the transistor TR2. That is, in the floating diffusion FD, charges are accumulated according to the number of occurrences of the avalanche multiplication by APD.
  • the voltage supplied from the power supply VSUB is, for example, ⁇ 20 V.
  • Transistor TR1 is a switching transistor connected between the APD and the power supply RSD.
  • a reset signal OVF which is a control signal, is input to the control terminal (for example, the gate terminal) of the transistor TR1, and the continuity and non-conduction of the transistor TR1 are controlled by the reset signal OVF.
  • OVF When the reset signal OVF is turned on, the transistor TR1 is conducted, a reset voltage is applied to the APD from the power supply RSD, and the APD is reset to the initial state.
  • the reset voltage is, for example, 3V.
  • Transistor TR2 is a switching transistor connected between APD and floating diffusion FD.
  • a read signal TRN which is a control signal, is input to the control terminal (for example, the gate terminal) of the transistor TR2, and the continuity and non-conduction of the transistor TR2 are controlled by the read signal TRN.
  • the transistor TR2 When the read signal TRN is turned on, the transistor TR2 becomes conductive, and the electric charge generated in the APD is transferred to the floating diffusion FD. It can be said that the transistor TR2 is a transfer transistor for transferring the electric charge generated in the APD to the floating diffusion FD.
  • the control unit 130 controls various control signals so that the transistor TR1 becomes non-conducting and the transistor TR2 becomes conductive according to the exposure timing of the APD.
  • the integration circuit 124 has a function of integrating (accumulating) the charges generated by the plurality of exposures when the exposure is performed a plurality of times for each subframe.
  • the integrating circuit 124 for example, converts the photons detected by the APD into voltages in each of the subframe groups of the A group and each of the subframe groups of the B group and integrates them. Then, the integrating circuit 124 outputs the integrated charge (hereinafter, also referred to as a detected integrated value) to the output circuit 125.
  • the integrating circuit 124 has transistors TR3 and TR4 and a charge storage capacitor MIM1.
  • Transistor TR3 is a switching transistor (counter transistor) connected between the floating diffusion FD and the charge storage capacitor MIM1.
  • An integrated signal CNT which is a control signal, is input to the control terminal (for example, the gate terminal) of the transistor TR3, and the conduction and non-conduction of the transistor TR3 are controlled by the integrated signal CNT.
  • the integrated signal CNT is turned on, the transistor TR3 becomes conductive, and the charge accumulated in the floating diffusion FD is accumulated in the charge storage capacitor MIM1.
  • charges are accumulated in the charge storage capacitor MIM1 according to the number of received photons received by the APD by a plurality of exposures.
  • Transistor TR4 is a switching transistor connected between the charge storage capacitor MIM1 and the power supply RSD.
  • a reset signal RST which is a control signal, is input to the control terminal (for example, the gate terminal) of the transistor TR4, and the continuity and non-conduction of the transistor TR4 are controlled by the reset signal RST.
  • the reset signal RST is turned ON, the transistor TR4 is conducted, the reset voltage from the power supply RSD is applied to the floating diffusion FD, and the electric charge accumulated in the floating diffusion FD is reset to the initial state.
  • the reset voltage from the power supply RSD is applied to the charge storage capacitor MIM1, and the voltage of the charge storage capacitor MIM1 is reset to the reset voltage (reset to the initial state).
  • the charge storage capacitor MIM1 is connected between the output of the light receiving circuit 123 and the negative power supply VSSA, and stores the charges generated by each of the plurality of exposures in the subframe.
  • the charge storage capacitor MIM1 stores a pixel signal corresponding to the number of photons detected by the pixel 122a as a pixel voltage in each acquisition of a plurality of distance image groups including the first distance image group and the second distance image group. As a result, each time the APD receives a photon, the charge is accumulated in the charge storage capacitor MIM1.
  • the voltage of the charge storage capacitor MIM1 in the initial state is 3V, which is the reset voltage. Further, when the charge is accumulated in the charge storage capacitor MIM1, the voltage of the charge storage capacitor MIM1 drops from the initial state.
  • the charge storage capacitor MIM1 is an example of a storage element provided in the circuit of the pixel 122a.
  • the output circuit 125 amplifies the voltage corresponding to the charge (detection integrated value) stored in the charge storage capacitor MIM1, and outputs the amplified voltage to the signal line SL.
  • the output circuit 125 outputs, for example, a detection integrated value output signal corresponding to the detected integrated value integrated by the integrating circuit 124 in each of the subframe groups of the A group and each of the subframe groups of the B group.
  • the output circuit 125 has transistors TR5 and TR6.
  • the detected integrated value is an example of the integrated value.
  • the transistor TR5 is an amplification transistor connected between the transistor TR6 and the power supply VDD.
  • the control terminal (for example, the gate terminal) of the transistor TR5 is connected to the charge storage capacitor MIM1, the voltage is supplied to the drain from the power supply VDD, and the detection integrated value output according to the amount of charge of the charge stored in the charge storage capacitor MIM1. Output a signal.
  • the transistor TR6 is a switching transistor (selection transistor) connected between the transistor TR5 and the signal line SL (for example, a column signal line).
  • a row selection signal SEL which is a control signal, is input to the control terminal (for example, the gate terminal) of the transistor TR6, and the conduction and non-conduction of the transistor TR6 are controlled by the row selection signal SEL.
  • the transistor TR6 determines the timing at which the detection integrated value output signal is output. When the row selection signal SEL is turned ON, the transistor TR6 is conducted, and the detection integrated value output signal from the transistor TR5 is output to the signal line SL.
  • the CDS circuit 126 is a circuit for removing the offset component included in the detection integrated value output signal which is the output from the pixel 122a.
  • the offset component means an offset voltage signal peculiar to the transistor TR5 superimposed on the detected integrated value output signal.
  • the offset component may have a different value for each pixel 122a.
  • FIG. 3B is a circuit diagram showing the configuration of the CDS circuit 126 according to the present embodiment.
  • the CDS circuit 126 is provided for each pixel string.
  • Correlated double sampling is a technique for sampling the difference between the detected integrated value output signal supplied from the pixel and the output voltage from the amplification transistor after resetting the voltage of the charge storage capacitor MIM1 as an actual signal component. ..
  • the correlated double sampling is not particularly limited, and the prior art may be used. Therefore, a detailed description of the correlated double sampling will be omitted.
  • the CDS circuit 126 includes an inverter AMP1, a first CDS circuit CDS1 (first correlated double sampling circuit), and a second CDS circuit CDS2 (second correlated double sampling circuit). And an output unit AMP2.
  • the first CDS circuit CDS1 and the second CDS circuit CDS2 are connected in parallel.
  • Inverter AMP1 inverts and amplifies the detected integrated value output signal from the signal line SL.
  • the first CDS circuit CDS1 has transistors TR7 and TR8 and a capacitor C1. One end of the capacitor C1 is connected to the negative power supply VSSA.
  • the transistor TR7 is a switching transistor connected between the inverter AMP1 and the other end of the capacitor C1.
  • a control signal ODD_SH is input to the control terminal (for example, the gate terminal) of the transistor TR7, and the conduction and non-conduction of the transistor TR7 are controlled by the control signal ODD_SH.
  • the control signal ODD_SH is turned ON, the transistor TR7 is conducted, and the detected integrated signal (pixel signal) after offset removal, which is proportional to the difference between the detected integrated value output signal and the offset voltage signal, is accumulated in the capacitor C1.
  • the transistor TR8 is a switching transistor connected between the output unit AMP2 and the other end of the capacitor C1.
  • a control signal EVEN_SH is input to a control terminal (for example, a gate terminal) of the transistor TR8, and conduction and non-conduction are controlled by the control signal EVEN_SH.
  • the control signal EVEN_SH is turned ON, the transistor TR8 is conducted, and the detection integration signal after offset removal accumulated in the capacitor C1 is output to the output unit AMP2 (output buffer).
  • the first CDS circuit CDS1 accumulates the detection integration signal after offset removal corresponding to one pixel 122a of the adjacent pixels 122a in the pixel row.
  • the first CDS circuit CDS1 accumulates, for example, an offset-removed detection integration signal corresponding to pixels 122a in odd-numbered rows.
  • the second CDS circuit CDS2 has transistors TR9 and TR10 and a capacitor C2. One end of the capacitor C2 is connected to the negative power supply VSSA.
  • the transistor TR8 is a switching transistor connected between the inverter AMP1 and the other end of the capacitor C2.
  • a control signal EVEN_SH is input to the control terminal (for example, the gate terminal) of the transistor TR9, and the conduction and non-conduction of the transistor TR9 are controlled by the control signal EVEN_SH.
  • the control signal EVEN_SH is turned ON, the transistor TR9 is conducted, and the detected integrated signal (pixel signal) after offset removal, which is proportional to the difference between the detected integrated value output signal and the offset voltage signal, is accumulated in the capacitor C2.
  • the detection integration signal after offset removal of the pixel 122a of the pixel sequence different from that of the capacitor C1 is accumulated in the capacitor C2.
  • the transistor TR10 is a switching transistor connected between the output unit AMP2 and the other end of the capacitor C2.
  • a control signal ODD_SH is input to a control terminal (for example, a gate terminal) of the transistor TR10, and conduction and non-conduction are controlled by the control signal ODD_SH.
  • the control signal ODD_SH is turned ON, the transistor TR10 becomes conductive, and the electric charge accumulated in the capacitor C2 is output to the output unit AMP2.
  • the second CDS circuit CDS2 stores the detected and integrated signal after offset removal corresponding to the other pixel 122a of the adjacent pixels 122a in the pixel row.
  • the second CDS circuit CDS2 stores, for example, the detection integration signal after offset removal corresponding to the pixels 122a in even-numbered rows.
  • the transistors TR7 and TR10 are simultaneously conductive, and the transistors TR8 and TR9 are simultaneously conductive. Further, the timing at which the transistors TR7 and TR10 conduct with each other and the timing at which the transistors TR8 and TR9 conduct with each other are controlled so as to be different from each other.
  • the transistors TR7 and TR10 are conducted so that the detection integration signal after offset removal that has undergone the correlation double sampling process is accumulated in the capacitor C1.
  • the detection integration signal after offset removal accumulated in the capacitor C2 can be output to the ADC circuit 127.
  • Corresponding to the detection integration signal after offset removal accumulated in the capacitor C2 while the detection integration signal after offset removal accumulated in the capacitor C2 is being output to the ADC circuit 127 (for example, the detection integration signal after offset removal is being converted to AD).
  • the post-offset detection integration signal corresponding to the pixel 122a different from the pixel 122a can be stored in the capacitor C1.
  • the detection integration signal after offset removal accumulated in one of the capacitors C1 and C2 is output, and the other capacitor is output. After removing the offset, the detection integration signal can be stored in.
  • Correlated double sampling is the difference between the detected integrated value output signal supplied from the pixel 122a and the output voltage from the amplification transistor (for example, transistor TR5) after resetting the voltage of the charge storage capacitor MIM1 as an actual signal.
  • This is a technique for sampling as a component.
  • the correlated double sampling is not particularly limited, and the prior art may be used. Therefore, a detailed description of the correlated double sampling will be omitted.
  • the offset removal operation and the AD conversion operation can be performed simultaneously in the CDS circuit 126, and the frame rate of the image sensor 122 can be increased in hardware.
  • FIG. 3C is a circuit diagram showing the configuration of the ADC circuit 127 according to the present embodiment.
  • the ADC circuit 127 is provided for each pixel string.
  • the ADC conversion is, for example, a single slope method.
  • the DAC Digital to Analog Converter
  • the DAC outputs a RAMP signal
  • the RAMP signal and the output signal CDSOUT of the CDS circuit 126 are compared by COMPARATOR.
  • COMPARATOR Digital to Analog Converter
  • the output of COMPARATOR is inverted from the initial value, and a signal for stopping the counting operation of the comparator in the subsequent stage is output. Since the count value of COUNTER and the RAMP signal of DAC are synchronized and the stopped count value is proportional to the output signal CDSOUT of the CDS circuit 126, this count value is used as the digital value of the output signal CDSOUT.
  • the digital value is transferred to DATA-LATCH in each column, then transferred at high speed by DIGITAL-SHIFTREGISTER, and output from the image sensor 122. That is, the ADC circuit 127 is a circuit that sequentially transfers the detected and integrated signals after digital conversion in FIG. 2 at high speed and outputs them to the calculation unit 140 in FIG.
  • FIG. 4A is a diagram showing an example of the distance measurement processing timing in the first subframe of the A group of the distance detection device 100 according to the present embodiment.
  • the control unit 130 determines the ranging ranges of the first frame and the second frame so that the first frame and the second frame, which are different from each other, have different ranging ranges, for example. Then, for example, the control unit 130 divides the first frame into a plurality of subframes, and sets a distance measuring range that is different from each other and does not have distance continuity with each other in each of the plurality of subframes.
  • Group A includes a plurality of subframes obtained by dividing the one frame. 4A to 7A will describe a case where the first frame is divided into three subframes (first subframe, third subframe, and fifth subframe).
  • the first subframe has a ranging range of 9 m to 12 m
  • the third subframe has a ranging range of 15 m to 18 m
  • the fifth subframe has a ranging range of 21 to 24 m.
  • each of the subframes is determined so that the distance measuring range does not have distance continuity with each other.
  • the distance measurement in the distance measurement range of 12 m to 15 m and 18 m to 21 m is performed, for example, in the second frame.
  • the width of the distance measuring range is uniformly 3 m, but the width is not limited to this.
  • the first subframe has a first ranging period and a first reading period.
  • the first distance measuring period is a period for performing distance measurement in the distance measuring range according to the first subframe, and the first reading period reads (outputs) the detected integrated value output signal from the pixel 122a to the CDS circuit 126. The period.
  • control unit 130 conducts the transistor TR4 by applying a reset signal RST to the gate terminal of the transistor TR4 of the integrating circuit 124, and resets the charge storage capacitor MIM1.
  • control unit 130 controls the light source 110 and irradiates a light source pulse (light pulse) having a width of the period T1.
  • the period T1 is, for example, 20 ns, but is not limited thereto.
  • the reflected light reflected by the object is the period with respect to the time when the light source pulse is emitted from the light source 110.
  • the distance detection device 100 is reached with a delay of TD1. Therefore, if the exposure is set to start at this time and the exposure is performed only during the period TE1 by the read signal TRN of the light receiving circuit 123, the reflected light from the object within this distance range can be detected.
  • the period TD1 is determined based on the minimum value of the ranging range (here, 9 m) and the speed of light.
  • TE1 is determined based on the difference between the maximum value (12 m in this case) and the minimum value within the ranging range and the speed of light.
  • the period TD1 is, for example, 60 ns, and the period TE1 is, for example, 20 ns.
  • the period TE1 is the exposure period.
  • the transistor TR1 is non-conducting and the transistor TR2 is conducting.
  • the transistor TR1 becomes conductive and the transistor TR2 becomes non-conducting.
  • the APD is reset.
  • the transistor TR3 is conducted by the integration signal CNT, so that the charge accumulated in the floating diffusion FD is accumulated in the charge storage capacitor MIM1.
  • the above operation is repeatedly executed a predetermined number of times.
  • the predetermined number of times is not particularly limited.
  • the above operation may be performed at least once during the first distance measuring period.
  • the charge stored in the charge storage capacitor MIM1 increases each time the APD receives the reflected light.
  • the first CDS period is a period for outputting the detection integrated value output signal from the output circuit 125 to the CDS circuit 126.
  • the transistor TR3 among the transistors TR3 and TR4 is first conducted.
  • the detection integrated value output signal is output from the output circuit 125 to the CDS circuit 126.
  • both the transistors TR3 and TR4 are conducted.
  • the charge storage capacitor MIM1 is reset. By making the transistors TR3 and TR4 non-conducting again, the reset operation of the charge storage capacitor MIM1 is completed.
  • the second CDS period is a period for the charge storage capacitor MIM1 to output a reset voltage signal corresponding to the voltage in the initial state from the output circuit 125 to the CDS circuit 126.
  • the transistor TR3 among the transistors TR3 and TR4 is first conducted.
  • the reset voltage signal is output from the output circuit 125 to the CDS circuit 126.
  • both the transistors TR3 and TR4 are conducted.
  • the charge storage capacitor MIM1 is reset again. By making the transistors TR3 and TR4 non-conducting again, the reset operation of the charge storage capacitor MIM1 is completed.
  • the detected integrated signal after offset removal based on the difference between the detected integrated value output signal and the reset voltage signal is generated and accumulated.
  • the integrated detection signal after offset removal is a signal that depends only on the intensity of the reflected light received by the APD.
  • the detection integration signal after offset removal is converted into a digital signal by the ADC circuit 127, and the calculation unit 140 determines the presence or absence of an object. Then, the determination result is output to the synthesis unit 160.
  • the distance detection device 100 performs a process of reading the detection integrated value output signal generated by the distance measurement as soon as the distance is measured.
  • the pixel 122a pixel circuit
  • the pixel 122a pixel circuit
  • FIG. 4B is a diagram showing a first subframe image according to the present embodiment.
  • FIG. 4B shows an image composed of 3 pixels each in the vertical and horizontal directions. The same applies to FIGS. 5B and 6B described later.
  • FIG. 4B shows a case where the calculation unit 140 determines that there is an object in 2 of the 9 pixels based on the digital signal and the LUT.
  • “Z1” in the figure is information indicating that an object is determined to exist in the first subframe.
  • the pixel 122a in which "Z1" is described is a pixel determined to have an object in the first subframe.
  • "Z1" has distance information.
  • the third subframe is, for example, a subframe whose distance is measured after the first subframe, and a range far from the distance measurement range of the first subframe is measured.
  • FIG. 5A is a diagram showing an example of the distance measurement processing timing in the third subframe of the distance detection device 100 according to the present embodiment.
  • the third subframe has a third ranging period and a third reading period.
  • the third distance measurement period is a period for performing distance measurement
  • the third reading period is a period for reading (outputting) the detected integrated value output signal from the pixel 122a to the CDS circuit 126.
  • the period TD3 from the emission of the light source pulse to the start of exposure is different from the period TD1 in the first ranging period.
  • the period TD3 is longer than the period TD1 because the third subframe measures a range farther than the first subframe.
  • the supply timing of the read signal TRN with respect to the light emission of the light source pulse differs depending on the ranging range in the subframe.
  • the period T3 may be the same as the period T1, for example, 20 ns.
  • the difference (here, 3 m) between the maximum value and the minimum value within the ranging range is the same, the period TE3 is the same as the period TE1, for example, 20 ns.
  • processing in the third reading period is the same as that in the first reading period, and the description thereof will be omitted.
  • FIG. 5B is a diagram showing a third subframe image according to the present embodiment.
  • FIG. 5B shows a case where the calculation unit 140 determines that there is an object in two of the nine pixels.
  • the pixel 122a of "Z3" in the figure is a pixel determined to have an object.
  • the fifth subframe is, for example, a subframe whose distance is measured after the third subframe, and measures a range farther than the distance measurement range of the third subframe.
  • FIG. 6A is a diagram showing an example of the distance measurement processing timing in the fifth subframe of the distance detection device 100 according to the present embodiment.
  • the fifth subframe has a fifth ranging period and a fifth reading period.
  • the fifth distance measurement period is a period for performing distance measurement
  • the fifth reading period is a period for reading (outputting) the detected integrated value output signal from the pixel 122a to the CDS circuit 126.
  • the period TD5 from the emission of the light source pulse to the start of exposure is different from the period TD3 in the third ranging period.
  • the period TD5 is longer than the period TD3 because the fifth subframe measures a range farther than the third subframe.
  • the period T5 may be the same as the period T3, for example, 20 ns.
  • the period TE5 is the same as the period TE3, for example, 20 ns.
  • the processing in the fifth reading period is the same as that in the third reading period, and the description thereof will be omitted.
  • FIG. 6B is a diagram showing a fifth subframe image according to the present embodiment.
  • FIG. 6B shows a case where the calculation unit 140 determines that there is an object in 2 of the 9 pixels.
  • the pixel 122a of "Z5" in the figure is a pixel determined to have an object.
  • FIG. 7 is a diagram showing a distance image after composition according to the present embodiment.
  • the compositing unit 160 creates a distance image (an example of a first distance image) in the first frame based on the first subframe image, the third subframe image, and the fifth subframe image. Generate. The compositing unit 160 generates one distance image in the first frame by synthesizing the first subframe image, the third subframe image, and the fifth subframe image.
  • the distance information “Z1” is associated with the first subframe image, the third subframe image, and the first subframe image of the fifth subframe image. Has been done. Therefore, for example, the compositing unit 160 uses the distance information "Z1" in the lower right pixel 122a. In other words, the compositing unit 160 corresponds to the first subframe of the A group in the lower right pixel 122a. Information indicating that there is an object at a position of 9 m to 12 m, which is the distance measuring range, is associated with the pixel 122a.
  • the calculation unit 140 may determine that there is an object in two or more subframes (two or more section distance images) for the same pixel 122a. For example, as shown in FIGS. 4B and 6B, the calculation unit 140 determines that there are objects in the upper left pixel 122a at 9 m to 12 m and 18 m to 21 m, respectively. In this case, the synthesis unit 160 appropriately selects one of them according to the application of the distance detection device 100 and the like. For example, when the distance detection device 100 is used in an automobile, the synthesis unit 160 preferentially selects the short-distance information because the short-distance information has a greater influence on driving. In the present embodiment, as shown in FIG. 7, "Z1" indicating that the object is located at a position of 9 m to 12 m is selected.
  • the synthesis unit 160 determines that the arithmetic unit 140 has an object in two or more subframes of the A group among the subframe groups of the A group for one pixel 122a.
  • the first distance image may be generated based on the determination result of the subframe of the A group in which the distance measurement range on the short distance side is measured among the two or more subframes of the A group. The same applies to the second frame.
  • long-distance information may be preferentially selected.
  • FIG. 8 is a flowchart showing an example of the distance image generation process of the distance detection device 100 according to the present embodiment.
  • the processing of steps S10 to S100 shown below is an example of the first distance detection step of detecting the distance to the object in the first frame.
  • the processes shown in steps S110 to S200 below are an example of the second distance detection step of detecting the distance to the object in the second frame.
  • step S10 is an example of a setting step
  • steps S20 to S90 are an example of a first distance image group imaging step
  • steps S110 to S190 are an example of a second distance image group imaging step. Is.
  • the first distance image group imaging step and the second distance image group imaging step are included in the imaging step.
  • the control unit 130 divides the distance measuring section in the depth direction (S10).
  • the depth direction is the imaging direction of the image sensor 122, for example, the front.
  • the control unit 130 divides the distance measuring section for each distance from the image sensor 122, for example. For example, when the range-finding range of the image sensor 122 is 9 m to 15 m, the control unit 130 sets the range-finding range of 9 m to 12 m as one range-finding section and the range-finding range of 12 m to 15 m as one range-finding section. To do. This is an example of dividing the ranging section in the depth direction.
  • the control unit 130 may divide the distance measuring section so as to have distance continuity in the depth direction.
  • control unit 130 may set a distance measuring range different from each other and having distance continuity with each other in each of the distance measuring sections of the A group. It can be said that the control unit 130 divides the first frame into a plurality of subframes for each distance measurement section. A part of the subframes (subframe group) of the ranging section is included in the A group. The number of divisions is not particularly limited.
  • the distance measuring section is an example of a distance dividing section.
  • the control unit 130 may set the distance of the distance measuring section on the front side (the side closer to the camera 120) in the depth direction to be narrower than the distance measuring section on the back side in the depth direction.
  • the control unit 130 may gradually change the distance of the distance measuring section from the front side to the back side in the depth direction.
  • the control unit 130 may gradually increase the distance of the distance measuring section from the distance measuring section on the front side in the depth direction to the distance measuring section on the back side (for example, as the distance from the camera 120 increases).
  • control unit 130 may set, for example, each distance measurement section (for example, each subframe) of the A group to a distance measurement section that is discontinuous with each other. Specifically, the control unit 130 may set a distance measuring range that is different from each other and does not have distance continuity with each other in each of the distance measuring sections of the A group.
  • Step S10 is also an example of the first setting step.
  • control unit 130 captures a distance image for each distance measurement section of the A group (S20).
  • the control unit 130 controls the light source 110 and the camera 120 so as to perform distance measurement in each of the distance measurement sections of the A group set in the A step S10.
  • the control unit 130 controls the light source 110 and the camera 120, for example, as shown in FIG. 4A and the like.
  • the distance measuring section of the A group is a part of the distance measuring section set in step S10.
  • a distance image in which the charges generated by the incident of photons are integrated a plurality of times is imaged in the distance measuring section (S30).
  • the integrated charge is also referred to as an integrated charge S1.
  • Taking a distance image here corresponds to, for example, acquiring the integrated charge S1 of the distance image.
  • the integrated charge S1 corresponds to the detected integrated value shown in FIG. Further, the integrated charge S1 is stored in the charge storage capacitor MIM1.
  • Steps S20 and S30 are examples of the first distance measuring step.
  • the arithmetic unit 140 reads the integrated charge S1 of the distance image from the image sensor 122 (S40).
  • the detection integrated value output signal (voltage signal corresponding to the light received by the APD) corresponding to the integrated charge S1 is output to the outside of the pixel 122a for each distance measurement section of the A group.
  • step S40 the CDS processing step of performing the correlation double sampling processing on the detection integrated value output signal output from the pixel 122a and holding the detection integrated value output signal and the detection acquired before the detected integrated value output signal are further performed.
  • the integrated value output signal that is, the detected integrated value output signal output from the adjacent pixels 122a in the pixel array
  • the detected integrated value output signal that is, offset removal
  • It may include an output step that outputs a post-detection integration signal).
  • the CDS processing step and the output step are performed in parallel.
  • the CDS processing step is executed in the first read period shown in FIG. 4A and the like, and in the first read period, the offset-removed detection integration signal subjected to the correlation double sampling processing from the CDS circuit 126 is transmitted to the ADC circuit 127. It is output.
  • the offset removal-after offset detection integration signal that has undergone the correlation double sampling processing is output.
  • the calculation unit 140 adds the distance measurement section information to the distance image (S50).
  • the ranging section information includes information indicating the ranging section, and includes, for example, information based on the subframe No.
  • the calculation unit 140 determines the presence / absence of an object based on the result of distance measurement (for example, a digital signal generated based on the detection integrated value output signal) for each distance measurement section of the A group (S60). ). For example, the arithmetic unit 140 compares the integrated charge S1 (an example of a first voltage signal) with the threshold voltage. For example, the arithmetic unit 140 compares the signal (voltage signal) corresponding to the integrated charge S1 with the threshold voltage. Then, when the integrated charge S1 is larger than the threshold voltage (Yes in S60), the calculation unit 140 sets a flag in the presence determination pixel indicating the presence of the object (S70). The process of step S70 is performed for each pixel 122a. In the subframe, the flag is set on the pixel 122a determined to have an object. Further, when the integrated charge S1 is equal to or less than the threshold voltage (No in S60), the calculation unit 140 proceeds to step S80.
  • the integrated charge S1 is equal to or less than the threshold
  • the calculation unit 140 outputs the determination result and the distance measurement section information to the synthesis unit 160 in each of the distance measurement sections of the A group.
  • the determination result is, for example, a subframe image shown in FIG. 4B or the like.
  • Step S60 is an example of the first determination step.
  • the control unit 130 determines whether or not a distance image of the entire ranging section of the A group has been captured (S80).
  • the control unit 130 determines that the control unit 130 has captured the distance images of all the distance measurement sections of the A group (Yes in S80)
  • the synthesis unit 160 completes the imaging of the first distance image group (S90), and each distance measurement section
  • the flags standing on the pixel 122a of the above are combined, and the first distance image is generated and output (S100).
  • Step S100 is an example of the first distance image generation step.
  • control unit 130 determines that the distance image of the entire distance measurement section of the A group has not been captured (No in S80)
  • the process returns to step S20 and the imaging of the distance image is completed in the entire distance measurement section of the A group.
  • the processing of steps S20 to S70 is continued until the above.
  • the second distance image is an image generated based on the result of distance measurement of the distance measurement section that was not measured in the first distance image.
  • the control unit 130 shifts the division position (division distance) of the distance measurement section in the depth direction from the distance measurement section set in step S10 (S110). It can be said that the control unit 130 sets a distance measuring section having a phase different from that of the distance measuring section set in step S10. Further, it can be said that the control unit 130 divides the second frame into a plurality of subframes for each distance measurement section. Each subframe (subframe group) of the measurement section is included in the B group.
  • the number of divisions is not particularly limited, but may be, for example, the same as the number of subframes of group A.
  • control unit 130 may set a discontinuous distance measuring section that is not set in the A group as the distance measuring section of the B group. Specifically, the control unit 130 has different distance measuring ranges and distance continuity with each other among the distance measuring ranges not set in the first frame in each of the distance measuring sections of the B group. You may set the distance measurement range.
  • the control unit 130 selects a distance measurement range not set in the first frame from the range that can be measured by the distance detection device 100, and assigns the selected distance measurement range to each of the distance measurement sections of the B group.
  • the distance measurement section may be set. Assigning the distance measurement section in this way is also included in shifting the division position of the distance measurement section in the depth direction.
  • control unit 130 captures a distance image for each distance measurement section of the B group (S120).
  • the control unit 130 controls the light source 110 and the camera 120 so as to perform distance measurement in the distance measurement section set in step S110.
  • a distance image obtained by integrating the charges generated by the photon incident a plurality of times in the distance measuring section is imaged (S130).
  • the integrated charge is also referred to as an integrated charge S2.
  • Taking a distance image here corresponds to, for example, acquiring the integrated charge S2 of the distance image.
  • the integrated charge S2 corresponds to the detected integrated value shown in FIG. Further, the integrated charge S2 is stored in the charge storage capacitor MIM1.
  • Steps S120 and S130 are examples of the second ranging step.
  • the arithmetic unit 140 reads the integrated charge S2 of the distance image from the image sensor 122 (S140).
  • the detection integrated value output signal (voltage signal corresponding to the light received by the APD) corresponding to the integrated charge S2 is output to the outside of the pixel 122a for each distance measurement section of the B group.
  • step S140 further includes a CDS processing step and an output step, and the CDS processing step and the output step may be performed in parallel.
  • the calculation unit 140 adds the distance measurement section information to the distance image (S150).
  • the calculation unit 140 determines the presence or absence of an object based on the distance measurement result (digital signal) for each distance measurement section of the B group (S160). That is, the calculation unit 140 compares the integrated charge S2 with the threshold voltage. Then, when the integrated charge S2 is larger than the threshold voltage (Yes in S160), the calculation unit 140 sets a flag in the presence determination pixel indicating that there is an object (S170). The process of step S170 is performed for each pixel 122a. In the distance image, the flag is set for the pixel determined to have an object. Further, when the integrated charge S2 is equal to or less than the threshold voltage (No in S160), the calculation unit 140 proceeds to step S180.
  • the threshold voltage used in step S160 and the threshold voltage used in S60 have the same voltage value, but may be different voltage values.
  • the calculation unit 140 outputs the determination result and the distance measurement section information to the synthesis unit 160 in each of the distance measurement sections of the B loop.
  • Step S160 is an example of the second determination step.
  • the control unit 130 determines whether or not the distance image of the entire ranging section of the B group has been captured (S180).
  • the synthesis unit 160 determines that the control unit 130 has captured the distance image of the entire distance measurement section of the B group (Yes in S180)
  • the synthesis unit 160 completes the imaging of the second distance image group (S190), and each distance measurement section A second distance image is generated and output by synthesizing the flags standing on the pixel 122a of the above (S200).
  • Step S200 is an example of the second distance image generation step.
  • control unit 130 determines that the distance image of the entire distance measurement section of the B group has not been captured (No in S180)
  • the control unit 130 returns to S120 and the imaging of the distance image is completed in the entire distance measurement section of the B group. Until then, the processing of steps S120 to S170 is continued.
  • the distance detection device 100 repeatedly executes the processes S10 to S200 shown in FIG. In other words, the first distance image and the second distance image are generated alternately.
  • the control unit 130 controls the light source 110 and the camera 120 so as to alternately generate the first distance image and the second distance image, for example. Therefore, the output unit 170 can alternately output the first distance image and the second distance image.
  • FIG. 9A is a schematic diagram for explaining an example of the first distance image according to the present embodiment.
  • FIG. 9B is a flowchart schematically showing a flow in which the first distance image according to the present embodiment is generated.
  • FIG. 9B shows a case where the processes of steps S20 to S80 shown in FIG. 8 are repeatedly executed.
  • FIG. 9B shows a case where the processes of steps S20 to S40 are repeatedly executed.
  • the flowchart shown in FIG. 9B is an example of the first distance image group imaging step.
  • FIG. 9C is a schematic diagram for explaining an example of the second distance image according to the present embodiment. Note that FIGS. 9A to 9E show a case where the distance measurement sections of the A group and the B group are set to continuous distance measurement sections.
  • the first distance image group includes the first section distance image to the tenth section distance image.
  • the first ranging section corresponding to the first section distance image and the second ranging section corresponding to the second section distance image are distance measuring sections that are continuous with each other.
  • the widths of the distance measurement sections in the first distance image group may be equal to each other.
  • the width may be 3 m or the like.
  • the distance measuring section from the distance measuring section corresponding to the first section distance image to the distance measuring section corresponding to the tenth section distance image is the distance measuring section in the A frame ( An example set as a distance measuring section) for generating a first distance image is shown.
  • the image sensor 122 first captures the first section distance image (S310) and outputs the first section distance image (S320).
  • the first section distance image shown in FIG. 9A is generated by steps S310 and S320 shown in FIG. 9B.
  • Step S310 corresponds to the processing of steps S20 and S30 in the first ranging section
  • step S320 corresponds to the processing of step S40 in the first ranging period.
  • steps S310 and S320 are examples of the first section distance image capturing step.
  • steps S310 and S320 are processes performed in the first subframe shown in FIG. 4A
  • step S310 is a process in the first ranging period
  • step S320 is a process in the first read period.
  • imaging and output (S330 to S400) of the second section distance image to the tenth section distance image are also sequentially executed in the same manner.
  • the second distance image group includes the first section distance image to the tenth section distance image.
  • the first ranging section corresponding to the first section distance image and the second ranging section corresponding to the second section distance image are distance measuring sections that are continuous with each other.
  • the widths of the distance measurement sections in the second distance image group may be equal to each other. For example, it may be 3 m or the like.
  • the first distance measuring section in the second distance image group and the first distance measuring section in the first distance image group are at least partially different sections.
  • FIG. 9D is a diagram showing a first example of the relationship between the distance measuring sections for each frame according to the present embodiment. Specifically, FIG. 9D is a diagram showing an example of the relationship between the distance measurement sections in the first distance image group and the second distance image group.
  • the first distance measuring section of the first distance image group and the first distance measuring section of the second distance image group may overlap.
  • the distance from the minimum value of the ranging range in the first ranging section of the first distance image group to the minimum value of the ranging range in the first ranging section of the second distance image group is defined as the distance X1, and the second distance image group.
  • the distance Y1 the distance Y1
  • each distance measurement section of the first distance image group and each distance measurement section of the second distance image group that is, the width of the distance measurement section
  • the first distance measurement section of the second distance image group overlaps with each half of the first distance measurement section and the second distance measurement section of the first distance image group. That is, the plurality of distance measurement sections included in the first distance image group imaging step and the plurality of distance measurement sections included in the second distance image group imaging step may be shifted by half from each other.
  • the width of each distance measuring section of the first distance image group and the width of each distance measuring section of the second distance image group may be, for example, equal.
  • FIG. 9E is a diagram showing a second example of the relationship between the distance measuring sections for each frame according to the present embodiment. Specifically, FIG. 9E is a diagram showing an example of the relationship between the distance measurement sections in the first distance image group and the Nth distance image group. N is an integer of 3 or more.
  • the first distance measuring section of the first distance image group and the first distance measuring section of the Nth distance image group may overlap.
  • the distance from the minimum value of the ranging range of the first ranging section of the first distance image group to the minimum value of the ranging range of the first ranging section of the Nth distance image group is defined as the distance X2, and the Nth distance image group.
  • the plurality of distance measuring sections included in the first distance image group imaging step and the plurality of divided sections included in the Nth distance image group imaging step may be sections shifted by 1 / N sections from each other. That is, each of the distance measuring sections from the first distance image group to the Nth distance image group may be sections shifted by equal intervals.
  • the distance measuring sections of the first distance image group and the second distance image group so that at least a part of the distance measuring sections overlap each other, for example, the first distance image group and the second distance measuring section are overlapped. Even if there is a section in the distance image group where the distance measurement is not performed accurately, it can be supplemented by the other distance measurement. That is, the measurement accuracy is improved. Further, by changing the distance measuring section for each distance image group, it is possible to measure a wide range from a short distance to a long distance without lowering the resolution.
  • first distance measuring section of the second distance image group may overlap with any one of the distance measuring sections of the first distance image group.
  • FIG. 10A is a schematic diagram for explaining another example of the first distance image according to the present embodiment.
  • FIG. 10B is a schematic diagram for explaining another example of the second distance image according to the present embodiment. Note that FIGS. 10A to 10D show a case where each distance measuring section of the A group and the B group is set to a distance measuring section that is discontinuous with each other.
  • the first distance image group includes the first section distance image to the tenth section distance image.
  • the first distance measuring section corresponding to the first section distance image and the second distance measuring section corresponding to the second section distance image are distance measuring sections that are not continuous with each other.
  • the widths of the distance measurement sections in the first distance image group may be equal to each other.
  • the width may be 3 m or the like.
  • the second distance image group includes the first section distance image to the tenth section distance image.
  • the first distance measuring section corresponding to the first section distance image and the second distance measuring section corresponding to the second section distance image are distance measuring sections that are not continuous with each other.
  • the widths of the distance measurement sections in the second distance image group may be equal to each other.
  • the width may be 3 m or the like.
  • the first distance measuring section in the second distance image group and the first distance measuring section in the first distance image group are at least partially different sections. In other words, the first distance measuring section in the second distance image group and the first distance measuring section in the first distance image group may be at least a partially overlapping section.
  • FIG. 10C is a diagram showing a second example of the relationship between the distance measuring sections for each frame according to the present embodiment. Specifically, FIG. 10C is a diagram showing an example of the relationship between the distance measurement sections in the first distance image group and the second distance image group.
  • the distance detection device 100 can measure a distance from 9 m to 69 m, and the distance measurement range of each distance measurement section is set in the range of 9 m to 3 m. That is, the width of the distance measuring section is set to 3 m.
  • the distance measurement range of the first distance measurement section (first subframe) of the first distance image group (A group) is 9 m to 12 m
  • the first distance measurement section of the second distance image group (B group) The distance measurement range of the (second subframe) is 12 m to 15 m
  • the distance measurement range of the second distance measurement section (third subframe) of the first distance image group is 15 m to 18 m, ..., The second distance image group.
  • the tenth distance measuring section (distance measuring range of the tenth subframe) is 66 m to 69 m. In both the first distance image group and the second distance image group, the distance range is set intermittently.
  • the first distance image group and the second distance image group are images that supplement each other's missing distance measurement range.
  • the control unit 130 sets the distance measurement range of each distance measurement section of the first distance image group and the second distance image group so as to complement each other's missing distance measurement ranges.
  • the distance detection device 100 sets the distance measurement range for each frame. Distance continuity can be ensured.
  • the period of each distance measuring section is 4.3 msec (for example, the distance measuring period is 1 msec and the reading period is 3.3 msec).
  • the frame speed of one frame is 43 msec (frame rate is 23.3 fps).
  • the frame speed of one frame is 86 msec (frame rate 11.6 fps). Therefore, according to the present embodiment, the apparent frame rate can be improved.
  • the ranging range set in the first frame and the ranging range set in the second frame may partially overlap. That is, in step S110, the ranging range may be set so as to partially overlap the ranging range set in step S10. In this case, in step S10 and step S110, it is preferable that the distance measuring range of the first frame and the distance measuring range of the second frame are set so that the widths of the distance measuring ranges are equal to each other.
  • the range of the first range of the A group is 8 m to 13 m
  • the range of the first range of the group B is 11 m to 16 m
  • the range of the second range of the group A is 14 m. It is good to set it as ⁇ 19m.
  • the width of the distance measuring section is 5 m.
  • the distance measurement ranges of the distance measurement sections (for example, the first distance measurement section and the second distance measurement section of Group A) that are adjacent to each other in time do not overlap. May be set to.
  • the distance image acquisition method includes a setting step (S10) for setting a plurality of distance division sections in the depth direction and an imaging step for acquiring a distance image based on the set plurality of distance division sections.
  • the imaging step includes a first distance image group imaging step (S20 to S90) for acquiring a plurality of distance images obtained by capturing a part of a plurality of distance division sections, and a distance having a phase different from that of the part of the plurality of distance division sections. It includes a second distance image group imaging step (S110 to S190) for acquiring a plurality of distance images in which the divided sections are imaged.
  • the method for acquiring a distance image according to the present disclosure can quickly acquire information to an object, that is, a distance image, over a wide range from a short distance to a long distance with high accuracy resolution.
  • the plurality of distance division sections may have continuity in the depth direction.
  • the distance image group acquired in the first distance image group imaging step and the second distance image group imaging step includes images for the same distance. Since it is possible to detect an object at the distance using two images, the detection accuracy is improved.
  • the plurality of distance division sections do not have to have continuity in the depth direction.
  • the ranging range is set discretely in each of the first distance image group imaging step and the second distance image group imaging step, so that the first distance image group imaging step and the second distance image group imaging step
  • the processing can be speeded up. Therefore, the distance image can be acquired faster.
  • the two or more distance division sections included in the first distance image group imaging step and the two or more distance division sections included in the second distance image group imaging step may be deviated by half from each other.
  • the half section may be, for example, half of the first ranging section corresponding to the first section captured image.
  • the imaging step is composed of N (integer of 3 or more) times or more of the distance image group imaging step, and each of the two or more distance division sections included in each distance image group imaging step is shifted by 1 / N interval. You may be.
  • the section on the front side in the depth direction is set to a narrower distance range than the section on the back side in the depth direction.
  • a narrow distance range means that the width of the distance measurement section is narrow.
  • the distance to the object near the image sensor 122 can be obtained in detail. Therefore, it is possible to quickly acquire information up to the object with higher accuracy resolution.
  • the distance detection device 100 includes an image sensor 122 in which pixels having APD (Avalanche Photo Audio) are arranged in a two-dimensional manner, and a light source 110 that emits irradiation light toward an object to be imaged.
  • a calculation unit 140 that processes the image captured by the image sensor 122, a control unit 130 that controls the light source 110, the image sensor 122, and the calculation unit 140, and a composition unit 160 that synthesizes the image processed by the calculation unit 140. It is provided with an output unit 170 that adds predetermined information to the image and outputs the image.
  • control unit 130 sets a plurality of distance division sections in the depth direction, and controls the light source 110, the image sensor 122, and the calculation unit 140 to capture a part of the set distance division sections.
  • the first distance image group which is the distance image of the above is acquired, and the second distance image group which is a plurality of distance images which imaged the distance division section which is different in phase from a part of the plurality of distance division sections is acquired.
  • the distance detection device 100 can quickly acquire information to an object, that is, a distance image, with high accuracy over a wide range from a short distance to a long distance.
  • the image sensor 122 provides a pixel signal corresponding to the number of photons detected by the pixel 122a in the circuit of the pixel 122a in each acquisition of the first distance image group and the second distance image group. It has a configuration in which it is stored as a pixel voltage in a storage element and the stored pixel voltage is read out to the calculation unit 140.
  • the calculation unit 140 determines that the distance image has an object.
  • the compositing unit 160 generates a three-dimensional distance image from each of the first distance image group and the second distance image group. Then, the output unit 170 adds different colors set in each of the first distance image group and the second distance image group to the three-dimensional distance image.
  • the pixel 122a (pixel circuit) for realizing the distance detection device 100 can be miniaturized.
  • the distance detection device 100 further includes a CDS circuit 126 (correlation double sampling circuit) that outputs a pixel signal read from the pixel 122a from the image sensor 122 after removing noise.
  • the CDS circuit 126 is a pixel signal of the pixel 122a in the n-1th row during the period in which the pixel signal of the pixel 122a in the nth row of the pixels 122a arranged in the two-dimensional shape is noise-removed. Outputs a pixel signal for which noise removal has been completed before.
  • the noise removal of the pixel signal and the output of the noise-removed pixel signal can be performed in parallel, so that the information to the object, that is, the distance image can be acquired even faster.
  • the synthesis unit 160 is on the front side in the depth direction.
  • the judgment result of the distance image of is preferentially selected.
  • the output unit 170 adds color to the selected distance image.
  • the detection result can be output assuming that the object is closest to the image sensor 122.
  • the vehicle can travel more safely.
  • the distance detection method is a distance detection method in the distance detection device 100 in which pixels 122a having an APD (Avalanche Photodiode) are arranged two-dimensionally.
  • the distance detection method includes a first distance detection step (for example, steps S10 to S100) for detecting the distance to the object in the first frame, and a distance to the object in the second frame after the first frame.
  • a second distance detection step for example, steps S110 to S200 for detecting the above is included.
  • the first distance detection step is a plurality of subframes obtained by dividing the first frame, and each of the plurality of subframes included in the A group has different distance measuring ranges and does not have distance continuity with each other.
  • a second distance measuring range that is not set in the first setting step is set for each of the plurality of subframes obtained by dividing the second frame and included in the B group. It includes a setting step (S110) and a second distance measuring step (S120) for performing distance measurement in the distance measuring range set in the second setting step in each of the subframe groups of the B group.
  • the first distance image and the second distance image are images that do not have continuity in the distance measurement range, respectively. Therefore, the first distance image and the second distance image can be generated in a short period of time as compared with the case where each of the first distance image and the second distance image measures the measurement range in the distance detection device 100. Further, the second distance image is an image of the distance measuring range missing in the first distance image. For example, by alternately generating the first distance image and the second distance image, the continuity of the distance measurement range can be ensured. Therefore, according to the distance detection method according to the present embodiment, while ensuring the continuity of the distance measurement range (distance continuity), the object can be reached with high accuracy over a wide range from a short distance to a long distance. It is possible to provide a distance detecting device 100 capable of acquiring the information of the above.
  • the ranging range is set so as to partially overlap the ranging range set in the first setting step.
  • the first voltage signal corresponding to the photon detected by the APD is output to the outside of the pixel 122a in each of the subframe groups of the A group.
  • the first distance detection step further includes a first determination step (S60) for determining the presence or absence of an object based on the first voltage signal in each of the subframe groups of the A group, and each of the subframe groups of the A group. It includes a first distance image generation step (S100) for generating a first distance image by synthesizing the determination results.
  • the second voltage signal corresponding to the photon detected by the APD is output to the outside of the pixel 122a in each of the subframe groups of the B group.
  • the second distance detection step further includes a second determination step (S160) for determining the presence or absence of an object based on the second voltage signal in each of the B group subframe groups, and a B group subframe group (for example, for example).
  • a second distance image generation step (S200) for generating a second distance image by synthesizing the respective determination results of the second distance image group) is included.
  • the number of parts to be added to the pixel 122a in the distance detection device 100 for executing the process can be reduced, so that the pixel circuit can be miniaturized.
  • the first distance image generation step when it is determined in the first determination step that there is an object in two or more subframes of the A group among the subframe groups of the A group for one pixel 122a, A first distance image is generated based on the determination result of the subframe in which the distance measurement range on the short distance side is measured among the two or more subframes of the A group.
  • the second distance image generation step when it is determined in the second determination step that there is an object in two or more subframes of the B group among the subframe groups of the B group for one pixel 122a, A second distance image is generated based on the determination result of the subframe in which the distance measurement range on the short distance side is measured among the two or more B group subframes.
  • the distance detection method when used for an application (for example, an automobile) in which the short-distance information is more important than the short-distance information and the long-distance information, a distance image suitable for the application is generated. can do.
  • the first distance detection step and the second distance detection step further perform a correlation double sampling process on the first voltage signal output from the pixel 122a and hold the CDS process step, and the first voltage signal. Includes an output step of outputting a first voltage signal that is the first voltage signal acquired prior to, and is held by the correlated double sampling process. Then, the CDS processing step and the output step are executed in parallel.
  • the first voltage signal of the subframe acquired before one can be read while the noise of the first voltage signal in one subframe is being removed, so that the frame rate can be further improved.
  • the distance detection device 100 includes an image sensor 122 (an example of a light receiving unit) in which pixels 122a having an APD are arranged in a two-dimensional manner, and a control unit 130 that controls the image sensor 122. Then, the control unit 130 has a plurality of subframes obtained by dividing the first frame, and each of the plurality of subframes included in the A group has different distance measuring ranges and does not have distance continuity with each other. The distance measurement range is set, and the image sensor 122 (an example of the light receiving unit) is controlled so as to perform distance measurement in the set distance measurement range in each of the subframe groups of the A group.
  • control unit 130 is set in the first frame for each of a plurality of subframes obtained by dividing the second frame after the first frame and included in the B group different from the A group.
  • the image sensor 122 is controlled so as to set a distance measurement range that is not set and perform distance measurement in the set distance measurement range in each of the subframe groups of the B group.
  • the integration circuit 124 that integrates the charges generated by the APD detecting the photon and the A group
  • an output circuit 125 that outputs a detection integrated value output signal (an example of a voltage signal) according to an integrated value based on the integrated charge of the integrating circuit 124 Have.
  • the distance detection device 100 further indicates the presence or absence of an object in the subframe based on the detection integrated value output signal output from the output circuit 125 in each of the subframe groups of the A group and each of the subframe groups of the B group.
  • a first distance image corresponding to the first frame is generated based on the determination result for each pixel 122a in each of the calculation unit 140 and the subframe group of the A group in the calculation unit 140, and the B group in the calculation unit 140. It has a compositing unit 160 that generates a second distance image corresponding to the second frame based on the determination result for each pixel 122a in each of the subframe groups of.
  • the pixel 122a (pixel circuit) for realizing the distance detection device 100 can be miniaturized.
  • FIG. 11 is a block diagram showing the configuration of the distance detection device 200 according to the present embodiment.
  • FIG. 12 is a block diagram showing the configuration of the image sensor 222 according to the present embodiment.
  • FIG. 13 is a circuit diagram showing the configuration of the pixel 222a according to the present embodiment.
  • the differences from the distance detection device 100 according to the first embodiment will be mainly described, and the same reference numerals may be given to the same configurations, and the description may be omitted or simplified.
  • the distance detection device 200 according to the present embodiment includes a camera 220 instead of the camera 120 included in the distance detection device 100 according to the first embodiment. Further, the distance detection device 200 according to the present embodiment does not include the synthesis unit 160. In FIG. 12, the output circuit 125 is not shown.
  • the image sensor 222 has a comparison circuit 225 and a storage circuit 226 in addition to the image sensor 122 according to the first embodiment.
  • a comparison circuit 225 and a storage circuit 226 in addition to the image sensor 122 according to the first embodiment.
  • specific configurations and functions of the two blocks will be described with reference to FIG.
  • the specific configuration described here is an example, and the configuration of the pixel 222a is not limited to that described here. For example, even with other configurations having similar functions, the same action and effect as those of the present embodiment can be obtained.
  • the comparison circuit 225 compares the detected integrated value from the integrated circuit 124 with the threshold value, and stores a comparison signal that turns ON when the detected integrated value is larger than the threshold value as a control terminal (for example, a gate terminal) of the transistor TR22 of the storage circuit 226. ) Is output.
  • the comparison circuit 225 has a capacitor C21, a transistor T21, and an inverter AMP3.
  • the capacitor C21 is a DC cut capacitor for removing the DC component of the signal (detection integrated value) output from the integrating circuit 124.
  • the capacitor C21 is connected between the output terminal of the integrating circuit 124 and the input terminal of the inverter AMP3.
  • the transistor TR21 is a switching transistor (clamp transistor) for equalizing the inverter AMP3, and is connected between the input terminal and the output terminal of the inverter AMP3. Conduction and non-conduction are controlled by the equalization signal EQ input to the control terminal (for example, the gate terminal) of the transistor TR21. When the equalization signal EQ is turned on, the transistor TR21 becomes conductive and the inverter AMP3 is equalized.
  • the inverter AMP3 outputs a comparison signal based on the detected integrated value generated by the integrated circuit 124.
  • the input terminal of the inverter AMP3 is connected to the integrating circuit 124 via the capacitor C21, and the output terminal of the inverter AMP3 is connected to the control terminal (for example, the gate terminal) of the transistor TR22. Further, the inverter AMP3 is connected to a power source (not shown), and a predetermined voltage is supplied as the power source voltage.
  • the inverter AMP3 when the input voltage of the inverter AMP3 rises, the output voltage of the inverter AMP3 becomes low level. Since the input voltage of the inverter AMP3 changes depending on the voltage of the integrating circuit 124, it changes depending on the presence or absence of photons incident on the APD. Therefore, the inverter AMP3 outputs signals (comparison signals) having different signal levels depending on the presence or absence of photon incident. For example, when the voltage of the charge storage capacitor MIM1 drops below a predetermined voltage (that is, there is photon incident on the APD), the comparison signal is turned on. When the comparison signal is turned ON, it means that a signal having a high level voltage value is output.
  • the comparison circuit 225 can set a threshold value according to the detection integrated value input from the integrating circuit 124 when the detection reference signal (see FIG. 12) output by the control from the control unit 130 is ON. It may be configured as follows.
  • the comparison circuit 225 has a function of turning on the comparison signal, which is an output signal, when the input detection integrated value is larger than the set threshold value.
  • An output permission signal may be input to the comparison circuit 225. In this case, the comparison signal is set to the ON state only when the output permission signal is ON.
  • the storage circuit 226 receives a time signal whose output value changes in each of the distance measurement periods (for example, a time signal corresponding to the distance measurement period by the comparison circuit 225 and the integration circuit 124), and when the comparison signal is in the ON state.
  • the time signal is stored as a distance signal.
  • the storage circuit 226 has a transistor TR22 and a storage capacitor MIM2. Specifically, in the transistor TR22, the drain is connected to a terminal for applying a time signal, and the source is connected to the negative power supply VSSA via the storage capacitor MIM2.
  • a time signal is applied to the terminal under the control of the control unit 130.
  • the time signal is a signal (voltage) corresponding to a distance signal.
  • the time signal is set so that, for example, the voltage has a one-to-one correspondence with k for the k-th distance measurement period (k is an arbitrary natural number). That is, the time signal is set so that the voltage has a one-to-one correspondence with each of the distance measurement periods.
  • the time signal is, for example, a RAMP waveform signal whose voltage sweeps every distance measurement period.
  • the transistor TR22 is, for example, a P-type transistor.
  • the storage capacitor MIM2 is an example of a storage element provided in the circuit of the pixel 222a and storing the time signal voltage.
  • the comparison signal output from the comparison circuit 225 is input to the control terminal (for example, the gate terminal) of the transistor TR22.
  • the control terminal for example, the gate terminal
  • the time signal that is, voltage
  • the output circuit 125 amplifies the voltage of the distance signal and outputs the amplified voltage signal to the signal line SL.
  • the output circuit 125 outputs the voltage signal after the distance measurement in the plurality of distance measurement periods of the first frame is completed. The same applies to the second frame.
  • the output unit 170 may add color to the pixels 222a of the section distance image selected from the plurality of section distance images.
  • FIG. 14 is a diagram showing the measurement processing timing of the distance detection device 200 according to the present embodiment.
  • FIG. 15 is a schematic diagram for explaining a one-frame distance image according to the present embodiment.
  • the control unit 130 determines the measurement ranges of the first frame and the second frame so as to have different distance measurement ranges in the first frame and the second frame which are different from each other. Then, the control unit 130 divides the first frame into a plurality of distance measurement periods, and sets measurement ranges that are different from each other and do not have distance continuity with each other in each of the plurality of distance measurement periods.
  • the first frame is divided into five ranging periods (first ranging period, third ranging period, fifth ranging period, seventh ranging period, and ninth ranging period). The case of division will be described. Note that FIG. 14 illustrates the first ranging period and the third ranging period among the five ranging periods.
  • one frame has a plurality of ranging periods and one reading period.
  • the voltage signal is not read out for each distance measurement period.
  • the first distance measuring period is a distance measuring period for measuring the shortest distance measuring range.
  • a time signal having a signal level (voltage) of Z1 is input to the drain of the transistor TR22.
  • the comparison signal is turned on.
  • the transistor TR22 becomes non-conducting, so that the storage capacitor MIM2 of the storage circuit 226 of the pixel 222a stores the signal level Z1 previously input to the drain of the transistor TR22.
  • the storage capacitor MIM2 in the pixel 222a holds the signal level Z1 until it is reset. Note that, in FIG. 13, the circuit configuration for resetting the storage capacitor MIM2 is not shown.
  • FIG. 15 shows an example in which the transistor TR22 of the two pixels 222a becomes non-conducting during the first ranging period, and the signal level Z1 is stored in the storage capacitor MIM2 of the two pixels 222a.
  • the signal level Z1 is stored means that the object exists in the ranging range corresponding to the ranging period.
  • the pixel 222a according to the present embodiment can determine whether or not there is an object in the pixel circuit. It can be said that the signal level Z1 stored in the storage capacitor MIM2 is a signal (distance signal) indicating the distance to the object. Further, "0" shown in FIG. 15 means that the transistor TR22 is not turned off in the pixel 222a.
  • the third distance measuring period is a distance measuring period in which the distance measuring range is the shortest distance next to the distance measuring range of the first distance measuring period among the plurality of distance measuring periods included in the first frame.
  • the control unit 130 controls the light source 110 and the camera 120 so that, for example, a plurality of distance measurement periods are measured in order from the distance measurement period in which the distance measurement range is a short distance.
  • a time signal having a signal level (voltage) of Z3 is input to the drain of the transistor TR22.
  • the comparison signal is turned on.
  • the transistor TR22 is turned OFF, so that the storage capacitor MIM2 of the storage circuit 226 of the pixel 222a stores the signal level Z3 previously input to the drain of the transistor TR22.
  • the storage capacitor MIM2 holds the signal level Z3 until it is reset.
  • FIG. 15 shows an example in which the transistor TR22 of the two pixels 222a is turned off during the third distance measurement period, and the signal level Z3 is stored in the storage capacitor MIM2 of the two pixels 222a.
  • the transistor TR22 in the pixel 222a remains non-conducting, and as a result, the signal level stored in the storage capacitor MIM2 remains Z1. In this way, the pixel 222a may be controlled so that the distance measuring range gives priority to the signal level at a short distance (an example of the determination result).
  • the control unit 130 sequentially measures from the distance measuring period in which the distance measuring range is a short distance among the plurality of distance measuring periods of the C group.
  • the light source 110 and the camera 220 are controlled so as to perform a distance.
  • the control unit 130 sequentially measures the distance from the distance measuring period in which the distance measuring range is short among the plurality of distance measuring periods of the D group. As such, the light source 110 and the camera 220 are controlled.
  • the time signal (distance signal) is read out. That is, the time signals acquired in the plurality of distance measurement periods are read out by one reading process. For example, the time required for the reading period can be shortened as compared with the case where the reading process is performed for each distance measurement period.
  • the calculation unit 140 converts the signal level (voltage) of the time signal into a distance.
  • the calculation unit 140 generates a distance image by converting the voltage into a distance based on, for example, a LUT in which the voltage and the distance are associated with each other (for example, the LUT stored in the storage unit 150 in FIG. 11). To do.
  • FIG. 16 is a flowchart showing an example of the distance image generation process of the distance detection device 200 according to the present embodiment.
  • the processing of steps S510 to S590 shown below is an example of the first distance detection step of detecting the distance to the object in the first frame.
  • the processes from steps S600 to S680 shown below are an example of the second distance detection step of detecting the distance to the object in the second frame.
  • step S510 shown below is an example of a setting step
  • steps S520 to S580 are an example of a first distance image group imaging step
  • steps S600 to S670 are an example of a second distance image group imaging step. is there.
  • the first distance image group imaging step and the second distance image group imaging step are included in the imaging step.
  • steps S510 and S600 shown in FIG. 16 correspond to steps S10 and S100 shown in FIG. 8, respectively, and the description is simplified.
  • control unit 130 divides the ranging section in the depth direction (S510).
  • the number of divisions is not particularly limited.
  • Step S510 is also an example of the first partitioning step.
  • the control unit 130 allocates a distance measurement period for each distance measurement period (S520).
  • the distance measurement period is set according to the distance of the distance measurement section.
  • the distance measurement period is included in Group C.
  • Step S520 is an example of the first setting step.
  • the distance measurement period of Group C is a period in a part of the distance measurement section set in step S510.
  • control unit 130 captures a distance image for each distance measurement period of the C group.
  • the control unit 130 controls the light source 110 and the camera 220 so as to perform distance measurement in the set distance measurement range in each of the plurality of distance measurement periods of the C group.
  • Step S530 is an example of the first distance measuring step.
  • the comparison circuit 225 determines the presence or absence of an object based on the accumulated accumulated charge S3 and the time signal (for example, the lamp voltage) for each distance measurement period of the C group (S540). For example, the comparison circuit 225 compares the integrated charge S3 with the time signal. Then, when the integrated charge S3 is larger than the time signal (Yes in S540), the comparison circuit 225 turns on the comparison signal (S550). When the comparison signal is turned on, it indicates that there is an object. Further, the comparison circuit 225 proceeds to step S570 when the integrated charge S3 is equal to or less than the time signal (No in S540). Step S540 is an example of the first determination step.
  • the storage circuit 226 uses the time signal at the time when the comparison signal is turned on as the first distance signal in the time signals having different output values in each of the plurality of distance measurement periods of the C group, as the first distance signal in the pixel 222a (specifically, It is stored in the storage capacitor MIM2) (S560). Specifically, the first distance signal is stored in the storage capacitor MIM2.
  • the first distance signal includes distance information in the pixel 222a.
  • the control unit 130 determines whether or not the time signal of the entire ranging period of the C group is stored in the pixel (S570).
  • the synthesis unit 160 reads the time signal (lamp voltage) stored in the pixel 222a (yes). S580).
  • the calculation unit 140 can acquire the determination result of each pixel 222a in one read operation in the first frame.
  • the calculation unit 140 converts the acquired time signal (lamp voltage) into distance information and generates a first distance image (S590).
  • Step S590 is an example of the first distance image generation step.
  • control unit 130 determines that the determination of the entire ranging period of the C group has not been completed (No in S570)
  • the control unit 130 returns to S530 and steps S530 to the end until the determination is completed in the entire ranging period of the C group.
  • the processing of S560 is continued.
  • the second distance image is an image generated based on the result of measuring the distance measurement range that was not measured in the first distance image.
  • the control unit 130 shifts the division position (division distance) of the distance measurement section in the depth direction from the distance measurement section set in step S10 (S600). It can be said that the control unit 130 sets a distance measuring section having a phase different from that of the distance measuring section set in step S10. Further, it can be said that the control unit 130 divides the second frame into a plurality of ranging sections. For example, the control unit 130 may set a discontinuous distance measuring range that is not set in the C group as each distance measuring section of the D group. Step S600 is also an example of the second division step. The distance measurement period of the D group is the period in the distance measurement section shifted in step S600.
  • Step S610 the control unit 130 allocates a distance measurement period for each distance measurement period (S610).
  • the distance measurement period is included in Group D.
  • Step S620 is an example of the second setting step.
  • control unit 130 captures a distance image for each distance measurement period of the D group.
  • the control unit 130 controls the light source 110 and the camera 220 so as to perform distance measurement in the distance measurement range set in step S610 in each of the plurality of distance measurement periods of the D group.
  • the camera 220 integrates the charges generated by the photon incident a plurality of times in each distance measurement period (S620).
  • the integrated charge is also referred to as an integrated charge S4.
  • the integrated charge S4 corresponds to the detected integrated value shown in FIG. Further, the integrated charge S4 is stored in the charge storage capacitor MIM1.
  • Step S620 is an example of the second ranging step.
  • the comparison circuit 225 determines the presence or absence of an object based on the accumulated accumulated charge S4 and the time signal (for example, the lamp voltage) for each distance measurement period of the D group (S630). For example, the comparison circuit 225 compares the integrated charge S4 with the time signal. Then, when the integrated charge S4 is larger than the time signal (Yes in S630), the comparison circuit 225 turns on the comparison signal (S640). Further, the comparison circuit 225 proceeds to step S660 when the integrated charge S4 is equal to or less than the time signal (No in S630). Step S630 is an example of the second determination step.
  • the storage circuit 226 uses the time signal at the time when the comparison signal is turned on as the first distance signal in the time signal having different output values in each of the plurality of distance measurement periods of the D group, as the first distance signal in the pixel 222a (specifically, It is stored in the storage capacitor MIM2) (S650). Specifically, the first distance signal is stored in the storage capacitor MIM2.
  • the first distance signal includes distance information in the pixel 222a.
  • the control unit 130 determines whether or not the time signal of the entire ranging period of the D group is stored in the pixel (S660).
  • the control unit 130 determines that the time signal of the entire ranging period of the D group is stored in the pixel (Yes in S660)
  • the control unit 130 reads the time signal (lamp voltage) stored in the pixel 222a (S670).
  • the calculation unit 140 can acquire the determination result of each pixel 222a in one read operation in the second frame.
  • the calculation unit 140 converts the acquired time signal (first distance signal) into distance information and generates a second distance image (S680).
  • Step S680 is an example of the second distance image generation step.
  • control unit 130 determines that the determination of the entire ranging period of the D group has not been completed (No in S660)
  • the control unit 130 returns to S620 and steps S620 until the determination of the entire ranging period of the D group is completed. -Continue the processing of S650.
  • the distance detection device 200 repeatedly executes the processes of steps S510 to S670 shown in FIG. In other words, the first distance image and the second distance image are generated alternately.
  • the control unit 130 controls the light source 110 and the camera 220 so as to alternately generate the first distance image and the second distance image. Therefore, the output unit 170 can alternately output the first distance image and the second distance image.
  • FIG. 17A is a schematic diagram for explaining an example of the first distance image according to the present embodiment.
  • FIG. 17B is a flowchart schematically showing a flow in which the first distance image according to the present embodiment is generated.
  • FIG. 17B shows the processing of steps S530 to S580 shown in FIG.
  • FIG. 17C is a schematic diagram for explaining an example of the second distance image according to the present embodiment.
  • 17A and 17B illustrate the objects detected during each of the ranging periods.
  • the first distance image group includes section distance images for each of the first distance measurement period to the tenth distance measurement period.
  • the first ranging period corresponding to the first section distance image and the second ranging period corresponding to the second section distance image are distance measuring sections that are continuous with each other.
  • each distance measuring period in the first distance image group may be the same distance measuring period (for example, 1 msec).
  • FIG. 17A shows an example in which, of the distance measuring sections set in step S510, the distance measuring section from the first section distance image to the distance measuring section corresponding to the tenth section distance image is set as the distance measuring section in the C frame. ing.
  • the image sensor 222 first captures images during the first range-finding period to the tenth range-finding period (S710 to S750), and then becomes a readout period (S760).
  • Step S710 corresponds to the processing of steps S520 and S530 in the first ranging period
  • step S720 corresponds to the processing of steps S520 and S530 in the second ranging period.
  • step S710 is an example of the first section distance image capturing step.
  • step S710 is a process in the first distance measurement period
  • step S720 is a process in the second distance measurement period.
  • step S760 is a process in the first read period.
  • the second distance image group includes the section distance images of each of the first distance measurement period to the tenth distance measurement period.
  • the first ranging section corresponding to the first section distance image and the second ranging section corresponding to the second section distance image are distance measuring sections that are continuous with each other.
  • each distance measuring section in the second distance image group may have a distance measuring period equal to each other (for example, 1 msec).
  • at least a part of the first distance measuring section in the second distance image group and the first distance measuring section in the first distance image group are different periods.
  • the first distance measurement period in the second distance image group and the first distance measurement period in the first distance image group are at least partially overlapping periods.
  • the distance measurement periods of the first distance image group and the second distance image group so that at least a part of the distance measurement periods overlap each other, for example, the first distance image group and the second distance image group Even if distance measurement is not performed accurately on one side of the distance image group, it can be supplemented by distance measurement on the other side. That is, the measurement accuracy is improved. Further, by changing the distance measurement period for each distance image group, it is possible to measure a wide range from a short distance to a long distance without lowering the resolution.
  • the first distance measurement period of the second distance image group may overlap at least a part of any one of the distance measurement periods of the first distance image group.
  • FIG. 18A is a schematic diagram for explaining another example of the first distance image according to the present embodiment.
  • FIG. 18B is a schematic diagram for explaining another example of the second distance image according to the present embodiment. Note that FIGS. 18A and 18B show a case where the distance measurement periods of the C group and the D group are set to discontinuous distance measurement periods.
  • the first distance image group includes a section distance image in each of the first distance measurement period to the tenth distance measurement period.
  • the first distance measurement period corresponding to the first section distance image and the second distance measurement period corresponding to the second section distance image are distance measurement periods that are not continuous with each other.
  • the second distance image group includes the section distance images in each of the first distance measurement period to the tenth distance measurement period.
  • the first distance measurement period corresponding to the first section distance image and the second distance measurement period corresponding to the second section distance image are distance measurement periods that are not continuous with each other.
  • the distance measurement period corresponding to the distance measurement range having no distance continuity may be set. That is, a distance measuring period having no time continuity may be set.
  • the first distance image and the second distance image may be images that supplement the distance measurement ranges that are missing from each other.
  • Such a first distance image is captured in a predetermined distance measurement period (for example, 1 msec) within the range of the distance measurement period that can be measured by the distance detection device 200, and for each predetermined distance measurement period (for example, 1 msec). It is generated based on the result of distance measurement.
  • each ranging period is 1 msec and the reading period is 3.3 msec.
  • the frame speed of one frame is 13.3 msec (frame rate is 75 fps).
  • the frame speed of one frame is 23.3 msec (frame rate 43 fps). Therefore, according to the present embodiment, the apparent frame rate can be improved.
  • the voltage of the pixel signal corresponding to the number of photons detected by the pixel 222a having the APD is the threshold value in each of the first distance image group and the second distance image group.
  • the time signal voltage corresponding to the distance image is stored in the storage element (for example, the storage capacitor MIM2) in the circuit of the pixel 222a.
  • the output unit 170 adds different colors set to each of the first distance image group and the second distance image group, including the distance image in which the time signal voltage stored in the storage element is replaced.
  • the amount of signal processing outside the pixel 222a (for example, a processing unit such as the calculation unit 140) can be reduced, so that the frame rate for generating the distance image can be improved. That is, the information up to the object can be acquired even faster.
  • the distance detection method is a distance detection method in the distance detection device 200 in which pixels 222a having an APD (Avalanche Photodiode) are arranged two-dimensionally.
  • the distance detection method detects the distance to the object in the first distance detection step (S510 to S590) for detecting the distance to the object in the first frame and in the second frame after the first frame.
  • the second distance detection step (S600 to S680) is included.
  • the first distance detection step is a plurality of distance measurement sections in which the first frame is divided, and each of the plurality of distance measurement sections included in the C group has different distance measurement periods and distance continuity with each other.
  • the distance measurement in the distance measurement period set in the first setting step is performed.
  • the first distance measuring step (S530) to be performed is included.
  • the second distance detection step is a measurement in which the second frame is divided and is not set in the first setting step for each of the plurality of distance measurement sections included in the D group different from the C group.
  • the second setting step (S610) for setting the distance period and the second distance measurement step (S620) for performing distance measurement in the distance measurement period set in the second setting step in each of the plurality of distance measurement periods in the D group include.
  • the charges generated by the APD detecting the photon in each of the plurality of distance measuring periods of the C group are accumulated as the integrated charge S3 (an example of the first integrated charge) (S530) and integrated.
  • a time signal having a different output value in each of the plurality of distance measurement periods of the charge S3 and the C group is compared (S540), and a comparison signal that turns ON when the integrated charge S3 is larger than the time signal is output (S550).
  • Each of the pixels 222a stores the time signal at the time when the comparison signal is turned on (S560), and after each distance measurement of the plurality of distance measurement periods of the C group, the stored time signal is sent to the outside of the pixel 222a.
  • Output (S580) The first distance detection step further includes a first distance image generation step (S590) that generates a first distance image based on the time signals in each of the plurality of pixels 222a.
  • the charge generated by the APD detecting the photon in each of the plurality of distance measuring periods of the D group is accumulated as the integrated charge S4 (an example of the second integrated charge) (S620).
  • the integrated charge S4 and the time signal having different output values in each of the plurality of distance measurement periods of the D group are compared (S630), and a comparison signal that is turned ON when the integrated charge S4 is larger than the time signal is output (S. S640), each of the pixels 222a stores the time signal at the time when the comparison signal is turned on (S650), and after each distance measurement of the plurality of distance measurement periods of the D group, the stored time signal is stored in the pixel 222a.
  • Output to the outside (S670).
  • the second distance detection step further includes a second distance image generation step (S680) that generates a second distance image based on the time signals in each of the plurality of pixels 222a.
  • the amount of signal processing outside the pixel 222a (for example, a processing unit such as the calculation unit 140) can be reduced, so that the system of the distance detection device 200 can be simplified.
  • the distance measurement is sequentially performed from the distance measurement period in which the distance measurement range is a short distance among the plurality of distance measurement periods in the C group, and in the second distance measurement step, the plurality of distance measurement periods in the D group are performed. Of the distance measurement period, distance measurement is performed sequentially from the distance measurement period in which the distance measurement range is a short distance.
  • each of the pixels 222a of the distance detection device 200 is integrated into the integration circuit 124 and the integration circuit 124 that integrate the charges generated by the APD detecting the photon.
  • a comparison circuit 225 that compares the integrated charge with a time signal whose output value is different for each of the plurality of distance measurement periods of the C group and the D group, and outputs a comparison signal that turns ON when the integrated charge is larger than the time signal.
  • the storage circuit 226 that stores the time signal at the time when the comparison signal is turned on and the distance measurement in each of the plurality of distance measurement periods of the C group are completed, and the measurement in each of the plurality of distance measurement periods of the D group.
  • Each has an output circuit 125 that outputs a time signal stored in the storage circuit 226 after the distance is completed. Then, the distance detection device 200 further generates a first distance image based on the time signal output in the first frame, and generates a second distance image based on the time signal output in the second frame.
  • a unit 140 is provided.
  • the amount of signal processing in the calculation unit 140 can be reduced, so that the system of the distance detection device 200 can be simplified.
  • the pitch (interval) of each of the plurality of subframes constituting the first frame and the second frame and the distance measuring period is equal (that is, the exposure periods are equal).
  • the pitch of the measuring range may be different.
  • control unit has described an example in which a distance measuring range discontinuous to each other is set for each of a plurality of subframes constituting one frame and a distance measuring period, but the present invention is not limited to this. ..
  • the control unit may set, for example, distance measurement ranges discontinuous with each other in at least two subframes and distance measurement periods among the plurality of subframes and distance measurement periods.
  • control unit has described an example in which the light source and the camera are controlled so as to sequentially measure the distance from a short distance to a long distance, but the present invention is not limited to this.
  • the control unit may control the light source and the camera so as to sequentially measure the distance from a long distance to a short distance, for example.
  • the output unit has described an example of outputting a distance image to a device outside the distance detection device, but the present invention is not limited to this.
  • the output unit may output a distance image to the display unit.
  • the distance detection device may be used for a moving body such as an automobile or a ship, a surveillance camera, a robot that moves autonomously while confirming its own position, a three-dimensional measuring device that measures a three-dimensional shape of an object, or the like.
  • Each component constituting the processing unit such as the control unit, the calculation unit, and the synthesis unit as described above may be composed of dedicated hardware, and is realized by executing a software program suitable for each component.
  • each component may include, for example, an arithmetic processing unit (not shown) and a storage unit (not shown) for storing the control program.
  • the arithmetic processing unit include an MPU (Micro Processing Unit), a CPU (Central Processing Unit), and the like.
  • Examples of the storage unit include a memory such as a semiconductor memory.
  • each component may be composed of a single element that performs centralized control, or may be composed of a plurality of elements that perform distributed control in cooperation with each other.
  • the software program may be provided as an application by communication via a communication network such as the Internet, communication according to a mobile communication standard, or the like.
  • the division of the functional block in the block diagram is an example, and a plurality of functional blocks can be realized as one functional block, one functional block can be divided into a plurality of functional blocks, and some functions can be transferred to other functional blocks. You may. Further, the functions of a plurality of functional blocks having similar functions may be processed by a single hardware or software in parallel or in a time division manner.
  • each step in the flowchart is executed is for exemplifying in order to specifically explain the present disclosure, and may be an order other than the above. Further, a part of the above steps may be executed at the same time (parallel) with other steps.
  • the solid-state image sensor of the present disclosure can be used as a CMOS (Complementary Metal Oxide Simulator) image sensor or the like that is effective in an environment where the subject moves (for example, moves at high speed) such as an in-vehicle camera.
  • CMOS Complementary Metal Oxide Simulator

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

距離画像の取得方法は、奥行方向に複数の距離分割区間を設定する設定ステップ（Ｓ１０）と、設定された複数の距離分割区間に基づいて距離画像を取得する撮像ステップとを含む。撮像ステップは、複数の距離分割区間の一部を撮像した複数の距離画像を取得する第１距離画像群撮像ステップ（Ｓ２０～Ｓ９０）と、複数の距離分割区間の一部と位相の異なる距離分割区間を撮像した複数の距離画像を取得する第２距離画像群撮像ステップ（Ｓ１１０～Ｓ１９０）とを含む。

Description

距離画像の取得方法、及び、距離検出装置
　本開示は、距離画像の取得方法、及び、距離検出装置に関する。
　近年、ロボティクス、自動車、セキュリティ、アミューズメント等の多くの分野において、リアルタイムに距離画像を得る距離画像センサ（つまり、距離検出装置）が注目されてきている。ここで、距離画像とは、対象物の空間における３次元情報であり、対象物（つまり、被写体）までの距離を示す画素値で構成される。
　距離画像を得るための測距の方法として、ＴＯＦ（Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）方式により、対象物の距離を検出する方法が知られている。例えば、特許文献１には、光を照射して対象物の３次元情報（３次元形状）を検出する装置が開示されている。
特開２００１－１１６５１６号公報
　一般に、自動車等に用いられる距離画像センサは、前方の近距離から遠距離までの広い範囲にわたり、対象物までの情報をより早く取得することを求められている。と同時に測定する距離の細かさ、すなわち測距分解能も高精度を求められている。
　そこで、本開示は、近距離から遠距離まで広い範囲にわたり、高精度な分解能で、対象物までの情報を早く取得することができる距離画像の取得方法、及び、距離検出装置を提供することを目的とする。
　本開示に係る距離画像の取得方法は、奥行方向に複数の距離分割区間を設定する設定ステップと、設定された前記複数の距離分割区間に基づいて距離画像を取得する撮像ステップとを含み、前記撮像ステップは、前記複数の距離分割区間の一部を撮像した複数の距離画像を取得する第１距離画像群撮像ステップと、前記複数の距離分割区間の前記一部と位相の異なる距離分割区間を撮像した複数の距離画像を取得する第２距離画像群撮像ステップと、を含む。
　また、本開示の一態様に係る距離検出装置は、ＡＰＤ（Ａｖａｌａｎｃｈｅ　Ｐｈｏｔｏ　Ｄｉｏｄｅ）を有する画素が二次元状に配置された画像センサと、撮像する対象物に向けて照射光を発光する光源と、前記画像センサで撮像した画像を処理する演算部と、前記光源、前記画像センサおよび前記演算部を制御する制御部と、前記演算部で処理した画像を合成する合成部と、合成された画像に所定の情報を付加して出力する出力部とを備え、前記制御部は、奥行方向に複数の距離分割区間を設定し、前記光源、前記画像センサおよび前記演算部を制御することで、設定された前記複数の距離分割区間の一部を撮像した複数の距離画像である第１距離画像群を取得し、かつ、前記複数の距離分割区間の前記一部と位相の異なる距離分割区間を撮像した複数の距離画像である第２距離画像群を取得する。
　本開示の一態様に係る距離検出方法、及び、距離検出装置によれば、近距離から遠距離まで広い範囲にわたり、高精度な分解能で、対象物までの情報を早く取得することができる。
図１は、実施の形態１に係る距離検出装置の構成を示すブロック図である。 図２は、実施の形態１に係るカメラの構成を示すブロック図である。 図３Ａは、実施の形態１に係る画素の構成を示す回路図である。 図３Ｂは、実施の形態１に係るＣＤＳ回路の構成を示す回路図である。 図３Ｃは、実施の形態１に係るＡＤＣ回路の構成を示す回路図である。 図４Ａは、実施の形態１に係る距離検出装置のＡグループの第１サブフレームにおける測距処理タイミングの一例を示す図である。 図４Ｂは、実施の形態１に係る第１サブフレーム画像を示す図である。 図５Ａは、実施の形態１に係る距離検出装置のＡグループの第３サブフレームにおける測距処理タイミングの一例を示す図である。 図５Ｂは、実施の形態１に係る第３サブフレーム画像を示す図である。 図６Ａは、実施の形態１に係る距離検出装置のＡグループの第５サブフレームにおける測距処理タイミングの一例を示す図である。 図６Ｂは、実施の形態１に係る第５サブフレーム画像を示す図である。 図７は、実施の形態１に係る合成後の距離画像を示す図である。 図８は、実施の形態１に係る距離検出装置の距離画像生成処理の一例を示すフローチャートである。 図９Ａは、実施の形態１に係る第１距離画像の一例を説明するための模式図である。 図９Ｂは、実施の形態１に係る第１距離画像が生成される流れを模式的に示すフローチャートである。 図９Ｃは、実施の形態１に係る第２距離画像の一例を説明するための模式図である。 図９Ｄは、実施の形態１に係るフレームごとの測距区間の関係の第１例を示す図である。 図９Ｅは、実施の形態１に係るフレームごとの測距区間の関係の第２例を示す図である。 図１０Ａは、実施の形態１に係る第１距離画像の他の一例を説明するための模式図である。 図１０Ｂは、実施の形態１に係る第２距離画像の他の一例を説明するための模式図である。 図１０Ｃは、実施の形態１に係るフレームごとの測距区間の関係の第３例を示す図である。 図１０Ｄは、実施の形態１に係るフレームごとの測距区間の関係の第４例を示す図である。 図１１は、実施の形態２に係る距離検出装置の構成を示すブロック図である。 図１２は、実施の形態２に係る画像センサの構成を示すブロック図である。 図１３は、実施の形態２に係る画素の構成を示す回路図である。 図１４は、実施の形態２に係る距離検出装置の測距処理タイミングを示す図である。 図１５は、実施の形態２に係る１フレームの距離画像を説明するための模式図である。 図１６は、実施の形態２に係る距離検出装置の距離画像生成処理の一例を示すフローチャートである。 図１７Ａは、実施の形態２に係る第１距離画像の一例を説明するための模式図である。 図１７Ｂは、実施の形態２に係る第１距離画像が生成される流れを模式的に示すフローチャートである。 図１７Ｃは、実施の形態２に係る第２距離画像の一例を説明するための模式図である。 図１８Ａは、実施の形態２に係る第１距離画像の他の一例を説明するための模式図である。 図１８Ｂは、実施の形態２に係る第２距離画像の他の一例を説明するための模式図である。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。本開示は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素について説明される。
　なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、実質的に同一の構成に対する重複説明は省略する場合がある。
　また、本明細書において、等しいなどの要素間の関係性を示す用語、並びに、数値、および、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。
　（実施の形態１）
　［１－１．構成］
　まず、本実施の形態に係る距離検出装置の構成について、図１～図３Ｂを参照しながら説明する。図１は、本実施の形態に係る距離検出装置１００の構成を示すブロック図である。図２は、本実施の形態に係るカメラ１２０の構成を示すブロック図である。
　図１に示すように、距離検出装置１００は、ＴＯＦ（Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）方式により測定対象の距離範囲内に位置する対象物の距離を示す距離画像を生成する。この距離検出装置１００は、例えば、三次元の画像センサに用いることができる。距離検出装置１００は、光源１１０と、カメラ１２０と、制御部１３０と、演算部１４０と、記憶部１５０と、合成部１６０と、出力部１７０とを備える。
　光源１１０は、照射光を照射する。光源１１０は、発光部１１１と、駆動部１１２とを有する。発光部１１１は、照射光（例えば、光パルス）を発光する。発光部１１１は、例えば、ＬＤ（レーザダイオード）又はＬＥＤ（発光ダイオード）等である。駆動部１１２は、発光部１１１に電力を供給するタイミングを制御することにより、発光部１１１による発光を制御する。
　カメラ１２０は、照射光が対象物で反射した反射光を受光することで検出信号を生成する。本実施の形態では、カメラ１２０は、アバランシェ増幅型の受光素子であるＡＰＤ（Ａｖａｌａｎｃｈｅ　Ｐｈｏｔｏ　Ｄｉｏｄｅ：アバランシェフォトダイオード）を備えるカメラである。カメラ１２０は、図１及び図２に示すように、レンズ１２１と、画像センサ１２２と、ＣＤＳ回路１２６（相関二重サンプリング回路）と、ＡＤＣ回路１２７とを備える。
　レンズ１２１は、画像センサ１２２に反射光を集光する。画像センサ１２２は、反射光を受光し、受光した光の光量に応じた値を有する検出積算値を出力する。画像センサ１２２は、ＡＰＤを有する画素が二次元状に配置されて構成される受光部を持つＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ）画像センサである。
　ＣＤＳ回路１２６は、画素１２２ａからの出力である検出積算値に含まれるオフセット成分を除去するための回路である。なお、このオフセット成分は、各画素１２２ａで異なる値となる場合がある。ＡＤＣ回路１２７は、ＣＤＳ回路１２６から出力された信号であるアナログ信号（オフセット成分が除去された検出積算値）をデジタル信号に変換する。ＡＤＣ回路１２７は、例えば、ＣＤＳ回路１２６から出力されたアナログ信号（例えば、オフセット除去後検出積算信号）ＣＤＳＯＵＴ（図３Ｂ参照）をＲＡＭＰ信号（ランプ信号とも記載する）と比較してデジタル変換するシングルスロープ方式を利用することで、画素１２２ａでの受光量に対応するデジタル信号（例えば、デジタル変換後検出積算信号）を生成する。なお、以下では、アナログ信号ＣＤＳＯＵＴを出力信号ＣＤＳＯＵＴとも記載する場合がある。
　なお、画像センサ１２２、ＣＤＳ回路１２６及びＡＤＣ回路１２７の詳細は、後述する。また、本実施の形態では、距離検出装置１００は、ＣＤＳ回路１２６を備える例について説明するが、ＣＤＳ回路１２６を備えていなくてもよい。また、ＡＤＣ回路１２７は、演算部１４０が有していてもよい。
　制御部１３０は、光源１１０の照射タイミング及びカメラ１２０の受光タイミング（露光期間）を制御する。また、制御部１３０は、第１フレーム及び当該第１フレームの後の第２フレームにおいて、互いに異なる測距範囲を設定する。なお、第１フレームと第２フレームとは、例えば、複数のフレームの中の時間的に隣接するフレームである。
　制御部１３０は、第１フレームを分割したＡグループのサブフレーム群に含まれる複数のサブフレームのそれぞれに、例えば、互いに異なる測距範囲であり、かつ互いに距離連続性を有しない測距範囲を設定する。そして、制御部１３０は、Ａグループのサブフレーム群のそれぞれにおいて、設定された測距範囲における測距を行うように、光源１１０の照射タイミング及びカメラ１２０の受光タイミングを制御する。Ａグループのサブフレーム群は、例えば、第１フレームを分割した複数の測距区間（サブフレーム）のうちの一部の測距区間により構成される。
　なお、距離連続性を有さないとは、Ａグループのサブフレーム群のそれぞれの測距範囲が連続していないことを意味する。距離連続性を有さないとは、例えば、Ａグループの２つのサブフレームのうちの一方のサブフレームの測距範囲と他方のサブフレームの測距範囲とが、少なくとも一部が重複していないことを意味する。つまり、一方のサブフレームの測距範囲と他方のサブフレームの測距範囲とは、距離的に離隔している測距範囲である。一方のサブフレームの測距範囲と他方のサブフレームの測距範囲との間の測距範囲は、第１フレーム以外のフレーム（本実施の形態では、第２フレーム）において測距される測距範囲であり、第２フレームで設定する複数のサブフレームでそれらの測距範囲を測距する。
　また、制御部１３０は、第２フレームを分割したＢグループのサブフレーム群に含まれる複数のサブフレームのそれぞれに、第１フレームで設定されていない測距範囲を設定する。制御部１３０は、例えば、第１フレームで設定されていない測距範囲であり、かつ、互いに異なる測距範囲であり、互いに距離連続性を有しない測距範囲を、Ｂグループのサブフレーム群のそれぞれに設定する。そして、制御部１３０は、Ｂグループのサブフレーム群のそれぞれにおいて、設定された測距範囲における測距を行うように、光源１１０の照射タイミング及びカメラ１２０の受光タイミングを制御する。Ｂグループのサブフレーム群は、例えば、第２フレームを分割した複数の測距区間（サブフレーム）のうちの一部の測距区間により構成されてもよい。Ｂグループのサブフレーム群は、例えば、Ａグループの複数の測距区間を奥行方向にシフトさせた区間に対応するサブフレームにより構成されてもよい。
　制御部１３０は、光源１１０及びカメラ１２０を測距範囲ごとに制御することで、当該距離範囲内の対象物の距離を示す距離画像を生成するためのデジタル変換後検出積算信号（検出信号）をカメラ１２０に生成させる。
　本実施の形態では、制御部１３０は、第１フレームにおける測距範囲と第２フレームにおける測距範囲とで、距離連続性を有する距離範囲となるように測距範囲を設定する例について説明する。なお、制御部１３０は、画像センサ１２２のフレームレートをハード的に向上させるのではなく、見かけ上、時間あたりの測距範囲を広げて、近距離から遠距離まで広い範囲を短時間に測距する観点から、３以上のフレームにより距離連続性を有するように３以上のフレームのそれぞれの距離範囲を設定してもよい。制御部１３０が設定する測距範囲の詳細については後述する。
　演算部１４０は、Ａグループのサブフレーム群のそれぞれ及びＢグループのサブフレーム群のそれぞれにおいて、出力回路１２５から出力された検出積算値出力信号（電圧信号）に基づいて、当該サブフレームにおける物体の有無を判定する処理部である。本実施の形態では、演算部１４０は、当該検出積算値出力信号に所定の処理（例えば、後述する相関二重サンプリング処理）が行われたデジタル変換後検出積算信号に基づいて、物体の有無を判定する。演算部１４０は、例えば、デジタル変換後検出積算信号と所定の閾値（例えば、記憶部１５０に格納されているＬＵＴ）とを比較することで、物体の有無を判定してもよい。演算部１４０は、例えば、デジタル変換後検出積算信号の値（例えば、電圧値）が所定の閾値以上である場合、当該測距範囲（当該サブフレーム）に物体があると判定し、デジタル変換後検出積算信号の値が所定の閾値未満である場合、当該測距範囲（当該サブフレーム）に物体がないと判定してもよい。なお、デジタル変換後検出積算信号の値とは、ＡＰＤが反射光を受光した受光回数に基づく検出積算値に対応する値である。
　演算部１４０は、サブフレームごとのサブフレーム番号（サブフレームＮｏ）を識別し、当該サブフレームの画素ごとに物体の有無を判定する。そして、演算部１４０は、サブフレーム番号と画素ごとの物体有無判定結果とを合成部１６０に出力する。本実施の形態では、演算部１４０は、判定結果として、物体有りを示す「Ｚ」、物体なしを示す「０」、及び、サブフレーム番号を、合成部１６０に出力する。
　合成部１６０は、演算部１４０から取得した複数のサブフレームごとの物体有無情報とサブフレーム番号とに基づいて、１つの距離画像を生成する処理部である。合成部１６０は、例えば、演算部１４０から出力されたサブフレーム番号を距離情報に変換した上で、サブフレームすなわち距離ごとの物体有無を示す物体有無情報を合成することで１つの距離画像を生成する。合成部１６０は、複数の距離画像（距離画像群とも記載する）を合成することで、１つの距離画像を生成するとも言える。なお、便宜上、測距区間それぞれの距離画像を、区間距離画像とも記載する。
　合成部１６０は、例えば、第１フレームにおけるＡグループのサブフレーム群（Ａグループの距離画像群であり、例えば、後述する第１距離画像群）のそれぞれにおける画素１２２ａごとの物体有無判定結果と距離情報とに基づいて、第１フレームに対応する第１距離画像を生成する。具体的には、合成部１６０は、Ａグループのサブフレーム群のそれぞれにおけるサブフレーム画像（区間距離画像）の判定結果と距離情報とを抽出して合成することで、１つの第１距離画像を生成する。
　また、合成部１６０は、例えば、第２フレームにおけるＢグループのサブフレーム群（Ｂグループの距離画像群であり、例えば、後述する第２距離画像群）のそれぞれにおける画素１２２ａごとの物体有無の判定結果と距離情報とに基づいて、第２フレームに対応する第２距離画像を生成する。具体的には、合成部１６０は、Ｂグループのサブフレーム群のそれぞれにおけるサブフレーム画像（区間距離画像）の判定結果と距離情報とを抽出して合成することで、１つの第２距離画像を生成する。
　なお、第１距離画像と第２距離画像とは、例えば、互いに異なる距離範囲を測距した画像であってもよい。第１距離画像と第２距離画像とで、距離検出装置１００が測距可能な全体の距離範囲内の対象物の距離を取得することができる。
　なお、合成部１６０は、第１距離画像群から３次元化距離画像を生成してもよい。また、合成部１６０は、第２距離画像群から３次元化距離画像を生成してもよい。また、合成部１６０は、演算部１４０により第１距離画像群および第２距離画像群のそれぞれにおいて、同一画素１２２ａの複数（２以上）の区間距離画像で対象物が有ると判定された場合、奥行方向の手前側の区間距離画像の判定結果を優先して選択してもよい。
　記憶部１５０は、例えば、ＲＡＭであり、演算部１４０の演算に用いられるデータ等（例えば、ＬＵＴ）を格納する。
　出力部１７０は、合成部１６０が合成した第１距離画像及び第２距離画像に基づく距離画像に距離情報を付加して出力する。また、出力部１７０は、第１距離画像（例えば、後述する第１距離画像群撮像ステップにより生成される距離画像）に個別に設定された互いに異なる色彩を当該第１距離画像に付加してもよい。出力部１７０は、例えば、３次元化距離画像に当該色彩を付与してもよい。出力部１７０は、例えば、演算部１４０により対象物が有ると判定された画素１２２ａに色彩を付与してもよい。また、出力部１７０は、第２距離画像（例えば、後述する第２距離画像群撮像ステップにより生成される距離画像）に個別に設定された互いに異なる色彩を当該第２距離画像に付加してもよい。なお、色彩は、第１距離画像群及び第２距離画像群のそれぞれにおいても、互いに異なっていてもよい。
　なお、出力部１７０は、演算部１４０により、第１距離画像群および第２距離画像群のそれぞれにおいて、同一画素１２２ａの複数（２以上）の区間距離画像で対象物が有ると判定され、かつ、合成部１６０により、奥行方向の手前側の区間距離画像の判定結果が優先して選択された場合、複数の距離画像のうち選択された当該距離画像に色彩を付加してもよい。
　また、出力部１７０は、例えば、距離画像を距離検出装置１００の外部に出力ためのインターフェースを有していてもよい。インターフェースは、例えば、ＵＳＢインターフェースである。例えば、出力部１７０は、外部のＰＣ（パーソナルコンピュータ）等に距離画像を出力する。なお、ここでは、距離検出装置１００から外部への出力機能のみを記載しているが、外部のＰＣ等から制御信号又はプログラム等が当該インターフェースを介して距離検出装置１００に入力されてもよい。
　制御部１３０、演算部１４０、合成部１６０、及び、出力部１７０は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）により実現される。なお、制御部１３０、演算部１４０、及び、合成部１６０の少なくとも一方は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサにより実現されてもよいし、専用のハードウェア（回路）により実現されてもよいし、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　ここで、カメラ１２０の構成、及び、各種回路について、さらに図３Ａ～図３Ｃを参照しながら説明する。図３Ａは、本実施の形態に係る画素１２２ａの構成を示す回路図である。図３Ａは、画像センサ１２２が有する複数の画素のうちの１つの画素１２２ａの回路図を示す。
　図２に示すように、画像センサ１２２は、入射光を受ける受光回路１２３と、積算回路１２４と、出力回路１２５との３つのブロックによって構成されている。以下、３つのブロックのそれぞれについて、図３Ａを参照しながら具体的な構成及び機能を説明する。なお、以下で説明する具体的な構成は、一例を示したものであり、画素１２２ａの構成は、以下に記載したものに限定されない。例えば、同じような機能を有する他の構成であっても、本実施の形態と同様の作用効果が得られる。なお、以下に説明する各種の信号について、「ＯＮする」とはハイレベルの電圧値の信号を印加することをいい、「ＯＦＦする」とはローレベルの電圧値の信号を印加することをいう。
　画像センサ１２２を構成する複数の画素１２２ａのそれぞれは、受光回路１２３、積算回路１２４、及び、出力回路１２５を有する。なお、二次元状に配置された複数の画素１２２ａにより、画素領域（図示しない）が形成される。
　図３Ａに示すように、受光回路１２３は、所定の露光時間内にＡＰＤに到達した入射光の有無に応じて変化する受光信号を積算回路１２４に出力する機能を有する。受光回路１２３は、ＡＰＤと、トランジスタＴＲ１及びＴＲ２とを有する。
　ＡＰＤは、フォトンを検出するための受光素子の一例である。具体的には、ＡＰＤは、アバランシェ増幅型のフォトダイオードである。つまり、ＡＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷をアバランシェ増倍させる光電変換部である。ＡＰＤのアノードは、電源ＶＳＵＢに接続され、カソードは、トランジスタＴＲ２を介してフローティングディフュージョンＦＤに接続されている。ＡＰＤは、入射するフォトンを捉え、捉えたフォトンによって電荷を発生する。発生した電荷は、トランジスタＴＲ２を介して、フローティングディフュージョンＦＤに蓄積保持される。つまり、フローティングディフュージョンＦＤには、ＡＰＤによるアバランシェ増倍の発生回数に応じた電荷が蓄積される。電源ＶＳＵＢから供給される電圧は、例えば、－２０Ｖである。
　トランジスタＴＲ１は、ＡＰＤと電源ＲＳＤとの間に接続されたスイッチングトランジスタである。トランジスタＴＲ１の制御端子（例えば、ゲート端子）には、制御信号であるリセット信号ＯＶＦが入力され、当該リセット信号ＯＶＦによってトランジスタＴＲ１の導通及び非導通が制御される。リセット信号ＯＶＦがＯＮするとトランジスタＴＲ１が導通し、電源ＲＳＤからリセット電圧がＡＰＤに印加され、ＡＰＤが初期状態にリセットされる。なお、リセット電圧は、例えば、３Ｖである。
　トランジスタＴＲ２は、ＡＰＤとフローティングディフュージョンＦＤとの間に接続されたスイッチングトランジスタである。トランジスタＴＲ２の制御端子（例えば、ゲート端子）には、制御信号である読出信号ＴＲＮが入力され、当該読出信号ＴＲＮによってトランジスタＴＲ２の導通及び非導通が制御される。読出信号ＴＲＮがＯＮするとトランジスタＴＲ２が導通し、ＡＰＤで発生した電荷がフローティングディフュージョンＦＤに転送される。トランジスタＴＲ２は、ＡＰＤで発生した電荷がフローティングディフュージョンＦＤに転送するための転送トランジスタであるとも言える。
　制御部１３０は、ＡＰＤの露光タイミングに合わせて、トランジスタＴＲ１が非導通となり、かつトランジスタＴＲ２が導通となるように、各種制御信号を制御する。
　積算回路１２４は、サブフレームごとに複数回の露光が行われる場合に、当該複数回の露光で発生した電荷を積算する（蓄積する）機能を有する。積算回路１２４は、例えば、Ａグループのサブフレーム群のそれぞれ及びＢグループのサブフレーム群のそれぞれにおいて、ＡＰＤが検出したフォトンを電圧に変換して積算する。そして、積算回路１２４は、積算された電荷（以降において、検出積算値とも記載する）を出力回路１２５に出力する。積算回路１２４は、トランジスタＴＲ３及びＴＲ４と、電荷蓄積コンデンサＭＩＭ１とを有する。
　トランジスタＴＲ３は、フローティングディフュージョンＦＤと電荷蓄積コンデンサＭＩＭ１との間に接続されたスイッチングトランジスタ（カウンタトランジスタ）である。トランジスタＴＲ３の制御端子（例えば、ゲート端子）には、制御信号である積算信号ＣＮＴが入力され、当該積算信号ＣＮＴによってトランジスタＴＲ３の導通及び非導通が制御される。積算信号ＣＮＴがＯＮするとトランジスタＴＲ３が導通し、フローティングディフュージョンＦＤに蓄積されている電荷が電荷蓄積コンデンサＭＩＭ１に蓄積される。これにより、電荷蓄積コンデンサＭＩＭ１には、複数回の露光によりＡＰＤが受光したフォトンの受光数に応じた電荷が蓄積される。
　トランジスタＴＲ４は、電荷蓄積コンデンサＭＩＭ１と電源ＲＳＤとの間に接続されたスイッチングトランジスタである。トランジスタＴＲ４の制御端子（例えば、ゲート端子）には、制御信号であるリセット信号ＲＳＴが入力され、当該リセット信号ＲＳＴによってトランジスタＴＲ４の導通及び非導通が制御される。リセット信号ＲＳＴがＯＮするとトランジスタＴＲ４が導通し、電源ＲＳＤからのリセット電圧がフローティングディフュージョンＦＤに印加され、フローティングディフュージョンＦＤに蓄積されている電荷が初期状態にリセットされる。
　また、トランジスタＴＲ３及びＴＲ４が導通した場合、電源ＲＳＤからのリセット電圧が電荷蓄積コンデンサＭＩＭ１に印加され、電荷蓄積コンデンサＭＩＭ１の電圧が当該リセット電圧にリセット（初期状態にリセット）される。
　電荷蓄積コンデンサＭＩＭ１は、受光回路１２３の出力と負側電源ＶＳＳＡとの間に接続され、サブフレーム内における複数の露光のそれぞれで発生した電荷を蓄積する。電荷蓄積コンデンサＭＩＭ１は、第１距離画像群及び第２距離画像群を含む複数の距離画像群の取得のそれぞれにおいて、画素１２２ａが検出したフォトン数に対応する画素信号を画素電圧として記憶する。これにより、ＡＰＤがフォトンを受光するたびに電荷蓄積コンデンサＭＩＭ１に電荷が蓄積される。なお、初期状態における電荷蓄積コンデンサＭＩＭ１の電圧は、リセット電圧の３Ｖである。また、電荷蓄積コンデンサＭＩＭ１に電荷が蓄積されると、電荷蓄積コンデンサＭＩＭ１の電圧は初期状態から下がる。電荷蓄積コンデンサＭＩＭ１は、画素１２２ａの回路内に設けられた記憶素子の一例である。
　出力回路１２５は、電荷蓄積コンデンサＭＩＭ１に蓄積された電荷（検出積算値）に応じた電圧を増幅し、増幅された電圧を信号線ＳＬに出力する。出力回路１２５は、例えば、Ａグループのサブフレーム群のそれぞれ及びＢグループのサブフレーム群のそれぞれにおいて、積算回路１２４が積算した検出積算値に応じた検出積算値出力信号を出力する。出力回路１２５は、トランジスタＴＲ５及びＴＲ６を有する。なお、検出積算値は、積算値の一例である。
　トランジスタＴＲ５は、トランジスタＴＲ６と電源ＶＤＤとの間に接続された増幅トランジスタである。トランジスタＴＲ５の制御端子（例えば、ゲート端子）は、電荷蓄積コンデンサＭＩＭ１に接続され、ドレインに電源ＶＤＤから電圧が供給され、電荷蓄積コンデンサＭＩＭ１に蓄積された電荷の電荷量に応じた検出積算値出力信号を出力する。
　トランジスタＴＲ６は、トランジスタＴＲ５と信号線ＳＬ（例えば、列信号線）との間に接続されたスイッチングトランジスタ（選択トランジスタ）である。トランジスタＴＲ６の制御端子（例えば、ゲート端子）は、制御信号である行選択信号ＳＥＬが入力され、当該行選択信号ＳＥＬによってトランジスタＴＲ６の導通及び非導通が制御される。トランジスタＴＲ６は、検出積算値出力信号を出力するタイミングを決定する。行選択信号ＳＥＬがＯＮするとトランジスタＴＲ６が導通し、トランジスタＴＲ５からの検出積算値出力信号が信号線ＳＬに出力される。
　図２を再び参照して、ＣＤＳ回路１２６は、画素１２２ａからの出力である検出積算値出力信号に含まれるオフセット成分を除去するための回路である。オフセット成分とは、検出積算値出力信号に重畳しているトランジスタＴＲ５固有のオフセット電圧信号を意味する。なお、このオフセット成分は、各画素１２２ａで異なる値となる場合がある。
　ここで、ＣＤＳ回路１２６について、図３Ｂを参照しながら説明する。図３Ｂは、本実施の形態に係るＣＤＳ回路１２６の構成を示す回路図である。ＣＤＳ回路１２６は、画素列ごとに設けられる。相関二重サンプリングとは、画素から供給される検出積算値出力信号と電荷蓄積コンデンサＭＩＭ１の電圧をリセットした後の増幅トランジスタからの出力電圧との差分を、実際の信号成分としてサンプリングする技術である。相関二重サンプリングについては、特に限定される必要はなく、従来技術が用いられてもよい。したがって、相関二重サンプリングの詳細な説明については省略する。
　図３Ｂに示すように、ＣＤＳ回路１２６は、インバータＡＭＰ１と、第１のＣＤＳ回路ＣＤＳ１（第１の相関二重サンプリング回路）と、第２のＣＤＳ回路ＣＤＳ２（第２の相関二重サンプリング回路）と、出力部ＡＭＰ２とを有する。第１のＣＤＳ回路ＣＤＳ１と、第２のＣＤＳ回路ＣＤＳ２とは、並列に接続されている。
　インバータＡＭＰ１は、信号線ＳＬからの検出積算値出力信号を反転増幅させる。
　第１のＣＤＳ回路ＣＤＳ１は、トランジスタＴＲ７及びＴＲ８と、コンデンサＣ１とを有する。コンデンサＣ１の一端は、負側電源ＶＳＳＡに接続されている。トランジスタＴＲ７は、インバータＡＭＰ１とコンデンサＣ１の他端との間に接続されているスイッチングトランジスタである。トランジスタＴＲ７の制御端子（例えば、ゲート端子）には、制御信号ＯＤＤ＿ＳＨが入力され、当該制御信号ＯＤＤ＿ＳＨによってトランジスタＴＲ７の導通及び非導通が制御される。制御信号ＯＤＤ＿ＳＨがＯＮするとトランジスタＴＲ７が導通し、コンデンサＣ１に検出積算値出力信号とオフセット電圧信号との差分に比例するオフセット除去後検出積算信号（画素信号）が蓄積される。
　トランジスタＴＲ８は、出力部ＡＭＰ２とコンデンサＣ１の他端との間に接続されているスイッチングトランジスタである。トランジスタＴＲ８の制御端子（例えば、ゲート端子）には、制御信号ＥＶＥＮ＿ＳＨが入力され、当該制御信号ＥＶＥＮ＿ＳＨによって導通及び非導通が制御される。制御信号ＥＶＥＮ＿ＳＨがＯＮするとトランジスタＴＲ８が導通し、コンデンサＣ１に蓄積されたオフセット除去後検出積算信号が出力部ＡＭＰ２（出力バッファ）に出力される。
　第１のＣＤＳ回路ＣＤＳ１は、画素行における隣り合う画素１２２ａの一方の画素１２２ａに対応するオフセット除去後検出積算信号を蓄積する。第１のＣＤＳ回路ＣＤＳ１は、例えば、奇数行の画素１２２ａに対応するオフセット除去後検出積算信号を蓄積する。
　第２のＣＤＳ回路ＣＤＳ２は、トランジスタＴＲ９及びＴＲ１０と、コンデンサＣ２とを有する。コンデンサＣ２の一端は、負側電源ＶＳＳＡに接続されている。トランジスタＴＲ８は、インバータＡＭＰ１とコンデンサＣ２の他端との間に接続されているスイッチングトランジスタである。トランジスタＴＲ９の制御端子（例えば、ゲート端子）には、制御信号ＥＶＥＮ＿ＳＨが入力され、当該制御信号ＥＶＥＮ＿ＳＨによってトランジスタＴＲ９の導通及び非導通が制御される。制御信号ＥＶＥＮ＿ＳＨがＯＮするとトランジスタＴＲ９が導通し、コンデンサＣ２に検出積算値出力信号とオフセット電圧信号との差分に比例するオフセット除去後検出積算信号（画素信号）が蓄積される。なお、コンデンサＣ２には、コンデンサＣ１とは異なる画素列の画素１２２ａのオフセット除去後検出積算信号が蓄積される。
　トランジスタＴＲ１０は、出力部ＡＭＰ２とコンデンサＣ２の他端との間に接続されているスイッチングトランジスタである。トランジスタＴＲ１０の制御端子（例えば、ゲート端子）には、制御信号ＯＤＤ＿ＳＨが入力され、当該制御信号ＯＤＤ＿ＳＨによって導通及び非導通が制御される。制御信号ＯＤＤ＿ＳＨがＯＮするとトランジスタＴＲ１０が導通し、コンデンサＣ２に蓄積された電荷が出力部ＡＭＰ２に出力される。
　第２のＣＤＳ回路ＣＤＳ２は、画素行における隣り合う画素１２２ａの他方の画素１２２ａに対応するオフセット除去後検出積算信号を蓄積する。第２のＣＤＳ回路ＣＤＳ２は、例えば、偶数行の画素１２２ａに対応するオフセット除去後検出積算信号を蓄積する。
　上記のように、ＣＤＳ回路１２６は、トランジスタＴＲ７及びＴＲ１０が同時に導通し、トランジスタＴＲ８及びＴＲ９が同時に導通する。また、トランジスタＴＲ７及びＴＲ１０が導通するタイミングと、トランジスタＴＲ８及びＴＲ９が導通するタイミングとは、互いに異なるように制御される。
　例えば、コンデンサＣ２にオフセット除去後検出積算信号が蓄積されている場合、トランジスタＴＲ７及びＴＲ１０が導通されることにより、コンデンサＣ１に相関二重サンプリング処理されたオフセット除去後検出積算信号が蓄積されるとともに、コンデンサＣ２に蓄積されていたオフセット除去後検出積算信号をＡＤＣ回路１２７に出力することができる。コンデンサＣ２に蓄積されたオフセット除去後検出積算信号をＡＤＣ回路１２７に出力中（例えば、当該オフセット除去後検出積算信号をＡＤ変換中）に、コンデンサＣ２に蓄積されたオフセット除去後検出積算信号に対応する画素１２２ａとは異なる画素１２２ａに対応するオフセット除去後検出積算信号をコンデンサＣ１に蓄積することができる。このように、トランジスタＴＲ７及びＴＲ１０と、トランジスタＴＲ８及びＴＲ９とを交互に導通させることにより、コンデンサＣ１及びＣ２の一方のコンデンサに蓄積されていたオフセット除去後検出積算信号を出力するとともに、他方のコンデンサにオフセット除去後検出積算信号を蓄積することができる。
　相関二重サンプリングとは、画素１２２ａから供給される検出積算値出力信号と電荷蓄積コンデンサＭＩＭ１の電圧をリセットした後の増幅トランジスタ（例えば、トランジスタＴＲ５）からの出力電圧との差分を、実際の信号成分としてサンプリングする技術である。相関二重サンプリングについては、特に限定される必要はなく、従来技術が用いられてもよい。したがって、相関二重サンプリングの詳細な説明については省略する。
　このように、ＣＤＳ回路１２６でオフセット除去動作とＡＤ変換動作とを同時に行うことができ、画像センサ１２２のフレームレートをハード的に高速化することができる。
　ここで、ＡＤＣ回路１２７について、図３Ｃを参照しながら説明する。図３Ｃは、本実施の形態に係るＡＤＣ回路１２７の構成を示す回路図である。
　図３Ｃに示すように、ＡＤＣ回路１２７は、画素列ごとに設けられる。ＡＤＣ変換は、例えば、シングルスロープ方式である。ＤＡＣ（Ｄｉｇｉｔａｌ　ｔｏ　Ａｎａｌｏｇ　Ｃｏｎｖｅｒｔｅｒ）がＲＡＭＰ信号を出力し、そのＲＡＭＰ信号と、ＣＤＳ回路１２６の出力信号ＣＤＳＯＵＴとをＣＯＭＰＡＲＡＴＯＲで比較する。両信号が一致した瞬間に、ＣＯＭＰＡＲＡＴＯＲの出力が初期値から反転して、後段のＣＯＵＮＴＥＲのカウント動作を停止させる信号を出力する。ＣＯＵＮＴＥＲのカウント値とＤＡＣのＲＡＭＰ信号とは同期しており、停止したカウント値はＣＤＳ回路１２６の出力信号ＣＤＳＯＵＴに比例することから、このカウント値を出力信号ＣＤＳＯＵＴのデジタル値としている。その後、デジタル値は、各列のＤＡＴＡ－ＬＡＴＣＨに転送された後、ＤＩＧＩＴＡＬ－ＳＨＩＦＴＲＥＧＩＳＴＥＲで高速転送して画像センサ１２２から出力される。すなわち、ＡＤＣ回路１２７は、図２のデジタル変換後検出積算信号を順次高速転送して、図１の演算部１４０にする出力する回路である。
　［１－２．動作］
　次に、上記のようなＡＰＤを有する画素１２２ａを二次元状に配置した距離検出装置１００における距離画像を生成する動作について説明する。まずは、距離検出装置１００における距離画像を生成する概略動作について、図４Ａ～図７を参照しながら説明する。図４Ａは、本実施の形態に係る距離検出装置１００のＡグループの第１サブフレームにおける測距処理タイミングの一例を示す図である。
　上記で説明したように、制御部１３０は、互いに異なる第１フレーム及び第２フレームにおいて、例えば、異なる測距範囲となるように第１フレーム及び第２フレームの測距範囲を決定する。そして、制御部１３０は、例えば、第１フレームを複数のサブフレームに分割し、複数のサブフレームのそれぞれに、互いに異なり、かつ互いに距離連続性を有しない測距範囲を設定する。Ａグループは、当該１フレームを分割した複数のサブフレームを含む。図４Ａ～図７では、第１フレームを３つのサブフレーム（第１サブフレーム、第３サブフレーム、及び、第５サブフレーム）に分割した場合について説明する。例えば、第１サブフレームは、測距範囲が９ｍ～１２ｍであり、第３サブフレームは、測距範囲が１５ｍ～１８ｍであり、第５サブフレームは、測距範囲が２１～２４ｍである。このように、サブフレームのそれぞれは、測距範囲が互いに距離連続性を有さないように決定される。なお、１２ｍ～１５ｍ、及び、１８ｍ～２１ｍの測距範囲の測距は、例えば、第２フレームで行われる。なお、この場合、測距範囲の幅（測距区間の幅）は、一律３ｍである例を示しているが、これに限定されない。
　図４Ａに示すように、第１サブフレームは、第１測距期間と第１読出し期間とを有する。第１測距期間は、第１サブフレームに応じた測距範囲における測距を行う期間であり、第１読出し期間は、画素１２２ａからＣＤＳ回路１２６に検出積算値出力信号を読み出す（出力する）期間である。
　まず、制御部１３０は、積算回路１２４のトランジスタＴＲ４のゲート端子にリセット信号ＲＳＴを印加することでトランジスタＴＲ４を導通させ、電荷蓄積コンデンサＭＩＭ１をリセットする。
　さらに、制御部１３０は、光源１１０を制御し、期間Ｔ１の幅を有する光源パルス（光パルス）を照射する。期間Ｔ１は、例えば、２０ｎｓであるがこれに限定されない。
　第１測距期間で測定する測距範囲（ここでは、９ｍ～１２ｍ）に物体が位置する場合、当該物体で反射した反射光は、光源１１０から光源パルスが照射された時刻に対して、期間ＴＤ１だけ遅れて距離検出装置１００に到達する。したがって、受光回路１２３の読出信号ＴＲＮにより、露光をこの時刻に開始し期間ＴＥ１間だけ露光するように設定すれば、この距離範囲内にある物体からの反射光を検知することができる。なお、期間ＴＤ１は、測距範囲の最小値（ここでは９ｍ）と光速とに基づいて決定される。また、ＴＥ１は、測距範囲内の最大値（ここでは１２ｍ）と最小値との差分と光速とに基づいて決定される。期間ＴＤ１は、例えば、６０ｎｓであり、期間ＴＥ１は、例えば、２０ｎｓである。
　図４Ａでは、期間ＴＥ１が露光期間である。期間ＴＥ１では、トランジスタＴＲ１が非導通であり、かつトランジスタＴＲ２が導通する。露光期間後、トランジスタＴＲ１が導通し、かつトランジスタＴＲ２が非導通となる。これにより、ＡＰＤは、リセットされる。
　このあと、積算回路１２４において、積算信号ＣＮＴによりトランジスタＴＲ３が導通することで、フローティングディフュージョンＦＤに蓄積された電荷が、電荷蓄積コンデンサＭＩＭ１に蓄積される。
　第１測距期間において、上記の動作が所定回数繰り返し実行される。所定回数は特に限定されない。第１測距期間において、上記の動作が少なくとも１回実行されればよい。なお、第１測距期間において、上記の動作が複数回繰り返し実行される場合、ＡＰＤが反射光を受光するごとに、電荷蓄積コンデンサＭＩＭ１に蓄積されている電荷が増加する。
　そして、第１測距期間が経過すると、第１読出し期間に移り、電荷蓄積コンデンサＭＩＭ１に蓄積された電荷に対応する検出積算値出力信号が出力回路１２５からＣＤＳ回路１２６に出力される。第１のＣＤＳ期間は、上記の検出積算値出力信号を出力回路１２５からＣＤＳ回路１２６に出力するための期間である。第１のＣＤＳ期間では、まずトランジスタＴＲ３及びＴＲ４のうちトランジスタＴＲ３を導通させる。これにより、検出積算値出力信号が出力回路１２５からＣＤＳ回路１２６に出力される。その後、第１のＣＤＳ期間において、トランジスタＴＲ３及びＴＲ４の両方を導通させる。これにより、電荷蓄積コンデンサＭＩＭ１がリセットされる。再びトランジスタＴＲ３及びＴＲ４を非導通にすることで、電荷蓄積コンデンサＭＩＭ１のリセット動作が完了する。
　第２のＣＤＳ期間は、電荷蓄積コンデンサＭＩＭ１が初期状態ときの電圧に対応するリセット電圧信号を出力回路１２５からＣＤＳ回路１２６に出力するための期間である。第２のＣＤＳ期間では、まずトランジスタＴＲ３及びＴＲ４のうちトランジスタＴＲ３を導通させる。これにより、リセット電圧信号が出力回路１２５からＣＤＳ回路１２６に出力される。その後、第２のＣＤＳ期間において、トランジスタＴＲ３及びＴＲ４の両方を導通させる。これにより、再度電荷蓄積コンデンサＭＩＭ１がリセットされる。再びトランジスタＴＲ３及びＴＲ４を非導通にすることで、電荷蓄積コンデンサＭＩＭ１のリセット動作が完了する。
　これにより、ＣＤＳ回路１２６において、検出積算値出力信号とリセット電圧信号との差分に基づくオフセット除去後検出積算信号が生成され、蓄積される。オフセット除去後検出積算信号は、ＡＰＤが受光した反射光の強度のみに依存した信号である。
　そして、オフセット除去後検出積算信号は、ＡＤＣ回路１２７でデジタル信号に変換され、演算部１４０で物体の有無の判定等が行われる。そして、判定結果は、合成部１６０に出力される。
　このように、本実施の形態に係る距離検出装置１００は、測距するとすぐに当該測距により生成される検出積算値出力信号を読出す処理を行う。これにより、画素１２２ａ（画素回路）を単純に構成することができるので、画素１２２ａ（画素回路）を微細化することができる。
　図４Ｂは、本実施の形態に係る第１サブフレーム画像を示す図である。図４Ｂは、縦横各３画素で構成される画像を示す。なお、後述する図５Ｂ及び６Ｂにおいても同様である。
　図４Ｂでは、演算部１４０が、デジタル信号とＬＵＴとに基づいて、９画素のうち、２画素において、物体があると判定した場合を示す。図中の「Ｚ１」は、第１サブフレームにおいて物体があると判定されたことを示す情報である。「Ｚ１」が記載されている画素１２２ａは、第１サブフレームにおいて、物体があると判定された画素である。「Ｚ１」は、距離情報を有する。
　次に、第３サブフレームについて、図５Ａ及び５Ｂを参照しながら説明する。第３サブフレームは、例えば、第１サブフレームより後に測距されるサブフレームであって、第１サブフレームの測距範囲より遠い範囲を測距する。図５Ａは、本実施の形態に係る距離検出装置１００の第３サブフレームにおける測距処理タイミングの一例を示す図である。
　図５Ａに示すように、第３サブフレームは、第３測距期間と第３読出し期間とを有する。第３測距期間は、測距を行う期間であり、第３読出し期間は、画素１２２ａからＣＤＳ回路１２６に検出積算値出力信号を読出す（出力する）期間である。
　第３測距期間においては、光源パルスを発してから露光を開始するまでの期間ＴＤ３が第１測距期間における期間ＴＤ１と異なる。第３サブフレームは第１サブフレームより遠い測距範囲を測距するので、期間ＴＤ３は期間ＴＤ１より長い。このように、各サブフレームにおいて、当該サブフレームにおける測距範囲に応じて、光源パルスの発光に対する読出信号ＴＲＮの供給タイミングが異なる。なお、期間Ｔ３は期間Ｔ１と同じでもよく、例えば、２０ｎｓである。また、測距範囲内の最大値と最小値との差分（ここでは、３ｍ）が同じであるので、期間ＴＥ３は期間ＴＥ１と同じであり、例えば、２０ｎｓである。
　また、第３読出し期間における処理は、第１読出し期間と同様であり、説明を省略する。
　図５Ｂは、本実施の形態に係る第３サブフレーム画像を示す図である。
　図５Ｂでは、演算部１４０が、９画素のうち、２つの画素において、物体があると判定した場合を示す。図中の「Ｚ３」の画素１２２ａが、物体があると判定された画素である。
　次に、第５サブフレームについて、図６Ａ及び６Ｂを参照しながら説明する。第５サブフレームは、例えば、第３サブフレームより後に測距されるサブフレームであって、第３サブフレームの測距範囲より遠い範囲を測距する。図６Ａは、本実施の形態に係る距離検出装置１００の第５サブフレームにおける測距処理タイミングの一例を示す図である。
　図６Ａに示すように、第５サブフレームは、第５測距期間と第５読出し期間とを有する。第５測距期間は、測距を行う期間であり、第５読出し期間は、画素１２２ａからＣＤＳ回路１２６に検出積算値出力信号を読出す（出力する）期間である。
　第５測距期間においては、光源パルスを発してから露光を開始するまでの期間ＴＤ５が第３測距期間における期間ＴＤ３と異なる。第５サブフレームは第３サブフレームより遠い測距範囲を測距するので、期間ＴＤ５は期間ＴＤ３より長い。なお、期間Ｔ５は期間Ｔ３と同じでもよく、例えば、２０ｎｓである。また、測距範囲内の最大値と最小値との差分（ここでは、３ｍ）が同じであるので、期間ＴＥ５は期間ＴＥ３と同じであり、例えば、２０ｎｓである。
　また、第５読出し期間における処理は、第３読出し期間と同様であり、説明を省略する。
　図６Ｂは、本実施の形態に係る第５サブフレーム画像を示す図である。
　図６Ｂでは、演算部１４０が、９画素のうち、２画素において、物体があると判定した場合を示す。図中の「Ｚ５」の画素１２２ａが、物体があると判定された画素である。
　次に、合成部１６０における距離画像の生成について、図７を参照しながら説明する。図７は、本実施の形態に係る合成後の距離画像を示す図である。
　図７に示すように、合成部１６０は、第１サブフレーム画像、第３サブフレーム画像、及び、第５サブフレーム画像に基づいて、第１フレームにおける距離画像（第１距離画像の一例）を生成する。合成部１６０は、第１サブフレーム画像、第３サブフレーム画像、及び、第５サブフレーム画像を合成することで、第１フレームにおいて、１つの距離画像を生成する。
　合成部１６０は、例えば、右下の画素１２２ａにおいては、第１サブフレーム画像、第３サブフレーム画像、及び、第５サブフレーム画像のうち第１サブフレーム画像において距離情報「Ｚ１」が対応付けられている。そのため、合成部１６０は、例えば、右下の画素１２２ａにおいては、距離情報「Ｚ１］とする。言い換えると、合成部１６０は、右下の画素１２２ａにおいては、Ａグループの第１サブフレームに対応する測距範囲である９ｍ～１２ｍの位置に物体があることを示す情報を当該画素１２２ａに対応づける。
　なお、演算部１４０は、同一の画素１２２ａに対して、２以上サブフレーム（２以上の区間距離画像）において物体があると判定することがある。例えば、図４Ｂ及び図６Ｂに示すように、演算部１４０は、左上の画素１２２ａにおいて、９ｍ～１２ｍ、及び、１８ｍ～２１ｍのそれぞれに物体があると判定している。この場合、合成部１６０は、距離検出装置１００の用途などに応じて、一方を適宜選択する。合成部１６０は、例えば、距離検出装置１００が自動車に用いられる場合、近距離の情報の方が運転における影響が大きいので、近距離の情報を優先して選択する。本実施の形態では、図７に示すように、９ｍ～１２ｍの位置に物体があることを示す「Ｚ１」を選択する。
　上記のように、合成部１６０は、第１フレームにおいて、演算部１４０が１つの画素１２２ａに対して、Ａグループのサブフレーム群のうち２以上のＡグループのサブフレームで物体が有ると判定した場合、当該２以上のＡグループのサブフレームのうち、近距離側の測距範囲を測距したＡグループのサブフレームの判定結果に基づいて、第１距離画像を生成してもよい。また、第２フレームにおいても、同様である。
　なお、距離検出装置１００の用途に応じては、遠距離の情報が優先して選択されてもよい。
　ここで、距離検出装置１００における距離画像を生成する動作について説明する。図８は、本実施の形態に係る距離検出装置１００の距離画像生成処理の一例を示すフローチャートである。なお、以下に示すステップＳ１０～Ｓ１００までの処理は、第１フレームにおいて、物体までの距離を検出する第１距離検出ステップの一例である。また、以下に示すステップＳ１１０～Ｓ２００までの処理は、第２フレームにおいて、物体までの距離を検出する第２距離検出ステップの一例である。また、以下に示す及びステップＳ１０は、設定ステップの一例であり、ステップＳ２０～Ｓ９０は、第１距離画像群撮像ステップの一例であり、ステップＳ１１０～Ｓ１９０は、第２距離画像群撮像ステップの一例である。また、第１距離画像群撮像ステップ及び第２距離画像群撮像ステップは、撮像ステップに含まれる。
　図８に示すように、制御部１３０は、奥行方向に測距区間を分割する（Ｓ１０）。奥行方向は、画像センサ１２２の撮像方向であり、例えば、前方などである。制御部１３０は、例えば、画像センサ１２２からの距離ごとに測距区間を分割する。制御部１３０は、例えば、画像センサ１２２での測距範囲が９ｍ～１５ｍである場合、測距範囲９ｍ～１２ｍを１つの測距区間とし、測距範囲１２ｍ～１５ｍを１つの測距区間とする。これは、奥行方向に測距区間を分割することの一例である。制御部１３０は、奥行方向に距離連続性を有するように、測距区間を分割してもよい。つまり、制御部１３０は、Ａグループの測距区間のそれぞれに、互いに異なる測距範囲であって、かつ互いに距離連続性を有する測距範囲を設定してもよい。制御部１３０は、第１フレームを測距区間ごとの複数のサブフレームに分割するとも言える。当該測距区間の一部のサブフレーム（サブフレーム群）は、Ａグループに含まれる。分割数は、特に限定されない。測距区間は、距離分割区間の一例である。
　なお、各測距区間の幅（距離の幅）は、等しい（例えば、３ｍ）である例について説明したが、これに限定されない。制御部１３０は、奥行方向の手前側（カメラ１２０に近い側）の測距区間の距離を、奥行方向の奥側の測距区間より距離を狭く設定してもよい。制御部１３０は、奥行方向の手前側から奥側までの測距区間の距離を、徐々に変化させてもよい。制御部１３０は、奥行方向の手前側の測距区間から奥側の測距区間になるにつれ、（例えば、カメラ１２０から遠ざかるにつれ）測距区間の距離を、徐々に大きくしてもよい。
　なお、制御部１３０は、例えば、Ａグループの各測距区間（例えば、各サブフレーム）を、互いに非連続な測距区間に設定してもよい。具体的には、制御部１３０は、Ａグループの測距区間のそれぞれに、互いに異なる測距範囲であって、かつ互いに距離連続性を有しない測距範囲を設定してもよい。ステップＳ１０は、第１設定ステップの一例でもある。
　そして、制御部１３０は、Ａグループの測距区間ごとに距離画像の撮像を実行する（Ｓ２０）。制御部１３０は、ＡステップＳ１０で設定されたＡグループの測距区間それぞれにおける測距を行うように、光源１１０及びカメラ１２０を制御する。制御部１３０は、例えば、上記の図４Ａ等に示すように、光源１１０及びカメラ１２０を制御する。なお、Ａグループの測距区間は、ステップＳ１０で設定された測距区間の一部の区間である。
　そして、ステップＳ２０の撮像が実行されることで、当該測距区間において、フォトン入射による発生電荷を複数回積算した距離画像を撮像する（Ｓ３０）。積算された電荷を積算電荷Ｓ１とも記載する。ここでの距離画像を撮像することは、例えば、当該距離画像の積算電荷Ｓ１を取得することに相当する。なお、積算電荷Ｓ１は、図２に示す検出積算値に対応する。また、積算電荷Ｓ１は、電荷蓄積コンデンサＭＩＭ１に蓄積される。ステップＳ２０及びＳ３０は、第１測距ステップの一例である。
　そして、演算部１４０は、距離画像の積算電荷Ｓ１を画像センサ１２２からリードする（Ｓ４０）。これにより、Ａグループの測距区間ごとに、積算電荷Ｓ１に対応した検出積算値出力信号（ＡＰＤが受光した光に対応する電圧信号）が画素１２２ａの外部に出力される。
　なお、ステップＳ４０は、さらに、画素１２２ａから出力された検出積算値出力信号に対して相関二重サンプリング処理が行い、保持するＣＤＳ処理ステップと、当該検出積算値出力信号の前に取得された検出積算値出力信号（つまり、画素列における隣り合う画素１２２ａから出力された検出積算値出力信号）であって、相関二重サンプリング処理が行われ保持されている検出積算値出力信号（つまり、オフセット除去後検出積算信号）を出力する出力ステップとを含んでいてもよい。ＣＤＳ処理ステップと出力ステップとは、並行して行われる。
　例えば、図４Ａ等に示す第１読出し期間においてＣＤＳ処理ステップが実行されるとともに、当該第１読出し期間において、ＣＤＳ回路１２６から相関二重サンプリング処理されたオフセット除去後検出積算信号がＡＤＣ回路１２７に出力される。言い換えると、検出積算値出力信号に対する相関二重サンプリング処理中に、相関二重サンプリング処理されたオフセット除去後検出積算信号が出力される。
　そして、演算部１４０は、距離画像に測距区間情報を付与する（Ｓ５０）。測距区間情報は、測距区間を示す情報を含み、例えば、サブフレームＮｏに基づく情報を含む。
　そして、演算部１４０は、Ａグループの測距区間ごとに、測距された結果（例えば、検出積算値出力信号に基づいて生成されたデジタル信号）に基づいて、物体の有無を判定する（Ｓ６０）。例えば、演算部１４０は、積算電荷Ｓ１（第１電圧信号の一例）と閾値電圧とを比較する。例えば、演算部１４０は、積算電荷Ｓ１に対応する信号（電圧信号）と閾値電圧とを比較する。そして、演算部１４０は、積算電荷Ｓ１が閾値電圧より大きい場合（Ｓ６０でＹｅｓ）、物体が有ることを示す有り判定画素にフラグを立てる（Ｓ７０）。ステップＳ７０の処理は、画素１２２ａごとに行われる。当該サブフレームにおいて、物体が有ると判定された画素１２２ａに、当該フラグが立つ。また、演算部１４０は、積算電荷Ｓ１が閾値電圧以下である場合（Ｓ６０でＮｏ）、ステップＳ８０に進む。
　演算部１４０は、Ａグループの測距区間のそれぞれにおいて、判定結果と測距区間情報とを合成部１６０に出力する。判定結果は、例えば、図４Ｂ等に示すサブフレーム画像である。ステップＳ６０は、第１判定ステップの一例である。
　そして、制御部１３０は、Ａグループの全測距区間の距離画像を撮像したか否かを判定する（Ｓ８０）。合成部１６０は、制御部１３０がＡグループの全測距区間の距離画像を撮像したと判定する（Ｓ８０でＹｅｓ）と、第１距離画像群の撮像を完了し（Ｓ９０）、各測距区間の画素１２２ａに立ったフラグを合成し、第１距離画像を生成し出力する（Ｓ１００）。ステップＳ１００は、第１距離画像生成ステップの一例である。
　なお、制御部１３０は、Ａグループの全測距区間の距離画像を撮像していないと判定する（Ｓ８０でＮｏ）と、ステップＳ２０に戻りＡグループの全測距区間で距離画像の撮像が完了するまでステップＳ２０～Ｓ７０の処理を継続する。
　次に、第２フレームにおける第２距離画像を生成する処理が行われる。第２距離画像は、第１距離画像で測距されていなかった測距区間を測距した結果に基づいて生成される画像である。
　制御部１３０は、ステップＳ１０で設定した測距区間から、奥行方向に測距区間の分割位置（分割距離）をシフトさせる（Ｓ１１０）。制御部１３０は、ステップＳ１０で設定した測距区間と位相の異なる測距区間を設定するとも言える。また、制御部１３０は、第２フレームを測距区間ごとの複数のサブフレームに分割するとも言える。当該測定区間それぞれのサブフレーム（サブフレーム群）は、Ｂグループに含まれる。分割数は、特に限定されないが、例えば、Ａグループのサブフレームと同数であってもよい。
　なお、制御部１３０は、例えば、Ａグループで設定していない非連続な測距区間をＢグループの測距区間に設定してもよい。具体的には、制御部１３０は、Ｂグループの測距区間のそれぞれに、第１フレームで設定されていない測距範囲のうち、互いに異なる測距範囲であって、かつ互いに距離連続性を有しない測距範囲を設定してもよい。制御部１３０は、距離検出装置１００における測距可能は範囲から、第１フレームで設定されていない測距範囲を選択し、選択した測距範囲をＢグループの測距区間のそれぞれに割り当てることで測距区間を設定してもよい。このように測距区間を割り当てることも、奥行方向に測距区間の分割位置をシフトさせることに含まれる。
　そして、制御部１３０は、Ｂグループの測距区間ごとに距離画像の撮像を実行する（Ｓ１２０）。制御部１３０は、ステップＳ１１０で設定された測距区間における測距を行うように、光源１１０及びカメラ１２０を制御する。
　そして、ステップＳ１２０の撮像が実行されることで、当該測距区間において、でフォトン入射による発生電荷を複数回積算した距離画像を撮像する（Ｓ１３０）。積算された電荷を積算電荷Ｓ２とも記載する。ここでの距離画像を撮像することは、例えば、当該距離画像の積算電荷Ｓ２を取得することに相当する。積算電荷Ｓ２は、図２に示す検出積算値に対応する。また、積算電荷Ｓ２は、電荷蓄積コンデンサＭＩＭ１に蓄積される。ステップＳ１２０及びＳ１３０は、第２測距ステップの一例である。
　そして、演算部１４０は、距離画像の積算電荷Ｓ２を画像センサ１２２からリードする（Ｓ１４０）。これにより、Ｂグループの測距区間ごとに、積算電荷Ｓ２に対応した検出積算値出力信号（ＡＰＤが受光した光に対応する電圧信号）が画素１２２ａの外部に出力される。
　なお、ステップＳ４０と同様に、ステップＳ１４０は、さらに、ＣＤＳ処理ステップと出力ステップとを含み、当該ＣＤＳ処理ステップと出力ステップとは並行して行われてもよい。
　そして、演算部１４０は、距離画像に測距区間情報を付与する（Ｓ１５０）。
　そして、演算部１４０は、Ｂグループの測距区間ごとに、測距された結果（デジタル信号）に基づいて、物体の有無を判定する（Ｓ１６０）。すなわち、演算部１４０は、積算電荷Ｓ２と閾値電圧とを比較する。そして、演算部１４０は、積算電荷Ｓ２が閾値電圧より大きい場合（Ｓ１６０でＹｅｓ）、物体が有ることを示す有り判定画素にフラグを立てる（Ｓ１７０）。ステップＳ１７０の処理は、画素１２２ａごとに行われる。当該距離画像において、物体が有ると判定された画素に、当該フラグが立つ。また、演算部１４０は、積算電荷Ｓ２が閾値電圧以下である場合（Ｓ１６０でＮｏ）、ステップＳ１８０に進む。なお、ステップＳ１６０で用いられる閾値電圧と、Ｓ６０で用いられる閾値電圧とは同じ電圧値であるが、異なる電圧値であってもよい。
　演算部１４０は、Ｂループの測距区間のそれぞれにおいて、判定結果と測距区間情報とを合成部１６０に出力する。ステップＳ１６０は、第２判定ステップの一例である。
　そして、制御部１３０は、Ｂグループの全測距区間の距離画像を撮像したか否かを判定する（Ｓ１８０）。合成部１６０は、制御部１３０がＢグループの全測距区間の距離画像を撮像したと判定する（Ｓ１８０でＹｅｓ）と、第２距離画像群の撮像を完了し（Ｓ１９０）、各測距区間の画素１２２ａに立ったフラグを合成し、第２距離画像を生成し出力する（Ｓ２００）。ステップＳ２００は、第２距離画像生成ステップの一例である。
　なお、制御部１３０は、Ｂグループの全測距区間の距離画像を撮像していないと判定する（Ｓ１８０でＮｏ）と、Ｓ１２０に戻りＢグループの全測距区間で距離画像の撮像が完了するまで、ステップＳ１２０～Ｓ１７０の処理を継続する。
　なお、距離検出装置１００は、図８に示すＳ１０～Ｓ２００までの処理を繰り返し実行する。言い換えると、第１距離画像と第２距離画像とが交互に生成される。具体的には、制御部１３０は、例えば、第１距離画像と第２距離画像とを交互に生成するように、光源１１０及びカメラ１２０を制御する。そのため、出力部１７０は、第１距離画像と第２距離画像とを交互に出力することができる。
　ここで、ステップＳ１００で生成される第１距離画像、及び、ステップＳ２００で生成される第２距離画像について、図９Ａ～図９Ｅを参照しながら説明する。図９Ａは、本実施の形態に係る第１距離画像の一例を説明するための模式図である。図９Ｂは、本実施の形態に係る第１距離画像が生成される流れを模式的に示すフローチャートである。図９Ｂは、図８に示すステップＳ２０～Ｓ８０の処理が繰り返し実行されている場合を示す。具体的には、図９Ｂは、ステップＳ２０～Ｓ４０の処理が繰り返し実行されている場合を示す。図９Ｂに示すフローチャートは、第１距離画像群撮像ステップの一例である。図９Ｃは、本実施の形態に係る第２距離画像の一例を説明するための模式図である。なお、図９Ａ～図９Ｅでは、Ａグループ及びＢグループの各測距区間を互いに連続な測距区間に設定している場合を示している。
　図９Ａに示すように、第１距離画像群は、第１区間距離画像～第１０区間距離画像を含む。例えば、第１区間距離画像に対応する第１測距区間と第２区間距離画像に対応する第２測距区間とは、互いに連続する測距区間である。また、第１距離画像群における各測距区間の幅は、互いに等しくてもよい。例えば、当該幅は、３ｍなどであってもよい。なお、図９Ａでは、ステップＳ１０で設定された測距区間のうち、第１区間距離画像に対応する測距区間～第１０区間距離画像に対応する測距区間までがＡフレームにおける測距区間（第１距離画像を生成するための測距区間）として設定された例を示している。
　図９Ｂに示すように、画像センサ１２２は、まず第１区間距離画像を撮像し（Ｓ３１０）、当該第１区間距離画像を出力する（Ｓ３２０）。図９Ａに示す第１区間距離画像は、図９Ｂに示すステップＳ３１０及びＳ３２０により生成される。ステップＳ３１０は、第１測距区間におけるステップＳ２０及びＳ３０の処理に対応し、ステップＳ３２０は、第１測距期間におけるステップＳ４０の処理に対応する。また、ステップＳ３１０及びＳ３２０は、第１区間距離画像撮像ステップの一例である。また、ステップＳ３１０及びＳ３２０は、図４Ａに示す第１サブフレームにおいて行われる処理であり、ステップＳ３１０は、第１測距期間における処理であり、ステップＳ３２０は、第１読み出し期間における処理である。
　また、第２区間距離画像～第１０区間距離画像の撮像及び出力（Ｓ３３０～Ｓ４００）についても、同様に順次実行される。
　図９Ｃに示すように、第２距離画像群は、第１区間距離画像～第１０区間距離画像を含む。例えば、第１区間距離画像に対応する第１測距区間と第２区間距離画像に対応する第２測距区間とは、互いに連続する測距区間である。第２距離画像群における各測距区間の幅は、互いに等しくてもよい。例えば、３ｍなどであってもよい。また、第２距離画像群における第１測距区間と第１距離画像群における第１測距区間とは、少なくとも一部が異なる区間である。
　ここで、各距離画像群のそれぞれにおける測距区間の関係について、図９Ｄ及び図９Ｅを参照しながら説明する。図９Ｄは、本実施の形態に係るフレームごとの測距区間の関係の第１例を示す図である。具体的には、図９Ｄは、第１距離画像群及び第２距離画像群における測距区間の関係の一例を示す図である。
　図９Ｄに示すように、第１距離画像群の第１測距区間と、第２距離画像群の第１測距区間とは、少なくとも一部が重なっていてもよい。第１距離画像群の第１測距区間の測距範囲の最小値から第２距離画像群の第１測距区間の測距範囲の最小値までの距離を距離Ｘ１とし、第２距離画像群の第１測距区間の測距範囲の最小値から第１距離画像群の第１測距区間の測距範囲の最大値までの距離を距離Ｙ１とすると、例えば、距離Ｘ１＝距離Ｙ１であってもよい。つまり、第１距離画像群の第１測距区間の半分の区間が、第２距離画像群の第１測距区間と重なっていてもよい。
　例えば、第１距離画像群の各測距区間のそれぞれ、及び、第２距離画像群の各測距区間のそれぞれの最大値と最小値との差（つまり、測距区間の幅）が等しい場合、第２距離画像群の第１測距区間は、第１距離画像群の第１測距区間及び第２測距区間のそれぞれの半分の区間と重なる。つまり、第１距離画像群撮像ステップに含まれる複数の測距区間と、第２距離画像群撮像ステップに含まれる複数の測距区間とは、互いに半区間ずらしてあってもよい。なお、この場合、第１距離画像群の各測距区間の幅と、第２距離画像群の各測距区間の幅とは、例えば、等しくてもよい。
　図９Ｅは、本実施の形態に係るフレームごとの測距区間の関係の第２例を示す図である。具体的には、図９Ｅは、第１距離画像群及び第Ｎ距離画像群における測距区間の関係の一例を示す図である。なお、Ｎは、３以上の整数である。
　図９Ｅに示すように、第１距離画像群の第１測距区間と、第Ｎ距離画像群の第１測距区間とは、少なくとも一部が重なっていてもよい。第１距離画像群の第１測距区間の測距範囲の最小値から第Ｎ距離画像群の第１測距区間の測距範囲の最小値までの距離を距離Ｘ２とし、第Ｎ距離画像群の第１測距区間の測距範囲の最小値から第１距離画像群の第１測距区間の測距範囲の最大値までの距離を距離Ｙ２とすると、例えば、距離Ｙ２＝距離Ｘ２／Ｎであってもよい。つまり、第１距離画像群撮像ステップに含まれる複数の測距区間と、第Ｎ距離画像群撮像ステップに含まれる複数の分割区間とは、互いに１／Ｎ区間ずらした区間であってもよい。つまり、第１距離画像群～第Ｎ距離画像群の測距区間のそれぞれは、等間隔の区間ずらした区間であってもよい。
　このように、互いの測距区間の少なくとも一部もが重なるように第１距離画像群及び第２距離画像群の測距区間が設定されることで、例えば、第１距離画像群及び第２距離画像群の一方で測距が正確に行えていない区間があっても、他方の測距で補えることができる。つまり、測定精度が向上する。また、測距区間を距離画像群ごとに変更することで、分解能を低下させることなく、近距離から遠距離までの広い範囲を測定することが可能である。
　なお、第２距離画像群の第１測距区間は、第１距離画像群の各測距区間のいずれか１つと少なくとも一部が重なっていてもよい。
　ここで、各距離画像群のそれぞれにおける測距区間の設定について、図１０Ａ～図１０Ｄを参照しながら説明する。図１０Ａは、本実施の形態に係る第１距離画像の他の一例を説明するための模式図である。図１０Ｂは、本実施の形態に係る第２距離画像の他の一例を説明するための模式図である。なお、図１０Ａ～図１０Ｄでは、Ａグループ及びＢグループの各測距区間を互いに非連続な測距区間に設定している場合を示している。
　図１０Ａに示すように、第１距離画像群は、第１区間距離画像～第１０区間距離画像を含む。例えば、第１区間距離画像に対応する第１測距区間と第２区間距離画像に対応する第２測距区間とは、互いに連続しない測距区間である。また、第１距離画像群における各測距区間の幅は、互いに等しくてもよい。例えば、当該幅は、３ｍなどであってもよい。
　図１０Ｂに示すように、第２距離画像群は、第１区間距離画像～第１０区間距離画像を含む。例えば、第１区間距離画像に対応する第１測距区間と第２区間距離画像に対応する第２測距区間とは、互いに連続しない測距区間である。第２距離画像群における各測距区間の幅は、互いに等しくてもよい。例えば、当該幅は、３ｍなどであってもよい。また、第２距離画像群における第１測距区間と第１距離画像群における第１測距区間とは、少なくとも一部が異なる区間である。言い換えると、第２距離画像群における第１測距区間と第１距離画像群における第１測距区間とは、少なくとも一部が重なる区間であってもよい。
　ここで、各距離画像群のそれぞれにおける測距区間の設定について、図１０Ｃ及び図１０Ｄを参照しながら説明する。図１０Ｃは、本実施の形態に係るフレームごとの測距区間の関係の第２例を示す図である。具体的には、図１０Ｃは、第１距離画像群及び第２距離画像群における測距区間の関係の一例を示す図である。
　距離検出装置１００は、９ｍ～６９ｍまでを測距可能であり、各測距区間の測距範囲は、９ｍから３ｍごとの範囲で設定されているとする。つまり、測距区間の幅は、３ｍに設定されている。具体的には、第１距離画像群（Ａグループ）の第１測距区間（第１サブフレーム）の測距範囲は９ｍ～１２ｍ、第２距離画像群（Ｂグループ）の第１測距区間（第２サブフレーム）の測距範囲は１２ｍ～１５ｍ、第１距離画像群の第２測距区間（第３サブフレーム）の測距範囲は１５ｍ～１８ｍ、・・・、第２距離画像群の第１０測距区間（第１０サブフレームの測距範囲）は６６ｍ～６９ｍであるとする。第１距離画像群及び第２距離画像群とも、距離範囲が間欠に設定されている。
　図１０Ｃに示すように、第１距離画像群及び第２距離画像群は、互いに欠落した測距範囲を補うような画像である。言い換えると、制御部１３０は、互いに欠落した測距範囲を補い合うように第１距離画像群及び第２距離画像群の各測距区間の測距範囲を設定する。制御部１３０が第１距離画像群の画像及び第２距離画像群の画像を交互に生成するように光源１１０及びカメラ１２０を制御することで、距離検出装置１００は、フレームごとの測距範囲に距離連続性を確保することができる。
　ここで、各測距区間の期間を４．３ｍｓｅｃ（例えば、測距期間が１ｍｓｅｃであり、読出し期間が３．３ｍｓｅｃ）とする。本実施の形態では、第１距離画像群及び第２距離画像群はそれぞれ１０個の測距区間（区間距離画像）で構成されるので、１フレームのフレーム速度は４３ｍｓｅｃ（フレームレートは２３．３ｆｐｓ）である。一方、比較例として、１フレームで２０個の測距区間の全てを測距すると、１フレームのフレーム速度は８６ｍｓｅｃ（フレームレート１１．６ｆｐｓ）となる。よって、本実施の形態によれば、見かけ上のフレームレートを向上させることができる。
　なお、上記では、第１フレームにおいて設定される測距範囲と第２フレームにおいて設定される測距範囲とは、互いに重ならない例について説明したが、これに限定されない。例えば、第１フレームにおいて設定される測距範囲と第２フレームにおいて設定される測距範囲とは、一部が重なっていてもよい。つまり、ステップＳ１１０では、ステップＳ１０で設定される測距範囲と一部が重複するように測距範囲が設定されてもよい。この場合、ステップＳ１０及びステップＳ１１０では、互いの測距範囲の幅が等しくなるように、第１フレームの測距範囲と第２フレームの測距範囲とが設定されるとよい。例えば、Ａグループの第１測距区間の測距範囲は８ｍ～１３ｍ、Ｂグループの第１測距区間の測距範囲は１１ｍ～１６ｍ、Ａグループの第２測距区間の測距範囲は１４ｍ～１９ｍなどのように設定されるとよい。この場合、測距区間の幅は、５ｍである。なお、第１フレーム及び第２フレームのそれぞれにおいて、互いに時間的に隣り合う測距区間（例えば、Ａグループの第１測距区間及び第２測距区間）同士の測距範囲は、重ならないように設定されてもよい。
　［１－３．効果］
　以上のように、距離画像の取得方法は、奥行方向に複数の距離分割区間を設定する設定ステップ（Ｓ１０）と、設定された複数の距離分割区間に基づいて距離画像を取得する撮像ステップとを含む。撮像ステップは、複数の距離分割区間の一部を撮像した複数の距離画像を取得する第１距離画像群撮像ステップ（Ｓ２０～Ｓ９０）と、複数の距離分割区間の前記一部と位相の異なる距離分割区間を撮像した複数の距離画像を取得する第２距離画像群撮像ステップ（Ｓ１１０～Ｓ１９０）とを含む。
　これにより、２つの距離画像において距離分割区間の一部を異ならせることで、画像の分解能を低下させることなく、距離分割区間の一部が異なる２つの距離画像を取得することができる。例えば、２つの距離画像の一方が他方より近距離側を撮像した画像である場合、近距離から遠距離まで広い範囲にわたり撮像した距離画像を取得することができる。また、第１距離画像群撮像ステップにおいて、ステップＳ１０で設定した距離分割区間の一部において距離画像が取得されるので、距離分割区間の全てにおいて距離画像が取得される場合に比べて、短期間で距離画像を取得することができる。よって、本開示に係る距離画像の取得方法は、近距離から遠距離まで広い範囲にわたり、高精度な分解能で、対象物までの情報、つまり距離画像を早く取得することができる。
　また、複数の距離分割区間は、奥行方向に連続性を有してもよい。
　これにより、第１距離画像群撮像ステップ及び第２距離画像群撮像ステップで取得される距離画像群は、同じ距離に対する画像を含む。２つの画像を用いて当該距離における物体を検出することができるので、検出精度が向上する。
　また、複数の距離分割区間は、奥行方向に連続性を有しなくてもよい。
　これにより、第１距離画像群撮像ステップ及び第２距離画像群撮像ステップのそれぞれにおいて、測距範囲が離散的に設定されるので、第１距離画像群撮像ステップ及び第２距離画像群撮像ステップの処理を高速化することができる。よって、距離画像をより早く取得することができる。
　また、第１距離画像群撮像ステップに含まれる２以上の距離分割区間と、前記第２距離画像群撮像ステップに含まれる２以上の距離分割区間とは、互いに半区間ずれていてもよい。半区間は、例えば、第１区間撮像画像に対応する第１測距区間の半分であってもよい。
　これにより、互いに半区間ずらしてある２つの距離画像群を、対象物までの情報として取得することができる。当該２つの距離画像群を用いた対象物を検出することで、検出精度が向上する。
　また、撮像ステップは、Ｎ（３以上の整数）回以上の距離画像群撮像ステップで構成され、それぞれの距離画像群撮像ステップに含まれる２以上の距離分割区間のそれぞれは、１／Ｎ区間ずれていてもよい。
　これにより、互いに１／Ｎ区間ずらしてあるＮ個の距離画像群を対象物までの情報として取得することができる。当該Ｎつの距離画像群を用いた対象物を検出することで、検出精度が向上する。
　また、設定ステップで設定される複数の距離分割区間は、奥行方向の手前側の区間が奥行方向の奥側の区間より狭い距離範囲に設定される。距離範囲が狭いとは、測距区間の幅が狭いことを意味する。
　これにより、画像センサ１２２の近くにある対象物までの距離を細かく取得することができる。よって、より高精度な分解能で対象物までの情報を早く取得することができる。
　また、以上のように、距離検出装置１００は、ＡＰＤ（Ａｖａｌａｎｃｈｅ　Ｐｈｏｔｏ　Ｄｉｏｄｅ）を有する画素が二次元状に配置された画像センサ１２２と、撮像する対象物に向けて照射光を発光する光源１１０と、画像センサ１２２で撮像した画像を処理する演算部１４０と、光源１１０、画像センサ１２２および演算部１４０を制御する制御部１３０と、演算部１４０で処理した画像を合成する合成部１６０と、合成された画像に所定の情報を付加して出力する出力部１７０とを備える。そして、制御部１３０は、奥行方向に複数の距離分割区間を設定し、光源１１０、画像センサ１２２および演算部１４０を制御することで、設定された複数の距離分割区間の一部を撮像した複数の距離画像である第１距離画像群を取得し、かつ、複数の距離分割区間の一部と位相の異なる距離分割区間を撮像した複数の距離画像である第２距離画像群を取得する。
　これにより、上記の画像取得方法と同様の効果を奏する。つまり、距離検出装置１００は、近距離から遠距離まで広い範囲にわたり、高精度な分解能で、対象物までの情報、つまり距離画像を早く取得することができる。
　また、画像センサ１２２は、画像センサ１２２は、第１距離画像群および第２距離画像群の取得のそれぞれにおいて、画素１２２ａが検出したフォトン数に対応する画素信号を画素１２２ａの回路内に設けた記憶素子に画素電圧として記憶し、記憶された画素電圧を演算部１４０に読み出す構成を有する。演算部１４０は、第１距離画像群および第２距離画像群の取得のそれぞれにおいて、画素電圧の大きさが閾値を超えると、当該距離画像に対象物が有ると判定する。合成部１６０は、第１距離画像群および第２距離画像群のそれぞれから、３次元化距離画像を生成する。そして、出力部１７０は、第１距離画像群および第２距離画像群のそれぞれに設定された互いに異なる色彩を３次元化距離画像に付加する。
　これにより、上記の距離検出装置１００を実現するための画素１２２ａ（画素回路）を微細化することができる。また、対象物の検出結果を視認しやすい距離画像を出力することができる。
　また、距離検出装置１００は、さらに、画素１２２ａから読み出した画素信号をノイズ除去後に画像センサ１２２から出力するＣＤＳ回路１２６（相関二重サンプリング回路）を有する。ＣＤＳ回路１２６は、二次元状に配置された画素１２２ａのうちｎ行目の画素１２２ａの画素信号をノイズ除去している期間に、ｎ－１行目の画素１２２ａの画素信号であって当該期間の前にノイズ除去が完了した画素信号を出力する。
　これにより、画素信号のノイズ除去と、ノイズ除去された画素信号の出力とを、並行して行うことができるので、対象物までの情報、つまり距離画像をさらに早く取得することができる。
　また、合成部１６０は、演算部１４０により第１距離画像群および第２距離画像群のそれぞれにおいて、同一画素１２２ａの複数の距離画像で対象物が有ると判定された場合、奥行方向の手前側の距離画像の判定結果を優先して選択する。そして、出力部１７０は、選択された当該距離画像に色彩を付加する。
　これにより、複数の距離画像で対象物が有ると判定された場合、当該対象物を画像センサ１２２から最も近くにあるとして検出結果を出力することができる。例えば、距離検出装置１００が車両等に搭載される場合、当該車両の走行をより安全に行うことができる。
　以上のように、距離検出方法は、ＡＰＤ（Ａｖａｌａｎｃｈｅ　Ｐｈｏｔｏ　Ｄｉｏｄｅ）を有する画素１２２ａを二次元状に配置した距離検出装置１００における距離検出方法である。当該距離検出方法は、第１フレームにおいて、対象物までの距離を検出する第１距離検出ステップ（例えば、ステップＳ１０～Ｓ１００）と、第１フレームの後の第２フレームにおいて、対象物までの距離を検出する第２距離検出ステップ（例えば、ステップＳ１１０～Ｓ２００）とを含む。第１距離検出ステップは、第１フレームを分割した複数のサブフレームであってＡグループに含まれる複数のサブフレームのそれぞれに、互いに異なる測距範囲であって、かつ互いに距離連続性を有しない測距範囲を設定する第１設定ステップ（Ｓ１０）と、Ａグループのサブフレーム群のそれぞれにおいて、第１設定ステップで設定された測距範囲における測距を行う第１測距ステップ（Ｓ２０）とを含む。第２距離検出ステップは、第２フレームを分割した複数のサブフレームであってＢグループに含まれる複数のサブフレームのそれぞれに、第１設定ステップで設定されていない測距範囲を設定する第２設定ステップ（Ｓ１１０）と、Ｂグループのサブフレーム群のそれぞれにおいて、第２設定ステップで設定された測距範囲における測距を行う第２測距ステップ（Ｓ１２０）とを含む。
　これにより、第１距離画像及び第２距離画像はそれぞれ、測距範囲の連続性を有しない画像となる。そのため、第１距離画像及び第２距離画像のそれぞれが距離検出装置１００における測定範囲を測定する場合に比べ、短期間で第１距離画像及び第２距離画像を生成することができる。また、第２距離画像は、第１距離画像で欠落した測距範囲の画像となる。例えば、第１距離画像と第２距離画像とを交互に生成することで、測距範囲の連続性を確保することができる。よって、本実施の形態に係る距離検出方法によれば、測距範囲の連続性（距離連続性）を確保しつつ、近距離から遠距離まで広い範囲にわたり、高精度な分解能で、対象物までの情報をより早く取得することができる距離検出装置１００を提供することができる。
　また、第２設定ステップでは、第１設定ステップで設定される測距範囲と一部が重複するように測距範囲が設定される。
　これにより、第１距離画像と第２距離画像とにおいて、測距範囲が欠落してしまうことを抑制することができる。
　また、第１測距ステップでは、Ａグループのサブフレーム群のそれぞれにおいて、ＡＰＤが検出したフォトンに対応する第１電圧信号を画素１２２ａの外部に出力する。第１距離検出ステップは、さらに、Ａグループのサブフレーム群のそれぞれにおいて、第１電圧信号に基づいて物体の有無を判定する第１判定ステップ（Ｓ６０）と、Ａグループのサブフレーム群のそれぞれの判定結果を合成することで、第１距離画像を生成する第１距離画像生成ステップ（Ｓ１００）とを含む。また、第２測距ステップでは、Ｂグループのサブフレーム群のそれぞれにおいて、ＡＰＤが検出したフォトンに対応する第２電圧信号を画素１２２ａの外部に出力する。第２距離検出ステップは、さらに、Ｂグループのサブフレーム群のそれぞれにおいて、第２電圧信号に基づいて物体の有無を判定する第２判定ステップ（Ｓ１６０）と、Ｂグループのサブフレーム群（例えば、第２距離画像群）のそれぞれの判定結果を合成することで、第２距離画像を生成する第２距離画像生成ステップ（Ｓ２００）とを含む。
　これにより、当該処理を実行するための距離検出装置１００における画素１２２ａに追加する部品点数を削減することができるので、画素回路を微細化することができる。
　また、第１距離画像生成ステップでは、第１判定ステップにおいて、１つの画素１２２ａに対して、Ａグループのサブフレーム群のうち２以上のＡグループのサブフレームで物体が有ると判定された場合、２以上のＡグループのサブフレームのうち、近距離側の測距範囲を測距したサブフレームの判定結果に基づいて、第１距離画像を生成する。また、第２距離画像生成ステップでは、第２判定ステップにおいて、１つの画素１２２ａに対して、Ｂグループのサブフレーム群のうち２以上のＢグループのサブフレームで物体が有ると判定された場合、２以上のＢグループのサブフレームのうち、近距離側の測距範囲を測距したサブフレームの判定結果に基づいて、第２距離画像を生成する。
　これにより、距離検出方法が近距離の情報及び遠距離の情報のうち近距離の情報の方が重要である用途（例えば、自動車等）に用いられる場合に、当該用途に適した距離画像を生成することができる。
　また、第１距離検出ステップ及び第２距離検出ステップは、さらに、画素１２２ａから出力された第１電圧信号に対して相関二重サンプリング処理を行い、保持するＣＤＳ処理ステップと、当該第１電圧信号の前に取得された第１電圧信号であって、相関二重サンプリング処理が行われ保持されている第１電圧信号を出力する出力ステップとを含む。そして、ＣＤＳ処理ステップと、出力ステップとは、並行して実行される。
　これにより、１つのサブフレームにおける第１電圧信号のノイズ除去中に、１つの前に取得したサブフレームの第１電圧信号を読出すことができるので、さらにフレームレートを向上させることができる。
　また、以上のように、距離検出装置１００は、ＡＰＤを有する画素１２２ａが二次元状に配置された画像センサ１２２（受光部の一例）と、画像センサ１２２を制御する制御部１３０とを備える。そして、制御部１３０は、第１フレームを分割した複数のサブフレームであってＡグループに含まれる複数のサブフレームのそれぞれに、互いに異なる測距範囲であって、かつ互いに距離連続性を有しない測距範囲を設定し、Ａグループのサブフレーム群のそれぞれにおいて、設定された測距範囲における測距を行うように画像センサ１２２（受光部の一例）を制御する。また、制御部１３０は、第１フレームの後の第２フレームを分割した複数のサブフレームであってＡグループとは異なるＢグループに含まれる複数のサブフレームのそれぞれに、第１フレームで設定されていない測距範囲を設定し、Ｂグループのサブフレーム群のそれぞれにおいて、設定された測距範囲における測距を行うように画像センサ１２２を制御する。
　これにより、上記の距離検出方法と同様の効果を奏する。具体的には、距離検出装置１００によれば、距離画像を生成する見かけ上のフレームレートを向上させることができる。
　また、例えば、画素１２２ａのそれぞれは、Ａグループのサブフレーム群のそれぞれ及びＢグループのサブフレーム群のそれぞれにおいて、ＡＰＤがフォトンを検出することで発生した電荷を積算する積算回路１２４と、Ａグループのサブフレーム群のそれぞれ及びＢグループのサブフレーム群のそれぞれにおいて、積算回路１２４が積算した電荷に基づく積算値に応じた検出積算値出力信号（電圧信号の一例）を出力する出力回路１２５とを有する。距離検出装置１００は、さらに、Ａグループのサブフレーム群のそれぞれ及びＢグループのサブフレーム群のそれぞれにおいて、出力回路１２５から出力された検出積算値出力信号に基づいて、当該サブフレームにおける物体の有無を判定する演算部１４０と、演算部１４０におけるＡグループのサブフレーム群のそれぞれにおける画素１２２ａごとの判定結果に基づいて第１フレームに対応する第１距離画像を生成し、演算部１４０におけるＢグループのサブフレーム群のそれぞれにおける画素１２２ａごとの判定結果に基づいて第２フレームに対応する第２距離画像を生成する合成部１６０とを有する。
　これにより、上記の距離検出装置１００を実現するための画素１２２ａ（画素回路）を微細化することができる。
　（実施の形態２）
　［２－１．構成］
　まず、本実施の形態に係る距離検出装置の構成について、図１１～図１３を参照しながら説明する。図１１は、本実施の形態に係る距離検出装置２００の構成を示すブロック図である。図１２は、本実施の形態に係る画像センサ２２２の構成を示すブロック図である。図１３は、本実施の形態に係る画素２２２ａの構成を示す回路図である。なお、以下において、実施の形態１に係る距離検出装置１００との相違点を中心に説明し、同様の構成については同一の符号を付し、説明を省略又は簡略化する場合がある。
　図１１に示すように、本実施の形態に係る距離検出装置２００は、実施の形態１に係る距離検出装置１００が備えるカメラ１２０に替えて、カメラ２２０を備える。また、本実施の形態に係る距離検出装置２００は、合成部１６０を備えていない。なお、図１２では、出力回路１２５は、図示を省略している。
　図１２に示すように、画像センサ２２２は、実施の形態１に係る画像センサ１２２に加えて、比較回路２２５と、記憶回路２２６とを有する。以下、当該２つのブロックについて、図１３を参照しながら具体的な構成および機能を説明する。なお、ここで説明する具体的な構成は、一例を示したものであり、画素２２２ａの構成は、ここに記載したものに限定されない。例えば、同じような機能を有する他の構成であっても、本実施形態と同様の作用効果が得られる。
　比較回路２２５は、積算回路１２４からの検出積算値と閾値とを比較し、検出積算値が閾値よりも大きい場合にＯＮとなる比較信号を記憶回路２２６のトランジスタＴＲ２２の制御端子（例えば、ゲート端子）に出力する。比較回路２２５は、コンデンサＣ２１、トランジスタＴ２１、及び、インバータＡＭＰ３を有する。
　コンデンサＣ２１は、積算回路１２４から出力される信号（検出積算値）の直流成分を除去するための直流カットコンデンサである。コンデンサＣ２１は、積算回路１２４の出力端子とインバータＡＭＰ３の入力端子との間に接続されている。
　トランジスタＴＲ２１は、インバータＡＭＰ３をイコライズするためのスイッチングトランジスタ（クランプトランジスタ）であり、インバータＡＭＰ３の入力端子と出力端子との間に接続されている。トランジスタＴＲ２１の制御端子（例えば、ゲート端子）に入力されるイコライズ信号ＥＱによって導通及び非導通が制御される。イコライズ信号ＥＱがＯＮすると、トランジスタＴＲ２１が導通し、インバータＡＭＰ３はイコライズされる。
　インバータＡＭＰ３は、積算回路１２４によって生成された検出積算値に基づいて、比較信号を出力する。インバータＡＭＰ３の入力端子は、コンデンサＣ２１を介して積算回路１２４に接続され、インバータＡＭＰ３の出力端子は、トランジスタＴＲ２２の制御端子（例えば、ゲート端子）に接続されている。また、インバータＡＭＰ３は、電源（図示しない）に接続され、電源電圧として所定の電圧が供給されている。
　例えば、インバータＡＭＰ３の入力電圧が上昇した場合に、インバータＡＭＰ３の出力電圧はローレベルになる。インバータＡＭＰ３の入力電圧は、積算回路１２４の電圧によって変化するので、ＡＰＤへのフォトンの入射の有無によって変化する。したがって、インバータＡＭＰ３は、フォトンの入射の有無によって信号レベルの異なる信号（比較信号）を出力する。例えば、電荷蓄積コンデンサＭＩＭ１の電圧が所定電圧以下に下がる（つまり、ＡＰＤへのフォトンの入射がある）と、比較信号がＯＮ状態になる。比較信号がＯＮするとは、ハイレベルの電圧値の信号が出力されることを意味する。
　さらに、比較回路２２５は、制御部１３０からの制御により出力された検知基準信号（図１２参照）がＯＮのとき、積算回路１２４から入力された検出積算値に応じた閾値を設定することができるように構成されていてもよい。そして、比較回路２２５は、設定された閾値に対し、入力される検出積算値が大きい場合、出力信号である比較信号をＯＮ状態にする機能を有している。なお、比較回路２２５には、出力許可信号が入力されていてもよい。この場合、出力許可信号がＯＮの場合のみ、比較信号をＯＮ状態にするように構成される。
　記憶回路２２６は、測距期間のそれぞれで出力値が変化する時間信号（例えば、比較回路２２５及び積算回路１２４による測距期間に対応する時間信号）を受けて、比較信号がＯＮ状態のときの当該時間信号を距離信号として記憶する。記憶回路２２６は、トランジスタＴＲ２２と、記憶コンデンサＭＩＭ２とを有する。具体的には、トランジスタＴＲ２２は、ドレインが、時間信号を印加するための端子に接続され、ソースが記憶コンデンサＭＩＭ２を介して負側電源ＶＳＳＡに接続されている。当該端子には、制御部１３０の制御により時間信号が印加される。時間信号は、距離信号に相当する信号（電圧）である。時間信号は、例えば、第ｋ測距期間（ｋは任意の自然数）に対して、ｋに１対１対応する電圧となるよう設定されている。つまり、時間信号は、測距期間のそれぞれに対して１対１対応する電圧となるよう設定されている。時間信号は、例えば、測距期間ごとに電圧がスイープするＲＡＭＰ波形の信号である。なお、トランジスタＴＲ２２は、例えば、Ｐ型のトランジスタである。また、記憶コンデンサＭＩＭ２は、画素２２２ａの回路に設けられ、時間信号電圧を記憶する記憶素子の一例である。
　また、トランジスタＴＲ２２の制御端子（例えば、ゲート端子）には、比較回路２２５から出力された比較信号が入力される。これにより、比較信号がＯＮ状態となったとき、このタイミングにおける時間信号（つまり、電圧）が記憶コンデンサＭＩＭ２に記憶される。
　出力回路１２５は、距離信号の電圧を増幅し、増幅された電圧信号を信号線ＳＬに出力する。出力回路１２５は、第１フレームの複数の測距期間における測距が終了した後、当該電圧信号を出力する。なお、第２フレームにおいても、同様である。
　なお、合成部１６０は、演算部１４０により第１距離画像群および第２距離画像群のそれぞれにおいて、同一画素２２２ａの複数（２以上）の区間距離画像で対象物が有ると判定された場合、奥行方向の手前側の区間距離画像の判定結果を優先して選択してもよい。そして、出力部１７０は、複数の区間距離画像のうち選択された当該区間距離画像の画素２２２ａに色彩を付加してもよい。
　［２－２．動作］
　次に、上記のような距離検出装置２００における距離画像を生成する動作について説明する。まずは、距離検出装置２００における距離画像を生成する概略動作について、図１４及び１５を参照しながら説明する。図１４は、本実施の形態に係る距離検出装置２００の測定処理タイミングを示す図である。図１５は、本実施の形態に係る１フレームの距離画像を説明するための模式図である。
　制御部１３０は、実施の形態１と同様、互いに異なる第１フレーム及び第２フレームにおいて、異なる測距範囲となるように第１フレーム及び第２フレームの測定範囲を決定する。そして、制御部１３０は、第１フレームを複数の測距期間に分割し、複数の測距期間のそれぞれに、互いに異なり、かつ互いに距離連続性を有しない測定範囲を設定する。図１４及び図１５では、第１フレームを５つの測距期間（第１測距期間、第３測距期間、第５測距期間、第７測距期間、及び、第９測距期間）に分割した場合について説明する。なお、図１４では、５つの測距期間うち、第１測距期間及び第３測距期間を図示している。
　図１４に示すように、１フレームは、複数の測距期間と、１つの読出し期間とを有する。本実施の形態では、測距期間ごとに電圧信号の読出しが行われない。また、第１測距期間は、最も近距離の測距範囲を測距する測距期間である。
　図１３及び図１５に示すように、第１測距期間では、信号レベル（電圧）がＺ１である時間信号がトランジスタＴＲ２２のドレインに入力されている。このとき、積算回路１２４からの検出積算値が閾値よりも大きい場合に、比較信号がＯＮ状態となる。比較信号がＯＮ状態となると、トランジスタＴＲ２２が非導通になるので、当該画素２２２ａが有する記憶回路２２６の記憶コンデンサＭＩＭ２にはそれまでトランジスタＴＲ２２のドレインに入力されていた信号レベルＺ１が記憶される。当該画素２２２ａにおける記憶コンデンサＭＩＭ２は、リセットされるまで当該信号レベルＺ１を保持する。なお、図１３では、記憶コンデンサＭＩＭ２をリセットするための回路構成は、図示を省略している。
　図１５では、第１測距期間において、２つの画素２２２ａのトランジスタＴＲ２２が非導通となり、当該２つの画素２２２ａの記憶コンデンサＭＩＭ２に信号レベルＺ１が記憶されている例を示している。なお、信号レベルＺ１が記憶されているとは、当該測距期間に対応する測距範囲に物体が存在することを意味する。言い換えると、本実施の形態に係る画素２２２ａは、画素回路内において、物体があるか否かの判定を行うことができる。記憶コンデンサＭＩＭ２に記憶さている信号レベルＺ１は、物体までの距離を示す信号（距離信号）であるとも言える。また、図１５に示す「０」は、当該画素２２２ａにおいて、トランジスタＴＲ２２がＯＦＦになっていないことを意味する。
　次に、第３測距期間の測距が行われる。第３測距期間は、第１フレームに含まれる複数の測距期間のうち、第１測距期間の測距範囲の次に測距範囲が近距離である測距期間である。制御部１３０は、例えば、複数の測距期間を、測距範囲が近距離である測距期間から順に測距するように、光源１１０及びカメラ１２０を制御する。
　図１３及び図１５に示すように、第３測距期間は、信号レベル（電圧）がＺ３である時間信号がトランジスタＴＲ２２のドレインに入力されている。このとき、積算回路１２４からの検出積算値が閾値よりも大きい場合に、比較信号がＯＮ状態となる。比較信号がＯＮ状態となると、トランジスタＴＲ２２がＯＦＦとなるので、当該画素２２２ａが有する記憶回路２２６の記憶コンデンサＭＩＭ２にはそれまでトランジスタＴＲ２２のドレインに入力されていた信号レベルＺ３が記憶される。当該記憶コンデンサＭＩＭ２は、リセットされるまで当該信号レベルＺ３を保持する。
　図１５では、第３測距期間において、２つの画素２２２ａのトランジスタＴＲ２２がＯＦＦされて、当該２つの画素２２２ａの記憶コンデンサＭＩＭ２に信号レベルＺ３が記憶されている例を示している。
　なお、第１測距期間及び第３測距期間のそれぞれにおいて、同一の画素２２２ａのＡＰＤが、反射光を受光した場合について説明する。第１測距期間と第３測距期間との間では、電荷蓄積コンデンサＭＩＭ１のリセットは行われないものとする。第１測距期間において、ＡＰＤがフォトンに応じた電荷を生成し、当該電荷が電荷蓄積コンデンサＭＩＭ１に蓄積され、インバータＡＭＰ３からの比較信号がＯＮ状態となっているとする。そして、第３測距期間において、ＡＰＤがフォトンに応じた電荷を生成すると、当該電荷がさらに電荷蓄積コンデンサＭＩＭ１に蓄積されるが、当該電荷がさらに蓄積されてもインバータＡＭＰ３からの比較信号はＯＮ状態のままである。そのため、当該画素２２２ａにおけるトランジスタＴＲ２２は非導通のままであり、その結果、記憶コンデンサＭＩＭ２に記憶される信号レベルはＺ１のままである。このように、画素２２２ａは、測距範囲が近距離の信号レベル（判定結果の一例）を優先するように制御されてもよい。
　具体的には、制御部１３０は、図８のステップＳ３０に対応する第１測距ステップでは、Ｃグループの複数の測距期間のうち、測距範囲が近距離である測距期間から順次測距を行うように、光源１１０及びカメラ２２０を制御する。また、制御部１３０は、図８のステップＳ１４０に対応する第２測距ステップでは、Ｄグループの複数の測距期間のうち、測距範囲が近距離である測距期間から順次測距を行うように、光源１１０及びカメラ２２０を制御する。
　以降、同様に、第１フレームに含まれる第５測距期間、第７測距期間、及び、第９測距期間における測距が行われる。そして、第１フレームを構成する各測距期間の測距が終了すると、時間信号（距離信号）の読出しが行われる。つまり、複数の測距期間において取得した時間信号を、一回の読出し処理により読出す。例えば、測距期間ごとに読出し処理を行う場合に比べ、読出し期間に要する時間を短縮することができる。そして、演算部１４０は、時間信号の信号レベル（電圧）を距離に変換する。演算部１４０は、例えば、電圧と距離とが対応付けられたＬＵＴ（例えば、図１１の記憶部１５０が格納しているＬＵＴ）に基づいて、電圧を距離に変換することで、距離画像を生成する。
　ここで、距離検出装置２００における距離画像を生成する動作について説明する。図１６は、本実施の形態に係る距離検出装置２００の距離画像生成処理の一例を示すフローチャートである。なお、以下に示すステップＳ５１０～Ｓ５９０までの処理は、第１フレームにおいて、物体までの距離を検出する第１距離検出ステップの一例である。また、以下に示すステップＳ６００～Ｓ６８０までの処理は、第２フレームにおいて、物体までの距離を検出する第２距離検出ステップの一例である。また、以下に示すステップＳ５１０は、設定ステップの一例であり、ステップＳ５２０～Ｓ５８０は、第１距離画像群撮像ステップの一例であり、ステップＳ６００～Ｓ６７０は、第２距離画像群撮像ステップの一例である。また、第１距離画像群撮像ステップ及び第２距離画像群撮像ステップは、撮像ステップに含まれる。なお、図１６に示すステップＳ５１０及びＳ６００はそれぞれ、図８に示すステップＳ１０及びＳ１００に対応しており、説明を簡略化する。
　図１６に示すように、制御部１３０は、奥行方向に測距区間を分割する（Ｓ５１０）。分割数は、特に限定されない。ステップＳ５１０は、第１分割ステップの一例でもある。
　そして、制御部１３０は、測距期間ごとに測距期間を割り当てる（Ｓ５２０）。測距期間は、測距区間の距離に応じて設定される。当該測距期間は、Ｃグループに含まれる。ステップＳ５２０は、第１設定ステップの一例である。なお、Ｃグループの測距期間は、ステップＳ５１０で設定された測距区間の一部の区間における期間である。
　そして、制御部１３０は、Ｃグループの各測距期間ごとに距離画像の撮像を実行する。制御部１３０は、Ｃグループの複数の測距期間のそれぞれにおいて、設定された測距範囲における測距を行うように、光源１１０及びカメラ２２０を制御する。
　そして、測距が実行されることで、各測距期間でフォトン入射による発生電荷を複数回積算する（Ｓ５３０）。積算された電荷を積算電荷Ｓ３とも記載する。ここでの距離画像を撮像することは、例えば、当該距離画像の積算電荷Ｓ３を取得することに相当する。なお、積算電荷Ｓ３は、図１２に示す検出積算値に対応する。また、積算電荷Ｓ３は、電荷蓄積コンデンサＭＩＭ１に蓄積される。このように、光源１１０が照射した照射光に基づく反射光がＡＤＰに入射すると、電荷蓄積コンデンサＭＩＭ１にＡＰＤがフォトンを検出することで発生した電荷（発生電荷）が蓄積される。ステップＳ５３０は、第１測距ステップの一例である。
　そして、比較回路２２５は、Ｃグループの測距期間ごとに、蓄積された積算電荷Ｓ３と時間信号（例えば、ランプ電圧）とに基づいて、物体の有無を判定する（Ｓ５４０）。例えば、比較回路２２５は、積算電荷Ｓ３と時間信号とを比較する。そして、比較回路２２５は、積算電荷Ｓ３が時間信号より大きい場合（Ｓ５４０でＹｅｓ）、比較信号をＯＮする（Ｓ５５０）。比較信号がＯＮすることは、物体が有ることを示す。また、比較回路２２５は、積算電荷Ｓ３が時間信号以下である場合（Ｓ５４０でＮｏ）、ステップＳ５７０に進む。ステップＳ５４０は、第１判定ステップの一例である。
　次に、記憶回路２２６は、Ｃグループの複数の測距期間のそれぞれで出力値が異なる時間信号における、比較信号がＯＮした時点の時間信号を第１距離信号として画素２２２ａ（具体的には、記憶コンデンサＭＩＭ２）に記憶する（Ｓ５６０）。具体的には、記憶コンデンサＭＩＭ２に当該第１距離信号が記憶される。当該第１距離信号は、当該画素２２２ａにおける距離の情報を含む。
　そして、制御部１３０は、Ｃグループの全測距期間の時間信号を画素に記憶したか否かを判定する（Ｓ５７０）。合成部１６０は、制御部１３０がＣグループの全測距期間の時間信号を画素に記憶したと判定する（Ｓ５７０でＹｅｓ）と、画素２２２ａに記憶された時間信号（ランプ電圧）をリードする（Ｓ５８０）。これにより、演算部１４０は、第１フレームにおいて１回の読み出し動作で、各画素２２２ａの判定結果を取得することができる。
　演算部１４０は、取得した時間信号（ランプ電圧）を距離情報に変換し、第１距離画像を生成する（Ｓ５９０）。ステップＳ５９０は、第１距離画像生成ステップの一例である。
　なお、制御部１３０は、Ｃグループの全測距期間の判定が終了していないと判定する（Ｓ５７０でＮｏ）と、Ｓ５３０に戻りＣグループの全測距期間で判定が終了するまでステップＳ５３０～Ｓ５６０の処理を継続する。
　次に、第２フレームにおける第２距離画像を生成する処理が行われる。第２距離画像は、第１距離画像で測距されていなかった測距範囲を測距した結果に基づいて生成される画像である。
　制御部１３０は、ステップＳ１０で設定した測距区間から、奥行方向に測距区間の分割位置（分割距離）をシフトさせる（Ｓ６００）。制御部１３０は、ステップＳ１０で設定した測距区間と位相の異なる測距区間を設定するとも言える。また、制御部１３０は、第２フレームを複数の測距区間に分割するとも言える。制御部１３０は、例えば、Ｃグループで設定していない非連続な測距範囲をＤグループの各測距区間として設定してもよい。ステップＳ６００は、第２分割ステップの一例でもある。なお、Ｄグループの測距期間は、ステップＳ６００でシフトされた測距区間における期間である。
　そして、制御部１３０は、測距期間ごとに測距期間を割り当てる（Ｓ６１０）。当該測距期間は、Ｄグループに含まれる。ステップＳ６２０は、第２設定ステップの一例である。
　そして、制御部１３０は、Ｄグループの各測距期間ごとに距離画像の撮像を実行する。制御部１３０は、Ｄグループの複数の測距期間のそれぞれにおいて、ステップＳ６１０で設定された測距範囲における測距を行うように、光源１１０及びカメラ２２０を制御する。
　そして、カメラ２２０は、各測距期間でフォトン入射による発生電荷を複数回積算する（Ｓ６２０）。積算された電荷を積算電荷Ｓ４とも記載する。積算電荷Ｓ４は、図１２に示す検出積算値に対応する。また、積算電荷Ｓ４は、電荷蓄積コンデンサＭＩＭ１に蓄積される。ステップＳ６２０は、第２測距ステップの一例である。
　そして、比較回路２２５は、Ｄグループの測距期間ごとに、蓄積された積算電荷Ｓ４と時間信号（例えば、ランプ電圧）とに基づいて、物体の有無を判定する（Ｓ６３０）。例えば、比較回路２２５は、積算電荷Ｓ４と時間信号とを比較する。そして、比較回路２２５は、積算電荷Ｓ４が時間信号より大きい場合（Ｓ６３０でＹｅｓ）、比較信号をＯＮする（Ｓ６４０）。また、比較回路２２５は、積算電荷Ｓ４が時間信号以下である場合（Ｓ６３０でＮｏ）、ステップＳ６６０に進む。ステップＳ６３０は、第２判定ステップの一例である。
　次に、記憶回路２２６は、Ｄグループの複数の測距期間のそれぞれで出力値が異なる時間信号における、比較信号がＯＮした時点の時間信号を第１距離信号として画素２２２ａ（具体的には、記憶コンデンサＭＩＭ２）に記憶する（Ｓ６５０）。具体的には、記憶コンデンサＭＩＭ２に当該第１距離信号が記憶される。当該第１距離信号は、当該画素２２２ａにおける距離の情報を含む。
　そして、制御部１３０は、Ｄグループの全測距期間の時間信号を画素に記憶したか否かを判定する（Ｓ６６０）。制御部１３０は、Ｄグループの全測距期間の時間信号を画素に記憶したと判定する（Ｓ６６０でＹｅｓ）と、画素２２２ａに記憶された時間信号（ランプ電圧）をリードする（Ｓ６７０）。これにより、演算部１４０は、第２フレームにおいて１回の読み出し動作で、各画素２２２ａの判定結果を取得することができる。
　演算部１４０は、取得した時間信号（第１距離信号）を距離情報に変換し、第２距離画像を生成する（Ｓ６８０）。ステップＳ６８０は、第２距離画像生成ステップの一例である。
　なお、制御部１３０は、Ｄグループの全測距期間の判定が終了していないと判定する（Ｓ６６０でＮｏ）と、Ｓ６２０に戻りＤグループの全測距期間で測距が終了するまでステップＳ６２０～Ｓ６５０の処理を継続する。
　なお、距離検出装置２００は、図１６に示すステップＳ５１０～Ｓ６７０までの処理を繰り返し実行する。言い換えると、第１距離画像と第２距離画像とが交互に生成される。具体的には、制御部１３０は、第１距離画像と第２距離画像とを交互に生成するように、光源１１０及びカメラ２２０を制御する。そのため、出力部１７０は、第１距離画像と第２距離画像とを交互に出力することができる。
　ここで、第１フレームで生成される第１距離画像、及び、第２フレームで生成される第２距離画像について、図１７Ａ～図１７Ｃを参照しながら説明する。図１７Ａは、本実施の形態に係る第１距離画像の一例を説明するための模式図である。図１７Ｂは、本実施の形態に係る第１距離画像が生成される流れを模式的に示すフローチャートである。図１７Ｂは、図１６に示すステップＳ５３０～Ｓ５８０の処理を示す。図１７Ｃは、本実施の形態に係る第２距離画像の一例を説明するための模式図である。図１７Ａ及び図１７Ｂでは、測距期間のそれぞれで検出された物体を図示している。
　図１７Ａに示すように、第１距離画像群は、第１測距期間～第１０測距期間それぞれの区間距離画像を含む。例えば、第１区間距離画像に対応する第１測距期間と第２区間距離画像に対応する第２測距期間とは、互いに連続する測距区間である。また、第１距離画像群における各測距期間は、互いに等しい測距期間（例えば、１ｍｓｅｃなど）であってもよい。なお、図１７Ａでは、ステップＳ５１０で設定された測距区間のうち、第１区間距離画像～第１０区間距離画像に対応する測距区間までがＣフレームにおける測距区間として設定された例を示している。
　図１７Ｂに示すように、画像センサ２２２は、まず第１測距期間～第１０測距期間の撮像を行い（Ｓ７１０～Ｓ７５０）、その後に読み出し期間となる（Ｓ７６０）。ステップＳ７１０は、第１測距期間におけるステップＳ５２０及びＳ５３０の処理に対応し、ステップＳ７２０は、第２測距期間におけるステップＳ５２０及びＳ５３０の処理に対応する。また、ステップＳ７１０は、第１区間距離画像撮像ステップの一例である。また、ステップＳ７１０は、第１測距期間における処理であり、ステップＳ７２０は、第２測距期間における処理である。また、ステップＳ７６０は、第１読み出し期間における処理である。
　図１７Ｃに示すように、第２距離画像群は、第１測距期間～第１０測距期間それぞれの区間距離画像を含む。例えば、第１区間距離画像に対応する第１測距区間と第２区間距離画像に対応する第２測距区間とは、互いに連続する測距区間である。また、第２距離画像群における各測距区間は、互いに等しい測距期間（例えば、１ｍｓｅｃなど）であってもよい。また、第２距離画像群における第１測距区間と第１距離画像群における第１測距区間とは、少なくとも一部が異なる期間である。言い換えると、第２距離画像群における第１測距期間と第１距離画像群における第１測距期間とは、少なくとも一部が重なる期間である。
　このように、互いの測距期間の少なくとも一部もが重なるように第１距離画像群及び第２距離画像群の測距期間が設定されることで、例えば、第１距離画像群及び第２距離画像群の一方で測距が正確に行えていなくても、他方の測距で補えることができる。つまり、測定精度が向上する。また、測距期間を距離画像群ごとに変更することで、分解能を低下させることなく、近距離から遠距離までの広い範囲を測定することが可能である。
　なお、第２距離画像群の第１測距期間は、第１距離画像群の各測距期間のいずれか１つと少なくとも一部が重なっていてもよい。
　ここで、各距離画像群のそれぞれにおける測距区間の設定について、図１８Ａ及び図１８Ｂを参照しながら説明する。図１８Ａは、本実施の形態に係る第１距離画像の他の一例を説明するための模式図である。図１８Ｂは、本実施の形態に係る第２距離画像の他の一例を説明するための模式図である。なお、図１８Ａ及び図１８Ｂでは、Ｃグループ及びＤグループの各測距期間を互いに非連続な測距期間に設定している場合を示している。
　図１８Ａに示すように、第１距離画像群は、第１測距期間～第１０測距期間のそれぞれにおける区間距離画像を含む。例えば、第１区間距離画像に対応する第１測距期間と第２区間距離画像に対応する第２測距期間とは、互いに連続しない測距期間である。
　図１８Ｂに示すように、第２距離画像群は、第１測距期間～第１０測距期間のそれぞれにおける区間距離画像を含む。例えば、第１区間距離画像に対応する第１測距期間と第２区間距離画像に対応する第２測距期間とは、互いに連続しない測距期間である。
　このように、距離連続性を有しない測距範囲に対応した測距期間が設定されてもよい。つまり、時間連続性を有しない測距期間が設定されてもよい。
　図１８Ａ及び図１８Ｂに示すように、実施の形態１と同様に、第１距離画像及び第２距離画像は、互いに欠落した測距範囲を補うような画像であってもよい。このような第１距離画像は、距離検出装置２００が測定可能な測距期間の範囲のうち、所定の測距期間（例えば、１ｍｓｅｃ）で、かつ当該所定の測距期間（例えば、１ｍｓｅｃ）ごとに測距された結果に基づいて生成される。
　ここで、各測距期間を１ｍｓｅｃ、読出し期間が３．３ｍｓｅｃとする。本実施の形態では、第１フレーム及び第２フレームはそれぞれ１０個の測距期間で構成されるので、１フレームのフレーム速度は１３．３ｍｓｅｃ（フレームレートは７５ｆｐｓ）である。一方、比較例として、１フレームで２０個の測距期間の全てを測距すると、１フレームのフレーム速度は２３．３ｍｓｅｃ（フレームレート４３ｆｐｓ）となる。よって、本実施の形態によれば、見かけ上のフレームレートを向上させることができる。
　［２－３．効果など］
　以上のように、距離検出装置２００が備える画像センサ２２２は、第１距離画像群および第２距離画像群のそれぞれにおいて、ＡＰＤを有する画素２２２ａが検出したフォトン数に対応する画素信号の電圧が閾値を超えると、距離画像に対応した時間信号電圧を画素２２２ａの回路内の記憶素子（例えば、記憶コンデンサＭＩＭ２）に記憶する構成を有する。出力部１７０は、記憶素子に記憶した時間信号電圧が置き換えられた距離画像を含む、第１距離画像群および第２距離画像群のそれぞれに設定された互いに異なる色彩を付加する。
　これにより、画素２２２ａの外部（例えば、演算部１４０等の処理部）における信号処理量を軽減することができるので、距離画像を生成するフレームレートを向上させることができる。つまり、対象物までの情報をさらに早く取得することができる。
　以上のように、距離検出方法は、ＡＰＤ（Ａｖａｌａｎｃｈｅ　Ｐｈｏｔｏ　Ｄｉｏｄｅ）を有する画素２２２ａを二次元状に配置した距離検出装置２００における距離検出方法である。記距離検出方法は、第１フレームにおいて、対象物までの距離を検出する第１距離検出ステップ（Ｓ５１０～Ｓ５９０）と、第１フレームの後の第２フレームにおいて、対象物までの距離を検出する第２距離検出ステップ（Ｓ６００～Ｓ６８０）とを含む。第１距離検出ステップは、第１フレームを分割した複数の測距区間であってＣグループに含まれる複数の測距区間のそれぞれに、互いに異なる測距期間であって、かつ互いに距離連続性を有しない測距範囲に対応した測距期間を設定する第１設定ステップ（Ｓ５２０）と、Ｃグループの複数の測距期間のそれぞれにおいて、第１設定ステップで設定された測距期間における測距を行う第１測距ステップ（Ｓ５３０）とを含む。第２距離検出ステップは、第２フレームを分割した複数の測距区間であってＣグループとは異なるＤグループに含まれる複数の測距区間のそれぞれに、第１設定ステップで設定されていない測距期間を設定する第２設定ステップ（Ｓ６１０）と、Ｄグループの複数の測距期間のそれぞれにおいて、第２設定ステップで設定された測距期間における測距を行う第２測距ステップ（Ｓ６２０）とを含む。
　第１測距ステップは、Ｃグループの複数の測距期間のそれぞれにおいて、ＡＰＤがフォトンを検出することで発生した電荷を積算電荷Ｓ３（第１積算電荷の一例）として蓄積し（Ｓ５３０）、積算電荷Ｓ３とＣグループの複数の測距期間のそれぞれで出力値が異なる時間信号とを比較し（Ｓ５４０）、積算電荷Ｓ３が時間信号よりも大きい場合にＯＮとなる比較信号を出力し（Ｓ５５０）、画素２２２ａのそれぞれが、比較信号がＯＮした時点の時間信号を記憶し（Ｓ５６０）、Ｃグループの複数の測距期間のそれぞれの測距の後に、記憶された時間信号を画素２２２ａの外部に出力する（Ｓ５８０）。そして、第１距離検出ステップは、さらに、複数の画素２２２ａのそれぞれにおける時間信号に基づいて、第１距離画像を生成する第１距離画像生成ステップ（Ｓ５９０）を含む。
　また、第２測距ステップは、Ｄグループの複数の測距期間のそれぞれにおいて、ＡＰＤがフォトンを検出することで発生した電荷を積算電荷Ｓ４（第２積算電荷の一例）として蓄積し（Ｓ６２０）、積算電荷Ｓ４とＤグループの複数の測距期間のそれぞれで出力値が異なる時間信号とを比較し（Ｓ６３０）、積算電荷Ｓ４が時間信号よりも大きい場合にＯＮとなる比較信号を出力し（Ｓ６４０）、画素２２２ａのそれぞれが、比較信号がＯＮした時点の時間信号を記憶し（Ｓ６５０）、Ｄグループの複数の測距期間のそれぞれの測距の後に、記憶された時間信号を画素２２２ａの外部に出力する（Ｓ６７０）。そして、第２距離検出ステップは、さらに、複数の画素２２２ａのそれぞれにおける時間信号に基づいて、第２距離画像を生成する第２距離画像生成ステップ（Ｓ６８０）を含む。
　これにより、画素２２２ａの外部（例えば、演算部１４０等の処理部）における信号処理量を軽減することができるので、距離検出装置２００のシステムを簡単化できる。
　また、第１測距ステップでは、Ｃグループの複数の測距期間のうち、測距範囲が近距離である測距期間から順次測距を行い、第２測距ステップでは、Ｄグループの複数の測距期間のうち、測距範囲が近距離である測距期間から順次測距を行う。
　これにより、近距離の情報及び遠距離の情報のうち近距離の情報を優先して、距離画像を生成することができる。よって、上記の距離検出方法が近距離の情報の方が重要である用途（例えば、自動車等）に用いられる場合に、当該用途に適した距離画像を生成することができる。
　また、以上のように、距離検出装置２００の画素２２２ａのそれぞれは、画素２２２ａのそれぞれは、ＡＰＤがフォトンを検出することで発生した電荷を積算する積算回路１２４と、積算回路１２４に積算された積算電荷とＣグループ及びＤグループの複数の測距期間のそれぞれで出力値が異なる時間信号とを比較し、積算電荷が時間信号よりも大きい場合にＯＮとなる比較信号を出力する比較回路２２５と、比較信号がＯＮした時点の時間信号を記憶する記憶回路２２６と、Ｃグループの複数の測距期間のそれぞれにおける測距が終了した後、及び、Ｄグループの複数の測距期間のそれぞれにおける測距が終了した後のそれぞれで、記憶回路２２６に記憶された時間信号を出力する出力回路１２５とを有する。そして、距離検出装置２００は、さらに、第１フレームにおいて出力された時間信号に基づいて第１距離画像を生成し、第２フレームにおいて出力された時間信号に基づいて第２距離画像を生成する演算部１４０を備える。
　これにより、演算部１４０における信号処理量を軽減することができるので、距離検出装置２００のシステムを簡単化できる。
　（その他の実施の形態）
　以上、本開示の実施の形態に係る距離検出方法及び距離検出装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、又は異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。
　例えば、上記実施の形態等では、第１フレーム及び第２フレームを構成する複数のサブフレーム及び測距期間のそれぞれの測距範囲のピッチ（間隔）が等しい（すなわち、露光期間が等しい）例について説明したが、測距離範囲のピッチは異なっていてもよい。
　また、上記実施の形態等では、制御部は、１フレームを構成する複数のサブフレーム及び測距期間のそれぞれに、互いに非連続な測距範囲を設定する例について説明したが、これに限定されない。制御部は、例えば、複数のサブフレーム及び測距期間のうち少なくとも２つのサブフレーム及び測距期間において、互いに非連続な測距範囲を設定すればよい。
　また、上記実施の形態等では、制御部は、近距離から遠距離に向けて順次測距するように光源及びカメラを制御する例について説明したが、これに限定されない。制御部は、例えば、遠距離から近距離に向けて順次測距するように光源及びカメラを制御してもよい。
　また、上記実施の形態等では、出力部は、距離検出装置の外部の装置に距離画像を出力する例について説明したが、これに限定されない。距離検出装置が表示部を備えている場合、出力部は距離画像を当該表示部に出力してもよい。
　また、上記実施の形態等に記載した距離検出装置が用いられる用途は、特に限定されない。距離検出装置は、自動車、船舶などの移動体、監視カメラ、自身の位置を確認しながら自律的に移動するロボット、物体の３次元形状を計測する３次元計測装置などに用いられてもよい。
　上記のような制御部、演算部、合成部等の処理部を構成する各構成要素は、専用のハードウェアで構成されてもよく、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。この場合、各構成要素は、例えば、演算処理部（図示せず）と、制御プログラムを記憶する記憶部（図示せず）とを備えてもよい。演算処理部としては、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等が例示される。記憶部としては、半導体メモリなどのメモリ等が例示される。なお、各構成要素は、集中制御を行う単独の要素で構成されてもよく、互いに協働して分散制御を行う複数の要素で構成されてもよい。ソフトウェアプログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　本開示の固体撮像素子は、車載カメラ等、被写体が動く（例えば、高速で動く）ような環境下で有効なＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）画像センサ等に利用できる。
　１００、２００　　距離検出装置
　１１０　　光源
　１１１　　発光部
　１１２　　駆動部
　１２０、２２０　　カメラ
　１２１　　レンズ
　１２２、２２２　　画像センサ（受光部）
　１２２ａ、２２２ａ　　画素
　１２３　　受光回路
　１２４　　積算回路
　１２５　　出力回路
　１２６　　ＣＤＳ回路
　１２７　　ＡＤＣ回路
　１３０　　制御部
　１４０　　演算部
　１５０　　記憶部
　１６０　　合成部
　１７０　　出力部
　２２５　　比較回路
　２２６　　記憶回路
　ＡＭＰ１、ＡＭＰ３　　インバータ
　ＡＭＰ２　　出力部
　Ｃ１、Ｃ２、Ｃ２１　　コンデンサ
　ＣＤＳ１　　第１のＣＤＳ回路
　ＣＤＳ２　　第２のＣＤＳ回路
　ＣＤＳＯＵＴ　　アナログ信号、出力信号
　ＣＮＴ　　積算信号
　ＦＤ　　フローティングディフュージョン
　ＭＩＭ１　　電荷蓄積コンデンサ
　ＭＩＭ２　　記憶コンデンサ
　ＯＶＦ、ＲＳＴ　　リセット信号
　ＳＥＬ　　行選択信号
　ＳＬ　　信号線
　ＴＲ１～ＴＲ１０、ＴＲ２１、ＴＲ２２　　トランジスタ
　ＴＲＮ　　読出信号
　ＶＳＳＡ　　負側電源
　ＶＳＵＢ、ＲＳＤ、ＶＤＤ　　電源

Claims (11)

  1. 　奥行方向に複数の距離分割区間を設定する設定ステップと、
    　設定された前記複数の距離分割区間に基づいて距離画像を取得する撮像ステップとを含み、
    　前記撮像ステップは、
    　前記複数の距離分割区間の一部を撮像した複数の距離画像を取得する第１距離画像群撮像ステップと、
    　前記複数の距離分割区間の前記一部と位相の異なる距離分割区間を撮像した複数の距離画像を取得する第２距離画像群撮像ステップと、を含む
    　距離画像の取得方法。
  2. 　前記複数の距離分割区間は、前記奥行方向に連続性を有する
    　請求項１に記載の距離画像の取得方法。
  3. 　前記複数の距離分割区間は、前記奥行方向に連続性を有しない
    　請求項１に記載の距離画像の取得方法。
  4. 　前記第１距離画像群撮像ステップに含まれる２以上の距離分割区間と、前記第２距離画像群撮像ステップに含まれる２以上の距離分割区間とは、互いに半区間ずれている
    　請求項１～３のいずれか１項に記載の距離画像の取得方法。
  5. 　前記撮像ステップは、Ｎ（３以上の整数）回以上の距離画像群撮像ステップで構成され、それぞれの距離画像群撮像ステップに含まれる２以上の距離分割区間は、１／Ｎ区間ずれている
    　請求項１～３のいずれか１項に記載の距離画像の取得方法。
  6. 　前記設定ステップで設定される前記複数の距離分割区間は、前記奥行方向の手前側の区間が前記奥行方向の奥側の区間より狭い距離範囲に設定される
    　請求項１～５のいずれか１項に記載の距離画像の取得方法。
  7. 　ＡＰＤ（Ａｖａｌａｎｃｈｅ　Ｐｈｏｔｏ　Ｄｉｏｄｅ）を有する画素が二次元状に配置された画像センサと、
    　撮像する対象物に向けて照射光を発光する光源と、
    　前記画像センサで撮像した画像を処理する演算部と、
    　前記光源、前記画像センサおよび前記演算部を制御する制御部と、
    　前記演算部で処理した画像を合成する合成部と、
    　合成された画像に所定の情報を付加して出力する出力部とを備え、
    　前記制御部は、
    　奥行方向に複数の距離分割区間を設定し、
    　前記光源、前記画像センサおよび前記演算部を制御することで、設定された前記複数の距離分割区間の一部を撮像した複数の距離画像である第１距離画像群を取得し、かつ、前記複数の距離分割区間の前記一部と位相の異なる距離分割区間を撮像した複数の距離画像である第２距離画像群を取得する
    　距離検出装置。
  8. 　前記画像センサは、前記第１距離画像群および前記第２距離画像群の取得のそれぞれにおいて、前記画素が検出したフォトン数に対応する画素信号を前記画素の回路内に設けた記憶素子に画素電圧として記憶し、記憶された前記画素電圧を前記演算部に読み出す構成を有し、
    　前記演算部は、前記第１距離画像群および前記第２距離画像群の取得のそれぞれにおいて、前記画素電圧の大きさが閾値を超えると、当該距離画像に対象物が有ると判定し、
    　前記合成部は、前記第１距離画像群および前記第２距離画像群のそれぞれから、３次元化距離画像を生成し、
    　前記出力部は、前記第１距離画像群および前記第２距離画像群のそれぞれに設定された互いに異なる色彩を前記３次元化距離画像に付加する
    　請求項７に記載の距離検出装置。
  9. 　さらに、前記画素から読み出した画素信号をノイズ除去後に前記画像センサから出力する相関二重サンプリング回路を有し、
    　前記相関二重サンプリング回路は、前記二次元状に配置された画素のうちｎ行目の前記画素の画素信号をノイズ除去している期間に、ｎ－１行目の前記画素の画素信号であって当該期間の前にノイズ除去が完了した画素信号を出力する
    　請求項７に記載の距離検出装置。
  10. 　前記画像センサは、前記第１距離画像群および前記第２距離画像群のそれぞれにおいて、前記ＡＰＤを有する画素が検出したフォトン数に対応する画素信号の電圧が閾値を超えると、距離画像に対応した時間信号電圧を前記画素の回路内の記憶素子に記憶する構成を有し、
    　前記出力部は、前記記憶素子に記憶された時間信号電圧が置き換えられた距離画像を含む、前記第１距離画像群および前記第２距離画像群のそれぞれに設定された互いに異なる色彩を付加する
    　請求項７に記載の距離検出装置。
  11. 　前記合成部は、前記演算部により前記第１距離画像群および前記第２距離画像群のそれぞれにおいて、同一画素において複数の距離画像で対象物が有ると判定された場合、前記奥行方向の手前側の距離画像の判定結果を優先して選択し、
    　前記出力部は、選択された当該距離画像に前記色彩を付加する
    　請求項８又は１０に記載の距離検出装置。
PCT/JP2020/012645 2019-03-26 2020-03-23 距離画像の取得方法、及び、距離検出装置 WO2020196378A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080022008.1A CN113597567A (zh) 2019-03-26 2020-03-23 距离图像的获得方法、以及距离检测装置
JP2021509375A JPWO2020196378A1 (ja) 2019-03-26 2020-03-23 距離画像の取得方法、及び、距離検出装置
US17/480,475 US20220003876A1 (en) 2019-03-26 2021-09-21 Distance image obtaining method and distance detection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-058990 2019-03-26
JP2019058990 2019-03-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/480,475 Continuation US20220003876A1 (en) 2019-03-26 2021-09-21 Distance image obtaining method and distance detection device

Publications (1)

Publication Number Publication Date
WO2020196378A1 true WO2020196378A1 (ja) 2020-10-01

Family

ID=72610942

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/012645 WO2020196378A1 (ja) 2019-03-26 2020-03-23 距離画像の取得方法、及び、距離検出装置

Country Status (4)

Country Link
US (1) US20220003876A1 (ja)
JP (1) JPWO2020196378A1 (ja)
CN (1) CN113597567A (ja)
WO (1) WO2020196378A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023228933A1 (ja) * 2022-05-23 2023-11-30 株式会社 Rosnes 距離測定装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218005B (zh) * 2023-11-08 2024-03-01 华侨大学 基于全距离特征聚合的单帧图像超分辨率方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005080285A (ja) * 2003-08-28 2005-03-24 Toshiba Corp ３次元画像処理装置
JP2009257981A (ja) * 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2009300133A (ja) * 2008-06-11 2009-12-24 Japan Aerospace Exploration Agency 航空機搭載用光学式遠隔気流計測装置
JP2012220366A (ja) * 2011-04-11 2012-11-12 Optex Co Ltd 距離画像カメラおよびこれを用いた対象物の面形状認識方法
WO2017110413A1 (ja) * 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
WO2017141957A1 (ja) * 2016-02-17 2017-08-24 パナソニックＩｐマネジメント株式会社 距離測定装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5580233B2 (ja) * 2011-03-22 2014-08-27 富士重工業株式会社 車外監視装置および車外監視方法
JP5947507B2 (ja) * 2011-09-01 2016-07-06 キヤノン株式会社 撮像装置及びその制御方法
JP2014021017A (ja) * 2012-07-20 2014-02-03 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
JP6214236B2 (ja) * 2013-03-05 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2015046678A (ja) * 2013-08-27 2015-03-12 キヤノン株式会社 画像処理装置、画像処理方法、および撮像装置
WO2016151918A1 (ja) * 2015-03-26 2016-09-29 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
JP6701199B2 (ja) * 2015-07-31 2020-05-27 パナソニック株式会社 測距撮像装置
EP3159711A1 (en) * 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
US10953813B2 (en) * 2015-12-21 2021-03-23 Koito Manufacturing Co., Ltd. Image acquisition device to be used by vehicle and vehicle provided with same
WO2017213052A1 (ja) * 2016-06-08 2017-12-14 パナソニックＩｐマネジメント株式会社 測距システム及び測距方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005080285A (ja) * 2003-08-28 2005-03-24 Toshiba Corp ３次元画像処理装置
JP2009257981A (ja) * 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2009300133A (ja) * 2008-06-11 2009-12-24 Japan Aerospace Exploration Agency 航空機搭載用光学式遠隔気流計測装置
JP2012220366A (ja) * 2011-04-11 2012-11-12 Optex Co Ltd 距離画像カメラおよびこれを用いた対象物の面形状認識方法
WO2017110413A1 (ja) * 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
WO2017141957A1 (ja) * 2016-02-17 2017-08-24 パナソニックＩｐマネジメント株式会社 距離測定装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023228933A1 (ja) * 2022-05-23 2023-11-30 株式会社 Rosnes 距離測定装置

Also Published As

Publication number Publication date
CN113597567A (zh) 2021-11-02
JPWO2020196378A1 (ja) 2021-11-18
US20220003876A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
US9621860B2 (en) Image capturing apparatus and control method thereof, and storage medium
US9762840B2 (en) Imaging device and method of driving the same
JP6145826B2 (ja) 撮像装置及びその駆動方法
US10291867B2 (en) Solid-state imaging element and driving method and electronic equipment
US10652531B2 (en) Solid-state imaging device, imaging system, and movable object
TWI717450B (zh) 固體攝像裝置、固體攝像裝置之驅動方法、及電子機器
JP2009141813A (ja) 撮像装置、カメラ、車両及び撮像方法
KR20160117548A (ko) 촬상 장치 및 그 제어 방법
JP7263080B2 (ja) 撮像装置及び信号処理装置
WO2020196378A1 (ja) 距離画像の取得方法、及び、距離検出装置
JPWO2019054099A1 (ja) 固体撮像装置、及びそれを備える撮像装置
JP2008008687A (ja) 距離測定システム及び距離測定方法
US20210203907A1 (en) Measurement device
JP2019047267A (ja) 固体撮像装置、撮像システム、及び移動体
JP2016090785A (ja) 撮像装置及びその制御方法
CN114424522B (zh) 图像处理装置、电子设备、图像处理方法与程序
US10638068B2 (en) Endoscope and endoscope system
JP2016184868A (ja) 撮像装置及び撮像装置の駆動方法
US20230122042A1 (en) Device, system, mobile object, and apparatus
WO2019054102A1 (ja) 固体撮像装置、及びそれを備える撮像装置
WO2019107178A1 (ja) 固体撮像素子および電子機器
JP6366325B2 (ja) 撮像システム
US11700467B2 (en) Photoelectric conversion device, photoelectric conversion system, and movable body
US20220006941A1 (en) Solid-state imaging device
JP7299711B2 (ja) 光電変換装置及びその駆動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20776533

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021509375

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20776533

Country of ref document: EP

Kind code of ref document: A1