WO2020194481A1 - 距離画像センサ及び距離画像撮像装置 - Google Patents

距離画像センサ及び距離画像撮像装置 Download PDF

Info

Publication number
WO2020194481A1
WO2020194481A1 PCT/JP2019/012656 JP2019012656W WO2020194481A1 WO 2020194481 A1 WO2020194481 A1 WO 2020194481A1 JP 2019012656 W JP2019012656 W JP 2019012656W WO 2020194481 A1 WO2020194481 A1 WO 2020194481A1
Authority
WO
WIPO (PCT)
Prior art keywords
voltage
distance image
input
conversion
charge
Prior art date
Application number
PCT/JP2019/012656
Other languages
English (en)
French (fr)
Inventor
圭吾 磯部
Original Assignee
株式会社ブルックマンテクノロジ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ブルックマンテクノロジ filed Critical 株式会社ブルックマンテクノロジ
Priority to PCT/JP2019/012656 priority Critical patent/WO2020194481A1/ja
Priority to JP2021508449A priority patent/JP7253846B2/ja
Publication of WO2020194481A1 publication Critical patent/WO2020194481A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • H03M1/18Automatic control for modifying the range of signals the converter can handle, e.g. gain ranging

Definitions

  • the present invention relates to a distance image sensor and a distance image imaging device.
  • Time of Flight which measures the distance between a measuring instrument and an object based on the flight time of light in space (measurement space) by utilizing the known speed of light.
  • a distance image sensor of the type (hereinafter referred to as "TOF") has been realized.
  • the measurement target is irradiated with a light (for example, near-infrared light) pulse, and the time during which the light pulse is irradiated and the light pulse (reflected light) reflected by the object in the measurement space are returned.
  • the distance between the measuring instrument and the object is measured based on the difference from the incoming time, that is, the flight time of light between the measuring instrument and the object.
  • the amount of reflected light input to the distance image sensor increases when the background light in the environment of the measurement space is bright, when the distance to the object is short, or when the reflection coefficient on the surface of the object is large.
  • a photoelectric conversion element converts the amount of reflected light into an electric charge
  • an AD converter converts an analog voltage corresponding to the electric charge amount of the electric charge into a digital voltage.
  • the voltage corresponding to the amount of charge can convert the analog voltage input by the AD converter (AD converter) into a digital value.
  • the upper limit of the range (hereinafter, simply the input range) is exceeded. At this time.
  • an analog voltage equal to or higher than the upper limit value is input, it is clipped (limited) to the digital voltage corresponding to the upper limit value, and the above time difference cannot be measured accurately. For the reasons described above, the measurement accuracy of the distance obtained from the time difference is lowered, and the distance measurement with high measurement accuracy cannot be performed when the background light is large or the intensity of the reflected light is large.
  • Patent Document 1 and Patent Document 2 convert the output range of the voltage supplied to the AD converter according to the input range of the AD converter.
  • Patent Document 1 in order to detect the input voltage to be AD-converted and make it correspond to the input range of the AD converter, a predetermined reference voltage is subtracted from the input voltage, and the voltage after the subtraction is applied to the AD converter. Is being supplied.
  • Patent Document 2 an amplifier circuit is provided in front of the AD converter so that the input voltage to be AD-converted corresponds to the input range of the AD converter, and the gain and offset of the amplifier circuit are adjusted.
  • Patent Document 1 and Patent Document 2 a predetermined amplifier circuit or the like is provided in front of the AD converter in order to adjust the output range of the input voltage supplied to the AD converter so as to correspond to the input range of the AD converter. .. Therefore, in Patent Document 1 and Patent Document 2, in addition to the AD converter that performs AD conversion, an extra circuit such as an amplifier circuit that adjusts the input range is provided, so that the circuit scale becomes large.
  • the TOF type distance image sensor performs AD conversion of the voltage according to the amount of charge for each row of pixel circuits arranged in a grid pattern, and therefore performs AD conversion at high speed. Therefore, AD according to the number of rows.
  • a converter is provided. Therefore, when the AD converters of Patent Document 1 and Patent Document 2 described above are used, the circuit scale for performing AD conversion of the distance image sensor increases, and the distance image sensor becomes larger (the chip area increases). The manufacturing cost will increase.
  • the irradiation light emitted from a predetermined light source to the measurement space which is the space to be measured, is reflected by the object in the measurement space and the background in the environment of the measurement space. It includes a photoelectric conversion element that receives light and generates a charge corresponding to the reflected light and the background light that have been received, and a charge storage unit that accumulates the charge when the irradiation light is irradiated in the frame period.
  • the light receiving pixel portion having a pixel circuit for accumulating the charge in the charge storage portion in synchronization with the irradiation of the irradiation light and the input voltage corresponding to the amount of charge stored in the charge storage portion are subjected to the frame period.
  • an AD conversion circuit that adjusts the input range according to the input voltage is provided.
  • the distance image sensor of the present invention is a calculation in which the AD conversion circuit shifts the voltage range of the input range by a predetermined shift voltage when the AD converter and the input voltage are not included in the input range of the AD converter. It is equipped with a processing unit.
  • the distance image sensor of the present invention further includes a reference voltage generating unit that generates a reference voltage that controls the voltage range of the input range of the AD conversion circuit in response to the shift voltage, and the arithmetic processing unit receives the input.
  • a reference voltage generating unit that generates a reference voltage that controls the voltage range of the input range of the AD conversion circuit in response to the shift voltage
  • the arithmetic processing unit receives the input.
  • the shift voltage for shifting the voltage range of the input range is obtained, the shift voltage is supplied to the reference voltage generation unit, and the reference voltage generation unit is supplied.
  • Generates the reference voltage corresponding to the shift voltage supplied from the arithmetic processing unit supplies the reference voltage to the AD converter, and the AD converter is supplied from the reference voltage generation unit.
  • the voltage range of the input range is adjusted by the reference voltage.
  • the arithmetic processing unit shifts the input voltage to a higher voltage side by a preset shift voltage.
  • the voltage is less than the lower limit of the voltage range of the input range, the voltage is shifted to the lower voltage side by the preset shift voltage.
  • the distance image sensor of the present invention is an optical pulse having the same pulse width in which the irradiation light is irradiated at a predetermined cycle, and includes the pixel circuit in which the light receiving pixel portions are arranged in a two-dimensional grid pattern, and the AD The conversion circuit is provided for each row of the array in the grid pattern.
  • the distance image sensor of the present invention is further provided with a pixel drive circuit that outputs a storage drive signal, the charge storage unit has a plurality of distribution charge storage units, and the pixel drive circuit is described. Synchronized with the irradiation of the optical pulse, the distribution accumulation drive signal is sequentially output to the distribution charge storage unit as the accumulation drive signal in the cycle, and the distance between the distance image sensor and the object is obtained. Therefore, each of the charges generated by the photoelectric conversion element according to the amount of received light during the period of the reflected light is distributed and accumulated in each of the distributed charge storage units.
  • the arithmetic processing unit shifts the voltage range of the input range in accordance with the voltage corresponding to the amount of electric charge in the charge storage unit in which the charge due to the background light is accumulated. ..
  • the AD converter is provided for each column of the charge storage unit of each of the pixel circuits in the grid-like arrangement, and the arithmetic processing unit is the distribution charge storage unit.
  • the input range of each of the AD converters is adjusted independently for each of the columns.
  • the arithmetic processing unit immediately causes the generation of the shift voltage of the input range used when the AD converter AD-converts the input voltage in a column unit in the grid-like arrangement. This is performed corresponding to the result of AD conversion of the input voltage in the frame cycle.
  • the arithmetic processing unit arranges the generation of the shift voltage of the input range used when the AD conversion circuit performs AD conversion of the input voltage in a row of the grid-like arrangement. For each of the pixel circuits, the result of AD conversion of the input voltage for each of the pixel circuits in the immediately preceding frame cycle is performed.
  • the distance image sensor of the present invention shifts by the predetermined voltage by the shift control signal supplied from the external device.
  • the distance image imaging device of the present invention is distributed by one of the above distance image sensors, a light source unit that irradiates the measurement space which is the measurement target space with irradiation light, and a predetermined fixed number of charge distributions.
  • the distance image sensor based on the amount of charge, which is the amount of the charge accumulated in each of the plurality of distribution charge storage units in the charge storage unit, and the voltage obtained by shifting the input range in the AD conversion circuit.
  • a distance image processing unit for obtaining the distance between the object and the object existing in the measurement space.
  • the distance image processing unit adds a shift voltage obtained by shifting the input range to a conversion voltage obtained by AD-converting a voltage corresponding to the amount of charge, which is the amount of charge. Then, the distance between the distance image sensor and the object existing in the measurement space is calculated from the addition result.
  • the input range of the AD converter is adjusted to the input voltage range. Because of the configuration, a circuit that changes the input voltage range is not provided in front of the AD converter, and the input voltage can be accurately AD-converted while maintaining the AD conversion resolution of the input voltage.
  • Distance image sensor and distance An image imaging device is provided.
  • FIG. 3 It is a conceptual diagram which shows the structural example of the AD conversion circuit which AD-converts the input voltage supplied from the pixel signal processing circuit in embodiment. It is a block diagram which shows the structural example of the column AD conversion circuit in the column AD conversion unit 329j according to this embodiment. It is a figure explaining the process of shifting an input range in an AD converter. It is a figure explaining the process of shifting an input range in an AD converter. It is a figure explaining the process of shifting an input range in an AD converter. It is a flowchart which shows the operation example of AD conversion of a column conversion circuit and shift of an input range. It is a conceptual diagram explaining the process of shifting the input range of the AD converter shown in FIG.
  • FIG. 1 is a block diagram showing a schematic configuration of the distance image imaging device of the present embodiment. Note that FIG. 1 also shows a subject S, which is a subject whose distance is measured by the distance image imaging device 1.
  • the distance image imaging device 1 having the configuration shown in FIG. 1 includes a light source unit 2, a light receiving unit 3, and a distance image processing unit 4.
  • the light source unit 2 irradiates the space in which the subject S whose distance is to be measured in the distance image imaging device 1 exists with an intermittent light pulse PO at a predetermined cycle.
  • the light source unit 2 is, for example, a surface emitting type semiconductor laser module such as a vertical cavity surface emitting laser (VCSEL: Vertical Cavity Surface Emitting Laser).
  • the light source device 21 is, for example, a light source that emits laser light in a near-infrared wavelength band (for example, a wavelength band having a wavelength of 850 nm to 940 nm) that serves as an optical pulse PO to irradiate the subject S.
  • the light source device 21 is, for example, a semiconductor laser light emitting element.
  • the light source device 21 emits a pulsed laser beam (optical pulse PO) in response to control from the timing control unit 41.
  • the diffuser plate 22 is an optical component that diffuses the laser light in the near-infrared wavelength band emitted by the light source device 21 to the size of a predetermined cross-sectional area that irradiates the measurement space P with the subject S.
  • the pulsed laser beam diffused by the diffuser plate 22 is emitted from the light source unit 2 as an optical pulse PO and is applied to the subject S in the measurement space P.
  • the light receiving unit 3 receives the reflected light RL of the light pulse PO reflected by the subject S whose distance is to be measured in the distance image imaging device 1, and outputs a pixel signal corresponding to the received reflected light RL.
  • the lens 31 is an optical lens that guides the incident reflected light RL to the distance image sensor 32.
  • the lens 31 emits the incident reflected light RL to the distance image sensor 32 side, and receives (incidents) the light on the pixels provided in the light receiving region of the distance image sensor 32.
  • the distance image sensor 32 is an image sensor used in the distance image image pickup device 1.
  • the distance image sensor 32 includes a plurality of pixels in a two-dimensional light receiving region, and in each pixel, one photoelectric conversion element and a plurality of charge storage units corresponding to the one photoelectric conversion element, respectively. It is an image pickup device having a distribution configuration in which a component for distributing charges is provided in a charge storage unit.
  • the distance image sensor 32 distributes the charges generated by the photoelectric conversion elements constituting the pixels to the respective charge storage units according to the control from the timing control unit 41, and responds to the amount of charges distributed to each charge storage unit. Outputs the pixel signal.
  • a plurality of pixels are arranged in a two-dimensional grid pattern (matrix pattern), and a pixel signal for one frame corresponding to each pixel is output.
  • the distance image processing unit 4 is a control unit that controls the entire distance image imaging device 1, and is also a calculation unit that calculates the distance to the subject S measured by the distance image imaging device 1.
  • the distance image processing unit 4 includes a timing control unit 41 and a distance calculation unit 42.
  • the timing control unit 41 controls the timing at which the light source unit 2 irradiates the subject S with the light pulse PO, the timing at which the distance image sensor 32 provided in the light receiving unit 3 receives the reflected light RL, and the like.
  • the distance calculation unit 42 outputs distance information obtained by calculating the distance between the distance image imaging device 1 and the subject S based on the pixel signal output from the distance image sensor 32.
  • the light receiving unit 3 receives the reflected light RL reflected by the subject S from the light pulse PO in the near infrared wavelength band irradiated by the light source unit 2 to the subject S.
  • the distance image processing unit 4 outputs distance information obtained by measuring the distance to the subject S.
  • FIG. 1 shows a distance image imaging device 1 having a distance image processing unit 4 inside, but the distance image processing unit 4 is a component provided outside the distance image imaging device 1. You may.
  • FIG. 2 is a block diagram showing a schematic configuration of an image pickup device (distance image sensor 32) used in the distance image image pickup device 1 according to the embodiment of the present invention.
  • the distance image sensor 32 includes a light receiving region 320 in which a plurality of pixel circuits 321 are arranged, a control circuit 322, a vertical scanning circuit 323, a horizontal scanning circuit 324, a pixel signal processing circuit 325, and a pixel drive. It includes a circuit 326.
  • a plurality of pixel circuits 321 are shown as an example of a light receiving region 320 in which a plurality of pixel circuits 321 are arranged in a two-dimensional grid pattern in 8 rows and 8 columns.
  • the control circuit 322 controls the components provided in the distance image sensor 32 such as the vertical scanning circuit 323, the horizontal scanning circuit 324, the pixel signal processing circuit 325, and the pixel drive circuit 326.
  • the control circuit 322 operates the components provided in the distance image sensor 32 in response to control from the distance image processing unit 4 (more specifically, the timing control unit 41) provided in the distance image imaging device 1, for example. To control.
  • the control circuit 322 may directly control the components provided in the distance image sensor 32, for example, by the distance image processing unit 4 (more specifically, the timing control unit 41). In this case, the distance image sensor 32 may be configured not to include the control circuit 322.
  • the pixel drive circuit 326 is a plurality of charge storage units (charge storage units described later) included in the pixel circuit 321 for the charges generated by the photoelectric conversion elements (photoelectric conversion element PD described later) included in the pixel circuits 321 arranged in a grid pattern.
  • a row of pixel circuits 321 in which stored drive signals (stored drive signals TX1, TX2, TX3 and reset drive signal RSTD, which will be described later) to be distributed and stored in CS1, CS2 and CS3) are arranged in a grid pattern in the light receiving pixel unit 320. Output in units.
  • the vertical scanning circuit 323 controls each of the pixel circuits 321 arranged in the light receiving pixel unit 320 in response to the control from the control circuit 322, and the amount of electric charge obtained by photoelectrically converting the incident light from each of the pixel circuits 321.
  • This is a drive circuit that outputs (reads) a signal of the corresponding voltage (hereinafter, referred to as “voltage signal”) to the corresponding vertical signal line 327.
  • the vertical scanning circuit 323 is a pixel circuit 321 in which control signals (selection drive signals SEL1, SEL2, SEL3, which will be described later) for driving (controlling) and reading out the pixel circuit 321 are arranged in a grid pattern in the light receiving pixel unit 320. Output line by line.
  • the voltage signal corresponding to the amount of charge distributed to each charge storage unit in the pixel circuit 321 is read out to each of the vertical signal lines 327 corresponding to each line of the light receiving pixel unit 320, and the pixel signal processing circuit. It is output to 325.
  • the pixel circuit 321 receives the reflected light RL reflected by the subject S by the light pulse PO irradiated by the light source unit 2 on the subject S, and responds to the light amount (light receiving amount) of the received reflected light RL. Generates a charged charge.
  • the pixel drive circuit 326 outputs a storage drive signal to distribute charges according to the amount of received reflected light RL (light reception amount) to any of the plurality of charge storage units provided. And accumulate.
  • the vertical scanning circuit 323 outputs a read drive signal to correspond to a voltage signal having a size corresponding to the amount of electric charge distributed and accumulated in each charge storage unit. Output to the vertical signal line 327.
  • the pixel signal processing circuit 325 performs predetermined signal processing on the voltage signal output from the pixel circuit 321 in each row to the corresponding vertical signal line 327 according to the control from the vertical scanning circuit 323. It is a signal processing circuit.
  • the predetermined signal processing includes, for example, noise suppression processing for suppressing noise included in a voltage signal by Correlated Double Sampling (CDS).
  • CDS Correlated Double Sampling
  • the AD conversion circuit 329 AD-converts analog voltage signals for each column supplied from the pixel signal processing circuit 325 via the vertical signal line 330 and converts them into digital values.
  • the pixel signal processing circuit 325 may be a pixel signal processing circuit group including a plurality of pixel signal processing circuits corresponding to each row of the light receiving pixel unit 320.
  • the pixel signal processing circuit 325 outputs the voltage signal after the predetermined signal processing to the AD conversion circuit 329 via the vertical signal line 330 according to the control from the control circuit 322. Then, the AD conversion circuit 329 outputs to the horizontal signal line 338 for each line of the light receiving pixel unit 320 according to the control of the horizontal scanning circuit 324.
  • the horizontal scanning circuit 324 converts a digital value of the voltage signal after signal processing, which is output from the AD conversion circuit 329 via the signal line 328, into an AD-converted digital value according to the control from the control circuit 322.
  • This is a drive circuit that sequentially outputs (reads) the line 338.
  • the horizontal scanning circuit 324 sequentially outputs a read drive signal for outputting a voltage signal corresponding to the pixel circuit 321 in each row to the pixel signal processing circuit 325.
  • the voltage signal for one frame after the signal processing output by the pixel signal processing circuit 325 is sequentially output as the pixel signal for one frame to the outside of the distance image sensor 32 via the horizontal signal line 329. Will be done.
  • the distance image sensor 32 outputs the voltage signal after signal processing as a pixel signal from an output circuit (not shown) such as an output amplifier to the outside of the distance image sensor 32.
  • the pixel signal processing circuit 325 provided in the distance image sensor 32 performs noise suppression processing on the voltage signal output from the pixel circuit 321, and then the AD conversion circuit 329 performs A / D conversion processing. That is, the voltage signal converted into a digital value is output from the horizontal signal line 338.
  • FIG. 3 is a circuit diagram showing an example of the configuration of the pixel circuit 321 arranged in the light receiving region 320 of the image pickup element (distance image sensor 32) used in the distance image image pickup device 1 of the embodiment of the present invention.
  • FIG. 3 shows an example of the configuration of one pixel circuit 321 among the plurality of pixel circuits 321 arranged in the light receiving region 320.
  • the pixel circuit 321 is an example of a configuration including three pixel signal reading units.
  • the pixel circuit 321 includes one photoelectric conversion element PD, a drain gate transistor GD, and three pixel signal reading units RU that output voltage signals from the corresponding output terminals O.
  • Each of the pixel signal reading units RU includes a reading gate transistor G, a floating diffusion FD, a charge storage capacity C, a reset gate transistor RT, a source follower gate transistor SF, and a selection gate transistor SL.
  • a charge storage unit CS is composed of a floating diffusion FD and a charge storage capacity C.
  • the drain gate transistor GD, the read gate transistor G, the reset gate transistor RT, the source follower gate transistor SF, and the selection gate transistor SL are N channel MOS transistors.
  • each pixel signal reading unit RU is distinguished by adding a number “1", “2” or “3” after the code "RU" of the three pixel signal reading units RU. To do.
  • each component provided in the three pixel signal reading units RU also has a pixel signal reading unit corresponding to each component by indicating a number representing each pixel signal reading unit RU after the code. RU is distinguished and represented.
  • the pixel signal reading unit RU1 that outputs a voltage signal from the output terminal O1 includes a reading gate transistor G1, a floating diffusion FD1, a charge storage capacity C1, a reset gate transistor RT1, and a source.
  • the charge storage unit CS1 is composed of the floating diffusion FD1 and the charge storage capacity C1.
  • the pixel signal reading unit RU2 and the pixel signal reading unit RU3 have the same configuration.
  • the photoelectric conversion element PD is an embedded photodiode that photoelectrically converts incident light to generate an electric charge and stores the generated electric charge.
  • the structure of the photoelectric conversion element PD provided in the pixel circuit 321 is not particularly specified. Therefore, the photoelectric conversion element PD may be, for example, a PN photodiode having a structure in which a P-type semiconductor and an N-type semiconductor are joined, or an I-type semiconductor is sandwiched between the P-type semiconductor and the N-type semiconductor. It may be a PIN photodiode having a structure.
  • the photoelectric conversion element provided in the pixel circuit 321 is not limited to the photodiode, and may be, for example, a photogate type photoelectric conversion element.
  • the drain gate transistor GD is a transistor for discarding the electric charge that is generated and accumulated by the photoelectric conversion element PD in response to the drive signal input from the pixel drive circuit 326 and is not transferred to each pixel signal reading unit RU. Is. That is, the drain gate transistor GD is a transistor generated by the photoelectric conversion element PD that resets the electric charge that is not used for measuring the distance to the subject S.
  • the read-out gate transistor G is a transistor for transferring the charges generated and accumulated by the photoelectric conversion element PD to the corresponding charge storage unit CS in response to the drive signal input from the pixel drive circuit 326.
  • the charge transferred by the read-out gate transistor G is held (stored) in the corresponding charge storage unit CS.
  • the drain of the read gate transistor G1 is connected to the second terminal of the photoelectric conversion element PD, the gate is connected to the signal line LTX1 propagating the storage drive signal TX1, and the source is floating. It is connected to the first terminal of the diffusion FD1 and the charge storage capacity C1.
  • the drain of the read gate transistor G2 is connected to the second terminal of the photoelectric conversion element PD, the gate is connected to the signal line LTX2 propagating the storage drive signal TX2, and the source is floating. It is connected to the first terminal of the diffusion FD2 and the charge storage capacity C2.
  • the drain of the read gate transistor G3 is connected to the third terminal of the photoelectric conversion element PD, the gate is connected to the signal line LTX3 propagating the storage drive signal TX3, and the source is connected. Is connected to the first terminal of the floating diffusion FD3 and the charge storage capacity C3.
  • Each of the above-mentioned storage drive signal TX1, storage drive signal TX2, and storage drive signal TX3 is supplied from the pixel drive circuit 326 via the signal line LTX1, the signal line LTX2, and the signal line LTX3, respectively.
  • the charge storage capacity C is a capacity that holds (stores) the charge transferred by the corresponding read-out gate transistor G.
  • the reset gate transistor RT is a transistor for discarding the charge held in the corresponding charge storage unit CS in response to the drive signal input from the vertical scanning circuit 323. That is, the reset gate transistor RT is a transistor that resets the charge held in the corresponding charge storage unit CS.
  • the source follower gate transistor SF is a transistor for amplifying a voltage signal corresponding to the amount of charge stored in the charge storage unit CS connected to the gate terminal and outputting it to the corresponding selection gate transistor SL.
  • the selection gate transistor SL is a transistor for outputting a voltage signal amplified by the corresponding source follower gate transistor SF from the corresponding output terminal O in response to the drive signal input from the vertical scanning circuit 323.
  • the charges generated by photoelectric conversion of the light incident on the photoelectric conversion element PD are distributed to each of the three charge storage units CS, and each of them corresponds to the charge amount of the distributed charges.
  • the voltage signal of is output to the pixel signal processing circuit 325.
  • the configuration of the pixels arranged in the distance image sensor 32 is not limited to the configuration including the three pixel signal reading units RU as shown in FIG. 3, and is limited to one photoelectric conversion element PD and photoelectric conversion. Any pixel may be used as long as it is a pixel having a configuration including a plurality of pixel signal reading units RU for distributing the accumulated charges generated by the element PD. That is, the number of pixel signal reading units RU (charge storage unit CS) provided in the pixels arranged in the distance image sensor 32 may be two or four or more.
  • the charge storage unit CS is composed of the floating diffusion FD and the charge storage capacity C.
  • the charge storage unit CS may be composed of at least a floating diffusion FD. That is, the pixel circuit 321 may not have the respective charge storage capacities C. In the case of this configuration, it has the effect of increasing the charge detection sensitivity.
  • the distance image capturing apparatus 1 has a wide dynamic range in distance measurement, a configuration capable of retaining (accumulating) a larger amount of electric charge is superior.
  • the pixel signal reading unit RU is provided with a charge storage capacity C
  • the charge storage unit CS is configured by the floating diffusion FD and the charge storage capacity C, so that the charge storage unit CS is composed only of the floating diffusion FD. It is configured to be able to retain (accumulate) more electric charge than the case of configuring.
  • the pixel circuit 321 having the configuration shown in FIG. 3 an example of the configuration including the drain gate transistor GD is shown, but when it is not necessary to discard the (remaining) charge accumulated in the photoelectric conversion element PD.
  • the pixel arranged in the distance image sensor 32 may not be provided with the drain gate transistor GD.
  • FIG. 4 is a timing chart showing the timing of driving the pixel circuit 321 arranged in the light receiving region 320 of the image pickup device (distance image sensor 32) used in the distance image image pickup device 1 of the embodiment of the present invention.
  • FIG. 4 shows the timing of the drive signal of the pixel circuit 321 when the distance image sensor 32 outputs the pixel signal for one frame, and the timing of the optical pulse PO that the light source unit 2 irradiates the subject S.
  • the pixel drive circuit 326 distributes charges to the respective charge storage units CS provided in all the pixel circuits 321 by so-called global shutter drive that simultaneously drives all the pixel circuits 321 arranged in the light receiving region 320. Accumulate.
  • the time for the light source device 21 to emit the pulsed laser beam that is, the pulse width Tw of the light pulse PO is a very short time, for example, 10 nS.
  • the maximum distance that can be measured hereinafter, referred to as "maximum measurement distance" is determined by the pulse width Tw of the optical pulse PO.
  • the pulse width Tw of the above-mentioned optical pulse PO is 10 nS
  • the maximum measurement distance is 1.5 m.
  • the pulse width Tw of the optical pulse PO is simply widened, that is, if the emission time of the laser light in the light source device 21 is lengthened, the photoelectric conversion element PD can receive more reflected light RL, but the measurement The resolution of the distance to the subject S is reduced.
  • the pulse width Tw of the optical pulse PO is short, the amount of electric charge generated by the photoelectric conversion element PD by the photoelectric conversion is also small. Therefore, in the distance image imaging device 1, the irradiation of the optical pulse PO and the distribution of the charges are performed a plurality of times so that a sufficient amount of charges are accumulated in each charge storage unit CS during the charge accumulation period.
  • each of the vertical scanning circuit 323 and the pixel drive circuit 326 will be described as a configuration in which the pixel circuit 321 is driven (controlled).
  • the control circuit 322 outputs clock signals CK1, CK2, CK3, and CKRSTD that generate each of the storage drive signals TX1, TX2, TX3, and the reset drive signal RSTD to the pixel drive circuit 326, respectively. Further, the control circuit 322 outputs a clock signal for generating each of the selection drive signals SEL1, SEL2, SEL3, and the reset signals RST1, RST2, and RST3 to the vertical scanning circuit 323, respectively.
  • the charge accumulation period of the timing chart shown in FIG. 4 shows the drive timing of the pixel circuit 321 when the irradiation of the optical pulse PO and the distribution of the charges in all the pixel circuits 321 are performed a plurality of times.
  • the light pulse PO in the charge accumulation period of the timing chart shown in FIG. 4 is irradiated by the light pulse PO (the light source device 21 emits laser light) at the “H (High)” level, and “L (Low)”. ) ”
  • the irradiation of the light pulse PO is stopped (the light source device 21 is turned off) at the level.
  • the timing chart shown in FIG. 4 will be described assuming that all the pixel circuits 321 are reset, that is, the charge is not accumulated in the photoelectric conversion element PD and the charge storage unit CS.
  • the times tA1 to tA5 are accumulation cycles for distributing charges, and a plurality of accumulation cycles are repeated during the charge accumulation period. Further, for example, the time width between the times tA1, tA2, tA3, and tA4, that is, the pulse widths of the optical pulse PO and the accumulation drive signals TX1, TX2, and TX3 are the same Tw.
  • the charge accumulation period first, in the pixel drive circuit 326, the light generated by the photoelectric conversion element PD by photoelectric conversion from the time tA1 which is the same time as the pulse width Tw when the light source unit 2 irradiates the optical pulse PO.
  • the charge corresponding to the background light before the pulse PO is irradiated is transferred to the charge storage unit CS1 via the readout gate transistor G1 and stored.
  • the pixel drive circuit 326 transmits the electric charge generated by the photoelectric conversion element PD according to the light currently photoelectrically converted from the same time tA2 as the timing when the light source unit 2 irradiates the optical pulse PO via the read gate transistor G2. It is transferred to the charge storage unit CS2 and stored.
  • the charge accumulated in the charge storage unit CS2 is a charge corresponding to the reflected light RL reflected by the subject S within the time of the pulse width Tw irradiating the light pulse PO.
  • This charge includes, in addition to the charge corresponding to the background light, the charge corresponding to the reflected light RL that has been incident with a small delay time proportional to the distance (absolute distance) to the subject S.
  • the irradiated light pulse PO is reflected by the subject S and returned as the reflected light RL in a short time, so that the charge storage unit CS2 has a charge storage unit CS2.
  • the charge corresponding to the reflected light RL reflected by the subject S existing at a close position is included more.
  • the pixel drive circuit 326 reads out the electric charge generated by the photoelectric conversion element PD according to the light currently photoelectrically converted from the same time tA3 as the timing when the light source unit 2 stops the irradiation of the optical pulse PO. It is transferred to the charge storage unit CS3 via the above and stored.
  • the charge accumulated in the charge storage unit CS3 is a charge corresponding to the reflected light RL reflected by the subject S outside the time of the pulse width Tw irradiating the light pulse PO.
  • This charge includes, in addition to the charge corresponding to the background light, the charge corresponding to the reflected light RL that has been incident with a large delay time proportional to the distance (absolute distance) to the subject S.
  • the irradiated light pulse PO takes a longer time and is reflected by the subject S and returned as the reflected light RL, so that the charge is accumulated.
  • the unit CS3 contains a larger amount of electric charge corresponding to the reflected light RL reflected by the subject S existing at a distant position.
  • the electric charge not used for measuring the distance to the subject S is discarded via the drain gate transistor GD.
  • the photoelectric conversion element PD resets.
  • the pixel drive circuit 326 releases the reset of the photoelectric conversion element PD at the time tA5, which is the same time as the pulse width Tw at which the light source unit 2 next irradiates the optical pulse PO. Then, the pixel drive circuit 326 responds to the electric charge generated by the photoelectric conversion element PD next by photoelectric conversion, that is, the background light before the next optical pulse PO is irradiated, as in the timing from the time tA1. The charged charge is transferred to the charge storage unit CS1 via the read gate transistor G1 and stored.
  • the pixel drive circuit 326 repeats the same drive of the pixel circuit 321 as from time tA1 to time tA5 (hereinafter, referred to as “charge distribution drive”).
  • charge distribution drive the same drive of the pixel circuit 321 as from time tA1 to time tA5 (hereinafter, referred to as “charge distribution drive”).
  • the amount of charge for the repeated charge distribution drive is accumulated and held in each charge storage unit CS provided in all the pixel circuits 321.
  • the maximum number of times the charge distribution drive is repeated during the charge accumulation period is determined by the cycle in which the distance image sensor 32 outputs (acquires) a pixel signal for one frame.
  • the time obtained by subtracting the pixel signal reading period from the time taken by the distance image sensor 32 to acquire the pixel signal for one frame is the time taken by the light source device 21 to emit the pulsed laser beam, that is, It is the number of quotients divided by the pulse period time To of the optical pulse PO.
  • the distance image sensor 32 As the number of charge distribution drives increases, the amount of charges accumulated (integrated) in each charge storage unit CS increases, resulting in higher sensitivity. As a result, the distance image sensor 32 can improve the resolution of the distance to the subject S to be measured.
  • a voltage signal corresponding to the amount of charge distributed to each charge storage unit CS provided in each pixel signal reading unit RU is arranged in the light receiving region 320.
  • the drive (control) of the pixel circuit 321 during the pixel signal reading period in which the 321 lines are sequentially output will be described.
  • the pixel circuits 321 arranged in the light receiving region 320 are driven row by row, so-called rolling drive, and the charge is stored in the charge storage unit CS provided in the pixel circuits 321 arranged in the corresponding rows ( A voltage signal corresponding to the amount of electric charge that has been integrated and held is output to the pixel signal processing circuit 325 in line order.
  • the pixel signal processing circuit 325 performs predetermined signal processing such as noise suppression processing on the voltage signal output by each pixel circuit 321.
  • the correlated double sampling (CDS) processing performed by the pixel signal processing circuit 325 as the noise suppression processing is a voltage signal according to the amount of charge accumulated (integrated) and held in the charge storage unit CS (hereinafter, "" Distance pixel voltage signal PS ”) and the voltage signal (hereinafter referred to as“ reset voltage signal PR ”) according to the amount of charge in the state where the charge storage unit CS is reset (reset state). is there. Therefore, in the pixel signal read-out period, the voltage signals of the distance pixel voltage signal PS and the reset voltage signal PR corresponding to the respective charge storage units CS provided in the respective pixel circuits 321 are processed in line order. Output to circuit 325.
  • y rows (y is an integer of 1 or more) in the horizontal direction (row direction) and x columns (x is 1) in the vertical direction (column direction) of the light receiving region 320.
  • a distance pixel voltage signal is transmitted from each pixel circuit 321 (i) arranged in the i-th row (1 ⁇ i ⁇ y) of the light receiving region 320.
  • the drive timing of the pixel circuit 321 when the voltage signals of the PS (i) and the reset voltage signal PR (i) are output is shown.
  • the charge storage unit CS1 (i), the charge storage unit CS2 (i), and the charge storage unit CS3 (i) provided in each pixel circuit 321 (i) are arranged in this order.
  • the voltage signal of is output.
  • the vertical scanning circuit 323 transmits the distance pixel voltage signal PS1 (i) from the output terminal O1 (i) via the vertical signal line to the pixel signal processing circuit. Output to 325.
  • the pixel signal processing circuit 325 temporarily holds the distance pixel voltage signal PS1 (i) output from the pixel signal reading unit RU1 (i) via the vertical signal line.
  • the vertical scanning circuit 323 outputs the reset voltage signal PR1 (i) from the output terminal O1 (i) to the pixel signal processing circuit 325 via the vertical signal line.
  • the pixel signal processing circuit 325 has the distance pixel voltage signal PS1 (i) once held and the reset voltage signal PR1 (i) output from the pixel signal reading unit RU1 (i) via the vertical signal line. That is, the noise contained in the voltage signal corresponding to the amount of charge accumulated (integrated) and held in the charge storage unit CS1 (i) is suppressed.
  • the vertical scanning circuit 323 outputs the distance pixel voltage signal PS2 (i) and the reset voltage signal PR2 (i) to the output terminal O2 as in the period from time tR1 to time tR4. It is output from (i) to the pixel signal processing circuit 325 via the vertical signal line. Further, also in the period from time tR7 to time tR10, the vertical scanning circuit 323 outputs the distance pixel voltage signal PS3 (i) and the reset voltage signal PR3 (i) as in the period from time tR1 to time tR4. It is output from O3 (i) to the pixel signal processing circuit 325 via the vertical signal line.
  • the vertical scanning circuit 323 sequentially drives the pixel circuit 321 (hereinafter referred to as “pixel signal read-out drive”) similar to the time tR1 to the time tR10, and each pixel is arranged in another row of the light receiving region 320. This is performed on the circuit 321 (for example, each pixel circuit 321 arranged on the i + 1 line), and each voltage signal is sequentially output from all the pixel circuits 321 arranged in the light receiving region 320.
  • the pixel drive circuit 326 reads out each pixel signal of the charge generated and accumulated by the photoelectric conversion element PD in each pixel circuit 321 arranged in the light receiving region 320. Distribution to the department RU is performed multiple times. Further, the vertical scanning circuit 323 sequentially outputs a voltage signal according to the amount of electric charge accumulated (integrated) in the charge storage unit CS provided in the pixel signal reading unit RU to the pixel signal processing circuit 325 via the vertical signal line. Let me.
  • the AD conversion circuit 329 performs A / D conversion processing line by line for each voltage signal in which noise is suppressed. Then, the horizontal scanning circuit 324 sequentially outputs the voltage signals of each row after the AD conversion circuit 329 performs the A / D conversion processing via the horizontal signal lines in the order of the columns of the light receiving region 320.
  • the distance image sensor 32 outputs the pixel signals of all the pixel circuits 321 for one frame to the outside. As a result, in the distance image imaging device 1, pixel signals for one frame are output to the distance calculation unit 42 in the so-called raster order.
  • each of the pixel signals for one frame has three pixel signal reading units RU (charges) provided in the corresponding pixel circuit 321. Three voltage signals corresponding to each of the storage units CS) are included.
  • the distance calculation unit 42 calculates the distance to the subject S for each pixel signal, that is, for each pixel circuit 321 based on the pixel signal for one frame output from the distance image sensor 32. ..
  • the charge amount Q1 is the amount of charge corresponding to the background light before the light pulse PO distributed to the charge storage unit CS1 of the pixel signal reading unit RU1 is irradiated. Further, the charge amount of the charge corresponding to the background light distributed to the charge storage unit CS2 of the pixel signal reading unit RU2 and the reflected light RL incident with a short delay time is defined as the charge amount Q2.
  • the distance calculation unit 42 obtains the distance D between each pixel circuit 321 and the subject S by the following equation (1).
  • Dm is the maximum distance (maximum measurement distance) that can be measured by irradiation with an optical pulse PO.
  • the maximum measurement distance Dm is expressed by the following equation (2).
  • c is the speed of light and Tw is the pulse width of the optical pulse PO.
  • the distance image imaging device 1 obtains the distance D between itself and the subject S for each pixel circuit 321 arranged in the light receiving pixel unit 320 of the distance image sensor 32.
  • the configuration of the pixel circuits arranged in a grid pattern on the distance image sensor 32 is limited to the configuration including the three pixel signal reading units RU1, RU2, and RU3 as shown in FIG. However, it may be a pixel circuit 321 having a configuration including one photoelectric conversion element PD and two or more pixel signal reading units RU that distribute the charges generated and accumulated by the photoelectric conversion element PD. In this case, that is, even in the distance image sensor in which the pixels having the pixel signal reading unit RU and the configuration having different numbers are arranged, the pixel driving (control) method (timing) is the distance image imaging device 1 shown in FIG.
  • the charge is distributed to the pixels at a period in which the phase relationship is maintained so that the phases of the drive signals input to the read gate transistor G and the drain gate transistor GD provided in each pixel signal read unit RU do not overlap with each other.
  • the charge accumulating unit CS provided in each pixel signal reading unit RU can accumulate (integrate) the charge corresponding to the corresponding light. Then, by sequentially outputting each voltage signal from all the pixels by the pixel signal read-out drive, it is possible to output the pixel signal for one frame to the outside of the distance image sensor as in the distance image sensor 32.
  • the distance calculation unit 42 is similarly based on the pixel signal for one frame output from the distance image sensor in which the pixels having different numbers of the pixel signal reading units RU are arranged.
  • the distance D between 1 and the subject S can be obtained for each pixel signal (for each pixel).
  • each of the storage drive signals TX1, TX2, TX3, and the reset drive signal RSTD is supplied to all the rows of the pixel circuits 321 at the same timing in the array of the pixel circuits 321 in a grid pattern.
  • each of the four timing adjustment circuits 326C and the driver circuit 326D in each row of the pixel circuit 321 sets the storage drive signals TX1, TX2, TX3, and the reset drive signal RSTD in each pixel circuit in the above row. It supplies to 321.
  • each of the read gate transistors G1, G2, and G3 shown in FIG. 3 is controlled by each of the storage drive signals TX1, TX2, and TX3, and charges are charged to each of the storage units CS1, CS2, and CS3 for each storage cycle within the frame cycle. Accumulate in.
  • the vertical scanning circuit 323 outputs a voltage corresponding to the amount of electric charge accumulated in each of the storage units CS1, CS2, and CS3 from the source follower gate transistors SF1, SF2, and SF3 to the pixel signal processing circuit 325.
  • the vertical scanning circuit 323 controls each of the selection gate transistors SL1, SL2, and SL3 by outputting each of the selection drive signals SEL1, SEL2, and SEL3.
  • each of the selective gate transistors SL1, SL2, and SL3 applies a voltage corresponding to the amount of charge stored in the storage units CS1, CS2, and CS3 to the distance pixel voltage signals PS1, PS2, from the output terminals O1, O2, and O3. It is output to the pixel signal processing circuit 325 as PS3 (hereinafter referred to as input voltage VA (CS1), VA (CS2), VA (CS3) to clarify that it is an analog voltage).
  • FIG. 5 is a conceptual diagram showing a configuration example of an AD conversion circuit that AD-converts an input voltage supplied from the pixel signal processing circuit according to the embodiment.
  • the AD conversion circuit 329 has a column AD conversion unit 329j for each column j in the pixel circuits 321 arranged in a grid pattern.
  • the vertical signal line 330 (FIG. 2) is composed of three vertical signal lines.
  • the vertical signal line 330j corresponding to the row j of the pixel circuits 321 arranged in a grid pattern has each of the vertical signal lines 330j (CS1), 330j (CS2), and 330j (CS3).
  • the column AD conversion unit 329j is provided corresponding to each of the output terminals O1, O2, and O3 in the column j, and is connected via the vertical signal lines 330j (CS1), 330j (CS2), and 330j (CS3), respectively.
  • the column AD conversion circuit 329j (CS1), 329j (CS2), and 329j (CS3) are provided.
  • Each of the column AD conversion circuits 329j (CS1), 329j (CS2) and 329j (CS3) is connected to the pixel signal processing circuit 325 via the vertical signal lines 330j (CS1), 330j (CS2) and 330j (CS3).
  • Analog voltages corresponding to the amount of charge stored in the charge storage unit CS1 after signal processing are supplied as input voltages VA (CS1), VA (CS2), and VA (CS3), respectively.
  • Each of the vertical signal lines 330j (CS1), 330j (CS2) and 330j (CS3) is connected to the output terminals O1, O2 and O3 in the pixel circuit 321 of FIG. 3, respectively.
  • each of the column AD conversion circuits 329j (CS1), 329j (CS2) and 329j (CS3) has the input voltages VA (CS1), VA (CS2) and VA (CS3) digitally obtained by AD conversion.
  • the value conversion voltages VD (CS1), VD (CS2), and VD (CS3) are corrected and output as pixel signals of the output digital values OD (CS1), OD (CS2), and OD (CS3), respectively.
  • FIG. 6 is a block diagram showing a configuration example of a column AD conversion circuit in the column AD conversion unit 329j according to the present embodiment.
  • Each of the column AD conversion circuits 329j (CS1), 329j (CS2) and 329j (CS3) has the same configuration. Therefore, in FIG. 6, the column AD conversion circuit 329j (CS1) will be described as a representative.
  • the column AD conversion circuit 329j (CS1) includes an AD converter 3291, an arithmetic processing unit 3292, and a reference voltage generation unit 3293, respectively.
  • the AD converter 3291 inputs the voltage range of the input range set by itself as an input range having a resolution corresponding to a predetermined number of bits (for example, 16 bits) (that is, the full scale range of the AD converter).
  • the input voltage VA (CS1) is AD-converted and output as an AD-converted value VD (CS1) of a digital value (digital value indicated by bit display).
  • the AD conversion value VD (CS1) output from the AD converter 3291 can be indicated by the upper limit of the convertible input range of the AD converter 3291 (the maximum number of bits corresponding to the resolution of the AD conversion). It is determined whether or not the value, that is, full scale).
  • the arithmetic processing unit 3292 indicates a shift control indicating a shift voltage ⁇ that shifts the input range to a higher voltage range when the AD conversion value VD (CS1) is the upper limit value of the convertible input range of the AD converter 3291.
  • the voltage signal is output to the reference voltage generation unit 3293.
  • the arithmetic processing unit 3292 adds the digital value ⁇ D corresponding to the shift voltage ⁇ to the AD conversion value VD (CS1) in the frame cycle next to the frame cycle in which the control voltage signal is output, and outputs the digital value.
  • the digital value ⁇ D is a digital value of the shift voltage ⁇ corresponding to the resolution of the AD converter 3291. That is, the digital value ⁇ D is the same digital value (digital value indicated by bit display) as the AD conversion value VD output when the AD converter 3291 AD-converts the shift voltage ⁇ .
  • the AD conversion value VD (CS1) output from the AD converter 3291 is the lower limit value (bit corresponding to the resolution of the AD conversion) of the convertible input range (full scale range) of the AD converter 3291. It is determined whether or not it is the minimum value that can be indicated by a number, that is, 0).
  • the arithmetic processing unit 3292 indicates a control voltage indicating a shift voltage ⁇ that shifts the input range to a lower voltage range when the AD conversion value VD (CS1) is the lower limit of the convertible input range of the AD converter 3291.
  • the signal is output to the reference voltage generation unit 3293.
  • the arithmetic processing unit 3292 adds the digital value ⁇ D, which is the digital value of the shift voltage ⁇ , to the AD conversion value VD (CS1) and outputs the output. It is output as a digital value OD (CS1).
  • the reference voltage generation unit 3293 outputs a reference voltage obtained by shifting the shift voltage ⁇ indicated by the control voltage signal supplied from the arithmetic processing unit 3292 to the AD converter 3291. Further, the AD converter 3291 shifts the input range by the shift voltage ⁇ corresponding to the reference voltage supplied from the reference voltage generation unit 3293. As a result, the AD converter 3291 performs AD conversion of the input voltage VA within the input range in accordance with the voltage range of the input range shifted by the shift voltage ⁇ .
  • FIG. 7 is a diagram illustrating a process of shifting the input range in the AD converter.
  • the vertical axis represents the input voltage VA
  • the horizontal axis represents the charge stored in each of the charge storage units CS1, CS2 and CS3, respectively.
  • the types of charge amounts Q1, Q2, and Q3 are shown. That is, in each of FIGS. 7 (a), 7 (b) and 7 (c), the charge amounts Q1, Q2 and Q3 are respectively, and the input voltage VA (CS1) supplied from the pixel signal processing circuit 325. , VA (CS2), and VA (CS3) are shown. Further, in each of the graphs of FIGS.
  • the point region indicates the amount of charge corresponding to the background light
  • the shaded area indicates the charge of the charge corresponding to the reflected light. Shows the amount.
  • the input range of the AD converter 3291 is set to a predetermined input range A1 (0 [V] ⁇ VA ⁇ 1.0 [V]). Further, in the case of FIG. 7A, each of the input voltages VA (CS1), VA (CS2) and VA (CS3) is included in the input range A1 (0 [V] ⁇ VA ⁇ 1.0 [V]). ing.
  • the column AD converter circuits 329j (CS1), 329j (CS2), and 329 (CS3) in each of the column AD conversion circuits 329j (CS1), 329j (CS2), and 329j (CS3) have an input voltage VA (CS1).
  • VA (CS2), VA (CS3) are converted into AD conversion values VD (CS1), VD (CS2), VD (CS3) of digital values as voltages from the lower limit value (0V) of the voltage range of the input range. Can be converted.
  • the input range of the AD converter 3291 is set to a predetermined input range A1 (0 [V] ⁇ VA ⁇ 1.0 [V]).
  • the voltage of the input voltage VA (CS1) is higher than that of FIG. 7A.
  • each of the input voltages VA (CS2) and VA (CS3) exceeds the upper limit of the input range A1 (0 [V] ⁇ VA ⁇ 1.0 [V]).
  • the input voltages VA (CS2) and VA (CS3) are in the input range A1 (0 [V] ⁇ VA ⁇ 1.0). Since it exceeds [V]), the result of AD conversion of the input voltages VA (CS2) and VA (CS3) is set as the upper limit value in the input range corresponding to its own resolution. That is, when the input input voltage VA exceeds the input range, the AD converter 3291 sets the AD conversion value VD as a voltage limited to the upper limit of the input range capable of AD conversion (voltage saturated in AD conversion). Output.
  • FIG. 7C shows the voltage range of the input range of the AD converter 3291 from the input range A1 (0 [V] ⁇ VA ⁇ 1.0 [V]) to the input range A2 (0.5 [V] ⁇ VA). The case where the shift is 0.5 [V] to ⁇ 1.5 [V]) is shown. As a result, each of the input voltages VA (CS1), VA (CS2) and VA (CS3) is included in the input range A2 (0.5 [V] ⁇ VA ⁇ 1.5 [V]).
  • the column AD converter circuits 329j (CS1), 329j (CS2), and 329j (CS3) in each of the column AD conversion circuits 329j (CS1), 329j (CS2), and 329j (CS3) have the input voltage VA (CS1).
  • VA (CS2), VA (CS3) are not limited to the voltage value of the lower limit of the input range that can be AD converted, and the voltage from the lower limit (0.5 [V]) of the voltage range of the input range.
  • the corresponding digital values can be converted into AD conversion values VD (CS1), VD (CS2), and VD (CS3).
  • the arithmetic processing unit 3292 since the shift voltage ⁇ is 0 [V], the arithmetic processing unit 3292 adds the digital value ⁇ D corresponding to 0 [V] to the AD conversion value VD. Output Digital value OD (CS1) is output. Further, in the case of FIG. 7B, since the shift voltage ⁇ is 0 [V] in the arithmetic processing unit 3292 as in the case of FIG. 7A, 0 [V] with respect to the AD conversion value VD. The digital value ⁇ D corresponding to is added and output. On the other hand, in the case of FIG. 7C, since the shift voltage ⁇ is 0.5 [V], the arithmetic processing unit 3292 sets a digital value ⁇ D corresponding to 0.5 [V] with respect to the AD conversion value VD. Add and output as output digital value OD (CS1).
  • the input voltage VA is within the range of 1.0 [V] of V ⁇ 1 ⁇ VA ⁇ 1 + V ⁇ 1. Since AD conversion is performed within the input range, the voltage range in which AD conversion is possible does not change even if the input range is shifted. That is, by shifting the input range by the shift voltage ⁇ , the voltage obtained by subtracting the shift voltage ⁇ from the input voltage VA is substantially AD-converted in the range of 0 [V] ⁇ VA ⁇ 1.0 [V]. Will be done. For example, when the input voltage VA corresponding to Q2 in FIG.
  • 0.5 [V] is similarly used as the shift voltage ⁇ for the AD converters 3291 in each of the column AD conversion circuits 329j (CS1), 329j (CS2) and 329j (CS3). ..
  • the AD converter 3291 of any of the column AD conversion circuits 329j (CS1), 329j (CS2) and 329j (CS3) outputs the upper limit value of the input range capable of AD conversion
  • 329j (CS2), 329j (CS3) Shifts the input range of all AD converters 3291.
  • the arithmetic processing unit 3292 lowers the input range to a lower voltage range, that is, lowers it.
  • the shift voltage ⁇ is output to the reference voltage generation unit 3293.
  • the arithmetic processing unit 3292 sets the input range of the AD converter 3291 to the input range A2 (0.5 [V] ⁇ VA ⁇ 1.5 [V]).
  • the shift voltage ⁇ of 0 [V] is output to the reference voltage generation unit 3293 in order to reduce the input range A1 (0 [V] ⁇ VA ⁇ 1.0 [V]).
  • the reference voltage generation unit 3293 has a shift voltage ⁇ component indicated by the control voltage signal supplied from the arithmetic processing unit 3292, that is, 0.5 [V] as compared with the case where the shift voltage ⁇ is 0.5 [V]. ]
  • the shifted reference voltage is output to the AD converter 3291.
  • the AD converter 3291 changes the input range from the input range A2 (0.5 [V] ⁇ VA ⁇ 1.5 [V]) to the input range A1 (0 [V] ⁇ VA ⁇ 1.0 [V]]. ) Lower the voltage range of the input range.
  • FIG. 8 is a diagram illustrating a process of shifting the input range in the AD converter.
  • the vertical axis shows the input voltage VA
  • the horizontal axis shows the types of charge amounts Q1, Q2, and Q3 of the charges stored in each of the charge storage units CS1, CS2, and CS3, respectively. That is, FIG. 8 shows the charge amounts Q1, Q2, and Q3, respectively, and the input voltages VA (CS1), VA (CS2), and VA (CS3) supplied from the pixel signal processing circuit 325, as in FIG. It shows the correspondence.
  • the point region shows the charge amount of the charge corresponding to the background light
  • the shaded area shows the charge amount of the charge corresponding to the reflected light.
  • the voltage VA may be within the range of the input range A1 (0 [V] ⁇ VA ⁇ 1.0 [V]). It is certain that the column AD conversion circuit 329j (CS1) is formed only by the AD converter 3291 whose input range is fixed by the input range A1. The other column AD conversion circuits 329j (CS2) and (CS3) in the column AD conversion unit 329j are formed by the column AD conversion circuit shown in FIG. 6 capable of shifting the input range.
  • 0.5 [V] is similarly used as the shift voltage ⁇ for the AD converter 3291 in each of the column AD conversion circuits 329j (CS2) and 329j (CS3).
  • the column AD conversion circuits 329j (CS2) and 329j (CS3) outputs the upper limit value of the input range in which the AD converter 3291 can perform AD conversion
  • the column AD conversion circuits 329j (CS2) and 329j ( The input range of both AD converters 3291 of CS3) is shifted.
  • AD it is necessary to add the digital value ⁇ D corresponding to the shift voltage ⁇ to the AD conversion values VD (CS2) and VD (CS3) output from the converter 3291.
  • FIG. 9 is a diagram illustrating a process of shifting the input range in the AD converter.
  • the vertical axis shows the input voltage VA
  • the horizontal axis shows the types of electric charges Q1, Q2, and Q3 stored in each of the charge storage units CS1, CS2, and CS3, respectively. That is, FIG. 9 shows the charge amounts Q1, Q2, and Q3, respectively, and the input voltages VA (CS1), VA (CS2), and VA (CS3) supplied from the pixel signal processing circuit 325, as in FIG. It shows the correspondence.
  • the point region shows the charge amount of the charge corresponding to the background light
  • the shaded area shows the charge amount of the charge corresponding to the reflected light.
  • each of the column AD conversion circuits 329j (CS1), 329j (CS2), and 329j (CS3) is formed by the column AD conversion circuit shown in FIG. 6 capable of shifting the input range.
  • each of the column AD conversion circuits 329j (CS1), 329j (CS2) and 329j (CS3) independently shifts the input range by different shift voltages ⁇ .
  • the arithmetic processing unit 3292 sets the input range to the input range A1 (0) because the AD conversion value VD of the AD converter 3291 is not the upper limit value of the AD conversion possible input range of the AD conversion.
  • 0 [V] is set as the shift voltage ⁇ for shifting from [V] ⁇ VA ⁇ 1.0 [V]) to the input range A1 (0 [V] ⁇ VA ⁇ 1.0 [V]), and the reference voltage generator 3293.
  • the reference voltage generation unit 3293 outputs the reference voltage obtained by shifting the shift voltage ⁇ indicated by the control voltage signal supplied from the arithmetic processing unit 3292 to the AD converter 3291.
  • the input range of the AD converter 3291 is maintained in the input range A1 (0 [V] ⁇ VA ⁇ 1.0 [V]) even in the next frame period.
  • the digital value ⁇ D corresponding to 0 [V] as the shift voltage ⁇ with respect to the AD conversion value VD output from the AD converter 3291. Is added to obtain the output digital value OD (CS1) and output.
  • the arithmetic processing unit 3292 sets the input range to the input range A2 (since the AD conversion value VD of the AD converter 3291 is the upper limit value of the input range capable of AD conversion of the AD conversion. 1.0 [V] as the shift voltage ⁇ for shifting from 0.5 [V] ⁇ VA ⁇ 1.5 [V]) to the input range A3 (1.0 [V] ⁇ VA ⁇ 2.0 [V]). Is output to the reference voltage generation unit 3293. As a result, the reference voltage generation unit 3293 outputs the reference voltage obtained by shifting the shift voltage ⁇ indicated by the control voltage signal supplied from the arithmetic processing unit 3292 to the AD converter 3291.
  • the AD converter 3291 sets the input range in the next frame period from the input range A2 (0.5 [V] ⁇ VA ⁇ 1.5 [V]) to the input range A3 (1.0 [V] ⁇ VA). ⁇ 2.0 [V]).
  • the value ⁇ D is added to obtain the output digital value OD (CS1).
  • the arithmetic processing unit 3292 sets the input range to the input range A1 (because the AD conversion value VD of the AD converter 3291 is the upper limit value of the input range capable of AD conversion of the AD conversion).
  • 0.5 [V] is set as the shift voltage ⁇ for shifting from 0 [V] ⁇ VA ⁇ 1.0 [V]) to the input range A2 (0.5 [V] ⁇ VA ⁇ 1.5 [V]).
  • Output to the reference voltage generation unit 3293 outputs the reference voltage obtained by shifting the shift voltage ⁇ indicated by the control voltage signal supplied from the arithmetic processing unit 3292 to the AD converter 3291.
  • the AD converter 3291 sets the input range in the next frame period from the input range A1 (0 [V] ⁇ VA ⁇ 1.0 [V]) to the input range A2 (0.5 [V] ⁇ VA ⁇ 1). .5 [V]).
  • the value ⁇ D is added to obtain the output digital value OD (CS1).
  • the arithmetic processing unit 3292 explains that the shift voltage ⁇ is increased in 0.5 [V] units, but the present invention is not limited to this, and the AD conversion value VD output by the AD converter 3291 is AD. Any voltage unit (eg, 0) so that it is less than the upper limit of the AD convertible input range of the converter 3291 (or less than a predetermined margin, for example, a value having a margin such as 95% of the upper limit).
  • the shift voltage ⁇ may be gradually increased at (1 [V], etc.).
  • the AD conversion circuit 3291 may have a configuration having a shift voltage ⁇ table referred to by each arithmetic processing unit 3292 of the column AD conversion circuits 329j (CS1), 329j (CS2) and 329j (CS3).
  • This shift voltage ⁇ table is a table showing the correspondence relationship between the voltage range, the shift voltage ⁇ corresponding to this voltage range, and the digital value ⁇ D. That is, when the AD conversion value VD output by the AD converter 3291 is the upper limit value of the input range capable of AD conversion of the AD conversion, the arithmetic processing unit 3292 sets the AD conversion value VD output by the AD converter 3291 and the shift voltage ⁇ . Is added, and the voltage range including the addition result is searched in the shift voltage ⁇ table. Then, the arithmetic processing unit 3292 may be configured to read out the shift voltage ⁇ and the digital value ⁇ D corresponding to the searched voltage range and use them as the new shift voltage ⁇ and the digital value ⁇ D.
  • the voltage corresponding to the charge amount Q1 of the background light in the charge storage unit CS1 is set as the shift voltage ⁇
  • the charge amount Q2 of the charge storage unit CS2 and the charge amount Q3 of the charge storage unit CS3 are AD-converted in the input range.
  • the shift voltage ⁇ may be used.
  • the arithmetic processing unit 3292 of the column AD conversion circuit 329j (CS1) converts the AD conversion value VD output by the AD converter 3291 into the arithmetic processing of each of the column AD conversion circuits 329j (CS2) and 329j (CS3). It is output as a shift voltage ⁇ to the unit 3292.
  • the arithmetic processing unit 3292 uses the shift voltage ⁇ supplied from the arithmetic processing unit 3292 of the column AD conversion circuit 329j (CS1) as a reference voltage. Output to the generation unit 3293.
  • the reference voltage generation unit 3293 outputs a reference voltage obtained by shifting the shift voltage ⁇ supplied from the arithmetic processing unit 3292 to the AD converter 3291.
  • the AD converter 3291 shifts the input range in the next frame period by the voltage corresponding to the charge amount Q1 of the background light stored in the charge storage unit CS1.
  • the AD converter 3291 outputs an AD conversion value VD corresponding to the voltage of only the reflected light excluding the voltage component of the background light. Then, the arithmetic processing unit 3292 does not add the digital value ⁇ D corresponding to the shift voltage ⁇ to the AD conversion value VD (or adds the digital value ⁇ D corresponding to 0 [V] as the shift voltage ⁇ ). , Output The digital value OD (CS1) is obtained and output.
  • FIG. 10 is a flowchart showing an operation example of AD conversion and input range shift of the column conversion circuit.
  • the flowchart of FIG. 10 will be described on the premise that each of the column AD conversion circuits 329j (CS1), 329j (CS2) and 329j (CS3) independently performs the input range shift processing in the column AD conversion unit 329j.
  • the operation of the column AD conversion circuit 329j (CS1) will be described as a representative of the column AD conversion circuits 329j (CS1), 329j (CS2) and 329j (CS3).
  • the processing of the flowchart of FIG. 10 is executed for each frame period as an example.
  • Step S101 When the charge accumulation process in the light receiving pixel section 320 is completed in the frame cycle, the input voltage VA is sequentially changed from the pixel circuit 321 of each row in the grid array via the pixel signal processing circuit 325 to the AD conversion circuit. Supplied for 329. Then, the column AD conversion circuit 329j (CS1) acquires a voltage corresponding to the charge amount Q1 in which the predetermined signal processing has been performed from the pixel signal processing circuit 325 as the input voltage VA.
  • Step S102 In the column AD conversion circuit 329j (CS1), the AD converter 3291 performs AD conversion processing corresponding to the currently set input range, converts the input voltage VA into the AD conversion value VD, and outputs the result. .. Then, the arithmetic processing unit 3292 adds the digital value ⁇ D corresponding to the shift voltage ⁇ stored internally to the AD conversion value VD, and outputs it as the output digital value OD (CS1).
  • Step S103 The arithmetic processing unit 3292 determines whether or not the AD conversion value VD (CS1) supplied from the AD converter 3291 is the upper limit value of the AD convertible input range of the AD conversion of the AD converter 3291 (or a predetermined value). Whether or not the upper limit threshold with a margin is exceeded) is determined. At this time, when the AD conversion value VD (CS1) is the maximum value (above the upper limit threshold value), the arithmetic processing unit 3292 proceeds to the process in step S104. On the other hand, when the AD conversion value VD (CS1) is less than the maximum value (less than the upper limit threshold value), the arithmetic processing unit 3292 proceeds to the process in step S105.
  • Step S104 The arithmetic processing unit 3292 adds a predetermined voltage set in advance to the shift voltage ⁇ currently supplied to the reference voltage generation unit 3293. Then, the arithmetic processing unit 3292 changes the shift voltage ⁇ to a higher side voltage, and supplies the changed shift voltage ⁇ to the reference voltage generation unit 3293. As a result, the reference voltage generation unit 3293 raises the reference voltage supplied to the AD converter 3291 in correspondence with the newly supplied shift voltage ⁇ , and shifts the voltage range of the input range of the AD converter 3291 to the higher side. Let me.
  • Step S105 The arithmetic processing unit 3292 determines whether or not the AD conversion value VD (CS1) supplied from the AD converter 3291 is the lower limit value of the AD convertible input range of the AD conversion of the AD converter 3291 (or a predetermined value). Whether or not it is less than the lower limit threshold with a margin) is determined.
  • the lower limit threshold value is, for example, about 5% of the upper limit value.
  • the arithmetic processing unit 3292 proceeds to the process in step S106.
  • the AD conversion value VD (CS1) exceeds the minimum value (exceeds the lower limit threshold value)
  • the arithmetic processing unit 3292 ends the process in this flowchart.
  • Step S106 The arithmetic processing unit 3292 subtracts a preset predetermined voltage from the shift voltage ⁇ currently supplied to the reference voltage generation unit 3293. Then, the arithmetic processing unit 3292 changes the shift voltage ⁇ to a lower voltage, and supplies the changed shift voltage ⁇ to the reference voltage generation unit 3293. As a result, the reference voltage generation unit 3293 lowers the reference voltage supplied to the AD converter 3291 in accordance with the newly supplied shift voltage ⁇ , and shifts the voltage range of the input range of the AD converter 3291 to the lower side. Let me.
  • FIG. 11 is a conceptual diagram illustrating a process of shifting the input range of the AD converter shown in FIG.
  • FIG. 11 shows an example in which a single-slope AD converter (hereinafter referred to as a single-slope AD converter) is used as the AD converter 3291.
  • FIG. 11A shows a configuration example of a single slope AD converter.
  • FIG. 11B shows the AD conversion process when the shift voltage ⁇ is 0 [V] and the input voltage VA is included in the input range.
  • FIG. 11C shows the AD conversion process when the shift voltage ⁇ is 0 [V] and the input voltage VA is not included in the input range.
  • FIG. 11D shows the AD conversion process when the shift voltage ⁇ is A ⁇ 1 [V] and the input voltage VA is included in the input range.
  • the vertical axis represents the reference voltage VL
  • the horizontal axis represents the count number of the counter 304.
  • the line indicating the input voltage VA is indicated by the solid line segment L_VA
  • the line indicating the reference voltage VL is indicated by the broken line segment L_VL. ing.
  • the AD converter 3291 includes a comparator 301, a clock generation circuit 302, a lamp voltage generation circuit 303, and a counter 304.
  • the comparator 301 compares the input voltage VA with the gradually increasing reference voltage VL, and for example, when the reference voltage VL becomes equal to or higher than the input voltage VA, the output is changed from the'L'level to the'H' level. Change.
  • the lamp voltage generation circuit 303 gradually increases the reference voltage VL in predetermined voltage units each time a pulse as a clock signal is supplied from the clock generation circuit 302 (FIGS. 11 (c) to 11 (FIG. 11) to 11 (FIG. 11). d) See).
  • the counter 304 increases the number of counts each time a pulse as a clock signal is supplied from the clock generation circuit 302.
  • the count-up count number of the counter 304 (the upper limit of the input range which is the AD conversion full scale range of the AD conversion described above) is d (for example, 255), and the voltage range of the input range of the AD converter 3291. If the width of is VA, the resolution is VA / 256.
  • the lamp voltage generation circuit 303 increases the reference voltage VL by VA / 256, which is the above resolution, and outputs the reference voltage VL to the comparator 301.
  • the counter 304 counts pulses when the voltage of the signal supplied from the comparator 301 is at the'L'level, and stops counting when the voltage reaches the'H' level. Therefore, the count number output by the counter 304 indicates the AD conversion value VD (the result of multiplying the resolution voltage by the count number).
  • the input range A0 is, for example, a voltage range VW from 0V to 0.5V
  • the count number at which the line segment L_VL intersects the line segment L_VA is the AD conversion value VD obtained by AD-converting the input voltage VA. It becomes a numerical value representing.
  • the shift voltage ⁇ at this point is 0 [V].
  • the input range A0 has a voltage range VW of 0V to 0.5V, and the line segment L_VL does not intersect the line segment L_VA. In this case, the count number becomes d, which is the maximum value counted up, and the count number indicating the input voltage VA cannot be obtained. Therefore, as shown in FIG.
  • the reference voltage VL starts from the voltage V ⁇ 1 and does not change in the voltage range VW of the input range, that is, the voltage range from V ⁇ 1 to the voltage 0.5 [V] + V ⁇ 1.
  • the count number at which the minute L_VL intersects the line segment L_VA indicates the result of AD conversion of the voltage value from the voltage V ⁇ 1, that is, the input voltage VA-voltage V ⁇ 1 (value obtained by subtracting the voltage V ⁇ 1 from the input voltage VA).
  • the arithmetic processing unit 3292 adds the count number corresponding to the voltage V ⁇ 1 (digital value ⁇ D corresponding to the shift voltage ⁇ ) to the AD conversion value VD output by the AD converter 3291, and then adds the count number corresponding to the voltage V ⁇ 1 (digital value ⁇ D corresponding to the shift voltage ⁇ ). Output the addition result Digital value OD is calculated. Then, the distance D is obtained by using each of the obtained output digital values OD (CS1), OD (CS2) and OD (CS3), and the equations (1) and (2).
  • FIG. 12 is a conceptual diagram illustrating a process of shifting the input range of the AD converter shown in FIG.
  • FIG. 12 shows an example in which a cyclic AD converter (see, for example, Japanese Patent No. 39627788) is used as the AD converter 3291.
  • a shift voltage ⁇ is given as a reference voltage VCOM given to the inverting amplifier 200, the capacitor C1, and the like.
  • VCOM reference voltage
  • the voltage range of the input range of the AD converter 3291 increases by the shift voltage ⁇ , as in the case described with reference to FIG.
  • the digital values D1 and D2 (AD conversion value VD) obtained are the input voltage VA-shift.
  • the voltage value of the voltage ⁇ is shown. Therefore, as shown in FIG. 11, the digital values corresponding to the shift voltage ⁇ are added to the digital values D1 and D2, and the distance D is obtained using the equations (1) and (2). It is necessary to calculate the digital value OD.
  • the intensity of the background light is increased, and the charge amounts Q1, Q2, and Q3 of the charges accumulated in each of the charge storage units CS1, CS2, and CS3 are increased, and are supplied to the AD converter 3291. Even if the input voltages VA (CS1), VA (CS2), and VA (CS3) become large and are no longer included in the voltage range of the input range of the AD converter 3291, the voltage range of the input range is shifted by the shift voltage ⁇ . Even if the amount of electric charge Q1, Q2, and Q3 stored in each of the charge storage units CS1, CS2, and CS3 fluctuates, the distance D can be measured with high measurement accuracy.
  • FIG. 13 is a diagram for explaining the effect of improving the distance resolution by increasing the number of accumulation cycles in the frame cycle.
  • FIG. 13A shows three classifications # 1, # 2 and # 3 of input voltages VA (CS1), VA (CS2) and VA (CS3). Further, in FIG. 13A, the vertical axis represents the input voltage VA, and the horizontal axis represents each of the classifications # 1, # 2 and # 3 and the input voltages VA (CS1) and VA (CS2) in each classification. , VA (CS3) types are shown.
  • classification # 1 the input voltage VA (CS1) corresponding to the charge amount Q1 of the charge stored in the charge storage unit CS1 is 0.58 [V], and the charge amount of the charge stored in the charge storage unit CS2.
  • the input voltage VA (CS2) corresponding to Q2 is 0.8 [V]
  • the input voltage VA (CS3) corresponding to the amount of electric charge Q3 stored in the charge storage unit CS3 is 0.72 [V].
  • classification # 2 the input voltage VA (CS1) corresponding to the charge amount Q1 of the charge stored in the charge storage unit CS1 is 0.72 [V]
  • the input voltage VA (CS2) corresponding to Q2 is 1.0 [V]
  • the input voltage VA (CS3) corresponding to the amount of electric charge Q3 stored in the charge storage unit CS3 is 0.89 [V]. is there.
  • the input voltage VA (CS1) corresponding to the charge amount Q1 of the charge stored in the charge storage unit CS1 is 0.85 [V]
  • the input voltage VA (CS2) corresponding to Q2 is 1.19 [V]
  • the input voltage VA (CS3) corresponding to the amount of electric charge Q3 stored in the charge storage unit CS3 is 1.07 [V]. is there.
  • Each of the classifications # 1, # 2 and # 3 shown in FIG. 13A has a constant background light intensity.
  • the number of times the charges are accumulated in each of the charge storage units CS1, CS2, and CS3, that is, the number of accumulation cycles (number of distributions) is gradually increasing to 15,000, 19000, and 23000, respectively.
  • the charge amounts Q1, Q2, and Q3 of the charges accumulated in each of the charge storage units CS1, CS2, and CS3 gradually in the order of classification # 1 ⁇ classification # 2 ⁇ classification # 3.
  • Each increases.
  • the shift of the input range described above is performed corresponding to each of the cases of classifications # 1, # 2, and # 3, and any classification can be performed. Even so, the distance D can be obtained.
  • FIG. 13B is a table showing the correspondence between the number of accumulation cycles (number of distributions) and the distance resolution (noise) of each of the classifications # 1, # 2, and # 3.
  • the table of FIG. 13B has items of classification, shift voltage ⁇ , number of accumulation cycles (number of distributions), input voltage VA (charge amount Q1, Q2, Q3), and distance resolution (noise) for each record. ..
  • the classification is identification information for distinguishing a combination of input voltages VA (CS1), VA (CS2), and VA (CS3), and there are classifications # 1, # 2, and # 3, respectively.
  • the shift voltage ⁇ indicates a voltage value obtained by shifting the voltage range of the input range of the AD converter 3291.
  • VA unit [V]
  • VA unit [V]
  • VA unit [V]
  • VA unit [V]
  • the distance resolution indicates the resolution (that is, measurement error) obtained by increasing the number of accumulation cycles in which electric charges are accumulated.
  • each of the charge amounts Q1, Q2, and Q3 of the charges stored in each of the charge storage units CS1, CS2, and CS3 increases.
  • each of the charge amounts Q1, Q2, and Q3 can be accumulated more accurately as the charge amount corresponding to the distance, in particular, each of the charge amounts Q2 and Q3 can improve the resolution in the distance measurement. it can.
  • the classifications # 1 and # 2 The distance resolution (noise) in each of # 3 and # 3 gradually decreases to 30.6 [mm rms], 22.7 [mm rms], and 18.2 [mm rms], and the measurement accuracy is improved.
  • the measured distance D includes an error of the maximum +/- distance resolution (noise). Therefore, the smaller the distance resolution (noise), the better the measurement accuracy of the distance D as a result.
  • the charge amounts Q1, Q2, and Q3 of the charges accumulated in the charge storage units CS1, CS2, and CS3 increase, and the input voltages VA (CS1), VA (CS2), and VA. Even if (CS3) increases, the input range of the AD converter 3291 can be easily shifted, so that the number of accumulation cycles (number of distributions) can be increased, and the resolution of distance measurement can be increased. , The measurement accuracy of the measured distance D can be improved.
  • the configuration has been described in which the input range of the AD converter 3291 is shifted for each column in the grid-like arrangement of the pixel circuits 321.
  • the pixel circuits arranged in a grid-like manner are described.
  • the voltage range of the input range of the AD converter 3291 may be shifted in correspondence with each 321. That is, in the grid-like arrangement of the pixel circuits, each of the column AD conversion circuits 329j (CS1), 329j (CS2) and 329j (CS3) provided for each column stores the shift voltage ⁇ and the digital value ⁇ D.
  • Each storage unit holds, and the shift voltage ⁇ and digital value ⁇ D corresponding to the input voltages VA (CS1), VA (CS2), and VA (CS3) supplied from the pixel circuit 321 of each row in the column are stored in the storage unit.
  • the AD converter 3291 outputs the AD conversion value VD to the arithmetic processing unit 3292 as a result of the AD conversion of the input voltage VA of the row currently being processed. Then, after the AD conversion value VD is output from the AD converter 3921, the arithmetic processing unit 3292 reads the shift voltage ⁇ corresponding to the next line from the storage unit.
  • the arithmetic processing unit 3292 outputs the read shift voltage ⁇ to the reference voltage generation unit 3293, and shifts the voltage range of the input range of the AD converter 3291. Further, the arithmetic processing unit 3292 determines whether the AD conversion value VD of the row currently being processed is the upper limit value or the lower limit value of the input range, and sets the shift voltage ⁇ corresponding to the determination result. The corresponding digital value ⁇ D is obtained, and the digital value ⁇ D corresponding to the obtained shift voltage ⁇ is written in the storage unit and stored.
  • the above process of shifting the voltage range of the input range of the AD converter 3291 in correspondence with each of the pixel circuits 321 arranged in a grid pattern is performed by the column AD conversion circuits 329j (CS1), 329j (CS2) and 329j (CS3). Each is done independently.
  • the charge of the pixel circuit 321 is charged.
  • the voltage range of the input range of the AD converter 3291 can be flexibly shifted according to the amount of electric charge Q1, Q2, and Q3 stored in each of the storage units CS1, CS2, and CS3, and the pixel circuit can be used in frame units.
  • the distance D between the 321 and the object S in the measurement space P can be measured with high measurement accuracy.
  • FIG. 14 is a block diagram showing a schematic configuration of a distance image imaging device according to a second embodiment of the present invention.
  • Other configurations and operations of the distance image imaging device 1'shown in FIG. 14 are the same as those of the first embodiment.
  • configurations and operations different from those of the first embodiment will be described.
  • the process of shifting the input range of the AD converter 3291 is performed by the arithmetic processing unit 3292 by comparing the AD conversion value VD with the upper limit value and the lower limit value of the voltage range of the input range. ..
  • the process of shifting the voltage range of the input range is performed by a control signal supplied from the outside.
  • the distance image imaging device 1' is provided with an input range control circuit 5.
  • the input range control circuit 5 includes an optical sensor that measures the intensity of light, such as an illuminance sensor.
  • the input range control circuit 5 controls the shift voltage ⁇ corresponding to the measured value of the light intensity (that is, the light intensity of the background light) of the measurement space P measured by the optical sensor and the digital value ⁇ D corresponding to the shift voltage. Is output to the distance image sensor 32'.
  • the input range control circuit 5 may be configured to read out the shift voltage ⁇ and the digital value ⁇ D corresponding to the light intensity by referring to the shift voltage ⁇ table provided inside, for example.
  • the shift voltage ⁇ table is a table in which a combination of a plurality of intensity ranges of light intensity, a shift voltage ⁇ corresponding to this intensity range, and a digital value ⁇ D is preset. Therefore, the input range control circuit 5 searches for an intensity range including the light intensity measured by the optical sensor with reference to the shift voltage ⁇ table, and shift voltage ⁇ and a digital value ⁇ D corresponding to the searched intensity range. Is read from the shift voltage ⁇ table.
  • FIG. 15 shows a configuration example of the column AD conversion circuit 329j (CS1)'in the second embodiment.
  • the column AD conversion circuit 329j (CS1)'shown in FIG. 15 will be described as an example, but the column AD conversion circuits 329j (CS2)' and 329j (CS3)'are the same as the column AD conversion circuit 329j (CS1)'. It is a configuration and performs the same operation.
  • the column AD conversion circuit 329j (CS1)' is supplied with a shift voltage ⁇ and a digital value ⁇ D from the input range control circuit 5.
  • the shift voltage ⁇ and the digital value ⁇ D are also supplied from the input range control circuit 5 to the column AD conversion circuits 329j (CS2)'and 329j (CS3)'.
  • the arithmetic processing unit 3292' acquires the digital value ⁇ D of the shift voltage ⁇ corresponding to the background light.
  • the reference voltage generation unit 3293 acquires the shift voltage ⁇ corresponding to the background light.
  • the reference voltage generation unit 3293 outputs a reference voltage obtained by shifting the supplied shift voltage ⁇ to the AD converter 3291, as in the case of the first embodiment.
  • the AD converter 3291 shifts the voltage range of the input range according to the reference voltage supplied from the reference voltage generation unit 3293.
  • the AD converter 3291 performs AD conversion of the input voltage VA (CS1) supplied from the pixel signal processing circuit 325, and outputs the AD conversion value VD (CS1) to the arithmetic processing unit 3292'.
  • the arithmetic processing unit 3292' adds the shift voltage ⁇ supplied from the input range control circuit 5 to the AD conversion value VD (CS1) output by the AD converter 3291. Then, the arithmetic processing unit 3292'finds the output digital value OD (CS1) as the addition result of the AD conversion value VD (CS1) and the digital value ⁇ D corresponding to the shift voltage ⁇ .
  • the column AD conversion circuit 329j (CS2)'and 329j (CS3)' also perform the same processing as the column AD conversion circuit 329j (CS1)' to obtain the output digital values OD (CS2) and OD (CS3).
  • the AD conversion circuit 329 under the control of the horizontal scanning circuit 324, serially separates the output digital values OD (CS1), OD (CS2), and OD (CS3) of the column AD conversion unit j as pixel signals. Output to the image processing unit 4.
  • the arithmetic processing unit 3292' which has a smaller circuit scale than the arithmetic processing unit 3292, can be used due to the simple configuration including the input range control circuit 5, and the size of the distance image sensor 32'is set to the size. It is smaller than the distance image sensor 32 of the first embodiment, and the input range of the AD converter 3291 is adjusted according to the light intensity of the background light in the environment of the measurement space P as in the first embodiment. However, even when the light intensity of the background light is high or the light intensity of the reflected light RL from the object S is high, the distance D between the distance image imaging device 1'and the object S should be measured with high measurement accuracy. Is possible.
  • the second embodiment may be configured to include an input means in which the input range control circuit 5 inputs a numerical value indicating the shift voltage ⁇ by a user scanning the distance image imaging device 1'.
  • the input means any device may be used as long as a voltage value can be input, such as a numerical input keyboard for inputting numbers and a volume knob for voltage adjustment.
  • the distance image imaging device 1' outputs a numerical value indicating the voltage input from the device as a shift voltage ⁇ to the distance image sensor 32'.
  • the reference voltage generation unit 3203 shifts the reference voltage supplied to the AD converter 3291 by the supplied shift voltage ⁇ , as in the configuration provided with the input range control circuit 5 described above.
  • the AD converter 3291 changes the input range to perform AD conversion of the input voltage VA in response to the reference voltage shifted by the shift voltage ⁇ supplied from the reference voltage generation unit 3293, and obtains the AD conversion value VD. Output. Further, the arithmetic processing unit 3292'obtains the output digital value OD by the AD conversion value VD output by the AD converter 3291 and the digital value ⁇ D corresponding to the shift voltage ⁇ . In the case of this configuration, when the distance D from the distance image imaging device 1'to the object S is measured in the measurement space P, the user feels that the light intensity of the background light in the environment of the measurement space P is strong.
  • the shift voltage ⁇ is adjusted by the input means while observing the distance image (an image composed of pixels having a gradation degree corresponding to the distance D) displayed by the distance image imaging device 1'.
  • the user can directly adjust the shift voltage ⁇ so that'overexposure'and'blackout' are eliminated while observing the distance image displayed by the distance image imaging device 1', which is a simple circuit.
  • the distance D can be measured easily and with high measurement accuracy.
  • the configuration has been described in which the column AD conversion circuit is provided for each column of the pixel circuits arranged in a grid pattern, but for each pixel circuit of the line sensor in which the pixel circuits are arranged in a row instead of in a grid pattern.
  • An AD conversion circuit capable of shifting the voltage range of the input range for AD conversion in the present embodiment may be provided to perform AD conversion of the analog voltage (input voltage VA) in parallel.
  • an AD conversion circuit capable of shifting the voltage range of the input range to be AD-converted in the present embodiment is provided in the row direction of the line sensor, and each of the pixel circuits in the line sensor is provided in chronological order for each pixel circuit.
  • the AD conversion of the output analog voltage (input voltage VA) may be sequentially performed.
  • the light source device 21 emits a laser beam in a near-infrared wavelength band which is an optical pulse PO to irradiate the subject S, and uses an optical pulse by a pulse transmission operation as the laser beam.
  • a laser beam other than pulsed light for example, a sinusoidal laser beam (irradiation light) generated by continuous transmission of constant light (CW: continuous wave) is emitted.
  • the distance image imaging device can be applied to a distance image imaging device that measures a distance from a deviation of intensity modulation by using it in a process of AD-converting an analog voltage (input voltage VA) output by a pixel circuit.
  • the analog voltage generated by the photo-electromotive force of the photodiode, LED (light emitting diode), solar cell, etc., and the analog voltage waveform in signal processing in communication, etc. are displayed in a wide dynamic range.
  • an AD conversion circuit capable of shifting the voltage range of the input range for AD conversion according to the present embodiment can be applied.
  • Arithmetic processing unit 3293 Reference voltage generation unit C ... Charge storage capacity CS Charge storage unit FD ... Floating diffusion G ... Read gate transistor GD ... Drain gate transistor O ... Output terminal P ... Measurement space PD ... Photoelectric conversion element PO ... Optical pulse RL ... Reflected light RT ... Reset gate transistor RU ... Pixel signal read unit S ... Object SF... Source follower gate transistor SL... Selective gate transistor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本発明は、入力電圧のレンジがADコンバータの入力レンジを超えても、ADコンバータの前段に入力電圧のレンジを変更する回路を設ける必要がなく、入力電圧のAD変換の分解能を保ったまま、入力電圧を精度良くAD変換することができる距離画像センサを提供することを目的とする。 本発明は、所定の光源(光源装置21)から測定対象の空間である測定空間に対して照射される照射光が、測定空間における対象物(被写体S)において反射した反射光と、測定空間の環境における背景光とを受光し、受光した反射光及び背景光に応じた電荷を発生する光電変換素子(PD)と、フレーム周期において前記照射光が照射された際に電荷を蓄積する電荷蓄積部(CS)とを具備し、照射光の照射に同期して電荷を電荷蓄積部に蓄積する画素回路(321)を有する受光画素部(320)と、電荷蓄積部に蓄積された電荷量に応じた入力電圧を、フレーム周期毎にAD変換する際、入力レンジを当該入力電圧に対応して調整するAD変換回路(329)と、を備える距離画像センサ(32)である。

Description

距離画像センサ及び距離画像撮像装置
 本発明は、距離画像センサ及び距離画像撮像装置に関する。
 従来から、光の速度が既知であることを利用し、空間(測定空間)における光の飛行時間に基づいて測定器と対象物との距離を測定する、タイム・オブ・フライト(Time of Flight、以下「TOF」という)方式の距離画像センサが実現されている。TOF方式の距離画像センサでは、測定対象に光(例えば、近赤外光など)パルスを照射し、光パルスを照射した時間と、測定空間における対象物によって反射した光パルス(反射光)が戻ってくる時間との差、つまり、測定器と対象物との間における光の飛行時間に基づいて、測定器と対象物との距離を測定している。
 このとき、測定空間の環境における背景光が明るい場合、あるいは対象物との距離が近い場合、または対象物の表面の反射係数が大きい場合など、距離画像センサに入力される反射光の光量が増加する。
 TOF方式の距離画像センサは、光電変換素子が反射光の光量を電荷に変換し、AD変換器により上記電荷の電荷量に対応したアナログ電圧をデジタル電圧に変換している。
 しかし、背景光の強度あるいは対象物からの反射光の強度が大きい場合に、電荷量に対応した電圧が、AD変換器(ADコンバータ)の入力されるアナログ電圧をデジタル値に変換可能な電圧範囲であるレンジ(以下、単に入力レンジ)の上限値を超える場合がある。
 このとき。上限値以上のアナログ電圧が入力されると、上限値に対応するデジタル電圧にクリッピング(制限)され、精度良く上記時間差を測定することができない。
 上述した理由により、時間差から求める距離の測定精度が低下し、背景光が大きい場合や反射光の強度が大きい場合など、測定精度の高い距離測定が行えない。
 一方、ADコンバータに入力される電圧が、ADコンバータの入力レンジを超えてしまう場合、この入力レンジに対応させて、前段の回路からADコンバータに出力される電圧のレンジ(出力レンジ)を調整する手法がある(例えば、特許文献1及び特許文献2参照)。
 したがって、特許文献1及び特許文献2の手法を、TOF方式の距離画像センサに用いることにより、上限値以上の反射光によるアナログ電圧が入力されても、上限値に対応するデジタル電圧にクリッピング(制限)されず、精度良く上記時間差を測定することができる(例えば、特許文献1参照)。
特開2017-108204号公報 特開2011-242232号公報
 上述したように、特許文献1及び特許文献2は、ADコンバータに供給される電圧の出力レンジを、ADコンバータの入力レンジに対応して変換している。
 しかしながら、特許文献1は、AD変換する入力電圧を検出して、ADコンバータの入力レンジに対応させるため、上記入力電圧から所定の基準電圧を減算し、この減算後の電圧を、ADコンバータに対して供給している。
 また、特許文献2は、AD変換する入力電圧がADコンバータの入力レンジに対応するように、ADコンバータの前段にアンプ回路を設けて、このアンプ回路のゲイン及びオフセットの調整を行なっている。
 特許文献1及び特許文献2は、ADコンバータの入力レンジに対応するように、ADコンバータに供給される入力電圧の出力レンジを調整するため、ADコンバータの前段に所定のアンプ回路などを設けている。
 このため、特許文献1及び特許文献2は、AD変換を行なうADコンバータに加えて、入力レンジを調整するアンプ回路などの余分な回路を設けることで、回路規模が大きくなってしまう。
 特に、TOF方式の距離画像センサは、格子状に配列された画素回路の列毎に、電荷量に応じた電圧のAD変換を行なうため、高速にAD変換を行なうため、列数に応じたADコンバータが設けられている。
 このため、上述した特許文献1及び特許文献2のADコンバータを使用した場合、距離画像センサのAD変換を行なう回路規模が増大し、距離画像センサが大型化(チップ面積が増大)することで、製造コストが上昇してしまう。
 上述の課題を鑑み、入力電圧のレンジがADコンバータの入力レンジを超えても、ADコンバータの前段に入力電圧のレンジを変更する回路を設ける必要がなく、入力電圧のAD変換の分解能を保ったまま、入力電圧を精度良くAD変換することができる距離画像センサ及び距離画像撮像装置を提供することを目的とする。
 本発明の距離画像センサは、所定の光源から測定対象の空間である測定空間に対して照射される照射光が、前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を発生する光電変換素子と、フレーム周期において前記照射光が照射された際に前記電荷を蓄積する電荷蓄積部とを具備し、前記照射光の照射に同期して前記電荷を前記電荷蓄積部に蓄積する画素回路を有する受光画素部と、前記電荷蓄積部に蓄積された電荷量に応じた入力電圧を、前記フレーム周期毎にAD変換する際、入力レンジを当該入力電圧に対応して調整するAD変換回路とを備える。
 本発明の距離画像センサは、前記AD変換回路が、ADコンバータと、前記入力電圧が前記ADコンバータの前記入力レンジに含まれない場合、当該入力レンジの電圧範囲を所定のシフト電圧分シフトさせる演算処理部とを備える。
 本発明の距離画像センサは、前記シフト電圧に対応して前記AD変換回路の入力レンジの電圧範囲を制御する基準電圧を生成する基準電圧生成部をさらに有し、前記演算処理部が、前記入力電圧が前記ADコンバータの前記入力レンジの上限値以上である場合、当該入力レンジの電圧範囲をシフトさせる前記シフト電圧を求め、当該シフト電圧を前記基準電圧生成部に供給し、前記基準電圧生成部が、前記演算処理部から供給される前記シフト電圧に対応して前記基準電圧を生成し、当該基準電圧を前記ADコンバータに供給し、前記ADコンバータが、前記基準電圧生成部から供給される前記基準電圧により、前記入力レンジの電圧範囲を調整する。
 本発明の距離画像センサは、前記演算処理部が、前記入力電圧が前記入力レンジの前記電圧範囲の上限を超えた場合、予め設定したシフト電圧分、現時点より高い電圧側にシフトさせ、前記入力電圧が前記入力レンジの前記電圧範囲の下限未満の場合、予め設定したシフト電圧分、現時点より低い電圧側にシフトさせる。
 本発明の距離画像センサは、前記照射光が所定の周期で照射される同一のパルス幅の光パルスであり、前記受光画素部が二次元の格子状に配列した前記画素回路を備え、前記AD変換回路が前記格子状の前記配列の列毎に設けられていることを特徴とする。
 本発明の距離画像センサは、蓄積駆動信号を出力する画素駆動回路がさらに備えられており、前記電荷蓄積部が、複数の振分電荷蓄積部を有しており、前記画素駆動回路が、前記光パルスの照射に同期して、前記蓄積駆動信号として前記周期において、振分蓄積駆動信号を前記振分電荷蓄積部に対して順次出力し、前記距離画像センサと前記対象物との距離を求めるため、前記反射光の期間における受光量により前記光電変換素子が発生する電荷の各々を、前記振分電荷蓄積部それぞれに振り分けて蓄積する。
 本発明の距離画像センサは、前記演算処理部が、背景光による電荷が蓄積される前記電荷蓄積部における電荷の電荷量に応じた電圧に対応させて、前記入力レンジの前記電圧範囲をシフトさせる。
 本発明の距離画像センサは、前記格子状の配列における各々の前記画素回路の前記電荷蓄積部の列単位に前記ADコンバータが備えられており、前記演算処理部が、前記振分電荷蓄積部の前記列毎に独立して、前記ADコンバータの各々の前記入力レンジの調整を行なう。
 本発明の距離画像センサは、前記演算処理部が、ADコンバータが前記入力電圧のAD変換する際に用いる前記入力レンジの前記シフト電圧の生成を、前記格子状の配列における列単位に直前の前記フレーム周期における前記入力電圧のAD変換の結果に対応して行なう。
 本発明の距離画像センサは、前記演算処理部が、前記AD変換回路が前記入力電圧のAD変換する際に用いる前記入力レンジの前記シフト電圧の生成を、前記格子状の配列の列に配置された前記画素回路毎に、直前の前記フレーム周期における当該画素回路毎の前記入力電圧のAD変換の結果に対応して行なう。
 本発明の距離画像センサは、外部装置から供給されるシフト制御信号により、前記所定の電圧分のシフトが行なわれる。
 本発明の距離画像撮像装置は、上記いずれかの距離画像センサと、測定対象の空間である測定空間に対して照射光を照射する光源部と、予め定めた固定の電荷振り分け回数で振り分けられて、前記電荷蓄積部における複数の振分電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量と、前記AD変換回路における前記入力レンジをシフトした電圧とに基づいて、前記距離画像センサと、前記測定空間に存在する前記対象物との間の距離を求める距離画像処理部とを備える。
 本発明の距離画像撮像装置は、前記距離画像処理部が、前記電荷の量である電荷量に対応した電圧がAD変換された変換電圧に対して、前記入力レンジをシフトしたシフト電圧を加算して、加算結果により、前記距離画像センサと、前記測定空間に存在する前記対象物との間の距離を算出する。
 本発明は、距離画像センサに入力される背景光あるいは反射光の強度が高くなり、入力電圧のレンジがADコンバータの入力レンジを超えても、このADコンバータの入力レンジを入力電圧のレンジに合わせる構成としているため、ADコンバータの前段に入力電圧のレンジを変更する回路を設けず、入力電圧のAD変換の分解能を保ったまま、入力電圧を精度良くAD変換することができる距離画像センサ及び距離画像撮像装置を提供する。
本発明の実施形態の距離画像撮像装置の概略構成を示したブロック図である。 本発明の実施形態の距離画像撮像装置1に用いられる距離画像センサの概略構成例を示したブロック図である。 本発明の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光画素部320内に配置された画素回路321の構成の一例を示した回路図である。 本発明の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光画素部320内に配置された画素回路321を駆動するタイミングを示したタイミングチャートである。 実施形態における画素信号処理回路から供給される入力電圧をAD変換するAD変換回路の構成例を示す概念図である。 本実施形態による列AD変換部329jにおける列AD変換回路の構成例を示すブロック図である。 ADコンバータにおける入力レンジをシフトさせる処理を説明する図である。 ADコンバータにおける入力レンジをシフトさせる処理を説明する図である。 ADコンバータにおける入力レンジをシフトさせる処理を説明する図である。 列変換回路のAD変換及び入力レンジのシフトの動作例を示すフローチャートである。 図6に示すADコンバータの入力レンジをシフトする処理を説明する概念図である。 図6に示すADコンバータの入力レンジをシフトする処理を説明する概念図である。 フレーム周期における蓄積周期数を増加することによる距離分解能の向上の効果を説明する図である。 本発明の第2の実施形態の距離画像撮像装置の概略構成を示したブロック図である。 第2の実施形態における列AD変換回路329j(CS1)’の構成例を示している。
 以下、本発明の実施形態について、図面を参照して説明する。図1は、本実施形態の距離画像撮像装置の概略構成を示したブロック図である。なお、図1には、距離画像撮像装置1において距離を測定する被写体である被写体Sも併せて示している。
 図1に示した構成の距離画像撮像装置1は、光源部2と、受光部3と、距離画像処理部4とからなる。
 光源部2は、距離画像処理部4からの制御に従って、距離画像撮像装置1において距離を測定する対象の被写体Sが存在する空間に、所定の周期で断続的な光パルスPOを照射する。光源部2は、例えば、垂直共振器面発光レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)などの面発光型の半導体レーザーモジュールである。
 光源装置21は、例えば、被写体Sに照射する光パルスPOとなる近赤外の波長帯域(例えば、波長が850nm~940nmの波長帯域)のレーザー光を発光する光源である。光源装置21は、例えば、半導体レーザー発光素子である。光源装置21は、タイミング制御部41からの制御に応じて、パルス状のレーザー光(光パルスPO)を発光する。
 拡散板22は、光源装置21が発光した近赤外の波長帯域のレーザー光を、被写体Sのある測定空間Pに照射する所定の断面積の大きさに拡散する光学部品である。拡散板22が拡散したパルス状のレーザー光が、光パルスPOとして光源部2から出射されて、測定空間Pの被写体Sに照射される。
 受光部3は、距離画像撮像装置1において距離を測定する対象の被写体Sによって反射された光パルスPOの反射光RLを受光し、受光した反射光RLに応じた画素信号を出力する。
 レンズ31は、入射した反射光RLを距離画像センサ32に導く光学レンズである。レンズ31は、入射した反射光RLを距離画像センサ32側に出射して、距離画像センサ32の受光領域に備えた画素に受光(入射)させる。
 距離画像センサ32は、距離画像撮像装置1に用いられる撮像素子である。距離画像センサ32は、二次元の受光領域に複数の画素を備え、それぞれの画素の中に、1つの光電変換素子と、この1つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられた振り分け構成の撮像素子である。距離画像センサ32は、タイミング制御部41からの制御に応じて、画素を構成する光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分け、それぞれの電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。
 なお、距離画像センサ32では、複数の画素が二次元の格子状(行列状)に配置されており、それぞれの画素の対応する1フレーム分の画素信号を出力する。
 距離画像処理部4は、距離画像撮像装置1の全体を制御する制御部であり、かつ距離画像撮像装置1において測定する被写体Sとの間の距離を演算する演算部でもある。この距離画像処理部4は、タイミング制御部41と距離演算部42とを備えている。
 タイミング制御部41は、光源部2が被写体Sに光パルスPOを照射するタイミングや、受光部3に備えた距離画像センサ32が反射光RLを受光するタイミングなどを制御する。
 距離演算部42は、距離画像センサ32から出力された画素信号に基づいて、距離画像撮像装置1と被写体Sとの間の距離を演算した距離情報を出力する。
 このような構成によって、距離画像撮像装置1では、光源部2が被写体Sに照射した近赤外の波長帯域の光パルスPOが被写体Sによって反射された反射光RLを受光部3が受光し、距離画像処理部4が、被写体Sとの距離を測定した距離情報を出力する。
 なお、図1においては、距離画像処理部4を内部に備えた構成の距離画像撮像装置1を示しているが、距離画像処理部4は、距離画像撮像装置1の外部に備える構成要素であってもよい。
 次に、距離画像撮像装置1において撮像素子として用いられる距離画像センサ32の構成について説明する。図2は、本発明の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の概略構成を示したブロック図である。図2において、距離画像センサ32は、複数の画素回路321が配置された受光領域320と、制御回路322と、垂直走査回路323と、水平走査回路324と、画素信号処理回路325と、画素駆動回路326とを備えている。なお、図2に示した距離画像センサ32では、複数の画素回路321が、8行8列に二次元の格子状に配置された受光領域320の一例を示している。
 制御回路322は、垂直走査回路323、水平走査回路324、画素信号処理回路325及び画素駆動回路326などの距離画像センサ32に備えた構成要素を制御する。制御回路322は、例えば、距離画像撮像装置1に備えた距離画像処理部4(より具体的には、タイミング制御部41)からの制御に応じて、距離画像センサ32に備えた構成要素の動作を制御する。なお、制御回路322による距離画像センサ32に備えた構成要素の制御は、例えば、距離画像処理部4(より具体的には、タイミング制御部41)が直接行う構成であってもよい。この場合、距離画像センサ32は、制御回路322を備えない構成であってもよい。
 画素駆動回路326は、格子状に配列した画素回路321が備える光電変換素子(後述する光電変換素子PD)が発生した電荷を、画素回路321が備えた複数の電荷蓄積部(後述する電荷蓄積部CS1、CS2及びCS3)に振り分けて蓄積させる蓄積駆動信号(後述する蓄積駆動信号TX1、TX2、TX3及びリセット駆動信号RSTD)を、受光画素部320内に格子状に配置された画素回路321の列単位に出力する。
 垂直走査回路323は、制御回路322からの制御に応じて、受光画素部320内に配置された画素回路321の各々を制御し、画素回路321それぞれから、入射した光を光電変換した電荷量に応じた電圧の信号(以下、「電圧信号」という)を対応する垂直信号線327に出力させる(読み出させる)駆動回路である。垂直走査回路323は、画素回路321を駆動(制御)して読み出すための制御信号(後述する選択駆動信号SEL1、SEL2、SEL3)を、受光画素部320内に格子状に配置された画素回路321の行単位に出力する。
 これにより、画素回路321においてそれぞれの電荷蓄積部に振り分けられた電荷量に応じた電圧信号が、受光画素部320の行ごとに対応する垂直信号線327の各々に読み出され、画素信号処理回路325に出力される。
 受光画素部320において、画素回路321は、光源部2が被写体Sに照射した光パルスPOが被写体Sによって反射された反射光RLを受光し、受光した反射光RLの光量(受光量)に応じた電荷を発生させる。それぞれの画素回路321において、画素駆動回路326は、蓄積駆動信号を出力することにより、複数備えたいずれかの電荷蓄積部に、受光した反射光RLの光量(受光量)に応じた電荷を振り分けて蓄積させる。そして、画素回路321において、垂直走査回路323は、読出駆動信号を出力することにより、それぞれの電荷蓄積部に振り分けられて蓄積された電荷の電荷量に応じた大きさの電圧信号を、対応する垂直信号線327に出力する。なお、画素回路321の構成と駆動(制御)方法とに関する詳細な説明は、後述する。
 画素信号処理回路325は、垂直走査回路323からの制御に応じて、それぞれの列の画素回路321から、対応する垂直信号線327に出力された電圧信号に対して、予め定めた信号処理を行う信号処理回路である。予め定めた信号処理としては、例えば、相関二重サンプリング(Correlated Double Sampling:CDS)によって電圧信号に含まれるノイズを抑圧するノイズ抑圧処理などがある。
 AD変換回路329は、画素信号処理回路325から、垂直信号線330を介して供給される列毎のアナログの電圧信号を、それぞれAD変換してデジタル値に変換する。
 なお、画素信号処理回路325は、受光画素部320のそれぞれの列に対応した複数の画素信号処理回路からなる画素信号処理回路群であってもよい。この場合、画素信号処理回路325は、制御回路322からの制御に応じて、予め定めた信号処理をした後の電圧信号を、AD変換回路329に対して垂直信号線330を介して出力する。
 そして、AD変換回路329は、水平走査回路324の制御に応じて、受光画素部320の行ごとに水平信号線338に出力する。
 水平走査回路324は、制御回路322からの制御に応じて、AD変換回路329から信号線328を介して出力される、信号処理をした後の電圧信号がAD変換されたデジタル値を、水平信号線338に順次出力させる(読み出させる)駆動回路である。水平走査回路324は、それぞれの列の画素回路321に対応する電圧信号を出力させるための読出駆動信号を、画素信号処理回路325に順次出力する。これにより、画素信号処理回路325が出力した信号処理をした後の1フレーム分の電圧信号が、1フレーム分の画素信号として、水平信号線329を経由して距離画像センサ32の外部に順次出力される。このとき、距離画像センサ32は、例えば、出力アンプなどの不図示の出力回路から、信号処理をした後の電圧信号を、画素信号として距離画像センサ32の外部に出力する。
 以下の説明においては、距離画像センサ32に備えた画素信号処理回路325が、画素回路321から出力された電圧信号に対してノイズ抑圧処理を行い、その後、AD変換回路329においてA/D変換処理をして出力する、つまり、デジタル値に変換した電圧信号を水平信号線338から出力するものとして説明する。
 次に、距離画像センサ32に備える受光領域320内に配置された画素回路321の構成について説明する。図3は、本発明の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光領域320内に配置された画素回路321の構成の一例を示した回路図である。図3には、受光領域320内に配置された複数の画素回路321のうち、1つの画素回路321の構成の一例を示している。画素回路321は、3つの画素信号読み出し部を備えた構成の一例である。
 画素回路321は、1つの光電変換素子PDと、ドレインゲートトランジスタGDと、対応する出力端子Oから電圧信号を出力する3つの画素信号読み出し部RUとを備えている。画素信号読み出し部RUのそれぞれは、読み出しゲートトランジスタGと、フローティングディフュージョンFDと、電荷蓄積容量Cと、リセットゲートトランジスタRTと、ソースフォロアゲートトランジスタSFと、選択ゲートトランジスタSLとを備えている。それぞれの画素信号読み出し部RUでは、フローティングディフュージョンFDと電荷蓄積容量Cとによって電荷蓄積部CSが構成されている。ドレインゲートトランジスタGD、読み出しゲートトランジスタG、リセットゲートトランジスタRT、ソースフォロアゲートトランジスタSF及び選択ゲートトランジスタSLは、NチャネルMOSトランジスタである。
 なお、図3においては、3つの画素信号読み出し部RUの符号「RU」の後に、「1」、「2」または「3」の数字を付与することによって、それぞれの画素信号読み出し部RUを区別する。また、同様に、3つの画素信号読み出し部RUに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部RUを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部RUを区別して表す。図3に示した画素回路321において、出力端子O1から電圧信号を出力する画素信号読み出し部RU1は、読み出しゲートトランジスタG1と、フローティングディフュージョンFD1と、電荷蓄積容量C1と、リセットゲートトランジスタRT1と、ソースフォロアゲートトランジスタSF1と、選択ゲートトランジスタSL1とを備えている。画素信号読み出し部RU1では、フローティングディフュージョンFD1と電荷蓄積容量C1とによって電荷蓄積部CS1が構成されている。画素信号読み出し部RU2および画素信号読み出し部RU3も同様の構成である。
光電変換素子PDは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。なお、本発明においては、画素回路321に備える光電変換素子PDの構造に関して特に規定しない。このため、光電変換素子PDは、例えば、P型半導体とN型半導体とを接合した構造のPNフォトダイオードであってもよいし、P型半導体とN型半導体との間にI型半導体を挟んだ構造のPINフォトダイオードであってもよい。また、画素回路321に備える光電変換素子としては、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
 ドレインゲートトランジスタGDは、画素駆動回路326から入力された駆動信号に応じて、光電変換素子PDが発生して蓄積し、それぞれの画素信号読み出し部RUに転送されなかった電荷を破棄するためのトランジスタである。つまり、ドレインゲートトランジスタGDは、光電変換素子PDが発生した、被写体Sとの間の距離の測定に用いない電荷をリセットするトランジスタである。
 読み出しゲートトランジスタGは、画素駆動回路326から入力された駆動信号に応じて、光電変換素子PDが発生して蓄積した電荷を、対応する電荷蓄積部CSに転送するためのトランジスタである。読み出しゲートトランジスタGによって転送された電荷は、対応する電荷蓄積部CSに保持(蓄積)される。
 ここで、画素信号読み出し部RU1において、読み出しゲートトランジスタG1は、ドレインが光電変換素子PDの第2の端子に接続され、ゲートが蓄積駆動信号TX1を伝搬する信号線LTX1に接続され、ソースがフローティングディフュージョンFD1及び電荷蓄積容量C1の第1の端子とに接続されている。
 同様に、画素信号読み出し部RU2において、読み出しゲートトランジスタG2は、ドレインが光電変換素子PDの第2の端子に接続され、ゲートが蓄積駆動信号TX2を伝搬する信号線LTX2に接続され、ソースがフローティングディフュージョンFD2及び電荷蓄積容量C2の第1の端子とに接続されている。
 また、同様に、画素信号読み出し部RU3において、読み出しゲートトランジスタG3は、ドレインが光電変換素子PDの第3の端子に接続され、ゲートが蓄積駆動信号TX3を伝搬する信号線LTX3に接続され、ソースがフローティングディフュージョンFD3及び電荷蓄積容量C3の第1の端子とに接続されている。
 上述した蓄積駆動信号TX1、蓄積駆動信号TX2及び蓄積駆動信号TX3の各々は、画素駆動回路326から、信号線LTX1、信号線LTX2、信号線LTX3それぞれを介して供給される。
 電荷蓄積容量Cは、対応する読み出しゲートトランジスタGによって転送された電荷を保持(蓄積)する容量である。
 リセットゲートトランジスタRTは、垂直走査回路323から入力された駆動信号に応じて、対応する電荷蓄積部CSに保持された電荷を破棄するためのトランジスタである。つまり、リセットゲートトランジスタRTは、対応する電荷蓄積部CSに保持された電荷をリセットするトランジスタである。
 ソースフォロアゲートトランジスタSFは、ゲート端子に接続された電荷蓄積部CSに蓄積された電荷量に応じた電圧信号を増幅して、対応する選択ゲートトランジスタSLに出力するためのトランジスタである。
 選択ゲートトランジスタSLは、垂直走査回路323から入力された駆動信号に応じて、対応するソースフォロアゲートトランジスタSFによって増幅された電圧信号を、対応する出力端子Oから出力するためのトランジスタである。
 上述した構成によって、画素回路321では、光電変換素子PDが入射した光を光電変換して発生させた電荷を3つの電荷蓄積部CSのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路325に出力する。
 距離画像センサ32に配置される画素の構成は、図3に示したような、3つの画素信号読み出し部RUを備えた構成に限定されるものではなく、1つの光電変換素子PDと、光電変換素子PDが発生して蓄積した電荷を振り分ける複数の画素信号読み出し部RUを備えた構成の画素であれば、いかなる構成の画素であってもよい。つまり、距離画像センサ32に配置される画素に備える画素信号読み出し部RU(電荷蓄積部CS)の数は、2つであってもよいし、4つ以上であってもよい。
 また、図3に示した構成の画素回路321では、電荷蓄積部CSを、フローティングディフュージョンFDと電荷蓄積容量Cとによって構成する一例を示した。しかし、電荷蓄積部CSは、少なくともフローティングディフュージョンFDによって構成されればよい。つまり、画素回路321は、それぞれの電荷蓄積容量Cを備えていない構成であってもよい。この構成の場合には、電荷検出感度が高められる効果を有する。しかしながら、距離画像撮像装置1において距離の測定におけるダイナミックレンジを広くすることを考えると、より多くの電荷を保持(蓄積)することができる構成の方が優位である。このため、画素回路321では、画素信号読み出し部RUに電荷蓄積容量Cを備え、フローティングディフュージョンFDと電荷蓄積容量Cとによって電荷蓄積部CSを構成することにより、フローティングディフュージョンFDのみで電荷蓄積部CSを構成した場合よりも、より多くの電荷を保持(蓄積)することができる構成にしている。
 また、図3に示した構成の画素回路321では、ドレインゲートトランジスタGDを備える構成の一例を示したが、光電変換素子PDに蓄積されている(残っている)電荷を破棄する必要がない場合には、距離画像センサ32に配置される画素に、ドレインゲートトランジスタGDを備えない構成であってもよい。
 次に、距離画像撮像装置1における画素回路321の駆動(制御)方法(タイミング)について説明する。図4は、本発明の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光領域320内に配置された画素回路321を駆動するタイミングを示したタイミングチャートである。図4には、距離画像センサ32に1フレーム分の画素信号を出力させる際の画素回路321の駆動信号のタイミングとともに、光源部2が被写体Sに照射する光パルスPOのタイミングを示している。
 最初に、受光した光の光量(受光量)に応じて光電変換素子PDが発生して蓄積した電荷を、それぞれの画素信号読み出し部RUに振り分ける電荷蓄積期間における画素回路321の駆動(制御)について説明する。電荷蓄積期間では、光源部2によって光パルスPOを被写体Sに照射する。そして、光パルスPOを照射したタイミングに同期して画素回路321を駆動することにより、受光した背景光および反射光RLに応じた電荷を、それぞれの電荷蓄積部CSに振り分ける。画素駆動回路326は、受光領域320内に配置された全ての画素回路321を同時に駆動する、いわゆる、グローバルシャッター駆動によって、全ての画素回路321に備えたそれぞれの電荷蓄積部CSに電荷を振り分けて蓄積させる。なお、光源装置21がパルス状のレーザー光を発光する時間、つまり、光パルスPOのパルス幅Twは、例えば、10nSなど、予め定めた非常に短い時間である。その理由は、パルス変調方式による距離の測定では、測定することができる最大の距離(以下、「最大測定距離」という)が、光パルスPOのパルス幅Twによって決められるからである。上述した光パルスPOのパルス幅Twが10nSである場合、最大測定距離は1.5mになる。また、単純に光パルスPOのパルス幅Twを広くする、つまり、光源装置21におけるレーザー光の発光時間を長くすると、光電変換素子PDがより多くの反射光RLを受光することができるが、測定する被写体Sとの距離の分解能が低下する。他方、光パルスPOのパルス幅Twが短いと、光電変換素子PDが光電変換によって発生させる電荷の電荷量も少なくなる。このため、距離画像撮像装置1では、電荷蓄積期間においてそれぞれの電荷蓄積部CSに十分な量の電荷が蓄積されるように、光パルスPOの照射および電荷の振り分けを複数回行う。
 ここで、垂直走査回路323及び画素駆動回路326の各々が画素回路321を駆動(制御)する構成として説明する。以下の説明において、制御回路322は、画素駆動回路326に対して、蓄積駆動信号TX1、TX2、TX3、リセット駆動信号RSTDの各々を生成するクロック信号CK1、CK2、CK3、CKRSTDをそれぞれ出力する。また、制御回路322は、垂直走査回路323に対して、選択駆動信号SEL1、SEL2、SEL3、リセット信号RST1、RST2、RST3の各々を生成するクロック信号をそれぞれ出力する。
 図4に示したタイミングチャートの電荷蓄積期間には、光パルスPOの照射および全ての画素回路321における電荷の振り分けを複数回行う場合の画素回路321の駆動タイミングを示している。なお、図4に示したタイミングチャートの電荷蓄積期間における光パルスPOは、“H(High)”レベルのときに光パルスPOが照射(光源装置21がレーザー光を発光)し、“L(Low)”レベルのときに光パルスPOの照射が停止(光源装置21が消灯)されるものとして説明する。また、図4に示したタイミングチャートは、全ての画素回路321がリセットされている、つまり、光電変換素子PDおよび電荷蓄積部CSに電荷が蓄積されていない状態から始まるものとして説明する。
 以下の説明において、時刻tA1からtA5が電荷の振り分けを行なう蓄積周期であり、電荷蓄積期間に複数の蓄積周期が繰返される。また、例えば、時刻tA1、tA2、tA3、tA4の間の時間幅、すなわち光パルスPO、蓄積駆動信号TX1、TX2、TX3それぞれのパルス幅は、同一のTwである。
 電荷蓄積期間では、まず、画素駆動回路326は、光源部2が光パルスPOを照射するパルス幅Twと同じ時間だけ前の時刻tA1から、光電変換素子PDが光電変換して発生させた、光パルスPOが照射される前の背景光に応じた電荷を、読み出しゲートトランジスタG1を介して電荷蓄積部CS1に転送して蓄積させる。
 その後、画素駆動回路326は、光源部2が光パルスPOを照射するタイミングと同じ時刻tA2から、光電変換素子PDが現在光電変換した光に応じて発生させた電荷を、読み出しゲートトランジスタG2を介して電荷蓄積部CS2に転送して蓄積させる。ここで、電荷蓄積部CS2に蓄積される電荷は、光パルスPOを照射しているパルス幅Twの時間内に被写体Sによって反射されてきた反射光RLに応じた電荷である。この電荷には、背景光に応じた電荷に加えて、被写体Sまでの距離(絶対距離)に比例した少ない遅れ時間で入射してきた反射光RLに応じた電荷が含まれている。より具体的には、例えば、被写体Sが近い位置に存在する場合には、照射した光パルスPOが短い時間で被写体Sによって反射されて反射光RLとして戻ってくるため、電荷蓄積部CS2には、近い位置に存在する被写体Sが反射した反射光RLに応じた電荷がより多く含まれている。
 その後、画素駆動回路326は、光源部2が光パルスPOの照射を停止するタイミングと同じ時刻tA3から、光電変換素子PDが現在光電変換した光に応じて発生させた電荷を、読み出しゲートトランジスタG3を介して電荷蓄積部CS3に転送して蓄積させる。ここで、電荷蓄積部CS3に蓄積される電荷は、光パルスPOを照射しているパルス幅Twの時間外に被写体Sによって反射されてきた反射光RLに応じた電荷である。この電荷には、背景光に応じた電荷に加えて、被写体Sまでの距離(絶対距離)に比例した多くの遅れ時間で入射してきた反射光RLに応じた電荷が含まれている。より具体的には、例えば、被写体Sが遠い位置に存在する場合には、照射した光パルスPOがより長い時間を要して被写体Sによって反射されて反射光RLとして戻ってくるため、電荷蓄積部CS3には、遠い位置に存在する被写体Sが反射した反射光RLに応じた電荷がより多く含まれている。
 その後、画素駆動回路326は、光源部2が光パルスPOを照射するパルス幅Twと同じ時間だけ経過した時刻tA4から、光電変換素子PDが現在光電変換した光に応じて発生させた電荷、つまり、被写体Sとの間の距離の測定に用いない電荷を、ドレインゲートトランジスタGDを介して破棄させる。言い換えれば、光電変換素子PDがリセットさせる。
 その後、画素駆動回路326は、光源部2が次に光パルスPOを照射するパルス幅Twと同じ時間だけ前の時刻tA5において、光電変換素子PDのリセットを解除する。そして、画素駆動回路326は、時刻tA1からのタイミングと同様に、光電変換素子PDが次に光電変換して発生させた電荷、つまり、次に光パルスPOが照射される前の背景光に応じた電荷を、読み出しゲートトランジスタG1を介して電荷蓄積部CS1に転送して蓄積させる。
 以降、画素駆動回路326は、時刻tA1~時刻tA5までと同様の画素回路321の駆動(以下、「電荷振り分け駆動」という)を繰り返す。これにより、電荷蓄積期間では、全ての画素回路321に備えたそれぞれの電荷蓄積部CSに、電荷振り分け駆動を繰り返した分の電荷量が蓄積されて保持される。なお、電荷蓄積期間において電荷振り分け駆動を繰り返す最大の回数は、距離画像センサ32が、1フレーム分の画素信号を出力する(取得する)周期によって決まる。より具体的には、距離画像センサ32が、1フレーム分の画素信号を取得する時間から、画素信号読み出し期間を差し引いた時間を、光源装置21がパルス状のレーザー光を発光する時間、つまり、光パルスPOのパルス周期時間Toで除算した商の回数である。なお、距離画像センサ32では、電荷振り分け駆動の回数が多いほど、それぞれの電荷蓄積部CSに蓄積(積算)される電荷量が多くなり、高感度となる。これにより、距離画像センサ32では、測定する被写体Sとの距離の分解能を高めることができる。
 続いて、電荷蓄積期間が終了した後に、それぞれの画素信号読み出し部RUに備えたそれぞれの電荷蓄積部CSに振り分けられた電荷量に応じた電圧信号を、受光領域320内に配置された画素回路321の行ごとに順次出力させる画素信号読み出し期間における画素回路321の駆動(制御)について説明する。画素信号読み出し期間では、受光領域320内に配置された画素回路321を行ごとに駆動する、いわゆる、ローリング駆動によって、対応する行に配置された画素回路321に備えた電荷蓄積部CSに蓄積(積算)されて保持されている電荷量に応じた電圧信号を、行順次で画素信号処理回路325に出力させる。
 なお、上述したように、距離画像センサ32においては、それぞれの画素回路321が出力した電圧信号に対して、画素信号処理回路325が、ノイズ抑圧処理などの予め定めた信号処理を行う。ここで、画素信号処理回路325がノイズ抑圧処理として行う相関二重サンプリング(CDS)処理は、電荷蓄積部CSに蓄積(積算)されて保持されている電荷量に応じた電圧信号(以下、「距離画素電圧信号PS」という)と、電荷蓄積部CSがリセットされている状態(リセット状態)の電荷量に応じた電圧信号(以下、「リセット電圧信号PR」という)との差分をとる処理である。このため、画素信号読み出し期間では、それぞれの画素回路321に備えたそれぞれの電荷蓄積部CSに対応する距離画素電圧信号PSとリセット電圧信号PRとのそれぞれの電圧信号を、行順次で画素信号処理回路325に出力させる。
 図4に示したタイミングチャートの画素信号読み出し期間には、受光領域320の水平方向(行方向)にy行(yは1以上の整数)、垂直方向(列方向)にx列(xは1以上の整数)の複数の画素回路321が配置されている場合において、受光領域320のi行目(1≦i≦y)に配置されたそれぞれの画素回路321(i)から、距離画素電圧信号PS(i)とリセット電圧信号PR(i)とのそれぞれの電圧信号を出力させる場合の画素回路321の駆動タイミングを示している。なお、図4に示したタイミングチャートでは、それぞれの画素回路321(i)に備えた電荷蓄積部CS1(i)、電荷蓄積部CS2(i)、電荷蓄積部CS3(i)の順番に、それぞれの電圧信号を出力させている。
 画素信号読み出し期間では、まず、時刻tR1~時刻tR2の期間において、垂直走査回路323は、距離画素電圧信号PS1(i)を、出力端子O1(i)から垂直信号線を介して画素信号処理回路325に出力させる。これにより、画素信号処理回路325は、垂直信号線を介して画素信号読み出し部RU1(i)から出力された距離画素電圧信号PS1(i)を、一旦保持する。
 その後、時刻tR3~時刻tR4の期間において、垂直走査回路323は、リセット電圧信号PR1(i)を、出力端子O1(i)から垂直信号線を介して画素信号処理回路325に出力させる。これにより、画素信号処理回路325は、一旦保持している距離画素電圧信号PS1(i)と、垂直信号線を介して画素信号読み出し部RU1(i)から出力されたリセット電圧信号PR1(i)との差分をとる、すなわち、電荷蓄積部CS1(i)に蓄積(積算)されて保持されている電荷量に応じた電圧信号に含まれるノイズを抑圧する。
 その後、時刻tR4~時刻tR7の期間において、垂直走査回路323は、時刻tR1~時刻tR4の期間と同様に、距離画素電圧信号PS2(i)とリセット電圧信号PR2(i)とを、出力端子O2(i)から垂直信号線を介して画素信号処理回路325に出力させる。さらに、時刻tR7~時刻tR10の期間においても、垂直走査回路323は、時刻tR1~時刻tR4の期間と同様に、距離画素電圧信号PS3(i)とリセット電圧信号PR3(i)とを、出力端子O3(i)から垂直信号線を介して画素信号処理回路325に出力させる。
 以降、垂直走査回路323は、時刻tR1~時刻tR10までと同様の画素回路321の駆動(以下、「画素信号読み出し駆動」という)を順次、受光領域320の他の行に配置されたそれぞれの画素回路321(例えば、i+1行目に配置されたそれぞれの画素回路321)に対して行って、受光領域320内に配置された全ての画素回路321から、それぞれの電圧信号を順次出力させる。
 このような駆動(制御)方法(タイミング)によって、画素駆動回路326は、受光領域320内に配置されたそれぞれの画素回路321において光電変換素子PDが発生して蓄積した電荷のそれぞれの画素信号読み出し部RUへの振り分けを複数回行う。
 また、垂直走査回路323は、画素信号読み出し部RUに備えた電荷蓄積部CSに蓄積(積算)された電荷量に応じた電圧信号を順次、垂直信号線を介して画素信号処理回路325に出力させる。
 なお、AD変換回路329は、ノイズを抑圧したそれぞれの電圧信号に対してA/D変換処理を行ごとに行う。そして、水平走査回路324が、AD変換回路329がA/D変換処理を行った後のそれぞれの行の電圧信号を、受光領域320の列の順番に水平信号線を経由して順次出力させることによって、距離画像センサ32は、1フレーム分の全ての画素回路321の画素信号を外部に出力する。これにより、距離画像撮像装置1では、1フレーム分の画素信号が、いわゆる、ラスター順に、距離演算部42に出力される。
 なお、図4に示した画素回路321の駆動(制御)タイミングからもわかるように、1フレーム分の画素信号のそれぞれには、対応する画素回路321に備えた3つの画素信号読み出し部RU(電荷蓄積部CS)のそれぞれに対応する3つの電圧信号が含まれている。距離演算部42は、距離画像センサ32から出力された1フレーム分の画素信号に基づいて、被写体Sとの間の距離を、それぞれの画素信号ごと、つまり、それぞれの画素回路321ごとに演算する。
 ここで、距離演算部42における距離画像撮像装置1と被写体Sとの間の距離の演算方法について説明する。ここでは、画素信号読み出し部RU1の電荷蓄積部CS1に振り分けられた光パルスPOが照射される前の背景光に応じた電荷の電荷量を電荷量Q1とする。また、画素信号読み出し部RU2の電荷蓄積部CS2に振り分けられた背景光と少ない遅れ時間で入射してきた反射光RLに応じた電荷の電荷量を電荷量Q2とする。また、画素信号読み出し部RU3の電荷蓄積部CS3に振り分けられた背景光と多くの遅れ時間で入射してきた反射光RLに応じた電荷の電荷量を電荷量Q3とする。距離演算部42は、それぞれの画素回路321ごとの被写体Sとの間の距離Dを、下式(1)によって求める。
 D=(Q3-Q1)/(Q2+Q3-2Q1)×Dm   ・・・(1)
 上式(1)において、Dmは、光パルスPOの照射によって測定することができる最大の距離(最大測定距離)である。ここで、最大測定距離Dmは、下式(2)によって表される。
 Dm=(c/2)Tw   ・・・(2)
 上式(2)において、cは光速、Twは光パルスPOのパルス幅である。
 上述したように、距離画像撮像装置1は、距離画像センサ32の受光画素部320内に配置されたそれぞれの画素回路321ごとに、自身と被写体Sとの間の距離Dを求める。
 なお、上述したように、距離画像センサ32に格子状に配置される画素回路の構成は、図3に示したような、3つの画素信号読み出し部RU1、RU2及びRU3を備えた構成に限定されるものではなく、1つの光電変換素子PDと、光電変換素子PDが発生して蓄積した電荷を振り分ける2つ以上の画素信号読み出し部RUを備えた構成の画素回路321であればよい。この場合、つまり、画素信号読み出し部RUを備える数が異なる構成の画素が配置された距離画像センサにおいても、画素の駆動(制御)方法(タイミング)は、図4に示した距離画像撮像装置1における画素回路321の駆動(制御)方法(タイミング)と同様に考えることによって、容易に実現することができる。より具体的には、それぞれの画素信号読み出し部RUに備えた読み出しゲートトランジスタGやドレインゲートトランジスタGDに入力する駆動信号の位相が互いに重ならないように位相関係を維持した周期で、画素に対する電荷振り分け駆動を繰り返すことによって、距離画像センサ32と同様に、それぞれの画素信号読み出し部RUに備えた電荷蓄積部CSに、対応する光に応じた電荷が蓄積(積算)させることができる。そして、画素信号読み出し駆動によって全ての画素からそれぞれの電圧信号を順次出力させることによって、距離画像センサ32と同様に、1フレーム分の画素信号を距離画像センサの外部に出力することができる。これにより、距離演算部42は、画素信号読み出し部RUを備える数が異なる構成の画素が配置された距離画像センサから出力された1フレーム分の画素信号に基づいて、同様に、距離画像撮像装置1と被写体Sとの間の距離Dをそれぞれの画素信号ごと(それぞれの画素ごと)に求めることができる。
 通常、距離画像センサは対象物との距離を正確に測定するため、受光画素部320における全ての画素回路321は、グローバルシャッター方式に対応して、蓄積周期内で同一のタイミングで駆動させている。すなわち、蓄積駆動信号TX1、TX2、TX3、リセット駆動信号RSTDの各々は、格子状の画素回路321の配列において、画素回路321の列の全てに、それぞれ同一のタイミングで供給される。
 上記図2において、画素回路321の列毎に、4個のタイミング調整回路326C及びドライバ回路326Dの各々が蓄積駆動信号TX1、TX2、TX3、リセット駆動信号RSTDのそれぞれを、上記列における各画素回路321に供給している。
 そして、上記蓄積駆動信号TX1、TX2及びTX3の各々により、図3に示す読出しゲートトランジスタG1、G2、G3それぞれが制御され、蓄積部CS1、CS2、CS3それぞれに電荷がフレーム周期内の蓄電周期毎に蓄積される。
 垂直走査回路323は、蓄積部CS1、CS2及びCS3の各々に蓄積された電荷の電荷量に対応した電圧を、ソースフォロアゲートトランジスタSF1、SF2、SF3から、画素信号処理回路325に出力させる。
 垂直走査回路323は、選択駆動信号SEL1、SEL2及びSEL3の各々を出力することにより、選択ゲートトランジスタSL1、SL2、SL3それぞれを制御する。これにより、選択ゲートトランジスタSL1、SL2、SL3の各々は、蓄積部CS1、CS2、CS3に蓄積された電荷量に対応した電圧を、出力端子O1、O2、O3から距離画素電圧信号PS1、PS2、PS3(アナログ電圧であることを明確化するため、以下、入力電圧VA(CS1)、VA(CS2)、VA(CS3)と示す)として、画素信号処理回路325に出力する。
 図5は、実施形態における画素信号処理回路から供給される入力電圧をAD変換するAD変換回路の構成例を示す概念図である。
 AD変換回路329は、格子状に配列された画素回路321における列j毎に、列AD変換部329jを有している。垂直信号線330(図2)は、3本の垂直信号線からなる。例えば、格子状に配列された画素回路321の列jに対応する垂直信号線330jは、垂直信号線330j(CS1)、330j(CS2)及び330j(CS3)の各々を有している。
 列AD変換部329jは、列jにおける出力端子O1、O2及びO3の各々に対応して設けられ、垂直信号線330j(CS1)、330j(CS2)、330j(CS3)のそれぞれを介して接続された列AD変換回路329j(CS1)、329j(CS2)、329j(CS3)を備えている。
 列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)の各々には、垂直信号線330j(CS1)、330j(CS2)、330j(CS3)を介して、画素信号処理回路325から供給される信号処理後の電荷蓄積部CS1に蓄積された電荷量に応じたアナログ電圧がそれぞれ入力電圧VA(CS1)、VA(CS2)、VA(CS3)として供給される。垂直信号線330j(CS1)、330j(CS2)及び330j(CS3)の各々は、それぞれ図3の画素回路321における出力端子O1、O2、O3に接続されている。
 そして、列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)の各々は、それぞれ入力電圧VA(CS1)、VA(CS2)、VA(CS3)を、AD変換により得られたデジタル値の変換電圧VD(CS1)、VD(CS2)、VD(CS3)を、それぞれ補正して、出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)の画素信号として出力する。
 図6は、本実施形態による列AD変換部329jにおける列AD変換回路の構成例を示すブロック図である。列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)の各々は、同様の構成である。このため、図6においては、列AD変換回路329j(CS1)を代表として説明する。
 列AD変換回路329j(CS1)は、ADコンバータ3291、演算処理部3292及び基準電圧生成部3293の各々を備えている。
 ADコンバータ3291は、自身に設定されている入力レンジの電圧範囲を、所定のビット数(例えば、16ビット)に対応した分解能の入力レンジ(すなわち、ADコンバータのフルスケールレンジ)として、入力される入力電圧VA(CS1)を、AD変換してデジタル値(ビット表示で示されるデジタル値)のAD変換値VD(CS1)として出力する。
 演算処理部3292は、ADコンバータ3291から出力されるAD変換値VD(CS1)が、ADコンバータ3291の変換可能な入力レンジの上限値(AD変換の分解能に対応したビット数で示すことができる最大値、すなわち、フルスケール)であるか否かの判定を行なう。ここで、演算処理部3292は、AD変換値VD(CS1)がADコンバータ3291の変換可能な入力レンジの上限値である場合、入力レンジをより高い電圧範囲にシフトさせるシフト電圧αを示すシフト制御電圧信号を、基準電圧生成部3293に対して出力する。そして、演算処理部3292は、上記制御電圧信号を出力したフレーム周期の次のフレーム周期において、このシフト電圧αに対応するデジタル値αDをAD変換値VD(CS1)に加算して、出力デジタル値OD(CS1)として出力する。デジタル値αDは、ADコンバータ3291の分解能に対応させたシフト電圧αのデジタル値である。すなわち、デジタル値αDは、ADコンバータ3291がシフト電圧αをAD変換した際に出力されるAD変換値VDと同一のデジタル値(ビット表示で示されるデジタル値)である。
 また、演算処理部3292は、ADコンバータ3291から出力されるAD変換値VD(CS1)が、ADコンバータ3291の変換可能な入力レンジ(フルスケールレンジ)の下限値(AD変換の分解能に対応したビット数で示すことができる最小値、すなわち0)であるか否かの判定を行なう。ここで、演算処理部3292は、AD変換値VD(CS1)がADコンバータ3291の変換可能な入力レンジの下限値である場合、入力レンジをより低い電圧範囲にシフトさせるシフト電圧αを示す制御電圧信号を、基準電圧生成部3293に対して出力する。そして、演算処理部3292は、上記制御電圧信号を出力したフレーム周期の次のフレーム周期において、このシフト電圧αのデジタル値であるデジタル値αDをAD変換値VD(CS1)に加算して、出力デジタル値OD(CS1)として出力する。
 基準電圧生成部3293は、演算処理部3292から供給される制御電圧信号の示すシフト電圧α分をシフトさせた基準電圧を、ADコンバータ3291に対して出力する。
 また、ADコンバータ3291は、基準電圧生成部3293から供給される基準電圧に対応して、入力レンジをシフト電圧α分シフトさせる。これにより、ADコンバータ3291は、シフト電圧α分シフトした入力レンジの電圧範囲に対応させて、入力電圧VAを入力レンジ内でAD変換する。
 図7は、ADコンバータにおける入力レンジをシフトさせる処理を説明する図である。図7(a)、図7(b)及び図7(c)の各々は、縦軸が入力電圧VAを示し、横軸がそれぞれ電荷蓄積部CS1、CS2及びCS3の各々に蓄積された電荷の電荷量Q1、Q2、Q3それぞれの種類を示している。すなわち、図7(a)、図7(b)及び図7(c)の各々は、電荷の電荷量Q1、Q2、Q3それぞれと、画素信号処理回路325から供給される入力電圧VA(CS1)、VA(CS2)、VA(CS3)との対応関係を示している。また、図7(a)、図7(b)及び図7(c)の各々グラフにおいて、点領域が背景光に対応した電荷の電荷量を示し、斜線領域が反射光に対応した電荷の電荷量を示している。
 図7(a)は、ADコンバータ3291の入力レンジが、所定の入力レンジA1(0[V]≦VA≦1.0[V])に設定されている。また、図7(a)の場合、入力電圧VA(CS1)、VA(CS2)及びVA(CS3)の各々が入力レンジA1(0[V]≦VA≦1.0[V])に含まれている。このため、列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)の各々における列ADコンバータ回路329j(CS1)、329j(CS2)、329(CS3)は、入力電圧VA(CS1)、VA(CS2)、VA(CS3)それぞれを、入力レンジの電圧範囲の下限値(0V)からの電圧として、デジタル値のAD変換値VD(CS1)、VD(CS2)、VD(CS3)に変換することができる。
 同様に、図7(b)も、ADコンバータ3291の入力レンジが、所定の入力レンジA1(0[V]≦VA≦1.0[V])に設定されている。しかしながら、図7(b)の場合、背景光の強度が図7(a)より強いため、入力電圧VA(CS1)の電圧が図7(a)に比較して高くなっている。これにより、入力電圧VA(CS2)及びVA(CS3)の各々が入力レンジA1(0[V]≦VA≦1.0[V])の上限を超えている。このため、列AD変換回路329j(CS2)及び329j(CS3)の各々のADコンバータ3291は、入力電圧VA(CS2)及びVA(CS3)が入力レンジA1(0[V]≦VA≦1.0[V])を超えているため、入力電圧VA(CS2)及びVA(CS3)のAD変換の結果を、自身の分解能に対応した入力レンジにおける上限値とする。すなわち、ADコンバータ3291は、入力される入力電圧VAが入力レンジを超えていた場合、AD変換値VDをAD変換可能な入力レンジの上限値に制限された電圧(AD変換において飽和した電圧)として出力する。
 図7(c)は、ADコンバータ3291の入力レンジの電圧範囲を、入力レンジA1(0[V]≦VA≦1.0[V])から、入力レンジA2(0.5[V]≦VA≦1.5[V])へと、0.5[V]シフトさせた場合を示している。この結果、入力電圧VA(CS1)、VA(CS2)及びVA(CS3)の各々が、入力レンジA2(0.5[V]≦VA≦1.5[V])の範囲に含まれる。これにより、列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)の各々における列ADコンバータ回路329j(CS1)、329j(CS2)、329j(CS3)は、入力電圧VA(CS1)、VA(CS2)、VA(CS3)それぞれを、AD変換可能な入力レンジの下限値の電圧値に制限することなく、入力レンジの電圧範囲の下限値(0.5[V])からの電圧として、対応するデジタル値のAD変換値VD(CS1)、VD(CS2)、VD(CS3)に変換することができる。
 上述した図7(a)の場合、演算処理部3292は、シフト電圧αが0[V]であるため、AD変換値VDに対して0[V]に対応するデジタル値αDを加算して、出力デジタル値OD(CS1)として出力する。
 また、図7(b)の場合、演算処理部3292は、図7(a)の場合と同様に、シフト電圧αが0[V]であるため、AD変換値VDに対して0[V]に対応するデジタル値αDを加算して出力する。
 一方、図7(c)の場合、演算処理部3292は、シフト電圧αが0.5[V]であるため、AD変換値VDに対して0.5[V]に対応するデジタル値αDを加算して、出力デジタル値OD(CS1)として出力する。
 上記図7(c)の場合、ADコンバータ3921の分解能が変化することなく、シフト電圧αをVα1とした場合、Vα1≦VA≦1+Vα1の1.0[V]幅の範囲内において、入力電圧VAをAD変換することは、入力レンジ内でAD変換するため、入力レンジをシフトしてもAD変換可能な電圧範囲は変わらない。
 すなわち、入力レンジをシフト電圧α分シフトすることにより、実質的には、入力電圧VAからシフト電圧αを減算した電圧を、0[V]≦VA≦1.0[V]の範囲でAD変換することになる。例えば、図7においてQ2に対応する入力電圧VAが1.3[V]であり、シフト電圧αが0.5[V]の場合、ADコンバータ3291は、入力電圧VAとして1.3[V]-0.5[V]=0.8[V]を、0[V]≦VA≦1.0[V]の範囲でAD変換する。このため、演算処理部3921において、実際の入力電圧VAのAD変換の結果を得るために、ADコンバータ3291から出力される0.8Vを示すAD変換値VDに対して、シフト電圧αとしての0.5[V]に対応するデジタル値αDを加算して、出力デジタル値OD(CS1)とする必要がある。
 図7の例は、列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)の各々におけるADコンバータ3291に対して、同様にシフト電圧αとして0.5[V]を用いている。この場合、列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)のいずれかのADコンバータ3291がAD変換可能な入力レンジの上限値を出力した場合、列AD変換回路329j(CS1)、329j(CS2)、329j(CS3)全てのADコンバータ3291の入力レンジのシフトを行なう。
 一方、図7(c)に示す入力レンジA2(0.5[V]≦VA≦1.5[V])とした後、背景光の強度が低下して、入力電圧VAが図7(a)の電圧まで低下した場合、背景光による電荷量Q1による入力電圧VAが入力レンジA2(0.5[V]≦VA≦1.5[V])の最小値未満となり、AD変換の結果がADコンバータ3291のAD変換の最小値となる(黒沈み)。この場合、背景光による電荷量Q1による入力電圧VAに対応した正確なAD変換値VDが得られない。
 そのため、演算処理部3292は、ADコンバータ3291の出力するAD変換値VDが、ADコンバータ3291のAD変換可能な入力レンジの下限値である場合、入力レンジを低い電圧範囲に下げる処理、すなわち低下させたシフト電圧αを基準電圧生成部3293に対して出力する。
 例えば、上述したように、背景光の強度が低下した場合、演算処理部3292は、ADコンバータ3291の入力レンジを、入力レンジA2(0.5[V]≦VA≦1.5[V])から入力レンジA1(0[V]≦VA≦1.0[V])に下げるため、0[V]のシフト電圧αを基準電圧生成部3293に対して出力する。
  これにより、基準電圧生成部3293は、演算処理部3292から供給される制御電圧信号の示すシフト電圧α分、すなわちシフト電圧αが0.5[V]の場合に比較して0.5[V]シフトさせた基準電圧を、ADコンバータ3291に対して出力する。
 これにより、ADコンバータ3291は、入力レンジを、入力レンジA2(0.5[V]≦VA≦1.5[V])から入力レンジA1(0[V]≦VA≦1.0[V])へと入力レンジの電圧範囲を下げる。
 図8は、ADコンバータにおける入力レンジをシフトさせる処理を説明する図である。図8は、縦軸が入力電圧VAを示し、横軸がそれぞれ電荷蓄積部CS1、CS2及びCS3の各々に蓄積された電荷の電荷量Q1、Q2、Q3それぞれの種類を示している。すなわち、図8は、図7と同様に電荷の電荷量Q1、Q2、Q3それぞれと、画素信号処理回路325から供給される入力電圧VA(CS1)、VA(CS2)、VA(CS3)との対応関係を示している。また、図8のグラフにおいては、図7のグラフと同様に、点領域が背景光に対応した電荷の電荷量を示し、斜線領域が反射光に対応した電荷の電荷量を示している。
 図8の場合には、電荷蓄積部CS1における電荷の電荷量Q1が背景光なので、電圧VAが入力レンジA1(0[V]≦VA≦1.0[V])の範囲内に収まることが確実であり、列AD変換回路329j(CS1)は、入力レンジが入力レンジA1で固定されたADコンバータ3291のみで形成されている。列AD変換部329jにおける他の列AD変換回路329j(CS2)及び(CS3)は、入力レンジをシフトすることが可能な図6に示す列AD変換回路で形成されている。
 図8の例は、列AD変換回路329j(CS2)及び329j(CS3)の各々におけるADコンバータ3291に対して、同様にシフト電圧αとして0.5[V]を用いている。この場合、列AD変換回路329j(CS2)及び329j(CS3)のすくなくともいずれかがADコンバータ3291がAD変換可能な入力レンジの上限値を出力した場合、列AD変換回路329j(CS2)及び329j(CS3)の双方のADコンバータ3291の入力レンジのシフトを行なう。
 このため、列AD変換回路329j(CS2)及び329j(CS3)の各々の演算処理部3921において、実際のAD変換の結果として出力デジタル値OD(CS2)、OD(CS3)を得るために、ADコンバータ3291から出力されるAD変換値VD(CS2)、VD(CS3)にシフト電圧αに対応するデジタル値αDを加算する必要がある。
 図9は、ADコンバータにおける入力レンジをシフトさせる処理を説明する図である。図9は、縦軸が入力電圧VAを示し、横軸がそれぞれ電荷蓄積部CS1、CS2及びCS3の各々に蓄積された電荷の電荷量Q1、Q2、Q3それぞれの種類を示している。すなわち、図9は、図7と同様に電荷の電荷量Q1、Q2、Q3それぞれと、画素信号処理回路325から供給される入力電圧VA(CS1)、VA(CS2)、VA(CS3)との対応関係を示している。また、図9のグラフにおいては、図7のグラフと同様に、点領域が背景光に対応した電荷の電荷量を示し、斜線領域が反射光に対応した電荷の電荷量を示している。
 図9の場合には、電荷蓄積部CS1、CS2及びCS3の各々の電荷の電荷量Q1、Q2、Q3それぞれに対応する入力電圧VAが、入力レンジA1の範囲内に収まらないことが想定される。このため、列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)の各々は、入力レンジをシフトすることが可能な図6に示す列AD変換回路で形成されている。
 また、図9の場合には、列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)の各々は、それぞれ独立して異なるシフト電圧αにより、入力レンジをシフトさせる。
 例えば、列AD変換回路329j(CS1)において、演算処理部3292は、ADコンバータ3291のAD変換値VDがAD変換のAD変換可能な入力レンジの上限値でないため、入力レンジを入力レンジA1(0[V]≦VA≦1.0[V])から入力レンジA1(0[V]≦VA≦1.0[V])にシフトさせるシフト電圧αとして0[V]を、基準電圧生成部3293に対して出力する。
 これにより、基準電圧生成部3293は、演算処理部3292から供給される制御電圧信号の示すシフト電圧α分をシフトさせた基準電圧を、ADコンバータ3291に対して出力する。この結果、ADコンバータ3291は、次のフレーム周期においても、入力レンジが入力レンジA1(0[V]≦VA≦1.0[V])で維持される。
 このとき、演算処理部3921において、実際のAD変換の結果を得るために、ADコンバータ3291から出力されるAD変換値VDに対して、シフト電圧αとしての0[V]に対応するデジタル値αDを加算して、出力デジタル値OD(CS1)を求めて出力する。
 また、列AD変換回路329j(CS2)において、演算処理部3292は、ADコンバータ3291のAD変換値VDがAD変換のAD変換可能な入力レンジの上限値であるため、入力レンジを入力レンジA2(0.5[V]≦VA≦1.5[V])から入力レンジA3(1.0[V]≦VA≦2.0[V])にシフトさせるシフト電圧αとして1.0[V]を、基準電圧生成部3293に対して出力する。
 これにより、基準電圧生成部3293は、演算処理部3292から供給される制御電圧信号の示すシフト電圧α分をシフトさせた基準電圧を、ADコンバータ3291に対して出力する。この結果、ADコンバータ3291は、次のフレーム周期における入力レンジを、入力レンジA2(0.5[V]≦VA≦1.5[V])から入力レンジA3(1.0[V]≦VA≦2.0[V])とする。
 このとき、演算処理部3921において、実際のAD変換の結果を得るために、ADコンバータ3291から出力されるAD変換値VDに対して、シフト電圧αとしての1.0[V]に対応するデジタル値αDを加算して、出力デジタル値OD(CS1)を求める。
 また、列AD変換回路329j(CS3)において、演算処理部3292は、ADコンバータ3291のAD変換値VDがAD変換のAD変換可能な入力レンジの上限値であるため、入力レンジを入力レンジA1(0[V]≦VA≦1.0[V])から入力レンジA2(0.5[V]≦VA≦1.5[V])にシフトさせるシフト電圧αとして0.5[V]を、基準電圧生成部3293に対して出力する。
 これにより、基準電圧生成部3293は、演算処理部3292から供給される制御電圧信号の示すシフト電圧α分をシフトさせた基準電圧を、ADコンバータ3291に対して出力する。この結果、ADコンバータ3291は、次のフレーム周期における入力レンジを、入力レンジA1(0[V]≦VA≦1.0[V])から入力レンジA2(0.5[V]≦VA≦1.5[V])とする。
 このとき、演算処理部3921において、実際のAD変換の結果を得るために、ADコンバータ3291から出力されるAD変換値VDに対して、シフト電圧αとしての0.5[V]に対応するデジタル値αDを加算して、出力デジタル値OD(CS1)を求める。
 上述した実施形態において、演算処理部3292がシフト電圧αを0.5[V]単位で増加させて説明しているが、これに限定されず、ADコンバータ3291の出力するAD変換値VDがADコンバータ3291のAD変換可能な入力レンジの上限値未満(または、所定の余裕、例えば上限値の95%の数値などの余裕をもたせた数値未満)となるように、任意の電圧単位(例えば、0.1[V]など)でシフト電圧αを徐々に増加させる構成としても良い。
 また、AD変換回路3291は、列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)の各々の演算処理部3292が参照するシフト電圧αテーブルを有する構成としても良い。このシフト電圧αテーブルは、電圧範囲と、この電圧範囲に対応したシフト電圧αと、デジタル値αDとの対応関係を示すテーブルである。
 すなわち、演算処理部3292は、ADコンバータ3291の出力するAD変換値VDがAD変換のAD変換可能な入力レンジの上限値である場合、ADコンバータ3291の出力するAD変換値VDとシフト電圧αとを加算し、加算結果が含まれる電圧範囲をシフト電圧αテーブルにおいて検索する。そして、演算処理部3292は、検索された電圧範囲に対応するシフト電圧α及びデジタル値αDを読み出し、新たなシフト電圧α、デジタル値αDとして使用する構成としても良い。
 また、電荷蓄積部CS1における背景光の電荷量Q1に対応する電圧を、シフト電圧αとして、電荷蓄積部CS2の電荷量Q2及び電荷蓄積部CS3の電荷量Q3をAD変換する際の入力レンジのシフト電圧αとする構成としても良い。この構成の場合、列AD変換回路329j(CS1)の演算処理部3292は、ADコンバータ3291の出力するAD変換値VDを、列AD変換回路329j(CS2)及び329j(CS3)の各々の演算処理部3292に対して、シフト電圧αとして出力する。
 これにより、列AD変換回路329j(CS2)及び329j(CS3)の各々において、演算処理部3292は、列AD変換回路329j(CS1)の演算処理部3292から供給されるシフト電圧αを、基準電圧生成部3293に対して出力する。基準電圧生成部3293は、演算処理部3292から供給されるシフト電圧α分をシフトさせた基準電圧を、ADコンバータ3291に対して出力する。この結果、ADコンバータ3291は、次のフレーム周期における入力レンジを、電荷蓄積部CS1に蓄積される背景光の電荷量Q1に対応した電圧分シフトする。この結果、列AD変換回路329j(CS2)及び329j(CS3)の各々において、ADコンバータ3291は、背景光の電圧分が除かれた反射光のみの電圧に対応するAD変換値VDを出力する。
 そして、演算処理部3292は、AD変換値VDに対してシフト電圧αに対応するデジタル値αDを加算せずに(あるいはシフト電圧αとして0[V]に対応するデジタル値αDを加算して)、出力デジタル値OD(CS1)を求めて出力する。
 図10は、列変換回路のAD変換及び入力レンジのシフトの動作例を示すフローチャートである。図10のフローチャートは、列AD変換部329jにおいて列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)の各々が独立して入力レンジのシフト処理を行なうことを前提として説明する。以下の説明においては、列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)の代表として、列AD変換回路329j(CS1)に関する動作を説明する。また、図10のフローチャートの処理は、一例としてフレーム周期毎に実行される。
 ステップS101:フレーム周期において、受光画素部320における電荷の蓄積処理が終了した場合、画素信号処理回路325を介して、格子状の配列における各行の画素回路321から順次、入力電圧VAがAD変換回路329に対して供給される。
 そして、列AD変換回路329j(CS1)は、画素信号処理回路325から、所定の信号処理が行なわれた電荷量Q1に対応した電圧を、入力電圧VAとして取得する。
 ステップS102:列AD変換回路329j(CS1)において、ADコンバータ3291は、現在設定されている入力レンジに対応してAD変換の処理を行い、入力電圧VAをAD変換値VDに変換して出力する。
 そして、演算処理部3292は、AD変換値VDに対して内部に記憶されているシフト電圧αに対応するデジタル値αDを加算して、出力デジタル値OD(CS1)として出力する。
 ステップS103:演算処理部3292は、ADコンバータ3291から供給されるAD変換値VD(CS1)が、ADコンバータ3291のAD変換のAD変換可能な入力レンジの上限値であるか否か(あるいは所定の余裕を有する上限閾値を超えているか否か)の判定を行なう。
 このとき、演算処理部3292は、AD変換値VD(CS1)が上記最大値(上記上限閾値以上)である場合、処理をステップS104へ進める。
 一方、演算処理部3292は、AD変換値VD(CS1)が上記最大値未満である(上記上限閾値未満である)場合、処理をステップS105へ進める。
 ステップS104:演算処理部3292は、現時点で基準電圧生成部3293に供給しているシフト電圧αに、予め設定された所定の電圧を加算する。
 そして、演算処理部3292は、シフト電圧αをより高い側の電圧に変更して、基準電圧生成部3293に変更したシフト電圧αを供給する。
 これにより、基準電圧生成部3293は、新たに供給されるシフト電圧αに対応させて、ADコンバータ3291に供給する基準電圧を上昇させ、当該ADコンバータ3291の入力レンジの電圧範囲を高い側にシフトさせる。
 ステップS105:演算処理部3292は、ADコンバータ3291から供給されるAD変換値VD(CS1)が、ADコンバータ3291のAD変換のAD変換可能な入力レンジの下限値であるか否か(あるいは所定の余裕を有する下限閾値未満か否か)の判定を行なう。ここで、下限閾値は、例えば、上限値の5%程度とする。
 このとき、演算処理部3292は、AD変換値VD(CS1)が上記最小値である(上記下限閾値以下である)場合、処理をステップS106へ進める。
 一方、演算処理部3292は、AD変換値VD(CS1)が上記最小値を超えている(上記下限閾値を超えている)場合、本フローチャートにおける処理を終了する。
 ステップS106:演算処理部3292は、現時点で基準電圧生成部3293に供給しているシフト電圧αから、予め設定された所定の電圧を減算する。
 そして、演算処理部3292は、シフト電圧αをより低い側の電圧に変更して、基準電圧生成部3293に変更したシフト電圧αを供給する。
 これにより、基準電圧生成部3293は、新たに供給されるシフト電圧αに対応させて、ADコンバータ3291に供給する基準電圧を下降させ、当該ADコンバータ3291の入力レンジの電圧範囲を低い側にシフトさせる。
 図11は、図6に示すADコンバータの入力レンジをシフトする処理を説明する概念図である。図11は、ADコンバータ3291にシングルスロープのADコンバータ(以下、シングルスロープ型ADコンバータと示す)を用いた例を示している。図11(a)は、シングルスロープADコンバータの構成例を示している。図11(b)は、シフト電圧αが0[V]であり、入力レンジに入力電圧VAが含まれている場合のAD変換の処理を示している。図11(c)は、シフト電圧αが0[V]であり、入力レンジに入力電圧VAが含まれていない場合のAD変換の処理を示している。図11(d)は、シフト電圧αがAα1[V]であり、入力レンジに入力電圧VAが含まれている場合のAD変換の処理を示している。また、図11(b)、(c)、(d)の各々のグラフにおいて、縦軸が参照電圧VLを示し、横軸が計数器304のカウント数を示している。図11(b)、(c)、(d)の各々のグラフにおいて、入力電圧VAを示す線は実線の線分L_VAで示され、参照電圧VLを示す線は破線の線分L_VLで示されている。
 図11(a)に示すように、ADコンバータ3291は、比較器301、クロック発生回路302、ランプ電圧生成回路303及び計数器304を備えている。
 比較器301は、入力電圧VAと、徐々に増加する参照電圧VLとを比較し、例えば、参照電圧VLが入力電圧VA以上となった場合に、出力を’L’レベルから’H’レベルに変化させる。
 ランプ電圧生成回路303は、クロック発生回路302からクロック信号としてのパルスが供給される毎に、所定の電圧単位で段階的に参照電圧VLを増加させていく(図11(c)~図11(d)参照)。
 計数器304は、クロック発生回路302からクロック信号としてのパルスが供給される毎に、カウント数を増加させる。
 計数器304がカウントアップのカウント数(すでに述べたAD変換のAD変換可能なフルスケールレンジである入力レンジの上限値)がd(例えば、255)であり、ADコンバータ3291の入力レンジの電圧範囲の幅が電圧VAであるとした場合、分解能はVA/256となる。ランプ電圧生成回路303は、パルスが入力される毎に、上記分解能であるVA/256ずつ参照電圧VLを増加させて、比較器301に出力する。計数器304は、比較器301から供給される信号の電圧が’L’レベルの場合、パルスの計数を行ない、’H’レベルとなると計数を停止する。したがって、計数器304の出力するカウント数がAD変換値VD(分解能の電圧にカウント数を乗算した結果)を示すことになる。
 図11(b)において、入力レンジA0は、例えば0Vから0.5Vの電圧範囲VWであり、線分L_VLが線分L_VAと交差したカウント数が、入力電圧VAをAD変換したAD変換値VDを表す数値となる。この時点におけるシフト電圧αは0[V]である。
 一方、図11(c)において、入力レンジA0は、0Vから0.5Vの電圧範囲VWであり、線分L_VLが線分L_VAと交差しない。この場合、カウント数がカウントアップした最大値のdとなり、入力電圧VAを示すカウント数が得られない。
 このため、図11(d)に示すように、演算処理部3292からシフト電圧αとしてVα1を示す情報が基準電圧生成部3293に対して供給される。
 図11(b)及び(c)の場合、シフト電圧αが0[V]のため、ランプ電圧生成回路303は、参照電圧VLを0[V]から0.5[V]の電圧範囲VWにおいて段階的に増加させて、比較器301に供給していた。
 しかしながら、図11(d)の場合、シフト電圧αがVα1のため、ランプ電圧生成回路303は、参照電圧VLをVα1から電圧0.5[V]+Vα1の電圧範囲VWにおいて段階的に増加させて、比較器301に供給する。
 図11(d)に示しているように、参照電圧VLが電圧Vα1から開始され、入力レンジの電圧範囲VW、すなわちVα1から電圧0.5[V]+Vα1までの電圧範囲で変化しないため、線分L_VLが線分L_VAと交差するカウント数は、電圧Vα1からの電圧値、すなわち入力電圧VA-電圧Vα1(入力電圧VAから電圧Vα1を減算した数値)をAD変換した結果を示している。このため、すでに述べたように、演算処理部3292は、ADコンバータ3291が出力するAD変換値VDに、電圧Vα1に対応するカウント数(シフト電圧αに対応するデジタル値αD)を加算して、加算結果を出力デジタル値ODを算出する。そして、得られた出力デジタル値OD(CS1)、OD(CS2)及びOD(CS3)の各々と、式(1)及び式(2)とを用いて距離Dが求められる。
 図12は、図6に示すADコンバータの入力レンジをシフトする処理を説明する概念図である。図12は、ADコンバータ3291にサイクリックADコンバータ(例えば、特許第3962788号参照)を用いた例を示している。
 図12においては、ADコンバータ3291の入力レンジをシフトさせるため、反転増幅器200及びコンデンサC1などに与える基準電圧VCOMとしてシフト電圧αを与える。これにより、図11で説明した場合と同様に、ADコンバータ3291の入力レンジの電圧範囲が、シフト電圧α分上昇する。
 したがって、ADコンバータ3291が入力電圧VAN(入力電圧VA(CS1)、VA(CS2)に対応)をAD変換した結果、得られるデジタル値D1、D2(AD変換値VD)は、入力電圧VA-シフト電圧αの電圧値を示している。
 したがって、図11で示したように、デジタル値D1、D2に対してシフト電圧αに対応するデジタル値を加算して、式(1)及び式(2)を用いて距離Dを求めるため、出力デジタル値ODを算出する必要がある。
 本実施形態によれば、背景光の強度が増加して、電荷蓄積部CS1、CS2及びCS3の各々に蓄積される電荷の電荷量Q1、Q2、Q3それぞれが増加し、ADコンバータ3291に供給される入力電圧VA(CS1)、VA(CS2)、VA(CS3)が大きくなり、ADコンバータ3291の入力レンジの電圧範囲に含まれなくなっても、シフト電圧αにより入力レンジの電圧範囲をシフトさせることが可能となり、電荷蓄積部CS1、CS2及びCS3の各々に蓄積される電荷の電荷量Q1、Q2、Q3それぞれが変動しても、高い測定精度で距離Dを測定することができる。
 図13は、フレーム周期における蓄積周期数を増加することによる距離分解能の向上の効果を説明する図である。図13(a)は、入力電圧VA(CS1)、VA(CS2)及びVA(CS3)の3つの分類#1、#2及び#3を示している。また、図13(a)は、縦軸が入力電圧VAを示しており、横軸が分類#1、#2及び#3の各々とそれぞれの分類における入力電圧VA(CS1)、VA(CS2)、VA(CS3)の種類を示している。
 分類#1においては、電荷蓄積部CS1に蓄積された電荷の電荷量Q1に対応する入力電圧VA(CS1)が0.58[V]であり、電荷蓄積部CS2に蓄積された電荷の電荷量Q2に対応する入力電圧VA(CS2)が0.8[V]であり、電荷蓄積部CS3に蓄積された電荷の電荷量Q3に対応する入力電圧VA(CS3)が0.72[V]である。
 分類#2においては、電荷蓄積部CS1に蓄積された電荷の電荷量Q1に対応する入力電圧VA(CS1)が0.72[V]であり、電荷蓄積部CS2に蓄積された電荷の電荷量Q2に対応する入力電圧VA(CS2)が1.0[V]であり、電荷蓄積部CS3に蓄積された電荷の電荷量Q3に対応する入力電圧VA(CS3)が0.89[V]である。
 分類#3においては、電荷蓄積部CS1に蓄積された電荷の電荷量Q1に対応する入力電圧VA(CS1)が0.85[V]であり、電荷蓄積部CS2に蓄積された電荷の電荷量Q2に対応する入力電圧VA(CS2)が1.19[V]であり、電荷蓄積部CS3に蓄積された電荷の電荷量Q3に対応する入力電圧VA(CS3)が1.07[V]である。
 図13(a)に示す分類#1、#2及び#3の各々は、背景光の強度としては一定である。しかしながら、電荷蓄積部CS1、CS2及びCS3の各々に電荷を蓄積する回数、すなわち蓄積周期数(振り分け回数)がそれぞれ15000回、19000回、23000回と、徐々に多くなっている。ここで、蓄積周期数が増加することにより、分類#1→分類#2→分類#3と徐々に、電荷蓄積部CS1、CS2及びCS3の各々に蓄積される電荷の電荷量Q1、Q2、Q3それぞれが増加する。この電荷量Q1、Q2及びQ3の各々の増加に対応して、すでに述べた入力レンジのシフトを、分類#1、#2、#3それぞれの場合に対応して行なうことにより、いずれの分類おいても距離Dを求めることができる。
 図13(b)は、分類#1、#2及び#3の各々の蓄積周期数(振り分け回数)と距離分解能(ノイズ)との対応を示すテーブルである。
 図13(b)のテーブルは、各レコード毎に、分類、シフト電圧α、蓄積周期数(振り分け回数)、入力電圧VA(電荷量Q1、Q2、Q3)、距離分解能(ノイズ)の項目がある。
 分類は、入力電圧VA(CS1)、VA(CS2)及びVA(CS3)の組合せを区別する識別情報であり、分類#1、#2、#3それぞれがある。シフト電圧αは、ADコンバータ3291の入力レンジの電圧範囲をシフトさせた電圧値を示している。入力電圧VA(単位[V])の欄において、VA(CS1)、VA(CS2)、VA(CS3)の各々の電圧値を示すサブ欄が設けられている。距離分解能(ノイズ)は、電荷を蓄積する蓄積周期数を増加させることにより得られる分解能(すなわち、測定誤差)を示している。
 蓄積周期数を増加させることにより、電荷蓄積部CS1、CS2及びCS3の各々に蓄積される電荷の電荷量Q1、Q2、Q3のそれぞれは増加する。
 しかしながら、電荷量Q1、Q2、Q3の各々が、特に電荷量Q2及びQ3の各々が距離に対応する電荷量としてより精度良く蓄積することが可能となるため、距離測定における分解能を向上させることができる。
 図13(b)に示すように、蓄積周期数を増加させることにより、同一測定空間及び同一測定環境においても、電荷蓄積部CS1、CS2及びCS3の各々に蓄積される電荷の電荷量Q1、Q2、Q3それぞれが増加し、入力電圧VA(CS1)、VA(CS2)、VA(CS3)が大きくなる。
 これに対応して、入力電圧VAが入力電圧VA(CS1)、VA(CS2)、VA(CS3)が大きくなるに従い、すなわち蓄積周期数(振り分け回数)が増加するに従い、分類#1、#2及び#3の各々における距離分解能(ノイズ)が30.6[mm rms]、22.7[mm rms]、18.2[mm rms]と、徐々に低下し、測定精度が向上していることが判る。ここで、測定された距離Dは、最大+/-距離分解能(ノイズ)の誤差を含んでいる。このため、距離分解能(ノイズ)が小さい程、結果的に距離Dの測定精度が向上する。
 上述したように、本実施形態によれば、電荷蓄積部CS1、CS2及びCS3に蓄積される電荷の電荷量Q1、Q2、Q3が増加し、入力電圧VA(CS1)、VA(CS2)、VA(CS3)が増加しても、ADコンバータ3291の入力レンジを容易にシフトすることが可能であるため、蓄積周期数(振り分け回数)を増加させることができ、距離測定の分解能を高くすることにより、測定される距離Dの測定精度を向上することができる。
 また、上述した実施形態において、画素回路321の格子状の配列において列毎に、フレーム周期単位でADコンバータの3291の入力レンジのシフトを行なう構成として説明したが、格子状に配列された画素回路321毎に対応させて、ADコンバータ3291の入力レンジの電圧範囲のシフトを行なう構成としても良い。
 すなわち、画素回路の格子状の配列において、列毎に設けられた列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)の各々がシフト電圧α及びデジタル値αDを記憶しておく記憶部をそれぞれ保持しており、列における各行の画素回路321から供給される入力電圧VA(CS1)、VA(CS2)、 VA(CS3)に対応するシフト電圧α、デジタル値αDを記憶部に記憶させておく。
 ここで、ADコンバータ3291は、現時点で処理を行なっている行の入力電圧VAのAD変換の結果としてAD変換値VDを、演算処理部3292に対して出力する。
 そして、演算処理部3292は、ADコンバータ3921からAD変換値VDが出力された後、次の行に対応するシフト電圧αを上記記憶部から読出す。演算処理部3292は、読み出したシフト電圧αを基準電圧生成部3293に出力し、ADコンバータ3291の入力レンジの電圧範囲をシフトさせる。
 また、演算処理部3292は、現時点で処理を行なっている行のAD変換値VDが入力レンジの上限値であるか、下限値であるかの判定を行ない、判定結果に対応したシフト電圧αに対応するデジタル値αDを求めて、求めたシフト電圧αに対応するデジタル値αDを上記記憶部に書き込んで記憶させる。格子状に配列された画素回路321毎に対応させて、ADコンバータ3291の入力レンジの電圧範囲をシフトさせる上記処理は、列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)の各々において独立に行なわれる。
 この構成により、格子状に配列した画素回路321において、部分的に強い背景光が受光された場合や、反射率が高い対象物Sから反射光RLが受光された場合など、画素回路321の電荷蓄積部CS1、CS2及びCS3の各々に蓄積される電荷の電荷量Q1、Q2、Q3に応じて、ADコンバータ3291の入力レンジの電圧範囲を柔軟にシフトさせることが可能となり、フレーム単位で画素回路321と、測定空間Pにおける対象物Sとの距離Dを高い測定精度により測定することができる。
<第2の実施形態>
 以下、本発明の第2の実施形態について、図面を参照して説明する。図14は、本発明の第2の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図14に示す距離画像撮像装置1’の他の構成及び動作については第1の実施形態と同様である。以下、第1の実施形態と異なる構成及び動作について説明する。
 第1の実施形態においては、ADコンバータ3291の入力レンジをシフトさせる処理を、演算処理部3292がAD変換値VDと入力レンジの電圧範囲の上限値及び下限値と比較することで行なう構成としている。
 本実施形態においては、入力レンジの電圧範囲をシフトさせる処理を、外部から供給される制御信号により行なっている。
 図14において、距離画像撮像装置1’には、入力レンジ制御回路5が備えられている。入力レンジ制御回路5は、例えば、照度センサなどの光の強度を測定する光センサを備えている。
 入力レンジ制御回路5は、光センサが測定した測定空間Pの光強度(すなわち、背景光の光強度)の測定値に対応したシフト電圧α及びこのシフト電圧に対応するデジタル値αDを上記制御情報として、距離画像センサ32’に出力する。
 ここで、入力レンジ制御回路5は、例えば、内部に備えたシフト電圧αテーブルを参照して、光強度に対応するシフト電圧α及びデジタル値αDを読み出す構成としても良い。上記シフト電圧αテーブルは、光強度の複数の強度範囲と、この強度範囲に対応するシフト電圧αと、デジタル値αDとの組合せが予め設定されているテーブルである。したがって、入力レンジ制御回路5は、シフト電圧αテーブルを参照して、光センサにより測定された光強度が含まれる強度範囲を検索し、この検索した強度範囲に対応したシフト電圧α及びデジタル値αDを、シフト電圧αテーブルから読み出す。
 図15は、第2の実施形態における列AD変換回路329j(CS1)’の構成例を示している。以下、図15に示す列AD変換回路329j(CS1)’を例として説明するが、列AD変換回路329j(CS2)’及び329j(CS3)’も列AD変換回路329j(CS1)’と同様の構成であり、同様の動作を行なう。
 列AD変換回路329j(CS1)’は、入力レンジ制御回路5からシフト電圧α及びデジタル値αDが供給される。同様に、列AD変換回路329j(CS2)’及び329j(CS3)’にも、入力レンジ制御回路5からシフト電圧α及びデジタル値αDが供給される。
 これにより、演算処理部3292’は背景光に対応したシフト電圧αのデジタル値αDを取得する。また、基準電圧生成部3293は、背景光に対応したシフト電圧αを取得する。
 基準電圧生成部3293は、第1の実施形態の場合と同様に、供給されたシフト電圧αをシフトさせた基準電圧を、ADコンバータ3291に対して出力する。
 これにより、ADコンバータ3291は、基準電圧生成部3293から供給される基準電圧に対応して、入力レンジの電圧範囲をシフトさせる。ADコンバータ3291は、画素信号処理回路325から供給される入力電圧VA(CS1)をAD変換して、AD変換値VD(CS1)を演算処理部3292’に出力する。
 また、演算処理部3292’は、ADコンバータ3291が出力するAD変換値VD(CS1)に対して、入力レンジ制御回路5から供給されるシフト電圧αを加算する。そして、演算処理部3292’は、AD変換値VD(CS1)とシフト電圧αに対応するデジタル値αDとの加算結果として、出力デジタル値OD(CS1)を求める。列AD変換回路329j(CS2)’及び329j(CS3)’も、列AD変換回路329j(CS1)’と同様の処理を行ない、出力デジタル値OD(CS2)、OD(CS3)を求める。そして、AD変換回路329は、水平走査回路324の制御により、列AD変換部jの各々の出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)それぞれを、シリアルに画素信号として距離画像処理部4へ出力する。
 この構成の場合、入力レンジ制御回路5を加えた簡易な構成により、演算処理部3292に比較して回路規模の小さい演算処理部3292’を用いることができ、距離画像センサ32’のサイズを第1の実施形態の距離画像センサ32に比較して小型化し、かつ第1の実施形態と同様に、測定空間Pの環境における背景光の光強度に対応して、ADコンバータ3291の入力レンジを調整し、背景光の光強度が高い、あるいは対象物Sからの反射光RLの光強度が高い場合においても、距離画像撮像装置1’と対象物Sとの距離Dを高い測定精度により測定することが可能となる。
 また、第2の実施形態は入力レンジ制御回路5がシフト電圧αを示す数値を、距離画像撮像装置1’を走査しているユーザが入力する入力手段を備える構成としても良い。この入力手段としては、例えば、数字入力を行なう数値入力用キーボード、電圧調整用のボリュームツマミなど電圧値が入力可能であればどのようなデバイスを用いてもよい。
 距離画像撮像装置1’は、上記デバイスから入力された電圧を示す数値をシフト電圧αとして距離画像センサ32’に対して出力する。距離画像センサ32’において、上述した入力レンジ制御回路5を設けた構成と同様に、基準電圧生成部3203は、供給されるシフト電圧αにより、ADコンバータ3291に供給する基準電圧をシフトさせる。
 そして、ADコンバータ3291は、基準電圧生成部3293から供給されるシフト電圧αによりシフトされた基準電圧に対応して、入力レンジを変更して入力電圧VAのAD変換を行ない、AD変換値VDを出力する。
 また、演算処理部3292’は、ADコンバータ3291が出力するAD変換値VDと、シフト電圧αに対応するデジタル値αDとにより出力デジタル値ODを求める。
 この構成の場合、測定空間Pにおいて距離画像撮像装置1’から対象物Sまでの距離Dの測定を行なう際に、この測定空間Pの環境における背景光の光強度をユーザが強いと感じた場合、距離画像撮像装置1’が表示する距離画像(距離Dに応じた階調度のピクセルからなる画像)を観察しつつ、入力手段によりシフト電圧αの調整を行なう。
 これにより、ユーザが距離画像撮像装置1’が表示する距離画像を観察しつつ、’白飛び’や’黒つぶれ’が無くなるように、シフト電圧αを直接に調整することができ、簡易な回路で容易に、かつ高い測定精度で距離Dの測定を行なうことができる。
 また、本実施形態において、格子状に配列された画素回路の列単位に列AD変換回路が設けられる構成として説明したが、格子状ではなく画素回路が一列に配列したラインセンサの画素回路毎に、本実施形態におけるAD変換する入力レンジの電圧範囲のシフトが可能なAD変換回路を設けて並列に、アナログ電圧(入力電圧VA)のAD変換を行なう構成としても良い。
 また、上記ラインセンサの行方向に、本実施形態におけるAD変換する入力レンジの電圧範囲がシフト可能なAD変換回路を設けて、ラインセンサにおける1画素回路毎に時系列に、画素回路の各々が出力するアナログ電圧(入力電圧VA)のAD変換を順次行なう構成としても良い。
 また、本実施形態において、光源装置21が、例えば、被写体Sに照射する光パルスPOとなる近赤外の波長帯域のレーザ光を発光するとし、レーザ光としてパルス発信動作による光パルスを用いることで説明した。しかしながら、上記AD変換を行なう入力レンジの電圧範囲のシフトを行なう構成は、パルス光以外のレーザ光、例えば定常光(CW:continuous wave )の連続発信による正弦波形状のレーザ光(照射光)を用いて強度変調のずれから距離測定を行なう距離画像撮像装置にも、画素回路が出力するアナログ電圧(入力電圧VA)をAD変換する処理において本実施形態と同様に適用可能である。
 また、画素回路が出力するアナログ電圧ではなく、フォトダイオード、LED(light emitting diode)、太陽電池などが光起電力により発生するアナログ電圧や、通信などにおける信号処理におけるアナログ電圧波形を広いダイナミックレンジで、かつ高分解能で計測する場合にも、本実施形態によるAD変換する入力レンジの電圧範囲がシフト可能なAD変換回路を適用することができる。
 以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
 1,1’…距離画像撮像装置
 2…光源部
 3…受光部
 4…距離画像処理部
 5…入力レンジ制御回路
 21…光源装置
 22…拡散板
 31…レンズ
 32,32’…距離画像センサ
 41…タイミング制御部
 42…距離演算部
 320…受光画素部
 321…画素回路
 322…制御回路
 323…垂直走査回路
 324…水平走査回路
 325…画素信号処理回路
 326…画素駆動回路
 329…AD変換回路
 329j…AD変換部
 329j(CS1)、329j(CS1)’、329j(CS2)、329j(CS3)…AD変換回路
 3291…ADコンバータ
 3292,3292’…演算処理部
 3293…基準電圧生成部
 C…電荷蓄積容量
 CS 電荷蓄積部
 FD…フローティングディフュージョン
 G…読み出しゲートトランジスタ
 GD…ドレインゲートトランジスタ
 O…出力端子
 P…測定空間
 PD…光電変換素子
 PO…光パルス
 RL…反射光
 RT…リセットゲートトランジスタ
 RU…画素信号読み出し部
 S…対象物
 SF…ソースフォロアゲートトランジスタ
 SL…選択ゲートトランジスタ

Claims (13)

  1.  所定の光源から測定対象の空間である測定空間に対して照射される照射光が、前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を発生する光電変換素子と、フレーム周期において前記照射光が照射された際に前記電荷を蓄積する電荷蓄積部とを具備し、前記照射光の照射に同期して前記電荷を前記電荷蓄積部に蓄積する画素回路を有する受光画素部と、
     前記電荷蓄積部に蓄積された電荷量に応じた入力電圧を、前記フレーム周期毎にAD変換する際、入力レンジを当該入力電圧に対応して調整するAD変換回路と
     を備える
     距離画像センサ。
  2.  前記AD変換回路が、
     ADコンバータと、
     前記入力電圧が前記ADコンバータの前記入力レンジに含まれない場合、当該入力レンジの電圧範囲を所定のシフト電圧分シフトさせる演算処理部と
     を備える
     請求項1に記載の距離画像センサ。
  3.  前記シフト電圧に対応して前記AD変換回路の入力レンジの電圧範囲を制御する基準電圧を生成する基準電圧生成部をさらに有し、
     前記演算処理部が、前記入力電圧が前記ADコンバータの前記入力レンジの上限値以上である場合、当該入力レンジの電圧範囲をシフトさせる前記シフト電圧を求め、当該シフト電圧を前記基準電圧生成部に供給し、
     前記基準電圧生成部が、前記演算処理部から供給される前記シフト電圧に対応して前記基準電圧を生成し、当該基準電圧を前記ADコンバータに供給し、
     前記ADコンバータが、前記基準電圧生成部から供給される前記基準電圧により、前記入力レンジの電圧範囲を調整する
     請求項2に記載の距離画像センサ。
  4.  前記演算処理部が、前記入力電圧が前記入力レンジの前記電圧範囲の上限を超えた場合、予め設定したシフト電圧分、現時点より高い電圧側にシフトさせ、前記入力電圧が前記入力レンジの前記電圧範囲の下限未満の場合、予め設定したシフト電圧分、現時点より低い電圧側にシフトさせる
     請求項2または請求項3に記載の距離画像センサ。
  5.  前記照射光が所定の周期で照射される同一のパルス幅の光パルスであり、
     前記受光画素部が二次元の格子状に配列した前記画素回路を備え、
     前記AD変換回路が前記格子状の前記配列の列毎に設けられている
     ことを特徴とする請求項2または請求項3に記載の距離画像センサ。
  6.  蓄積駆動信号を出力する画素駆動回路がさらに備えられており、
     前記電荷蓄積部が、複数の振分電荷蓄積部を有しており、
     前記画素駆動回路が、前記光パルスの照射に同期して、前記蓄積駆動信号として前記周期において、振分蓄積駆動信号を前記振分電荷蓄積部に対して順次出力し、前記距離画像センサと前記対象物との距離を求めるため、前記反射光の期間における受光量により前記光電変換素子が発生する電荷の各々を、前記振分電荷蓄積部それぞれに振り分けて蓄積する
     請求項5に記載の距離画像センサ。
  7.  前記演算処理部が、背景光による電荷が蓄積される前記電荷蓄積部における電荷の電荷量に応じた電圧に対応させて、前記入力レンジの前記電圧範囲をシフトさせる
     請求項6に記載の距離画像センサ。
  8.  前記格子状の配列における各々の前記画素回路の前記電荷蓄積部の列単位にADコンバータが備えられており、
     前記演算処理部が、前記振分電荷蓄積部の前記列毎に独立して、前記ADコンバータの各々の前記入力レンジの調整を行なう
     請求項6または請求項7に記載の距離画像センサ。
  9.  前記演算処理部が、ADコンバータが前記入力電圧のAD変換する際に用いる前記入力レンジの前記シフト電圧の生成を、前記格子状の配列における列単位に直前の前記フレーム周期における前記入力電圧のAD変換の結果に対応して行なう
     請求項5から請求項8のいずれか一項に記載の距離画像センサ。
  10.  前記演算処理部が、前記AD変換回路が前記入力電圧のAD変換する際に用いる前記入力レンジの前記シフト電圧の生成を、前記格子状の配列の列に配置された前記画素回路毎に、直前の前記フレーム周期における当該画素回路毎の前記入力電圧のAD変換の結果に対応して行なう
     請求項5から請求項9のいずれか一項に記載の距離画像センサ。
  11.  外部装置から供給されるシフト制御信号により、前記所定の電圧分のシフトが行なわれる
     請求項1に記載の距離画像センサ。
  12.  前記請求項1から請求項11のいずれか一項に記載の距離画像センサと、
     測定対象の空間である測定空間に対して照射光を照射する光源部と、
     予め定めた固定の電荷振り分け回数で振り分けられて、前記電荷蓄積部における複数の振分電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量と、前記AD変換回路における前記入力レンジをシフトした電圧とに基づいて、前記距離画像センサと、前記測定空間に存在する前記対象物との間の距離を求める距離画像処理部と
     を備える
     距離画像撮像装置。
  13.  前記距離画像処理部が、前記電荷の量である電荷量に対応した電圧がAD変換された変換電圧に対して、前記入力レンジをシフトしたシフト電圧を加算して、加算結果により、前記距離画像センサと、前記測定空間に存在する前記対象物との間の距離を算出する
     請求項12に記載の距離画像撮像装置。
PCT/JP2019/012656 2019-03-26 2019-03-26 距離画像センサ及び距離画像撮像装置 WO2020194481A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/012656 WO2020194481A1 (ja) 2019-03-26 2019-03-26 距離画像センサ及び距離画像撮像装置
JP2021508449A JP7253846B2 (ja) 2019-03-26 2019-03-26 距離画像センサ及び距離画像撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/012656 WO2020194481A1 (ja) 2019-03-26 2019-03-26 距離画像センサ及び距離画像撮像装置

Publications (1)

Publication Number Publication Date
WO2020194481A1 true WO2020194481A1 (ja) 2020-10-01

Family

ID=72610457

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/012656 WO2020194481A1 (ja) 2019-03-26 2019-03-26 距離画像センサ及び距離画像撮像装置

Country Status (2)

Country Link
JP (1) JP7253846B2 (ja)
WO (1) WO2020194481A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09326699A (ja) * 1996-06-04 1997-12-16 Fujitsu Ltd A/d変換器
JP2005326340A (ja) * 2004-05-17 2005-11-24 Keyence Corp イメージセンサー利用機器、光学式変位計及び光学情報読取装置
US20130126716A1 (en) * 2011-11-17 2013-05-23 Samsung Electronics Co., Ltd. Pixel circuit, depth sensor and operating method
JP2013137242A (ja) * 2011-12-28 2013-07-11 Hamamatsu Photonics Kk 距離測定装置
JP2018136123A (ja) * 2015-06-24 2018-08-30 株式会社村田製作所 距離センサ及びユーザインタフェース装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09326699A (ja) * 1996-06-04 1997-12-16 Fujitsu Ltd A/d変換器
JP2005326340A (ja) * 2004-05-17 2005-11-24 Keyence Corp イメージセンサー利用機器、光学式変位計及び光学情報読取装置
US20130126716A1 (en) * 2011-11-17 2013-05-23 Samsung Electronics Co., Ltd. Pixel circuit, depth sensor and operating method
JP2013137242A (ja) * 2011-12-28 2013-07-11 Hamamatsu Photonics Kk 距離測定装置
JP2018136123A (ja) * 2015-06-24 2018-08-30 株式会社村田製作所 距離センサ及びユーザインタフェース装置

Also Published As

Publication number Publication date
JPWO2020194481A1 (ja) 2020-10-01
JP7253846B2 (ja) 2023-04-07

Similar Documents

Publication Publication Date Title
US8089544B2 (en) Image sensor and driving method therefor
CN113272684A (zh) 具有信号相关有效读出率的高动态范围直接飞行时间传感器
JP7016183B2 (ja) 距離画像撮像装置、および距離画像撮像方法
US9151831B2 (en) Distance measurement device
US11290675B2 (en) Solid-state image sensor and imaging system
JP6825164B1 (ja) 距離画像撮像装置および距離画像撮像装置による距離画像撮像方法
TW202112122A (zh) 距離影像攝像裝置及距離影像攝像方法
CN113518930B (zh) 距离图像传感器以及距离图像拍摄装置
JP6735515B2 (ja) 固体撮像装置
US20220286664A1 (en) Detection device and detection method using avalanche diode array and calibration matrix generating method thereof
WO2021001975A1 (ja) 距離画像撮像装置及び距離画像撮像方法
US20220003876A1 (en) Distance image obtaining method and distance detection device
CN113923384B (zh) 光传感器及其感测方法
WO2020194481A1 (ja) 距離画像センサ及び距離画像撮像装置
WO2021070212A1 (ja) 距離画像撮像装置及び距離画像撮像方法
JP5391127B2 (ja) 時間計測装置および距離計測装置
WO2021235542A1 (ja) 距離画像撮像装置及び距離画像撮像方法
US7218350B2 (en) Image sensor with digital output and inherent pixel non-uniformity suppression
JP2022112388A (ja) 距離画像撮像装置、及び距離画像撮像方法
CN116868087A (zh) 距离图像摄像装置及距离图像摄像方法
CN118056409A (zh) 成像元件及测距装置
JP2022191793A (ja) 距離画像撮像装置及び距離画像撮像方法
JP2023147558A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022003747A (ja) 撮像装置
CN118160320A (zh) 成像元件及测距装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19921368

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021508449

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19921368

Country of ref document: EP

Kind code of ref document: A1