WO2017098725A1 - 固体撮像装置、距離測定装置および距離測定方法 - Google Patents

固体撮像装置、距離測定装置および距離測定方法 Download PDF

Info

Publication number
WO2017098725A1
WO2017098725A1 PCT/JP2016/005075 JP2016005075W WO2017098725A1 WO 2017098725 A1 WO2017098725 A1 WO 2017098725A1 JP 2016005075 W JP2016005075 W JP 2016005075W WO 2017098725 A1 WO2017098725 A1 WO 2017098725A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
distance
signal
solid
state imaging
Prior art date
Application number
PCT/JP2016/005075
Other languages
English (en)
French (fr)
Inventor
基範 石井
信三 香山
征人 竹本
繁 齋藤
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP16872626.3A priority Critical patent/EP3388858A4/en
Priority to JP2017554793A priority patent/JP6823815B2/ja
Priority to CN201680065681.7A priority patent/CN108291961B/zh
Publication of WO2017098725A1 publication Critical patent/WO2017098725A1/ja
Priority to US15/968,918 priority patent/US10838066B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Definitions

  • the present disclosure relates to a solid-state imaging device, a distance measuring device, and a distance measuring method.
  • solid-state imaging devices have been focused on capturing images with high sensitivity and high-definition, but in addition, devices having a function of acquiring distance information from a solid-state imaging device have also appeared recently. If the distance information is added to the image, the three-dimensional information of the subject to be imaged by the solid-state imaging device can be sensed. For example, if a person is photographed, a gesture (gesture) can be detected three-dimensionally, so that it can be used as an input device for various devices. For example, if it is mounted on an automobile, it can recognize the distance to an object / person existing around the own vehicle, so that it can be applied to collision prevention and automatic driving.
  • a gesture gesture
  • FIG. 14 is a solid-state imaging device disclosed in Patent Document 1
  • FIG. 15 is a driving sequence thereof.
  • the projection light has a pulse shape with a certain period.
  • the received light (light pulse reflected by the object) reaches the solid-state imaging device with a delay time Td corresponding to the distance to the object with respect to the projection light (light pulse emitted from the light source).
  • the electric charge generated according to the received light incident on the light receiving element, that is, the photodiode (PD) is distributed to the two nodes according to driving of the two transfer gate transistors TX1 and TX2, and generates signals A and B. .
  • signals C and D are obtained by the same driving in a state where the projection light is turned off.
  • Signals A and B contain background light components, but signals C and D are subtracted, and signals (AC) and signals (BD) are calculated to obtain signals containing only the received light components. can get. At this time, since the ratio of the signal (AC) and the signal (BD) is determined by the delay time Td, distance information can be obtained.
  • the projection light is a pulse
  • the ratio of the signal (AC) and the signal (BD) represents the phase of the pulse
  • This method is called a pulse phase method.
  • the pulse phase method is good when applied to a relatively short distance (several meters) in a room where the background light is relatively weak, but it is problematic when applied to the outdoors or a long distance where the background light is strong.
  • the inventors have found that the following drawbacks exist.
  • the first drawback is that the dynamic range is small. In other words, the measurable distance range is small.
  • the intensity of the received light is proportional to the square of the distance to the object. For example, the intensity ratio between the received light from an object with a distance of 1 m and the received light with the same object at a distance of 100 m is 10000: 1.
  • the saturation electron number of a single pixel of a solid-state imaging device is usually about 10000, when the optical condition is set so that a distance of 100 m can be detected, the received light from an object at a distance of 1 m is saturated, and pulse phase information Will be lost. When the background light is strong, it becomes easier to saturate.
  • the pulse width To of the projection light in the drive sequence diagram 15 is determined according to the distance measurement range. For example, if the distance measurement range is 100 m, To needs 667 nanoseconds, and this cannot be reduced.
  • the signals C and D due to the background light increase in proportion to To, and the noise, that is, light shot noise, is proportional to the square root of the signals C and D.
  • the signals C and D are almost equal to the signals A and B, the optical shot noise becomes extremely large, and the distance cannot be measured with sufficient accuracy.
  • a solid-state imaging device is a solid-state imaging device in which a plurality of pixels are two-dimensionally arranged, and each of the plurality of pixels receives received light. It has a light receiving element that performs photoelectric conversion to be converted into an electric signal, and a photoelectric time for performing photoelectric conversion in the light receiving element is set by an exposure signal, and light reception according to the presence or absence of incident light that reaches the pixel within the photoelectric time
  • a light receiving circuit that outputs a signal, a counter circuit that counts the number of arrivals of the incident light as a count value based on the light receiving signal input from the light receiving circuit, and a value corresponding to the count value is set as a threshold value
  • a comparison circuit that turns on a comparison signal when the count value is larger than the threshold value, the comparison signal, and a time signal that changes with time are input. And a storage circuit for storing the time signal when the emission state as a distance signal.
  • distance information can be acquired by the solid-state imaging device, and distance measurement with a wide measurable distance range can be performed.
  • the solid-state imaging device is a solid-state imaging device that measures a distance based on a time when pulsed light from a light source returns and outputs a distance image representing a distance to an object within one frame period.
  • the period includes a background light detection period, a distance measurement period, and a distance signal output period.
  • the threshold is set, and the distance measurement period is divided into N periods ( N is an integer equal to or greater than 1), and in each of the background light detection period, the distance measurement period, and the distance signal output period, the exposure signal is delayed by a predetermined time with respect to the light pulse emission time from the light source.
  • the threshold value is compared with the count value in each of the N periods of the distance measurement period, and the time period in which the count value is greater than the threshold value No. is stored as the distance signal, in the distance signal output period, the distance signal may be output as the range image.
  • the light receiving circuit may include a plurality of sets in which the light receiving element and the transfer gate transistor are connected in series.
  • the total area of the light receiving elements for receiving light can be increased, and thus the sensitivity to the distance can be further increased.
  • a luminance image amplification transistor is further connected to the light receiving circuit
  • a luminance image selection transistor is further connected to the luminance image amplification transistor.
  • the solid-state imaging device includes the counter circuit, The distance image is obtained by obtaining the distance signal based on the light reception signal through the comparison circuit and the storage circuit, and the light reception signal is obtained through the luminance image amplification transistor and the luminance image selection transistor. A luminance image of an object may be obtained.
  • the light receiving circuit has a plurality of sets in which the light receiving element and the transfer gate transistor are connected in series, and each transfer gate transistor in the plurality of sets is connected to the counter circuit,
  • the solid-state imaging device outputs both the luminance image and the distance image within one frame period, and the background light detection period, the distance measurement period, the distance signal output period, and the luminance image photographing / output within the one frame period.
  • a plurality of transfer gate transistors operate simultaneously in the background light detection period, the distance measurement period, and the distance signal output period, and the plurality of transfer gates in the luminance image capturing / output period. The transistors may operate separately.
  • the light receiving element may be an avalanche photodiode.
  • the received light is not buried in noise, and a distance signal with a high S / N ratio can be obtained.
  • the light receiving circuit may include a light receiving element signal amplification inverter and a light receiving signal switch.
  • the plurality of pixels may further include a second pixel group including a visible light transmission filter.
  • a color image can be formed by obtaining a luminance image using light receiving elements corresponding to R, B, and G.
  • a distance image can be obtained by using infrared light as a light source and using a light receiving element corresponding to infrared light in the first pixel group.
  • distance measurement can be performed with high accuracy even in an environment with strong background light.
  • Each pixel of the second pixel group includes a visible light receiving element, a transfer gate transistor connected to the visible light receiving element, a reset transistor connected to the transfer gate transistor, and the transfer gate. And an amplification transistor connected to the transistor.
  • At least two adjacent pixels each include a visible light receiving element and a transfer gate transistor connected to the visible light receiving element, and the at least two pixels are A common reset transistor and a common amplification transistor connected to each of the transfer gate transistors may be provided.
  • the second pixel group at least two adjacent pixels are provided with a common reset transistor and a common amplification transistor connected to the transfer gate transistor. Therefore, the area of the reset transistor and the amplification transistor can be reduced and the area of the second pixel group can be increased, so that the accuracy of the distance image can be improved.
  • a distance measurement method measures a distance based on a time when pulsed light from a light source is reflected and returned from an object, and displays a distance image within one frame period.
  • the one frame period includes a background light detection period, a distance measurement period, and a distance signal output period.
  • a threshold is set, and the distance measurement is performed.
  • the period is divided into N periods (N is an integer equal to or greater than 1). In each of the background light detection period, the distance measurement period, and the distance signal output period, the light pulse is emitted from the light source.
  • An exposure signal is set after a predetermined time delay, the threshold value is compared with the count value in each of the N periods of the distance measurement period, and the count value is larger than the threshold value.
  • Ku it became period, stores the time signal that varies with respect to time as a distance signal in the distance signal output period, and outputs the distance signal as the range image.
  • distance information can be acquired by the solid-state imaging device, and distance measurement with a wide measurable distance range can be performed.
  • distance measurement can be performed with high accuracy even in an environment with strong background light.
  • the one frame period further includes a luminance image photographing / output period for obtaining a luminance image of the object.
  • the received light signal obtained from the object is You may output as a luminance image.
  • a solid-state imaging device a distance measuring device, and a distance measuring method that have a wide measurable distance range and can measure a distance even in a strong background light environment.
  • FIG. 1 is a schematic diagram illustrating a configuration of the solid-state imaging apparatus according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of a pixel mounted on the solid-state imaging device according to the first embodiment.
  • FIG. 3 is a circuit diagram illustrating a configuration of a pixel mounted on the solid-state imaging device according to the first embodiment.
  • FIG. 4 is a diagram illustrating an operation period included in one frame period of the solid-state imaging device according to the first embodiment.
  • FIG. 5 is a diagram for explaining an operation sequence in the background light detection period of the solid-state imaging device according to the first embodiment.
  • FIG. 6 is a diagram for explaining an operation sequence in the distance measurement period of the solid-state imaging device according to the first embodiment.
  • FIG. 1 is a schematic diagram illustrating a configuration of the solid-state imaging apparatus according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of a pixel mounted on the solid-state imaging device according to the first embodiment.
  • FIG. 7 is a diagram for explaining an operation sequence in the background light detection period of the solid-state imaging device according to the second embodiment.
  • FIG. 8 is a diagram for explaining an operation sequence in the distance measurement period of the solid-state imaging device according to the second embodiment.
  • FIG. 9 is a diagram illustrating a configuration of a pixel mounted on the solid-state imaging device according to the third embodiment.
  • FIG. 10A is a diagram illustrating a configuration of a pixel mounted on the solid-state imaging device according to the fourth embodiment.
  • FIG. 10B is a diagram illustrating a configuration of pixels mounted on the solid-state imaging device according to the fourth embodiment.
  • FIG. 11 is a schematic diagram illustrating a configuration of a solid-state imaging apparatus according to the fourth embodiment.
  • FIG. 12 is a diagram illustrating an operation period included in one frame period of the solid-state imaging device according to the fourth embodiment.
  • FIG. 13 is a diagram illustrating a configuration of pixels mounted on the solid-state imaging device according to the sixth embodiment.
  • FIG. 14 is a diagram illustrating a pixel structure of a distance image sensor according to the related art.
  • FIG. 15 is a diagram illustrating the operation timing of the distance image sensor according to the related art.
  • FIG. 16 is a diagram for explaining the arrangement of pixel regions mounted on the solid-state imaging device according to the seventh embodiment.
  • FIG. 17 is a diagram for explaining the arrangement of pixel regions mounted on the solid-state imaging device according to the eighth embodiment.
  • FIG. 18 is a circuit diagram showing a configuration of a visible light pixel circuit according to the eighth embodiment.
  • FIG. 19 is a diagram for explaining the arrangement of pixel regions mounted on the solid-state imaging device according to the ninth embodiment.
  • FIG. 20 is a circuit diagram showing a configuration of a visible light
  • FIG. 1 is a schematic diagram illustrating a configuration of a distance measuring device including a solid-state imaging device according to the present embodiment.
  • the distance measuring device 1 includes a solid-state imaging device 10, a signal processing device 20, a calculator 30, and a light source 40.
  • the solid-state imaging device 10 is further configured as follows, but is not limited thereto.
  • the solid-state imaging device 10 includes a pixel region 12, a vertical shift register 13, a pixel drive circuit 14, a CDS (Correlated Double Sampling) circuit 15, a horizontal shift register 16, and an output circuit 17. It has.
  • the pixels 100 are two-dimensionally arranged.
  • the vertical shift register 13 selects pixels 100 in a specific row in the pixel area 12. This function is mainly used to sequentially output distance signals from a specific pixel 100.
  • the horizontal shift register 16 is a circuit for sequentially selecting outputs from the pixels 100 in the column direction.
  • the output circuit 17 amplifies and outputs the distance signal from the pixel selected by the vertical shift register 13 and the horizontal shift register 16 if necessary.
  • four output circuits 17 are mounted, but the number may not be four, that is, the number of output circuits 17 may be three or less or five or more.
  • the signal processing device 20 includes an analog front end 21 and a logic memory 22 as shown in FIG.
  • the analog front end 21 converts the analog output signal from the solid-state imaging device 10 into a digital output signal, and if necessary, changes the order of the output signals and outputs it to the logic memory 22. If the output signal from the solid-state imaging device 10 is a digital output signal, the function of converting the analog output signal into the digital output signal is unnecessary, but the function of changing the order of the output signals is necessary. An output signal (distance signal) from the signal processing device 20 is output to the computer 30.
  • the light source 40 projects light to a place where three-dimensional information is desired.
  • the light source 40 has a built-in mechanism for irradiating light to the entire portion where it is desired to obtain three-dimensional information by diffusing light as necessary.
  • pulsed light (pulse light) is output in the time direction.
  • the output time and width of the pulsed light are controlled by the signal processing device 20.
  • the signal processing device 20 controls the solid-state imaging device 10 in synchronization with the control of the light source 40.
  • the solid-state imaging device 10 controls the mounted pixels 100 via the pixel driving circuit 14 and the like according to a signal from the signal processing device 20.
  • the light receiving circuit 101 includes a light receiving element 105, a transfer gate transistor 106, and a reset transistor 107 as shown in FIG.
  • the light receiving element 105 and the transfer gate transistor 106 are connected in series, and the light receiving element 105 and the transfer gate transistor 106 form a set.
  • the transfer gate transistor 106 is connected between the light receiving element 105 and the counter circuit 102.
  • the time for performing photoelectric conversion can be arbitrarily set according to the exposure signal that is an input signal.
  • a function of receiving the reset signal and resetting the light reception signal may be added.
  • a light reception signal when light is received is referred to as “there is a light reception signal”, and a case where light is not received is referred to as “no light reception signal”.
  • the reset function is not added, the function of resetting the electrical signal is added at the same time as the light reception signal is output or within a sufficiently short time.
  • the counter circuit 102 has a charge storage capacitor 108, a counter transistor 109, and a counter capacitor 110 as shown in FIG. An output permission signal 130 is output via the counter capacitor 110.
  • the counter circuit 102 has a function of holding, increasing, and resetting the count value.
  • the counter circuit 102 resets the count value according to the reset signal. Further, the counter circuit 102 detects the light reception signal while the count signal as an input is ON. When the light reception signal is detected, the counter circuit 102 increases the count value by one. That is, the counter circuit 102 counts the number of times the light reception signal reaches the light reception circuit 101.
  • the pixel 100 shown in FIG. 2 further includes a comparison circuit 103 connected to the output of the counter circuit 102.
  • the comparison circuit 103 includes a DC cut capacitor 111, a clamp transistor 112, and an inverter 113 as shown in FIG.
  • the comparison circuit 103 has a function of arbitrarily setting and holding a threshold value for the number of times counted by the counter circuit 102.
  • a threshold setting signal that is an input is turned ON, a threshold corresponding to the count value that is the input is set.
  • the threshold setting signal is OFF, a function for turning ON the comparison signal is added when the count value is larger than the set threshold.
  • the comparison circuit 103 may receive an output permission signal. In this case, the comparison signal is turned ON only when the output permission signal is ON. The output permission signal will be described in the second embodiment.
  • the storage circuit 104 includes an input transistor 114, a storage capacitor 115, and a storage node reset transistor 116, as shown in FIG.
  • the memory circuit 104 has two inputs, and a comparison signal is input to one of them. The other is a signal that changes with time, that is, a time signal.
  • the storage circuit 104 has a function of storing the value of the time signal at this timing when the comparison signal is turned on. Further, of course, the memory circuit 104 is also provided with a function of outputting a stored time signal (this is a distance signal).
  • the distance measuring device 1 including the solid-state imaging device 10 has the configuration shown in FIG. 1 described above, but is not limited thereto.
  • one frame period is divided into a background light detection period, a distance measurement period, and a distance signal output period.
  • the solid-state imaging device 10 performs an operation of repeating the background light detection period, the distance measurement period, and the distance signal output period in this order.
  • FIG. 5 is a diagram for explaining an operation sequence during the background light detection period of the solid-state imaging device 10 according to the present embodiment.
  • FIG. 6 is a diagram for explaining an operation sequence in the distance measurement period of the solid-state imaging device 10 according to the present embodiment.
  • the output of the light source 40 is kept OFF.
  • incident light is detected by the light receiving circuit 101 in the pixel 100 shown in FIG.
  • the light receiving circuit 101 receives light reflected from an object to be imaged (target object) from background light (typically sunlight in the daytime outdoors) existing in the surrounding environment. Will be incident on.
  • the time (exposure time) for performing the photoelectric conversion is set to a second by a circuit installed together with the light receiving circuit 101, and this background light is received.
  • the light receiving circuit 101 sets the state of “there is a light receiving signal”. Thereafter, the count signal is turned ON. At this time, if there is a light reception signal, the counter value increases by one.
  • the reset signal of the light receiving circuit 101 is turned ON, and the electric signal and the light receiving signal inside the light receiving circuit 101 are reset.
  • This series of steps is repeated b times. That is, the counter circuit 102 counts and stores how many times the light has reached among the b exposures.
  • light has reached c times.
  • this assumption is sufficiently established if a is several tens of nanometers or less.
  • a threshold value setting signal is turned ON for the comparison circuit 103, and a threshold value corresponding to c times that is the output value of the counter circuit 102 is set.
  • the operation during the distance measurement period is performed.
  • an object in the range from the closest distance of the solid-state imaging device 10 to R meters is detected as the distance measurement range.
  • the resolution is R / N meters (N is an integer of 1 or more).
  • N is an integer of 1 or more.
  • the distance measurement period is further divided into N periods.
  • Each divided section includes a period 1 for detecting 0 to R / N meter, a period 2 for detecting R / N to 2 R / N meter, ..., ( ⁇ -1) R / N to ⁇ R / N.
  • Period ⁇ for detecting meters ( ⁇ is an integer not less than 1 and not more than N),..., (N ⁇ 1) R / N to R meters.
  • the method of dividing the distance measurement period is not limited to this, and for example, an unequal pitch may be used, but here it will be described as divided as described above.
  • the counter circuit reset signal is turned ON to reset the counter value.
  • the time signal input to the memory circuit 104 is set to ⁇ .
  • the value of the time signal input to the memory circuit 104 is completely arbitrary, and may be different from each other in the periods 1 to N. Furthermore, it may change continuously. (In FIG. 6, the value is constant within the period ⁇ ).
  • the light source 40 is controlled to project a light pulse having a width of a seconds.
  • this light is reflected by an object corresponding to the distance measured in the period ⁇ , that is, an object that is ( ⁇ -1) R / N to ⁇ R / N meters ahead, and enters a certain pixel in the solid-state imaging device 10
  • the light pulse reflected by the object (referred to as received light) is compared to the time when the light pulse emitted from the light source (referred to as projection light) is emitted.
  • the solid-state imaging device 10 is reached with a delay.
  • V is the speed of light. Accordingly, if the exposure signal of the light receiving circuit 101 is set so that exposure starts at this time and exposure is performed for a second, it is possible to detect light received from an object within this distance range. Thereafter, the counter circuit 102 counts the number of times the received light is detected by the count signal, that is, the number of times the light has reached. Thereafter, resetting is performed by a reset signal of the light receiving circuit 101.
  • the exposure is repeated b times in the above-described procedure, and the counter circuit 102 counts the number of times the light has reached. If there is no object within the distance range corresponding to the period ⁇ , the expected value of the count is c times as the background light component and is smaller than the threshold value d, so that the operation of the comparison circuit 103 at the subsequent stage does not change. .
  • the expected count value is f times, which is a value exceeding c times. That is, when the received light intensity is sufficiently large, f> d (Formula 2) Meet.
  • the output permission signal of the comparison circuit 103 is turned ON.
  • the comparison signal is turned on and the time signal is stored as a distance signal. If Equation 2 is not satisfied, the stored distance signal (or possibly the initial value) does not change.
  • the storage circuit 104 of each pixel stores a signal corresponding to the distance to the object captured by each pixel, that is, a distance signal.
  • the exposure time in the background light detection period and the exposure time in the distance measurement period are the same, and the number of light pulses in the background light detection period and the number of light pulses in the distance measurement period are the same. Absent. However, when making it different, it will deform
  • the delay time of the exposure signal with respect to the light pulse emission time in each period is not limited to this, and various variations can be easily considered.
  • the pulse phase method when considered in a simplified manner, it is a method of measuring the distance by changing the intensity of the received light, and therefore measurement is impossible when the saturation level of the pixel is exceeded.
  • the received light intensity is inversely proportional to the square of the distance to the object, and is proportional to the reflectance of the object. For example, assume that the maximum measurement distance is 100 meters, and the reflectance of the object to be measured is 10% to 100%. At this time, the ratio of the received light intensity from an object with a reflectance of 100% at a distance of 1 meter and the received light intensity from an object with a reflectance of 10% at a distance of 100 meters reaches 100,000: 1.
  • the number of saturated electrons of a single pixel of a general solid-state imaging device is about 10,000, it means that the above two cannot be measured simultaneously.
  • the most affected by the background light is when measuring the object at the farthest distance, that is, an R meter ahead. This is because the intensity of the reflected light from the object of background light does not depend on the distance to the object, whereas the received light from the light source is inversely proportional to the square of the distance. That is, the S / N ratio in the received light decreases as the distance increases.
  • the conditions of received light that can be measured are calculated.
  • the unit of energy is the number of photons.
  • the number of incident peak photons per unit time of the received light to a single pixel is S (the value obtained by converting the incident peak power to the number of photons).
  • S is determined by the energy of the light source, the reflectance of the object, and the distance.
  • B is the number of photons per unit time of the incident light component due to background light.
  • the width of a single light pulse and the exposure time for detecting it are the time to pass at twice the distance range corresponding to one period at the speed of light, that is, The following is sufficient.
  • the width of a single light pulse and the exposure time for detecting it are equal to Equation 8.
  • the total energy of the received light incident on a single pixel in one period is It becomes.
  • the number of pulses per period and the peak energy are assumed to be equal.
  • the light energy from the incident background light is The light shot noise of this light is It is.
  • the threshold d is at least required to be larger than the sum of Expression 10 and Expression 11. In addition, it is necessary to further increase the threshold value d in order to avoid erroneously determining that it has arrived in a period in which the received light does not arrive.
  • Equation 13 is It becomes. Comparing Equation 14 and Equation 7, at least when N> ⁇ , the distance measurement method using the solid-state imaging device 10 can perform measurement with a light source energy smaller than the pulse phase method. It can be seen that the resistance to background light is high. If distance measurement by the solid-state imaging device 10 is used when performing gesture recognition or obstacle detection by mounting on an automobile, since N> 100 is required at least, it is substantially smaller than the pulse phase method. It turns out that light source energy is sufficient.
  • the main component of noise is light shot noise of the received light component, and other noise can be ignored.
  • the light shot noise component of the received light component is substantially equal to the light shot noise with respect to the light energy T. It is. A necessary condition for calculating the accuracy R / N meter is that T can be measured with an accuracy of T / N or less. That is,
  • the measurable distance range is wide, and the distance can be measured even in the environment of strong background light.
  • each block in the pixel 100 shown in FIG. 2 will be disclosed.
  • the circuit configuration shown is merely an example and is not limited thereto. It should be noted that a certain block may naturally be a disclosed circuit configuration, and a certain block may be a circuit having the function described in the first embodiment.
  • FIG. 7 is a diagram for explaining an operation sequence in the background light detection period of the solid-state imaging device according to the present embodiment.
  • FIG. 8 is a diagram for explaining an operation sequence in the distance measurement period of the solid-state imaging device according to the present embodiment.
  • the configuration of the solid-state imaging device 10 is the same as the configuration of the solid-state imaging device 10 according to the first embodiment.
  • the pixel 100 of the solid-state imaging device 10 according to the present embodiment will be described.
  • the description overlapping with the solid-state imaging device 10 according to the first embodiment will be omitted as appropriate.
  • the signal light from the light source 40 is turned off as in the first embodiment.
  • incident light to the solid-state imaging device 10 is only due to background light.
  • the transfer gate transistor 106 is turned on by turning on the transfer gate pulse for a second in the transfer gate transistor 106.
  • the light receiving element 105 is reset by turning off the reset transistor 107 before turning on the transfer gate transistor 106 and then turning on the transfer gate pulse.
  • the charge corresponding to the incident light is accumulated in the charge storage capacitor 108 via the transfer gate transistor 106.
  • a counter trigger that is a voltage applied to the gate of the counter transistor 109 is turned on, and the charge is transferred to the counter capacitor 110.
  • the comparison circuit threshold setting signal is turned on, and this signal is applied to the clamp transistor 112, whereby the voltage of the counter capacitor 110 corresponding to the background light is stored as the voltage across the DC cut capacitor 111. During this time, the voltage of the output permission signal is set to the voltage E.
  • the period is divided into a plurality of periods as in the first embodiment.
  • FIG. 8 shows an operation sequence in the distance measurement period.
  • the reset transistor 107 is turned on in advance to reset the charge of the charge storage capacitor 108.
  • the selection transistor 118 is turned on. At this time, the voltage stored in the storage capacitor 115 is output by the amplification transistor 117. An offset voltage unique to the amplification transistor 117 is actually superimposed on the output voltage. Thereafter, the storage node reset transistor 116 is turned on to reset the voltage of the storage capacitor 115. The output voltage from the amplification transistor 117 after the storage node reset transistor 116 is turned off is read out, and the offset voltage can be removed by the CDS circuit 15 in the solid-state imaging device 10, and a distance signal can be obtained.
  • the solid-state imaging device is different from the solid-state imaging device according to the first embodiment in that the light receiving circuit includes a plurality of sets of light receiving elements and transfer gate transistors.
  • the light receiving circuit 201 includes light receiving elements 205a, 205b, 205c, and 205d, transfer gate transistors 206a, 206b, 206c, and 206d, and a reset transistor 207.
  • the configuration other than the light receiving circuit 201 is the same as that of the pixel 300 shown in FIG.
  • the light receiving elements 205a, 205b, 205c, and 205d and the transfer gate transistors 206a, 206b, 206c, and 206d each constitute a set, and a plurality of sets are connected in parallel.
  • the ON / OFF operations of the transfer gate transistors 206a, 206b, 206c, and 206d are performed simultaneously.
  • the total area of the light receiving elements for receiving light can be increased. Thereby, the sensitivity to the object with respect to the distance can be further increased.
  • FIGS. 10A to 12 A solid-state imaging device according to the fourth embodiment will be described with reference to FIGS. 10A to 12.
  • 10A and 10B are diagrams illustrating a configuration of a pixel mounted on the solid-state imaging device according to the present embodiment.
  • FIG. 11 is a schematic diagram illustrating the configuration of the solid-state imaging device according to the present embodiment.
  • FIG. 12 is a diagram illustrating an operation in one frame period of the solid-state imaging device according to the present embodiment.
  • the solid-state imaging device is different from the solid-state imaging device according to the first embodiment in that a pixel includes a luminance image amplification transistor and a luminance image selection transistor.
  • the solid-state imaging device 10 obtains a distance image by obtaining a distance signal based on the received light signal via the counter circuit 102, the comparison circuit 103, and the storage circuit 104, and obtains the luminance image amplification transistor 301 and the luminance image selection transistor.
  • a luminance image of the object is obtained by obtaining a light reception signal via 302.
  • the pixels 500 are two-dimensionally arranged.
  • the configuration of the pixel 500 is the pixel 300 or 400 described above.
  • the configuration of the vertical shift register 53, the pixel drive circuit 54, the CDS circuit 55, the horizontal shift register 56, and the output circuit 57 is the same as that of the vertical shift register 13, the pixel drive circuit 14, and the CDS circuit 15 described in the first embodiment. Since it is the same as the horizontal shift register 16 and the output circuit 17, detailed description is omitted.
  • the solid-state imaging device 50 includes two output circuits 57, but a solid-state imaging device other than two is naturally conceivable. For example, a solid-state imaging device including four output circuits 17 may be used like the solid-state imaging device 10 shown in the first embodiment.
  • a luminance image of an object can be obtained by obtaining a light reception signal through the luminance image amplification transistor 301 and the luminance image selection transistor 302.
  • the luminance image capturing / output period is a period for acquiring a luminance image of a subject (a so-called black and white image) or a color image when a color filter is mounted on the pixel 500.
  • the same operation is performed for all the pixels 500 using the method described in Embodiment 1, 2, or 4.
  • a voltage corresponding to the distance is stored in the storage capacitor 115 of each storage circuit 104.
  • the luminance / distance selection switch 60 is first selected on the distance signal line 59 side.
  • the voltage of the storage capacitor 115 in the pixel 500 of the selected row is set to the CDS circuit 55. Read to. Thereafter, the storage node reset transistor 116 is turned on to reset the voltage applied to the storage capacitor 115. After the storage node reset transistor 116 is turned OFF, the reset voltage of the storage capacitor 115 is read out to the distance signal line 59 via the amplification transistor 117, and this voltage is subtracted from the voltage read out to the CDS circuit 55 earlier. A distance signal can be obtained. The distance signal is read out through the output circuit 57 while sequentially scanning the column with the horizontal shift register 56.
  • the luminance / distance selection switch 60 is selected on the luminance signal line 58 side.
  • the luminance signal that is, the luminance image of the subject. (Usually simply called “image”).
  • a plurality of transfer gate transistors 406a, 406b, 406c, and 406d are operated simultaneously (that is, the gates of the plurality of transfer gate transistors 406a, 406b, 406c, and 406d are short-circuited). (Equivalent operation) or may be operated separately. That is, it is arbitrary whether the plurality of light receiving circuits 401 are operated simultaneously or separately. In the former case, it can be considered that there is only one light receiving circuit on the circuit, so it can be considered in the same manner as in FIG. 10A.
  • the resolution of the luminance image can be set to be the number of light receiving elements (photodiodes) in the pixel with respect to the resolution of the distance image.
  • the configuration and driving of the solid-state imaging device 50 will be described.
  • the light receiving elements 405a, 405b, 405c, and 405d are all assumed to have the same shape. In general, it is considered desirable to uniformly arrange the light receiving elements 405a, 405b, 405c, and 405d in the area where the pixels 400 are arranged on the solid-state imaging device 50. For example, when there are four light receiving elements (light receiving elements 405a, 405b, 405c, and 405d), an arrangement of 2 rows and 2 columns is performed.
  • kTC noise is generated when the counter transistor 109 is turned on or off.
  • the value of the kTC noise depends on the capacitance values of the charge storage capacitor 108 and the counter transistor 109, but when the capacitance value of the charge storage capacitor 108 and the counter transistor 109 is several fF, it becomes several tens of electrons.
  • the intensity of the received light is weak and the charge generated by the light receiving element 105 is about one electron with respect to the kTC noise value of several tens of electrons, the received light is buried in the kTC noise.
  • an avalanche photodiode exhibits the same operation as a normal photodiode when the applied voltage is lowered (usually several volts), and is increased when the applied voltage is increased (generally several tens to 100 volts). Operates in a high Geiger mode.
  • FIG. 13 is a diagram illustrating a configuration of a pixel mounted on the solid-state imaging device according to the present embodiment.
  • the solid-state imaging device is different from the solid-state imaging device according to the third embodiment in that the light receiving circuit includes an inverter and a light receiving signal switch in addition to the light receiving element and the transfer gate transistor.
  • the pixel 600 mounted on the solid-state imaging device includes a light receiving circuit 601, a counter circuit 102, a comparison circuit 103, and 104 memory circuits.
  • the configuration other than the light receiving circuit 601 is the same as that of the pixel 300 illustrated in FIG.
  • the light receiving circuit 601 includes a light receiving element 605, a transfer gate transistor 606, a reset transistor 607, a light receiving element signal amplification inverter 608, and a light receiving signal switch 609.
  • the set of the light receiving element 605 and the transfer gate transistor 606 may be single (described in FIG. 13) or plural (not illustrated in FIG. 10A). And the same procedure as in FIG. 10B).
  • the charge generated by the light receiving element 605 can be amplified to a light receiving signal having a large amplitude by the light receiving element signal amplifying inverter 608 to obtain a binary signal. If this signal is input to the counter circuit 102 by turning on the light reception signal switch 609, the light reception signal can be binarized.
  • the set of the light receiving element and the transfer gate transistor constituting the light receiving circuit may be a single set or a plurality of sets.
  • the light receiving circuit may be connected to a luminance image amplification transistor and a luminance image selection transistor.
  • the light receiving circuit may include a light receiving element signal amplification inverter and a light receiving signal switch.
  • FIG. 16 is a diagram for explaining the arrangement of pixel regions mounted on the solid-state imaging device according to the present embodiment.
  • one pixel 200 receives light receiving elements 205a, 205b, 205c, and 205d (for those that receive visible light).
  • a light receiving circuit 201 (which may be referred to as a visible light receiving element hereinafter) (a light receiving circuit similar to the light receiving circuit 201 shown in FIG. 9), and a signal processing circuit 210 (the counter circuit 102 and the comparison circuit 103 shown in FIG. 9).
  • the plurality of pixels 200 in the pixel region 12 includes a first pixel group including an infrared transmission filter and a second pixel group including a visible light transmission filter.
  • red (R), blue (B), green (G), and infrared (IR) two corresponding light receiving elements 205a, 205b, 205c, and 205d are set as one set, which is two-dimensional. Is arranged.
  • One pixel circuit 200 shown in FIG. 9 is mounted in this set of areas.
  • a total of four light receiving elements 205a, 205b, 205c, and 205d described above are mounted.
  • Each of the light receiving elements corresponds to R, G, B, and IR.
  • the light receiving element 205a disposed at the position R includes a red transmission filter disposed on the light receiving surface and receives only red light.
  • the light receiving element 205c disposed at the position B includes a blue transmission filter disposed on the light receiving surface and receives only blue light.
  • the light receiving element 205b disposed at the position G includes a green transmission filter disposed on the light receiving surface and receives only green light.
  • the light receiving element 205d disposed at the IR position includes an infrared transmission filter disposed on the light receiving surface, and receives only infrared light.
  • a color image can be configured by obtaining a luminance image using the light receiving elements 205a, 205b, and 205c corresponding to R, B, and G.
  • the distance image can be obtained by using infrared light as the light source 40 and using the light receiving element 205d corresponding to IR.
  • the driving method may be a method similar to the method shown in the third embodiment. However, when a luminance image is obtained, only the transfer gate transistor 206a connected to the light receiving elements 205a, 205b, and 205c corresponding to R, B, and G is driven. On the other hand, when obtaining a distance image, only the transfer gate transistor 406 connected to the light receiving element 205d corresponding to IR has to be driven.
  • one set of the light receiving elements 205a, 205b, 205c, and 205d for detecting R, B, G, and IR is arranged, but an arrangement in which a plurality of each is present is also conceivable.
  • FIG. 17 is a diagram for explaining the arrangement of pixel regions mounted on the solid-state imaging device according to the present embodiment.
  • the inside of the square is the same as FIG.
  • FIG. 18 is a circuit diagram showing a configuration of a visible light pixel circuit according to the present embodiment.
  • red (R), blue (B), green (G), and infrared (IR) are set as one set and correspond to red (R), blue (B), green (G), and infrared (IR).
  • Pixels having the light receiving circuits 700a, 700b, 700c, and 700d are two-dimensionally arranged. At the IR position, a light receiving circuit 700d having the same configuration as that of the light receiving circuit 101 shown in FIG. 3 or 10A is mounted.
  • Light receiving circuits 700a, 700b, and 700c are mounted at positions R, B, and G.
  • the light receiving circuits 700a, 700b, and 700c have the same configuration as the visible light pixel circuit 700 shown in FIG.
  • the visible light pixel circuit 700 will be described.
  • the visible light pixel circuit 700 shown in FIG. 18 has the same configuration as the light receiving circuit 101, the luminance image amplification transistor 301 and the luminance image selection transistor 302 shown in FIG. 10A. Specifically, a light receiving element 701 in which a visible light (for example, red light, blue light, and green light) transmission filter is disposed on the light receiving surface, a transfer gate transistor 702, a reset transistor 703, and a luminance image amplification transistor 704. And a luminance image selection transistor 705. Since the configuration of the visible light pixel circuit 700 is the same as that of a general CMOS sensor pixel circuit, description of the driving method is omitted.
  • a visible light for example, red light, blue light, and green light
  • a color image can be configured by obtaining a luminance image using the light receiving elements 701 corresponding to R, B, and G, respectively.
  • the distance image can be obtained by using infrared light as the light source 40 and using the light receiving element 701 corresponding to IR.
  • the visible light pixel circuit 700 shown in FIG. 10A is used at the IR position, a luminance image using IR light can also be obtained.
  • the arrangement method of R, B, G, and IR is not limited to the above, and may be changed as appropriate.
  • FIG. 19 is a diagram for explaining the arrangement of pixel regions mounted on the solid-state imaging device according to the present embodiment.
  • the inside of the square is the same as in FIGS.
  • FIG. 20 is a circuit diagram showing a configuration of a visible light pixel circuit according to the present embodiment.
  • FIG. 19 First, as shown in FIG. 19, four light-receiving elements are built in each of the pixels IR arranged in the vertical direction. An infrared transmission filter is disposed on the light receiving surface of these light receiving elements, and only infrared light is detected by the light receiving elements. Furthermore, the pixel circuit shown in FIG. 9 or FIG. 10A is built in these four pixel areas. This pixel circuit has the same configuration as the pixel circuit 101 or 201 shown in FIG. 9 or 10A.
  • R, G, R, and G are written from the top, and light receiving elements 801a, 801b, and 801c in which red, green, red, and green transmission filters are arranged on the light receiving surface, respectively. , 801d (see FIG. 20).
  • the visible light pixel circuit 800 shown in FIG. 20 is mounted in the four pixel areas (Note that the light receiving elements 801a, 801b, 801c, and 801d shown in FIG. 20 include visible light receiving elements. )
  • a visible light pixel circuit 800 shown in FIG. 20 includes light receiving elements 801a, 801b, 801c, and 801d, a transfer gate transistor 802, a reset transistor 803, a luminance image amplification transistor 804, and a luminance image selection transistor 805. .
  • the visible light pixel circuit 800 has the same configuration as the light receiving circuit 101 or 201, the luminance image amplification transistor 301 and the luminance image selection transistor 302 shown in FIG. 9 or 10A.
  • the visible light pixel circuit 800 is a circuit that is often used in a general CMOS image sensor, and thus description of the driving method is omitted.
  • the distance image can be obtained by driving a portion on which the light receiving circuit 101 or 201 shown in FIG. 9 or 10A is mounted.
  • the light receiving circuit 201 shown in FIG. 10A is used, an infrared luminance image can be further obtained.
  • a pixel having an IR transmission filter and a light receiving element for IR is provided with a first pixel group, a visible light (for example, red light, blue light, and green light) transmission filter, and R, G , B corresponds to the second pixel group.
  • a visible light for example, red light, blue light, and green light
  • the second pixel group at least two adjacent pixels include a common reset transistor and a common amplification transistor connected to the transfer gate transistor. Accordingly, the area of the reset transistor and the amplification transistor can be reduced and the area of the second pixel group can be increased, so that the accuracy of the distance image can be improved. In order to increase the accuracy of the distance image, it is desirable that the area of the first pixel group including the infrared transmission filter is larger than 25% of the entire area of the pixel region 12.
  • the pixel arrangement according to the present embodiment is not limited to the arrangement shown in FIG. In the case of other arrangements, the number of sets of light receiving elements and transfer gates may be appropriately increased or decreased in the circuits shown in FIGS. 9, 10A, and 20 (an example is shown in FIGS. 9, 10A, and 20). As four sets).
  • the solid-state imaging device according to the present invention can be applied to automobile equipment, distance measuring device and the like for collision prevention or automatic driving.

Abstract

固体撮像装置（１０）において、複数の画素（１００）のそれぞれは、光電変換を行う受光素子（１０５）を有し、受光素子（１０５）において光電変換を行う光電時間を露光信号により設定し、光電時間内に画素（１００）に到達した入射光の有無に応じた受光信号を出力する受光回路（１０１）と、受光回路（１０１）から入力された受光信号に基づいて、入射光の到達回数をカウント値として計数するカウンタ回路（１０２）と、カウント値に応じた値を閾値として設定し、閾値に対してカウント値が大きい場合に比較信号をオン状態とする比較回路（１０３）と、比較信号と時間信号とが入力され、比較信号がオン状態のとき時間信号を距離信号として記憶する記憶回路（１０４）とを備える。

Description

固体撮像装置、距離測定装置および距離測定方法
　本開示は、固体撮像装置、距離測定装置および距離測定方法に関する。
　従来、固体撮像装置は画像を高感度、高精細に撮像することに注力されてきたが、それに加えて固体撮像装置からの距離情報も取得できる機能を併せ持つものも近年登場してきた。画像に距離情報が加われば固体撮像装置の撮影対象の三次元的な情報が感知できることになる。例えば、人物を撮影すれば、しぐさ（ジェスチャー）を三次元的に検知できるので、様々な機器の入力装置として使用できる。さらに例示すると、自動車に搭載すれば自車の周囲に存在する物体・人物との距離を認識できるので衝突防止や自動運転などに応用できる。
　固体撮像装置から物体までの距離測定に使用される数々の方法の中に、光を固体撮像装置付近から物体に向けて照射されてから、物体により反射し固体撮像装置に帰還するまでの時間を測定するＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）法がある。複眼方式などの他の方法と比較すれば、固体撮像装置の他に光源が必要になることが短所である。一方、光源を強くすれば、遠方の物体までの距離を高分解能で測定できることが長所である。固体撮像装置にＴＯＦ法を適用して三次元的な情報を得る方法としては、例えば特許文献１に掲載された技術がある。
特開２００４－２９４４２０号公報
　図１４は、特許文献１に開示された固体撮像装置、図１５はその駆動シーケンスである。駆動シーケンス図１５において、投射光はある周期を持ったパルス形状である。受信光（物体で反射した光パルス）は投射光（光源から発射した光パルス）に対して物体までの距離に対応した遅れ時間Ｔｄを持って固体撮像装置に到達する。受光素子、すなわちフォトダイオード（ＰＤ）に入射する受信光に応じて生成される電荷は、２つのトランスファゲートトランジスタＴＸ１、ＴＸ２の駆動に応じて２つのノードに振り分けられ、信号Ａ、Ｂを生成する。そのあと、投射光をＯＦＦにした状態で同様の駆動により信号Ｃ、Ｄを得る。信号Ａ、Ｂは背景光の成分が含まれているが、信号Ｃ、Ｄを差し引き、信号（Ａ－Ｃ）、信号（Ｂ－Ｄ）を計算することにより受信光成分だけが含まれる信号が得られる。このとき信号（Ａ－Ｃ）と信号（Ｂ－Ｄ）の比は遅れ時間Ｔｄで決定されるので距離情報を得ることができる。
　投射光はパルスであり、信号（Ａ－Ｃ）と信号（Ｂ－Ｄ）の比はパルスの位相を表すので、この方法をパルス位相法と呼ぶことにする。パルス位相法は、背景光の比較的弱い室内で、比較的近距離(数ｍ程度)に適用する場合にはよいが、背景光の強い野外や遠距離に適用する場合に対して問題となる以下の欠点が存在することに発明者らは気づいた。
　欠点の１点目は、ダイナミックレンジが小さいことである。言い換えると、測定可能な距離のレンジが小さいことである。受信光の強度は、物体までの距離の二乗に比例する。例えば、距離１ｍの物体からの受信光と、それと同じ物体で距離１００ｍの場合の受信光との強度比は１００００：１になる。ところが、固体撮像装置の単一画素の飽和電子数は通常１００００程度なので、距離１００ｍが検知可能な光学条件に設定した場合、距離１ｍの物体からの受信光は飽和してしまい、パルスの位相情報が失われることになる。背景光が強い場合、さらに飽和しやすくなる。
　欠点の２点目は、強い背景光に対する耐性が低いということである。以下説明すると、駆動シーケンス図１５における投射光のパルス幅Ｔｏは、距離測定レンジに応じて決定される。例えば距離測定レンジが１００ｍの場合であれば、Ｔｏは６６７ナノ秒必要であり、これを小さくすることはできない。一方、背景光による信号Ｃ、ＤはＴｏに比例して増加し、そのノイズ、すなわち光ショットノイズは信号Ｃ、Ｄの平方根に比例する。信号Ａ、Ｂに対して信号Ｃ、Ｄがそれぞれほとんど等しい場合、上記光ショットノイズが極めて大きくなり、十分な精度をもって距離を測定できない。
　上記課題に鑑み、本開示は、測定可能距離レンジが広く、強い背景光の環境下においても距離測定が可能である固体撮像装置、距離測定装置および距離測定方法を提供することを目的とする。
　上記課題を解決するために、本発明の一態様にかかる固体撮像装置は、複数の画素が二次元状に配列された固体撮像装置であって、前記複数の画素のそれぞれは、受光した光を電気信号に変換する光電変換を行う受光素子を有し、前記受光素子において光電変換を行う光電時間を露光信号により設定し、前記光電時間内に前記画素に到達した入射光の有無に応じた受光信号を出力する受光回路と、前記受光回路から入力された前記受光信号に基づいて、前記入射光の到達回数をカウント値として計数するカウンタ回路と、前記カウント値に応じた値を閾値として設定し、前記閾値に対して前記カウント値が大きい場合に比較信号をオン状態とする比較回路と、前記比較信号と、時間に対して変化する時間信号とが入力され、前記比較信号がオン状態のとき前記時間信号を距離信号として記憶する記憶回路とを備える。
　これにより、固体撮像装置によって距離情報を取得することができ、かつ、測定可能距離レンジが広い距離測定を行うことができる。
　また、前記固体撮像装置は、光源からのパルス光が帰還する時間により距離を測定し、１フレーム期間内に対象物までの距離を表す距離画像を出力する固体撮像装置であって、前記１フレーム期間には、背景光検知期間、距離測定期間および距離信号出力期間が含まれており、前記背景光検知期間において、前記閾値が設定され、前記距離測定期間は、Ｎ個の期間に区分され（Ｎは１以上の整数）、前記背景光検知期間、前記距離測定期間および前記距離信号出力期間の各期間において、前記光源からの光パルスの発射時刻に対し所定の時間だけ遅れて前記露光信号が設定され、前記距離測定期間の前記Ｎ個の期間のそれぞれにおいて、前記閾値と前記カウント値が比較され、前記閾値よりも前記カウント値が大きくなった期間で前記時間信号が距離信号として記憶され、前記距離信号出力期間において、前記距離信号が前記距離画像として出力されてもよい。
　これにより、強い背景光の環境下においても、精度よく距離測定を行うことができる。
　また、前記受光回路は、光電変換により発生した電荷を輸送するトランスファゲートトランジスタを有し、前記トランスファゲートトランジスタは、前記受光素子と前記カウンタ回路との間に接続されていてもよい。
　また、前記受光回路は、前記受光素子と前記トランスファゲートトランジスタとが直列に接続された組を複数組有していてもよい。
　これにより、受光回路において、受光のための受光素子の総面積を増加させることができので、距離に対する感度をより高めることができる。
　また、前記受光回路には、輝度画像用増幅トランジスタがさらに接続され、前記輝度画像用増幅トランジスタには、さらに輝度画像用選択トランジスタが接続されており、前記固体撮像装置は、前記カウンタ回路、前記比較回路および前記記憶回路を介して前記受光信号に基づく前記距離信号を得ることにより距離画像を得、輝度画像用増幅トランジスタと前記輝度画像用選択トランジスタとを介して前記受光信号を得ることにより対象物の輝度画像を得てもよい。
　これにより、距離画像と輝度画像とを同時に得ることができる。
　また、前記受光回路は、前記受光素子と前記トランスファゲートトランジスタとが直列に接続された組を複数組有し、前記複数組における各前記トランスファゲートトランジスタは、前記カウンタ回路に接続されており、前記固体撮像装置は、１フレーム期間内に前記輝度画像と前記距離画像の両方を出力し、前記１フレーム期間内には、背景光検知期間、距離測定期間、距離信号出力期間および輝度画像撮影・出力期間が含まれており、前記背景光検知期間、前記距離測定期間および前記距離信号出力期間において、複数の前記トランスファゲートトランジスタは同時に動作し、前記輝度画像撮影・出力期間において、前記複数のトランスファゲートトランジスタは別々に動作してもよい。
　これにより、距離画像と輝度画像とをそれぞれ精度よく得ることができる。
　また、前記受光素子は、アバランシェ・フォトダイオードであってもよい。
　これにより、受信光がノイズに埋もれてしまうことがなくなり、高いＳＮ比の距離信号を得ることができる。
　また、前記受光回路は、受光素子信号増幅用インバータと、受光信号スイッチとを含んでもよい。
　これにより、受光素子によって生成された電荷を振幅の大きな受光信号に増幅し、２値信号にすることができる。
　また、前記複数の画素は、さらに、可視光透過フィルタを備える第２の画素群を備えてもよい。
　これにより、第２の画素群において、Ｒ、Ｂ、Ｇに対応する受光素子を用いて輝度画像を得ることにより、カラー画像を構成することができる。また、光源として赤外線を用い、第１の画素群において、赤外光に対応する受光素子を用いることにより距離画像を得ることができる。
　また、上記課題を解決するため、本発明の一態様にかかる距離測定装置は、上述した特徴を有する固体撮像装置と、光源と、前記光源の制御と同期させて前記固体撮像装置を制御する信号処理装置とを備え、前記光源から照射した光が対象物において反射した反射光を前記固体撮像装置で受光し、前記光源からの光パルスの発射時刻と前記固体撮像装置において前記反射光を受光した時刻とから、前記光源から前記対象物までの距離画像を前記信号処理装置により出力する。
　これにより、測定可能距離レンジが広い距離測定を行うことができる。また、強い背景光の環境下においても、精度よく距離測定を行うことができる。
　また、前記第２の画素群の各画素は、可視光用受光素子と、前記可視光用受光素子に接続されたトランスファゲートトランジスタと、前記トランスファゲートトランジスタに接続されたリセットトランジスタと、前記トランスファゲートトランジスタに接続された増幅トランジスタとを備えてもよい。
　これにより、赤外光の位置に第２の画素群における可視光用受光素子を用いる場合、ＩＲ光を用いた輝度画像も得ることができる。
　また、前記第２の画素群において、隣接する少なくとも２つの画素は、それぞれ、可視光用受光素子と、前記可視光用受光素子に接続されたトランスファゲートトランジスタとを備え、前記少なくとも２つの画素は、前記各トランスファゲートトランジスタに接続された共通のリセットトランジスタ及び共通の増幅トランジスタを備えてもよい。
　これにより、第２の画素群において、隣接する少なくとも２つの画素は、トランスファゲートトランジスタに接続された共通のリセットトランジスタ及び共通の増幅トランジスタを備えることとなる。したがって、リセットトランジスタおよび増幅トランジスタの面積を小さくして第２の画素群の面積を大きくすることができるので、距離画像の精度を向上することができる。
　また、上記課題を解決するため、本発明の一態様にかかる距離測定方法は、光源からのパルス光が対象物において反射して帰還する時間により距離を測定し、１フレーム期間内に距離画像を出力する距離測定方法であって、前記１フレーム期間には、背景光検知期間、距離測定期間および距離信号出力期間が含まれており、前記背景光検知期間において、閾値が設定され、前記距離測定期間は、Ｎ個の期間に区分され（Ｎは１以上の整数）、前記背景光検知期間、前記距離測定期間および前記距離信号出力期間の各期間において、前記光源からの光パルスの発射時刻に対し所定の時間だけ遅れて露光信号を設定し、前記距離測定期間の前記Ｎ個の期間のそれぞれにおいて前記閾値とカウント値を比較し、前記閾値よりも前記カウント値が大きくなった期間において、時間に対して変化する時間信号を距離信号として記憶し、前記距離信号出力期間において、前記距離信号を前記距離画像として出力する。
　これにより、固体撮像装置によって距離情報を取得することができ、かつ、測定可能距離レンジが広い距離測定を行うことができる。また、強い背景光の環境下においても、精度よく距離測定を行うことができる。
　また、前記１フレーム期間内には、さらに、対象物の輝度画像を得る輝度画像撮影・出力期間が含まれており、前記輝度画像撮影・出力期間において、前記対象物から得た受光信号を前記輝度画像として出力してもよい。
　これにより、距離画像と輝度画像とを同時に得ることができる。
　本開示によれば、測定可能距離レンジが広く、強い背景光の環境下においても距離測定が可能である固体撮像装置、距離測定装置および距離測定方法を提供することができる。
図１は、実施の形態１にかかる固体撮像装置の構成を示す概略図である。 図２は、実施の形態１にかかる固体撮像装置に搭載する画素の構成を示すブロック図である。 図３は、実施の形態１にかかる固体撮像装置に搭載する画素の構成を示す回路図である。 図４は、実施の形態１にかかる固体撮像装置の１フレーム期間に含まれる動作期間を示す図である。 図５は、実施の形態１にかかる固体撮像装置の背景光検知期間の動作シーケンスについて説明するための図である。 図６は、実施の形態１にかかる固体撮像装置の距離測定期間の動作シーケンスについて説明するための図である。 図７は、実施の形態２にかかる固体撮像装置の背景光検知期間の動作シーケンスについて説明するための図である。 図８は、実施の形態２にかかる固体撮像装置の距離測定期間の動作シーケンスについて説明するための図である。 図９は、実施の形態３にかかる固体撮像装置に搭載する画素の構成を示す図である。 図１０Ａは、実施の形態４にかかる固体撮像装置に搭載する画素の構成を示す図である。 図１０Ｂは、実施の形態４にかかる固体撮像装置に搭載する画素の構成を示す図である。 図１１は、実施の形態４にかかる固体撮像装置の構成を示す概略図である。 図１２は、実施の形態４にかかる固体撮像装置の１フレーム期間に含まれる動作期間を示す図である。 図１３は、実施の形態６にかかる固体撮像装置に搭載する画素の構成を示す図である。 図１４は、従来技術にかかる距離画像センサの画素構造を示す図である。 図１５は、従来技術にかかる距離画像センサの動作タイミングを示す図である。 図１６は、実施の形態７に係る固体撮像装置に搭載する画素領域の配列を説明する図である。 図１７は、実施の形態８に係る固体撮像装置に搭載する画素領域の配列を説明する図である。 図１８は、実施の形態８に係る可視光画素回路の構成を示す回路図である。 図１９は、実施の形態９に係る固体撮像装置に搭載する画素領域の配列を説明する図である。 図２０は、実施の形態９に係る可視光画素回路の構成を示す回路図である。
　以下、本開示にかかる実施の形態について、図面を参照しながら説明する。なお、実質的に同一の構成に対して同一の符号を付し、説明を省略する場合がある。また、以下で説明する実施の形態は、いずれも一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態１）
　［１．固体撮像装置の構成］
　はじめに、本実施の形態にかかる距離測定装置１および固体撮像装置１０の構成について説明する。図１は、本実施の形態にかかる固体撮像装置を含む距離測定装置の構成を示す概略図である。
　図１に示すように、距離測定装置１は、固体撮像装置１０と、信号処理装置２０と、計算機３０と、光源４０とを備えている。
　固体撮像装置１０は、さらに以下のような構成となるが、これに限られるものではない。
　図１に示すように、固体撮像装置１０は、画素領域１２と、垂直シフトレジスタ１３と、画素駆動回路１４と、ＣＤＳ（Ｃｏｒｒｅｌｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）回路１５と、水平シフトレジスタ１６と、出力回路１７とを備えている。
　画素領域１２は、図２に示すように、画素１００が二次元状に配列されている。
　垂直シフトレジスタ１３は、画素領域１２内のある特定の行の画素１００を選択する。この機能は主に、ある特定の画素１００から距離信号を順に出力するために使用する。
　画素駆動回路１４は、図２に示した画素１００を、全画素同時に制御するために使用する。
　ＣＤＳ回路１５は、図２に示した画素１００からの出力に含まれる、各画素１００で異なるオフセット成分を除去するための回路である。
　水平シフトレジスタ１６は、画素１００からの出力を列方向に順に選択するための回路である。
　出力回路１７は、垂直シフトレジスタ１３および水平シフトレジスタ１６によって選択された画素からの距離信号を、必要ならば増幅して出力する。この固体撮像装置１０では、４つの出力回路１７を搭載しているが、４つでない、つまり、出力回路１７の数が３つ以下または５つ以上の固体撮像装置であってもよい。
　信号処理装置２０は、図１に示すように、アナログフロントエンド２１と、ロジック・メモリ２２とを備えている。
　アナログフロントエンド２１は、固体撮像装置１０からのアナログ出力信号をデジタル出力信号に変換して、必要ならば出力信号の順序を入れ替えてロジック・メモリ２２に出力する。固体撮像装置１０からの出力信号がもしデジタル出力信号である場合には、アナログ出力信号をデジタル出力信号に変換する機能は不要だが、出力信号の順序を入れ替える機能は必要になる。信号処理装置２０からの出力信号（距離信号）は、計算機３０に出力される。
　計算機３０は、例えばコンピュータであり、信号処理装置２０からの出力信号（距離信号）に基づいて固体撮像装置１０の周囲の三次元情報を構成する。
　光源４０は、三次元情報を得たい箇所に光を投射する。光源４０には、必要に応じて光を拡散することにより三次元情報を得たい箇所全体に光を照射する機構が内蔵されている。光源４０からは、時間方向にパルス状の光（パルス光）が出力される。パルス光の出力時刻や幅は、信号処理装置２０によって制御される。また、信号処理装置２０は、光源４０の制御と同期させて固体撮像装置１０を制御する。固体撮像装置１０は、信号処理装置２０からの信号に従って、搭載されている画素１００を画素駆動回路１４などを介して制御する。
　図２は、本実施形態にかかる固体撮像装置１０に搭載する画素１００の構成を示すブロック図である。図３は、本実施形態にかかる固体撮像装置１０に搭載する画素１００の構成を示す回路図である。なお、以下に説明する各種の信号について、“ＯＮ”とはハイレベルの電圧値の信号のことをいい、“ＯＦＦ”とはローレベルの電圧値の信号であることをいう。また、“ＯＮする”とはハイレベルの電圧値の信号を印加することをいい、“ＯＦＦ”とはローレベルの電圧値の信号を印加することをいう。
　図２に示す画素１００内には、受光回路１０１、カウンタ回路１０２、比較回路１０３、記憶回路１０４の４つのブロックが内蔵されている。以下、各ブロックの構成および機能を説明する。ここで説明する機能を各ブロックに持たせる構成は、ある程度の変形が考えられるが、その場合も本開示と同等であることはいうまでもない。
　受光回路１０１は、図３に示すように、受光素子１０５と、トランスファゲートトランジスタ１０６と、リセットトランジスタ１０７とを有している。受光素子１０５とトランスファゲートトランジスタ１０６とは直列に接続され、受光素子１０５とトランスファゲートトランジスタ１０６とが１つずつ組となっている。トランスファゲートトランジスタ１０６は、受光素子１０５とカウンタ回路１０２との間に接続されている。
　受光素子１０５は、例えばフォトダイオードである。トランスファゲートトランジスタ１０６は、受光素子１０５において光電変換により発生した電荷を輸送する。よって、受光回路１０１は、入射光を受けて受光信号に変換する機能を内蔵している。受光信号は、入射光の強弱に応じて変化してもよいが、入射光の到達の有無により２値になることが望ましい。以下、２値である前提で説明するが、２値でなくても画素１００は動作する。２値でない場合は、回路的に定めたある閾値に対する大小で２値になっているものとする。さらに、入力信号である露光信号に応じて、光電変換を行う時間を任意に設定できる。また、リセット信号を受けて、受光信号をリセットする機能が付加されていてもよい。受光した場合の受光信号を、“受光信号がある”、受光していない場合を“受光信号がない”、と呼ぶことにする。リセット機能が付加されていない場合は、受光信号を出力すると同時もしくは十分短い時間内に、電気信号をリセットする機能が付加されている。
　図２に示す画素１００は、さらに、受光回路１０１の出力に接続されているカウンタ回路１０２を備えている。
　カウンタ回路１０２は、図３に示すように、電荷蓄積コンデンサ１０８と、カウンタトランジスタ１０９と、カウンタ容量１１０とを有している。カウンタ容量１１０を介して出力許可信号１３０が出力される。カウンタ回路１０２は、カウント値を保持、増加、リセットする機能が付加されている。カウンタ回路１０２は、カウント値のリセットを、リセット信号に応じて行う。また、カウンタ回路１０２は、入力であるカウント信号がＯＮの期間、受光信号を検知する。受光信号を検知した場合、カウンタ回路１０２は、カウント値を１つ増加させる。すなわち、カウンタ回路１０２は、受光回路１０１への受光信号の到達回数をカウントする。
　図２に示す画素１００は、さらに、カウンタ回路１０２の出力に接続されている比較回路１０３を備えている。
　比較回路１０３は、図３に示すように、直流カットコンデンサ１１１と、クランプトランジスタ１１２と、インバータ１１３とを有している。比較回路１０３には、カウンタ回路１０２が計数した回数値に対する閾値を任意に設定、保持する機能が搭載されている。入力である閾値設定信号がＯＮしたとき、入力であるカウント値に応じた閾値が設定される。閾値設定信号がＯＦＦのとき、設定した閾値に対しカウント値が大きい場合、比較信号をＯＮさせる機能がさらに付加されている。また、比較回路１０３は、出力許可信号が入力されていてもよい。この場合は、出力許可信号がＯＮの場合のみ、比較信号をＯＮする。出力許可信号については、実施の形態２で説明する。
　図２に示す画素１００は、さらに、記憶回路１０４を備えている。
　記憶回路１０４は、図３に示すように、入力トランジスタ１１４と、記憶コンデンサ１１５と、記憶ノードリセットトランジスタ１１６とを有している。記憶回路１０４の入力は２つであり、１つには比較信号が入力される。もう１つには、時間に対して変化する信号、すなわち時間信号が入力される。記憶回路１０４には、比較信号がＯＮしたとき、このタイミングでの時間信号の値を記憶する機能が内蔵されている。さらに、記憶回路１０４には、当然ながら、記憶した時間信号（これを距離信号とする）を出力する機能も付加されている。
　さらに、記憶回路１０４には、図３に示すように、増幅トランジスタ１１７と、選択トランジスタ１１８とが接続されている。
　図２に示す画素１００は、固体撮像装置１０内に二次元状に配列した形で内蔵される。固体撮像装置１０を含めた距離測定装置１は、上述した図１のような構成となるが、これに限られるものではない。
　［２．固体撮像装置の動作］
　次に、本実施の形態にかかる固体撮像装置１０の動作について説明する。図４は、固体撮像装置１０の１フレーム期間に含まれる動作期間を示す図である。
　図４に示すように、１フレーム期間は、背景光検知期間、距離測定期間および距離信号出力期間に分けられる。固体撮像装置１０は、背景光検知期間、距離測定期間および距離信号出力期間をこの順に繰り返す動作を行う。
　図５は、本実施の形態にかかる固体撮像装置１０の背景光検知期間の動作シーケンスについて説明するための図である。図６は、本実施の形態にかかる固体撮像装置１０の距離測定期間の動作シーケンスについて説明するための図である。
　図５に示すように、背景光検知期間では、まず、固体撮像装置１０において、光源４０の出力をＯＦＦのままとする。この状態で、図２に示した画素１００内の受光回路１０１で入射光を検知する。このとき、受光回路１０１には、周囲の環境下に存在する背景光（典型的には、昼間の屋外の場合は太陽光）を撮影対象の物体（対象物）が反射した光が受光回路１０１に入射することになる。受光回路１０１に併せて設置した回路により、光電変換を行う時間（露光時間）をａ秒に設定し、この背景光を受光する。このａ秒間に光が画素まで到達した場合、受光回路１０１により、“受光信号がある”、の状態に設定される。このあと、カウント信号をＯＮする。このとき、受光信号がある場合は、カウンタ値が１つ増加する。
　その後、受光回路１０１のリセット信号をＯＮし、受光回路１０１の内部の電気信号および受光信号をリセットする。この一連の行程をｂ回繰り返す。すなわち、カウンタ回路１０２では、上記ｂ回の露光のうち、何回光が到達したかを計数し記憶することになる。ここでは、光がｃ回到達したとする。ただし、上記ａが十分小さいか、入射光が十分小さく、入射光が光子数個に分解でき、断続的に入射するとみなせることを前提としている。通常は、ａが数１０ナノ以下であれば、この前提は十分成立する。
　次に、比較回路１０３に対し、閾値設定信号をＯＮし、カウンタ回路１０２の出力値であるｃ回に応じた閾値を設定する。閾値は、カウンタ回路１０２の出力値であるｃそのものでもよいが、ここではｄ＝ｃ＋ｅ（ｅは任意の正の値）に設定する。
　次に、距離測定期間の動作を行う。ここでは、距離測定レンジとして、固体撮像装置１０の至近距離からＲメートルまでの範囲にある物体を検出するとする。また、その分解能はＲ／Ｎメートル（Ｎは１以上の整数）とする。これを実現するため、図６に示すように、距離測定期間では以下のような行程とする。
　まず、図６に示すように、距離測定期間をＮ個の期間にさらに分ける。分けられたそれぞれの区間は、０～Ｒ／Ｎメートルを検知する期間１、Ｒ／Ｎ～２Ｒ／Ｎメートルを検知する期間２、・・・、（α―１）Ｒ／Ｎ～αＲ／Ｎメートルを検知する期間α（αは１以上Ｎ以下の整数）、・・・、（Ｎ－１）Ｒ／Ｎ～Ｒメートルを検知する期間Ｎとする。距離測定期間の分け方はこの通りに限られるものでなく、例えば不等ピッチにしてもよいが、ここでは上記のように分けたとして説明する。
　次に、期間α内での動作について説明する。まず、カウンタ回路リセット信号をＯＮし、カウンタ値をリセットする。また、記憶回路１０４に入力する時間信号をαに設定する。記憶回路１０４に入力する時間信号の値は全くの任意であり、期間１～期間Ｎで互いに異なっていればよい。さらに、連続的に変化してもよい。（図６では期間α内で一定値としている）。
　さらに、光源４０を制御し、ａ秒間の幅を持った光パルスを投射する。この光がもし、期間αで測定する距離に対応した物体、すなわち（α―１）Ｒ／Ｎ～αＲ／Ｎメートル先にある物体に反射して固体撮像装置１０内のある画素に入射する場合、物体で反射した光パルス（受信光と呼ぶことにする）は、光源から発射した光パルス（投射光と呼ぶことにする）が発射した時刻に対して、
Figure JPOXMLDOC01-appb-M000001
 だけ遅れて固体撮像装置１０に到達する。ここで、Ｖは光速である。したがって、受光回路１０１の露光信号により、露光をこの時刻に開始しａ秒間だけ露光するように設定すれば、この距離範囲内にある物体からの受信光を検知することができる。このあと、カウンタ回路１０２において、カウント信号により受信光を検知した回数、すなわち光の到達回数のカウントを行う。その後、受光回路１０１のリセット信号によりリセットする。
　上述した手順で露光をｂ回繰り返し、カウンタ回路１０２で光の到達回数を計数する。もし、期間αに対応する距離範囲内に物体が存在しなければ、計数の期待値は、背景光成分であるｃ回であり、閾値ｄより小さいので、後段の比較回路１０３の動作は変化しない。期間αに対応する距離範囲内に物体が存在する場合、計数の期待値はｃ回を上回る値であるｆ回となる。すなわち、受信光強度が十分大きい場合、
　ｆ＞ｄ　　　　　　　　　　　　　　　　　　　　　　　・・・（式２）
を満たす。
　その後、比較回路１０３の出力許可信号をＯＮする。式２が満たされている場合は、比較信号がＯＮし、時間信号が距離信号として記憶される。式２が満たされない場合は、記憶されている距離信号（あるいは初期値の場合もありえる）は変化しない。
　その後、期間（α＋１）が続き、期間Ｎで距離測定期間が終了する。このとき、各画素の記憶回路１０４には、各画素が撮影する物体までの距離に対応した信号、すなわち距離信号が記憶されている。
　最後に、距離信号出力期間に、各画素に記憶された距離信号を出力する。図１に示した距離測定装置１内の固体撮像装置１０の場合は、垂直シフトレジスタ１３および水平シフトレジスタ１６により、順に画素を選択し、距離信号を出力する。この距離信号を信号処理装置２０などで処理することにより、三次元的な情報（すなわち距離画像）が得られる。以下、この距離画像を得るための固体撮像装置１０からの信号を単に距離画像と呼ぶこともある。
　ここまでは、背景光検知期間の露光時間と距離測定期間の露光時間は同じ、また背景光検知期間の光パルス数と距離測定期間の光パルス数も同じとしたが、これに限られるものではない。ただし、異ならせる場合は、式２の成立要件が異ならせた値に応じて変形することになる。
　さらに、各期間の光パルスの発射時刻に対する露光信号の遅れ時間もこれに限られるものではなく、様々なバリエーションが容易に考えられる。
　次に、先行技術文献で使用されているパルス位相法よりも、本実施の形態にかかる固体撮像装置１０による距離測定のほうが、距離の測定ダイナミックレンジが広い理由を説明する。
　パルス位相法の場合、簡単化して考えると、受信光の強度変化によって距離を測定する方式であるので、画素の飽和レベルを超えた場合には測定不能となる。ところで、受信光強度は物体までの距離の二乗に反比例し、また物体の反射率に比例する。例えば、最大測定距離を１００メートル、測定対象の物体の反射率が１０％～１００％であるとする。このとき、１メートルの距離にある反射率１００％の物体からの受信光強度と、１００メートルの距離にある反射率１０％の物体からの受信光強度の比は１０００００：１に達する。一方、一般的な固体撮像装置の単一画素の飽和電子数は１００００程度であるので、上記２つを同時に測定できないことを意味している。
　一方、固体撮像装置１０による距離測定の場合、測定可能か否かは式２が成立するほど受信光強度が大きいことだけが条件であり、物体までの距離と反射率による受信光強度の変化にはまったく左右されない。従って、固体撮像装置１０による距離測定のほうが、パルス位相法よりも距離ダイナミックレンジが大きいといえる。
　固体撮像装置１０による距離測定のほうが、パルス位相法よりも背景光強度に対する耐性がよい理由を説明する。測定条件として、上述のように至近距離からＲメートルまでの範囲にある物体を検出することにする。また測定精度はＲ／Ｎメートルを確保するものとする。
　このとき、背景光の影響を最も受けるのは、最遠距離、すなわちＲメートル先の物体を測定する場合である。なぜなら、背景光の物体からの反射光強度は、物体までの距離によらないのに対し、光源からの受信光は距離の２乗に反比例するからである。すなわち、受信光におけるＳＮ比は、距離が遠いほど小さくなる。
　以下、測定可能である受信光の条件を計算する。以下、エネルギーの単位は光子数であるとする。計算の仮定として、ノイズ成分は、背景光のショットノイズが支配的であるとし、受信光のショットノイズはそれに対し十分小さく無視できるとする。
　単一画素への受信光の単位時間当たりの入射ピーク光子数をＳとする（入射ピークパワーを光子数換算した値である）。Ｓは、光源のエネルギーおよび物体の反射率、距離で決定される。この受信光と同時に、背景光が物体に反射することによる成分が重畳する。背景光による入射光成分の単位時間当たりの光子数をＢとする。パルス位相法の場合、パルス幅を
Figure JPOXMLDOC01-appb-M000002
 にしなければならないから、パルス数をＭとすると、単一画素への受信光の合計エネルギーＴは、
Figure JPOXMLDOC01-appb-M000003
 となる。一方、背景光の成分の合計エネルギーは、
Figure JPOXMLDOC01-appb-M000004
 となるが、これに光ショットノイズ
Figure JPOXMLDOC01-appb-M000005
 が重畳している。測定される受信光エネルギーＴを用いて、精度Ｒ／Ｎメートルを算出するための必要条件は、ＴがＴ／Ｎ以下の精度を持って測定できることである。すなわち、
Figure JPOXMLDOC01-appb-M000006
 が条件である。
　それに対して、かかる固体撮像装置１０による距離測定に対する式７に対応する式を以下導出する。まず、単一の光パルスの幅およびそれを検知するための露光時間は、期間一つに対応する距離範囲の２倍を光速で通過する時間、すなわち、
Figure JPOXMLDOC01-appb-M000007
 以下であればよい。ここでは、単一の光パルスの幅およびそれを検知するための露光時間は、式８に等しいとする。また、期間一つに単一画素に入射する受信光の合計エネルギーは、
Figure JPOXMLDOC01-appb-M000008
 となる。ただし、ここでは期間ごとのパルス数とピークエネルギーは等しいと仮定した。これと同時に、入射する背景光による光エネルギーは、
Figure JPOXMLDOC01-appb-M000009
 であり、この光の光ショットノイズは、
Figure JPOXMLDOC01-appb-M000010
 である。閾値ｄは、式１０と式１１の合計よりも大きいことが最低限必要である。加えて、受信光が到達しない期間において到達したと誤って判定することを避けるためには、さらに閾値ｄを大きくする必要がある。統計理論によれば、式１１の光ショットノイズが、式１１のγ倍よりも大きくなる確率は、γ=１のとき１６％、γ＝２のとき２．５％、γ＝３のとき０．１５％である。この確率が１／Ｎよりも小さければ、上記誤判定は生じない。例えばＮ＝１００の場合、γ＝３であればよい。すなわち、閾値ｄは、
Figure JPOXMLDOC01-appb-M000011
 であるから、誤判定を生じずに測定するための必要条件は、
Figure JPOXMLDOC01-appb-M000012
 である。
　簡単のために、固体撮像装置１０による距離測定において、総パルス数をパルス位相法による測定の場合と一致させる場合を考える。すなわち、固体撮像装置１０による距離測定において、パルス位相法のパルス数Ｍ、測定期間数Ｎ、各測定期間内でのパルス数ｂが、Ｍ＝Ｎｂを満たす場合を考えると、式１３は、
Figure JPOXMLDOC01-appb-M000013
 となる。式１４と式７とを比較すると、少なくともＮ＞γの場合には、かかる固体撮像装置１０による距離測定方法の方が、パルス位相法よりも小さい光源エネルギーで測定を行うことができる、すなわち、背景光に対する耐性が高いことがわかる。ジェスチャー認識、自動車に搭載して障害物検知を行うなどの場合に、固体撮像装置１０による距離測定を用いるのであれば、Ｎ＞１００は少なくとも要求されるため、実質的にパルス位相法よりも小さい光源エネルギーでよいことが分かる。
　次に、背景光成分が小さい場合でも、測距精度が高い理由を説明する。ここではノイズの主成分が受信光成分の光ショットノイズであるとし、他のノイズは無視できるとする。
　パルス位相法の場合、受信光成分の光ショットノイズ成分は、大略光エネルギーＴに対する光ショットノイズに等しいと考えて、
Figure JPOXMLDOC01-appb-M000014
 である。精度Ｒ／Ｎメートルを算出するための必要条件は、ＴがＴ／Ｎ以下の精度を持って測定できることである。すなわち、
Figure JPOXMLDOC01-appb-M000015
　かかる固体撮像装置１０による距離計測の場合、簡単のため、Ｍ＝Ｎｂを満たすとすると、単一の測定期間内の受信光子数は、
Figure JPOXMLDOC01-appb-M000016
 である。精度Ｒ／Ｎメートルを得るための必要条件は、単一の測定期間内の受信光エネルギーが１光子以上であることである。すなわち、
Figure JPOXMLDOC01-appb-M000017
 式１６と式１７を比較すれば、Ｎ＞１の場合について、パルス位相法よりもかかる固体撮像装置１０による距離測定の方が、小さい光エネルギーで行うことができることがわかる。逆に言うと、同一光エネルギーならば、かかる固体撮像装置１０による距離測定の方が、高い測距精度が得られるといえる。
　以上、本実施の形態にかかる固体撮像装置１０によると、測定可能距離レンジが広く、強い背景光の環境下においても距離測定が可能である。
　なお、以下の実施の形態２以降では、図２に示した画素１００内の各ブロックの具体的な回路構成を開示しながら説明する。ただし、示す回路構成はあくまでも一例であり、これに限られるわけではない。また、あるブロックは開示する回路構成、あるブロックは実施の形態１で示した機能をもつ回路、ということも当然ありえることを付記しておく。
　（実施の形態２）
　実施の形態２にかかる固体撮像装置について、図７および図８を用いて説明する。図７は、本実施の形態にかかる固体撮像装置の背景光検知期間の動作シーケンスを説明するための図である。図８は、本実施の形態にかかる固体撮像装置の距離測定期間の動作シーケンスを説明するための図である。
　本実施の形態にかかる固体撮像装置１０が実施の形態１にかかる固体撮像装置１０と異なる点は、比較回路１０３に出力許可信号が入力される点である。
　固体撮像装置１０の構成は、実施の形態１にかかる固体撮像装置１０の構成と同様である。以下、本実施の形態にかかる固体撮像装置１０の画素１００について説明するが、実施の形態１にかかる固体撮像装置１０と重複する部分は、適宜説明を省略する。
　１フレーム内での固体撮像装置１０の動作の大枠は、図４と同様である。
　図７に示すように、背景光検知期間では、実施の形態１と同様、光源４０からの信号光をＯＦＦする。背景光検知期間では、固体撮像装置１０への入射光は、背景光によるものだけである。トランスファゲートトランジスタ１０６に、ａ秒間だけトランスファゲートパルスをＯＮすることによって、トランスファゲートトランジスタ１０６をＯＮする。なお、トランスファゲートトランジスタ１０６をＯＮする前に、予めリセットトランジスタ１０７をＯＦＦしてから、トランスファゲートパルスをＯＮすることにより、受光素子１０５はリセットされる。
　その後、ａ秒間に光が入射すれば、入射光に対応する電荷がトランスファゲートトランジスタ１０６を介して電荷蓄積コンデンサ１０８に蓄積される。
　ａ秒後、トランスファゲートトランジスタ１０６がＯＦＦされたあと、カウンタトランジスタ１０９のゲートに印加する電圧であるカウンタトリガをＯＮし、その電荷をカウンタ容量１１０に転送する。
　その後、カウンタトリガをＯＦＦし、リセットトランジスタ１０７をＯＮし、電荷蓄積コンデンサ１０８の電荷をリセットする。この行程をｂ回繰り返す。
　その後、比較回路閾値設定信号をＯＮし、この信号をクランプトランジスタ１１２に印加することにより、背景光に対応するカウンタ容量１１０の電圧を、直流カットコンデンサ１１１の両端の電圧として記憶する。この間、出力許可信号の電圧は、電圧Ｅに設定する。
　距離測定期間では、実施の形態１と同様に期間を複数の期間に分割する。図８は、距離測定期間での動作シーケンスを示している。
　期間αでは、まず背景光検知期間と同様、予めリセットトランジスタ１０７をＯＮし、電荷蓄積コンデンサ１０８の電荷をリセットしておく。
　その後、幅ａ秒の信号光パルスを射出する。射出した信号光パルスに対し、式１で表される時間だけ遅れてトランスファゲートトランジスタをＯＮする。トランスファゲートトランジスタをａ秒間だけＯＮしたあと、カウンタトリガをＯＮし、受光素子１０５で生成した電荷を電荷蓄積コンデンサ１０８に転送する。この行程をｂ回繰り返す。
　その後、出力許可信号の電圧を０に変化させる。このとき、背景光検知期間で設定した比較回路１０３の閾値と電圧Ｅの和の絶対値よりもカウンタ容量１１０に記憶しているカウンタ値の絶対値が大きければ、比較回路１０３内のインバータ１１３の状態が変わり、入力トランジスタ１１４をＯＮする。
　ところで、この閾値は、カウンタ容量１１０の他端の電圧を上下することによって調節することができる。すなわち、上述した電圧Ｅに相当する値を調節することができる。また、もちろん、設定する電圧値はＥと０に限られることはなく、背景光検知期間における設定値とここでの設定値の差がＥに相当する値となる。
　入力トランジスタ１１４のドレインには、距離信号に相当する時間信号（電圧）が印加される。例えば、（１＋α／Ｒ）ボルトを印加してもよい。比較回路１０３によってゲートがＯＮされたとき、距離信号に相当する電圧が記憶コンデンサ１１５に記憶される。
　全期間が終了した後、各画素の記憶コンデンサ１１５には、物体までの距離に相当する電圧が記憶されている。この信号を、距離信号出力期間に順に出力する。例えば、図１に示した固体撮像装置１０にこの画素１００を搭載している場合には、次のような動作が行われる。
　まず、選択トランジスタ１１８がＯＮされる。このとき、増幅トランジスタ１１７によって、記憶コンデンサ１１５に記憶された電圧が出力される。出力される電圧には、増幅トランジスタ１１７固有のオフセット電圧が実際には重畳する。そのあと、記憶ノードリセットトランジスタ１１６をＯＮして、記憶コンデンサ１１５の電圧をリセットする。記憶ノードリセットトランジスタ１１６をＯＦＦしたあとの増幅トランジスタ１１７からの出力電圧を読み出し、固体撮像装置１０内のＣＤＳ回路１５によって、上記オフセット電圧を除去することができ、距離信号を得ることができる。
　（実施の形態３）
　実施の形態３にかかる固体撮像装置について、図９を用いて説明する。図９は、本実施の形態にかかる固体撮像装置に搭載する画素の構成を示す図である。
　本実施の形態にかかる固体撮像装置が実施の形態１にかかる固体撮像装置と異なる点は、受光回路が、受光素子およびトランスファゲートトランジスタを複数組有している点である。
　図９に示すように、本実施の形態にかかる固体撮像装置の画素２００は、受光回路２０１と、カウンタ回路１０２と、比較回路１０３と、記憶回路１０４とを備えている。
　受光回路２０１は、は受光素子２０５ａ、２０５ｂ、２０５ｃ、２０５ｄと、トランスファゲートトランジスタ２０６ａ、２０６ｂ、２０６ｃ、２０６ｄと、リセットトランジスタ２０７とを有している。なお、図９に示す画素２００において、受光回路２０１以外の構成は図１０Ａに示した画素３００と同様であるため、詳細な説明を省略する。
　受光素子２０５ａ、２０５ｂ、２０５ｃ、２０５ｄおよびトランスファゲートトランジスタ２０６ａ、２０６ｂ、２０６ｃ、２０６ｄは、それぞれ１つずつ組となり、複数組が並列に接続されている。受光回路２０１において、トランスファゲートトランジスタ２０６ａ、２０６ｂ、２０６ｃ、２０６ｄのＯＮ－ＯＦＦ動作は、同時に行われる。このことによって、受光回路２０１において、受光のための受光素子の総面積を増加させることができる。これにより、距離に対する物体への感度をより高めることができる。
　（実施の形態４）
　実施の形態４にかかる固体撮像装置について、図１０Ａ～図１２を用いて説明する。図１０Ａおよび図１０Ｂは、本実施の形態にかかる固体撮像装置に搭載する画素の構成を示す図である。図１１は、本実施の形態にかかる固体撮像装置の構成を示す概略図である。図１２は、本実施の形態にかかる固体撮像装置の１フレーム期間の動作を示す図である。
　本実施の形態にかかる固体撮像装置が実施の形態１にかかる固体撮像装置と異なる点は、画素が、輝度画像用増幅トランジスタと輝度画像用選択トランジスタとを備える点である。
　図１０Ａに示すように、画素３００は、受光回路１０１と、カウンタ回路１０２と、比較回路１０３と、記憶回路１０４とを備えている。受光回路１０１と、カウンタ回路１０２と、比較回路１０３と、記憶回路１０４の構成は、実施の形態１に示した受光回路１０１と、カウンタ回路１０２と、比較回路１０３と、記憶回路１０４と同様であるため、詳細な説明を省略する。画素３００は、さらに、輝度画像用増幅トランジスタ３０１と、輝度画像用選択トランジスタ３０２とを備えている。これにより、固体撮像装置１０は、カウンタ回路１０２、比較回路１０３および記憶回路１０４を介して受光信号に基づく距離信号を得ることにより距離画像を得、輝度画像用増幅トランジスタ３０１と輝度画像用選択トランジスタ３０２とを介して受光信号を得ることにより対象物の輝度画像を得る。
　図１０Ａに示した画素３００は、輝度画像用増幅トランジスタ３０１、輝度画像用選択トランジスタ３０２がさらに追加されていることが特徴である。輝度画像用増幅トランジスタ３０１および輝度画像用選択トランジスタ３０２と、受光回路１０１とを合わせた部分は、通常の固体撮像装置の画素共有型回路と同じ構成である。したがって、この部分だけで通常の二次元的な物体の輝度画像を得ることができる。
　なお、受光素子およびトランスファゲートトランジスタの組は、図１０Ａに示す受光素子１０５およびトランスファゲートトランジスタ１０６のように単一の組であってもよいし、図１０Ｂに示すように複数の組であってもよい。図１０Ｂに示す画素４００では、受光回路４０１は、実施の形態３に示した受光回路２０１と同様、受光素子４０５ａ、４０５ｂ、４０５ｃ、４０５ｄと、これらの受光素子とそれぞれ組になるトランスファゲートトランジスタ４０６ａ、４０６ｂ、４０６ｃ、４０６ｄとを有している。このことによって、受光回路２０１において、受光のための受光素子の総面積を増加させることができる。これにより、距離に対する物体への感度をより高めることができる。なお、図１０Ｂに示す画素４００において、受光回路４０１以外の構成は図１０Ａに示した画素３００と同様であるため、詳細な説明を省略している。
　上述した画素３００または４００を搭載する固体撮像装置としては、例えば、図１１に示す固体撮像装置５０のような構成が考えられる。固体撮像装置５０は、画素領域５２と、垂直シフトレジスタ５３と、画素駆動回路５４と、ＣＤＳ回路５５と、水平シフトレジスタ５６と、出力回路５７と、輝度信号線５８と、距離信号線５９と、輝度・距離選択スイッチ６０とを備えている。
　画素領域５２には、画素５００が二次元状に配列されている。画素５００の構成は、上述した画素３００または４００である。
　垂直シフトレジスタ５３、画素駆動回路５４、ＣＤＳ回路５５、水平シフトレジスタ５６、出力回路５７の構成は、実施の形態１に示した垂直シフトレジスタ１３と、画素駆動回路１４と、ＣＤＳ回路１５と、水平シフトレジスタ１６と、出力回路１７と同様で有るため、詳細な説明は省略する。なお、固体撮像装置５０では２つの出力回路５７を搭載しているが、２つでない固体撮像装置も当然考えられる。例えば、実施の形態１に示した固体撮像装置１０のように、４つの出力回路１７を備える固体撮像装置としてもよい。
　輝度信号線５８は、同一列の画素５００内の輝度画像用選択トランジスタ３０２に接続されている。距離信号線５９は、同一列の選択トランジスタ１１８に接続されている。輝度・距離選択スイッチ６０は、輝度信号線５８または距離信号線５９のいずれか一方を出力側に接続する。この固体撮像装置の場合は、輝度・距離選択スイッチ６０は、ＣＤＳ回路５５が入力側に接続され、輝度信号線５８または距離信号線５９のいずれか一方が出力側に接続されている。
　固体撮像装置５０の駆動方法について図１２を用いて説明する。図１２は、固体撮像装置５０の１フレーム期間に含まれる動作期間を示している。１フレーム期間は、背景光検知期間、距離測定期間、距離信号出力期間および輝度画像撮影・出力期間に分けられる。固体撮像装置５０は、背景光検知期間、距離測定期間、距離信号出力期間および輝度画像撮影・出力期間をこの順に繰り返す動作を行う。このうち、輝度画像撮影・出力期間は、一般的な固体撮像装置の画像撮影の駆動と同等である。つまり、輝度画像用増幅トランジスタ３０１と輝度画像用選択トランジスタ３０２とを介して受光信号を得ることにより対象物の輝度画像を得ることができる。輝度画像撮影・出力期間は、被写体の輝度画像の取得（いわゆる白黒画像）もしくは、カラーフィルタを画素５００に搭載している場合はカラー画像を取得する期間である。
　背景光検知期間では、実施の形態１、２または４に示した方法を用い、全画素５００について同じ動作を行う。
　次の距離測定期間でも、実施の形態１、２または４に示した方法を用い、全画素５００について同じ動作を行う。この時点で、各記憶回路１０４の記憶コンデンサ１１５に距離に応じた電圧が記憶されている。
　距離信号出力期間では、まず輝度・距離選択スイッチ６０を距離信号線５９側に選択する。次に、垂直シフトレジスタ５３により、順次行選択しながら（この走査の仕方は一般的な固体撮像装置と同様である）、選択された行の画素５００内の記憶コンデンサ１１５の電圧をＣＤＳ回路５５に読み出す。その後、記憶ノードリセットトランジスタ１１６をＯＮし、記憶コンデンサ１１５に印加される電圧をリセットする。記憶ノードリセットトランジスタ１１６をＯＦＦした後、記憶コンデンサ１１５のリセットされた電圧を、増幅トランジスタ１１７を介して距離信号線５９に読み出し、先ほどＣＤＳ回路５５に読み出した電圧に対してこの電圧を差し引くことで、距離信号を得ることができる。距離信号を、水平シフトレジスタ５６で順次列走査しながら出力回路５７を介して外部に読み出す。
　次の輝度画像撮影・出力期間では、輝度・距離選択スイッチ６０を輝度信号線５８側に選択する。図１０Ａに示した画素３００の場合は、輝度画像用増幅トランジスタ３０１、輝度画像用選択トランジスタ３０２を用いて、一般的な固体撮像装置と同様な動作を行えば、輝度信号、すなわち被写体の輝度画像（通常、単に「画像」と呼ぶもの）が得られる。
　なお、図１０Ｂに示した画素４００の場合は、複数あるトランスファゲートトランジスタ４０６ａ、４０６ｂ、４０６ｃ、４０６ｄを同時に動作（すなわち複数のトランスファゲートトランジスタ４０６ａ、４０６ｂ、４０６ｃ、４０６ｄのゲートを短絡させたのと同等の動作）させてもよいし、別々に動作させてもよい。すなわち、複数の受光回路４０１を同時に動作させるか、別々に動作させるかは任意である。前者の場合は、回路上は受光回路は１つであるとみなせるので、図１０Ａと全く同様に考えればよい。後者の場合は、距離画像の解像度に対して、輝度画像の解像度を、画素内の受光素子（フォトダイオード）の個数倍にすることが出来る。以下、この固体撮像装置５０の構成および駆動について説明する。
　受光素子４０５ａ、４０５ｂ、４０５ｃ、４０５ｄは、全て同一形状であるとする。固体撮像装置５０上の画素４００が配置されるエリアに対して、均等に受光素子４０５ａ、４０５ｂ、４０５ｃ、４０５ｄを配列するのが通常は望ましいと考えられる。例えば、受光素子が４個（受光素子４０５ａ、４０５ｂ、４０５ｃ、４０５ｄ）である場合、２行２列の配列を行う。
　次に、上述した構成の場合の、固体撮像装置５０の駆動について説明する。背景光検知期間、距離測定期間および距離信号出力期間において、複数のトランスファゲートトランジスタは同時に動作し、輝度画像撮影・出力期間において、複数のトランスファゲートトランジスタは別々に動作してもよい。まず、ある行の輝度画像用選択トランジスタ３０２が垂直シフトレジスタ５３によって選択されているとする。この状態で、ある１つのトランスファゲートトランジスタ、例えば、トランスファゲートトランジスタ４０６ａを動作させ、これに接続された受光素子４０５ａが検知した輝度信号、リセット電圧をＣＤＳ回路５５に読み出し差分する（これは一般的な固体撮像装置と同様である）。水平シフトレジスタ５６を動作させ、出力回路５７を介して順次読み出す。そのあと、他のトランスファゲートトランジスタ、例えばトランスファゲートトランジスタ４０６ｂを動作させ、同様の動作を行う。これを画素４００内の全てのトランスファゲートトランジスタ４０６ａ、４０６ｂ、４０６ｃ、４０６ｄに対して行う。そのあと、垂直シフトレジスタ５３により、次行を選択し、同様の動作を行うことで、距離画像の解像度に対して、輝度画像の解像度を、画素４００内の受光素子４０５ａの個数倍の輝度画像を得ることができる。
　ここで示した動作は、輝度画像を得るときの被写体からの光スペクトルが、光源４０からの光の波長を含むことが前提である。一般的には、光源４０からの光の波長だけを通過させるバンドパスフィルタを固体撮像装置５０への光学系に設置し、距離測定時の背景光の影響を抑制するのが望ましいことが知られている。この場合、輝度画像は光源４０の光波長のみによる映像となる。このことが望ましくない場合は、固体撮像装置上に搭載するカラーフィルタを工夫すること、本開示の画素と一般的な画素を固体撮像装置上に混載することなどが考えられる。
　（実施の形態５）
　実施の形態５にかかる固体撮像装置について説明する。
　本実施の形態にかかる固体撮像装置に搭載される画素では、受光素子としてアバランシェ・フォトダイオードを使用する。画素は、図３、図９、図１０Ａおよび図１０Ｂに示した画素そのままでよい。
　受光素子としてアバランシェ・フォトダイオードを使用する場合、受光素子の両端に高電圧（通常、１０Ｖから１００Ｖ程度）を印加する。通常のフォトダイオードは、受光素子に入射した光子１個に対して、電子または正孔を１個生成するが、アバランシェ・フォトダイオードは、受光素子に入射した光子１個に対して、電子または正孔を複数個生成する。この生成する電子または正孔の個数を、増倍率という。
　例えば、図３に示した画素１００の場合、受光素子１０５として通常のフォトダイオードを使用すると、カウンタトランジスタ１０９をＯＮまたはＯＦＦする時に、ｋＴＣノイズと呼ばれるノイズが発生する。ｋＴＣノイズの値は、電荷蓄積コンデンサ１０８やカウンタトランジスタ１０９の容量値によるが、電荷蓄積コンデンサ１０８やカウンタトランジスタ１０９の容量値が数ｆＦの場合、数１０電子となる。数１０電子というｋＴＣノイズの値に対して、受信光の強度が弱く受光素子１０５が生成する電荷が１電子程度の場合、受信光がｋＴＣノイズに埋もれてしまうことになる。
　このような場合、増倍率の高いアバランシェ・フォトダイオードを受光素子１０５に使用すれば、受信光がｋＴＣノイズに埋もれてしまうことがなくなり、高いＳＮ比の距離信号を得ることができる。特に、ガイガーモードと呼ばれる、増倍率がおおむね１００００以上の状態にすれば、実施の形態１で述べたような、２値の受光信号を得ることができる。
　一般に、アバランシェ・フォトダイオードは、印加電圧を低くすれば（大抵は数Ｖ）、通常のフォトダイオードと同様な動作を示し、印加電圧を高くすれば（一般的に数１０Ｖから１００Ｖ程度）増倍率の高いガイガーモードで動作する。
　実施の形態４で示したような、距離画像と輝度画像を両方取得できる画素３００または４００の場合、背景光検知期間、距離測定期間では、アバランシェ・フォトダイオードの印加電圧を高くし、輝度画像撮影・出力期間では、アバランシェ・フォトダイオードの印加電圧を低くする。これにより、背景光検知期間、距離測定期間では、距離画像を得るのに適した動作を行うことができ、輝度画像撮影・出力期間では、一般的な固体撮像装置と同様の動作を行い、輝度画像を得ることができる。
　（実施の形態６）
　実施の形態６にかかる固体撮像装置について、図１３を用いて説明する。図１３は、本実施の形態にかかる固体撮像装置に搭載する画素の構成を示す図である。
　本実施の形態にかかる固体撮像装置が実施の形態３にかかる固体撮像装置と異なる点は、受光回路が、受光素子およびトランスファゲートトランジスタに加えて、インバータと受光信号スイッチとを備える点である。
　図１３に示すように、本実施の形態にかかる固体撮像装置に搭載される画素６００は、受光回路６０１と、カウンタ回路１０２と、比較回路１０３と、記憶回路１０４戸を備えている。なお、図１３に示す画素６００において、受光回路６０１以外の構成は図１０Ａに示した画素３００と同様であるため、詳細な説明を省略する。
　受光回路６０１は、受光素子６０５と、トランスファゲートトランジスタ６０６と、リセットトランジスタ６０７と、受光素子信号増幅用インバータ６０８と、受光信号スイッチ６０９とを有している。ここで、受光素子６０５およびトランスファゲートトランジスタ６０６の組は単一であってもよいし（図１３に記載している）、複数であってもよい（図としては記載していないが、図１０Ａおよび図１０Ｂの要領と同じ）。
　受光回路６０１では、受光素子信号増幅用インバータ６０８により、受光素子６０５によって生成された電荷を振幅の大きな受光信号に増幅し、２値信号にすることができる。この信号を、受光信号スイッチ６０９をＯＮすることにより、カウンタ回路１０２に入力すれば、受光信号を２値にすることができる。
　以上、一つまたは複数の態様にかかる固体撮像装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　例えば、受光回路を構成する受光素子およびトランスファゲートトランジスタの組は、単一の組であってもよいし、複数の組であってもよい。
　また、受光回路は、輝度画像用増幅トランジスタおよび輝度画像用選択トランジスタに接続されてもよい。
　また、受光回路は、受光素子信号増幅用インバータと、受光信号スイッチとを有していてもよい。
　（実施の形態７）
　実施の形態７に係る固体撮像装置について、図１６を用いて説明する。図１６は、本実施の形態に係る固体撮像装置に搭載する画素領域の配列を説明する図である。
　図１６の（ａ）および（ｂ）に示すように、本実施の形態に係る固体撮像装置は、１つの画素２００に、受光素子２０５ａ、２０５ｂ、２０５ｃ、２０５ｄ（可視光を受光するものについては可視光受光素子と以下記すこともある）を有する受光回路２０１（図９に示した受光回路２０１と同様の受光回路）と、信号処理回路２１０（図９に示したカウンタ回路１０２、比較回路１０３、記憶回路１０４、増幅トランジスタ１１７、選択トランジスタ１１８と同様の構成を含む回路）とが搭載されている。なお、受光回路２０１、信号処理回路２１０の構成および動作については、図９に示した受光回路２０１、カウンタ回路１０２、比較回路１０３、記憶回路１０４、増幅トランジスタ１１７、選択トランジスタ１１８と同様であるため、図９の符号を参照して説明する。本実施の形態において、画素領域１２の複数の画素２００は、赤外線透過フィルタを備える第１の画素群と、可視光透過フィルタを備える第２の画素群とを備える。
　図１６の（ａ）では、赤（Ｒ）、青（Ｂ）、緑（Ｇ）、赤外線（ＩＲ）を二対応する受光素子２０５ａ、２０５ｂ、２０５ｃ、２０５ｄを１セットとし、それが二次元状に配列されている。この１セットのエリアに、図９に示した画素回路２００が１つ搭載される。受光素子は、上述した受光素子２０５ａ、２０５ｂ、２０５ｃ、２０５ｄの合計４つ搭載されているが、それぞれがＲ、Ｇ、Ｂ、ＩＲに対応する受光素子である。Ｒの位置に配置された受光素子２０５ａは、受光面上に配置された赤色透過フィルタを備え、赤色光のみを受光する。Ｂの位置に配置された受光素子２０５ｃは、受光面上に配置された青色透過フィルタを備え、青色光のみを受光する。Ｇの位置に配置された受光素子２０５ｂは、受光面上に配置された緑色透過フィルタを備え、緑色光のみを受光する。ＩＲの位置に配置された受光素子２０５ｄは、受光面上に配置された赤外線透過フィルタを備え、赤外線のみを受光する。
　この構成により、輝度画像をＲ、Ｂ、Ｇに対応する受光素子２０５ａ、２０５ｂ、２０５ｃを用いて得ることにより、カラー画像を構成できる。距離画像は、光源４０として赤外線を用い、ＩＲに対応する受光素子２０５ｄを用いることにより得ることができる。
　駆動方法は実施の形態３に示した方法と同様の方法を用いればよい。ただし、輝度画像を得る場合には、Ｒ、Ｂ、Ｇに対応する受光素子２０５ａ、２０５ｂ、２０５ｃに接続されたトランスファゲートトランジスタ２０６ａのみを駆動する。一方、距離画像を得る場合には、ＩＲに対応する受光素子２０５ｄに接続されたトランスファゲートトランジスタ４０６のみを駆動すればよい。
　ここでは、Ｒ、Ｂ、Ｇ、ＩＲを検出する受光素子２０５ａ、２０５ｂ、２０５ｃ、２０５ｄが１つずつのセットが配列しているとしたが、それぞれが複数存在する配列も考えられる。例えば、Ｒ、Ｂ、Ｇに対応する受光素子２０５ａ、２０５ｂ、２０５ｃ１つずつに対し、ＩＲ対応する受光素子２０５ｄが４つの場合も考えられる。他の組み合わせにおいても、同様の回路を用いることができる。
　（実施の形態８）
　実施の形態８に係る固体撮像装置について、図１７および図１８を用いて説明する。図１７は、本実施の形態に係る固体撮像装置に搭載する画素領域の配列を説明する図である。図１７において、正方形内部は図１６と同様である。図１８は、本実施の形態に係る可視光画素回路の構成を示す回路図である。
　図１７では、赤（Ｒ）、青（Ｂ）、緑（Ｇ）、赤外線（ＩＲ）を１セットとし、赤（Ｒ）、青（Ｂ）、緑（Ｇ）、赤外線（ＩＲ）に対応する受光回路７００ａ、７００ｂ、７００ｃ、７００ｄを有する画素が二次元状に配列されている。ＩＲの位置には、図３もしくは図１０Ａに示した受光回路１０１と同様の構成の受光回路７００ｄが搭載される。Ｒ、Ｂ、及び、Ｇの位置には、受光回路７００ａ、７００ｂ、７００ｃが搭載される。なお、受光回路７００ａ、７００ｂ、７００ｃは、図１８に示した可視光画素回路７００と同一の構成である。以下、可視光画素回路７００について説明する。
　図１８に示す可視光画素回路７００は、図１０Ａに示した受光回路１０１、輝度画像用増幅トランジスタ３０１および輝度画像用選択トランジスタ３０２と同様の構成である。詳細には、受光面上に可視光（例えば、赤色光、青色光、緑色光）透過フィルタが配置された受光素子７０１と、トランスファゲートトランジスタ７０２と、リセットトランジスタ７０３と、輝度画像用増幅トランジスタ７０４と、輝度画像用選択トランジスタ７０５とを備える。可視光画素回路７００の構成は、一般的なＣＭＯＳセンサの画素回路と同様であるので、駆動方法の説明は省略する。
　この構成により、実施の形態７と同様に、輝度画像をＲ、Ｂ、Ｇのそれぞれに対応する受光素子７０１を用いて得ることにより、カラー画像を構成できる。距離画像は、光源４０として赤外線を用い、ＩＲに対応する受光素子７０１を用いることにより得ることができる。ＩＲの位置に図１０Ａに示した可視光画素回路７００を用いる場合には、ＩＲ光を用いた輝度画像も得ることができる。
　なお、実施の形態７と同様、Ｒ、Ｂ、Ｇ、ＩＲの配列方法は上記に限られず、適宜変更してもよい。
　（実施の形態９）
　実施の形態９に係る固体撮像装置について、図１９および図２０を用いて説明する。図１９は、本実施の形態に係る固体撮像装置に搭載する画素領域の配列を説明する図である。図１９において、正方形内部は図１６、図１７と同様である。図２０は、本実施の形態に係る可視光画素回路の構成を示す回路図である。
　まず、図１９に示すように、縦方向に４個配列された、画素ＩＲにはそれぞれ１個ずつ受光素子が内蔵されている。これらの受光素子の受光面上には、赤外線透過フィルタが配置され、赤外線のみが受光素子によって検知される。さらにこの４個分の画素エリアには、図９もしくは図１０Ａに示した画素回路が内蔵されている。この画素回路は、図９または図１０Ａに示した画素回路１０１または２０１と同様の構成である。
　その右隣の画素列には、上からＲ、Ｇ、Ｒ、Ｇと記しており、それぞれ、赤色、緑色、赤色、緑色の透過フィルタが受光面上に配置された受光素子８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ（図２０参照）が搭載されている。この４個分の画素エリアには、図２０に示した可視光画素回路８００が搭載されている（なお、図２０に示す受光素子８０１ａ、８０１ｂ、８０１ｃ、８０１ｄには、可視光受光素子も含まれている）。
　図２０に示す可視光画素回路８００は、受光素子８０１ａ、８０１ｂ、８０１ｃ、８０１ｄと、トランスファゲートトランジスタ８０２と、リセットトランジスタ８０３と、輝度画像用増幅トランジスタ８０４と、輝度画像用選択トランジスタ８０５とを備える。この可視光画素回路８００は、図９または図１０Ａに示した受光回路１０１または２０１、輝度画像用増幅トランジスタ３０１および輝度画像用選択トランジスタ３０２と同様の構成である。この可視光画素回路８００は、一般的なＣＭＯＳイメージセンサによく用いられる回路であるので、駆動方法の説明は省略する。
　受光素子８０１ａ、８０１ｂ、８０１ｃ、８０１ｄのうちからＲ、Ｇ、Ｂに対応する受光素子をそれぞれ用い、図２０の可視光画素回路８００を駆動することで、カラーの輝度画像を得ることができる。
　また、距離画像は、図９もしくは図１０Ａに示した受光回路１０１または２０１を搭載した部分を駆動することで得ることができる。図１０Ａに示した受光回路２０１を使用する場合は、赤外線の輝度画像もさらに得ることができる。
　なお、本実施の形態において、赤外線透過フィルタが配置されＩＲに対する受光素子を有する画素は第１の画素群、可視光（例えば、赤色光、青色光、緑色光）透過フィルタが配置されＲ、Ｇ、Ｂに対応する受光素子を有する画素は第２の画素群に対応する。
　上述したような画素配列とすることにより、第２の画素群において、隣接する少なくとも２つの画素は、トランスファゲートトランジスタに接続された共通のリセットトランジスタ及び共通の増幅トランジスタを備えることとなる。これにより、リセットトランジスタおよび増幅トランジスタの面積を小さくして第２の画素群の面積を大きくすることができるので、距離画像の精度を向上することができる。なお、距離画像の精度を上げるために、赤外線透過フィルタを備える第１の画素群の面積を、画素領域１２全体の面積の２５％よりも大きくすることが望ましい。
　なお、本実施の形態に係る画素配列は、図１９に示した配列に限定されない。他の配列の場合にも、図９、図１０Ａ、図２０に示した回路で、受光素子とトランスファゲートのセットの数を適宜増減させればよい（図９、図１０Ａ、図２０では、一例として、４セットで記載されている）。
　本発明にかかる固体撮像装置は、衝突防止または自動運転のための自動車用機器、距離測定装置などに応用できる。
　１　距離測定装置
　１０、５０　固体撮像装置
　１２、５２　画素領域
　１３、５３　垂直シフトレジスタ
　１４、５４　画素駆動回路
　１５、５５　ＣＤＳ回路
　１６、５６　水平シフトレジスタ
　１７、５７　出力回路
　２０　信号処理装置
　２１　アナログフロントエンド
　２２　ロジック・メモリ
　３０　計算機
　４０　光源
　５８　輝度信号線
　５９　距離信号線
　６０　輝度・距離選択スイッチ
　１００、２００、３００、４００、５００、６００　画素
　１０１、２０１、４０１、６０１、７００ａ、７００ｂ、７００ｃ、７００ｄ　受光回路
　１０２　カウンタ回路
　１０３　比較回路
　１０４　記憶回路
　１０５、２０５ａ、２０５ｂ、２０５ｃ、２０５ｄ、４０５ａ、４０５ｂ、４０５ｃ、４０５ｄ、６０５、７０１、８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ　受光素子
　１０６、２０６ａ、２０６ｂ、２０６ｃ、２０６ｄ、４０６ａ、４０６ｂ、４０６ｃ、４０６ｄ、６０６、７０２、８０２　トランスファゲートトランジスタ
　１０７、７０３、８０３　リセットトランジスタ
　１０８　電荷蓄積コンデンサ
　１０９　カウンタトランジスタ
　１１０　カウンタ容量
　１１１　直流カットコンデンサ
　１１２　クランプトランジスタ
　１１３　インバータ
　１１４　入力トランジスタ
　１１５　記憶コンデンサ
　１１６　記憶ノードリセットトランジスタ
　１１７　増幅トランジスタ
　１１８　選択トランジスタ
　１３０　出力許可信号
　２１０　信号処理回路
　３０１、７０４、８０４　輝度画像用増幅トランジスタ
　３０２、７０５、８０５　輝度画像用選択トランジスタ
　６０７　リセットトランジスタ
　６０８　受光素子信号増幅用インバータ
　６０９　受光信号スイッチ
　７００、８００　可視光画素回路

Claims (14)

  1. 　赤外線透過フィルタを備える第１の画素群を有する複数の画素が二次元状に配列された固体撮像装置であって、
    　前記第１の画素群の各画素は、
    　受光した光を電気信号に変換する光電変換を行う受光素子を有し、前記受光素子において光電変換を行う光電時間を露光信号により設定し、前記光電時間内に前記画素に到達した入射光の有無に応じた受光信号を出力する受光回路と、
    　前記受光回路から入力された前記受光信号に基づいて、前記入射光の到達回数をカウント値として計数するカウンタ回路と、
    　前記カウント値に応じた値を閾値として設定し、前記閾値に対して前記カウント値が大きい場合に比較信号をオン状態とする比較回路と、
    　前記比較信号と、時間に対して変化する時間信号とが入力され、前記比較信号がオン状態のとき前記時間信号を距離信号として記憶する記憶回路とを備える
    　固体撮像装置。
  2. 　前記固体撮像装置は、光源からのパルス光が帰還する時間により距離を測定し、１フレーム期間内に対象物までの距離を表す距離画像を出力する固体撮像装置であって、
    　前記１フレーム期間には、背景光検知期間、距離測定期間および距離信号出力期間が含まれており、
    　前記背景光検知期間において、前記閾値が設定され、
    　前記距離測定期間は、Ｎ個の期間に区分され（Ｎは１以上の整数）、
    　前記背景光検知期間、前記距離測定期間および前記距離信号出力期間の各期間において、前記光源からの光パルスの発射時刻に対し所定の時間だけ遅れて前記露光信号が設定され、
    　前記距離測定期間の前記Ｎ個の期間のそれぞれにおいて、前記閾値と前記カウント値が比較され、前記閾値よりも前記カウント値が大きくなった期間で前記時間信号が距離信号として記憶され、
    　前記距離信号出力期間において、前記距離信号が前記距離画像として出力される
    　請求項１に記載の固体撮像装置。
  3. 　前記受光回路は、光電変換により発生した電荷を輸送するトランスファゲートトランジスタを有し、
    　前記トランスファゲートトランジスタは、前記受光素子と前記カウンタ回路との間に接続されている
    　請求項１に記載の固体撮像装置。
  4. 　前記受光回路は、前記受光素子と前記トランスファゲートトランジスタとが直列に接続された組を複数組有している
    　請求項３に記載の固体撮像装置。
  5. 　前記受光回路には、輝度画像用増幅トランジスタがさらに接続され、
    　前記輝度画像用増幅トランジスタには、さらに輝度画像用選択トランジスタが接続されており、
    　前記固体撮像装置は、
    　前記カウンタ回路、前記比較回路および前記記憶回路を介して前記受光信号に基づく前記距離信号を得ることにより前記距離画像を得、
    　輝度画像用増幅トランジスタと前記輝度画像用選択トランジスタとを介して前記受光信号を得ることにより前記対象物の輝度画像を得る
    　請求項１～４のいずれか１項に記載の固体撮像装置。
  6. 　前記受光回路は、前記受光素子と前記トランスファゲートトランジスタとが直列に接続された組を複数組有し、
    　前記複数組における各前記トランスファゲートトランジスタは、前記カウンタ回路に接続されており、
    　前記固体撮像装置は、１フレーム期間内に前記輝度画像と前記距離画像の両方を出力し、
    　前記１フレーム期間内には、背景光検知期間、距離測定期間、距離信号出力期間および輝度画像撮影・出力期間が含まれており、
    　前記背景光検知期間、前記距離測定期間および前記距離信号出力期間において、複数の前記トランスファゲートトランジスタは同時に動作し、
    　前記輝度画像撮影・出力期間において、前記複数のトランスファゲートトランジスタは別々に動作する
    　請求項４に記載の固体撮像装置。
  7. 　前記受光素子は、アバランシェ・フォトダイオードである
    　請求項１～６のいずれか１項に記載の固体撮像装置。
  8. 　前記受光回路は、受光素子信号増幅用インバータと、受光信号スイッチとを含む
    　請求項１～６のいずれか１項に記載の固体撮像装置。
  9. 　前記複数の画素は、さらに、可視光透過フィルタを備える第２の画素群を備える
    　請求項１～８のいずれか１項に記載の固体撮像装置。
  10. 　請求項１～９のいずれか１項に記載の固体撮像装置と、
    　光源と、
    　前記光源の制御と同期させて前記固体撮像装置を制御する信号処理装置とを備え、
    　前記光源から照射した光が対象物において反射した反射光を前記固体撮像装置で受光し、前記光源からの光パルスの発射時刻と前記固体撮像装置において前記反射光を受光した時刻とから、前記光源から前記対象物までの距離画像を前記信号処理装置により出力する
    　距離測定装置。
  11. 　前記第２の画素群の各画素は、
    　可視光用受光素子と、
    　前記可視光用受光素子に接続されたトランスファゲートトランジスタと、
    　前記トランスファゲートトランジスタに接続されたリセットトランジスタと、
    　前記トランスファゲートトランジスタに接続された増幅トランジスタとを備える
    　請求項９に記載の固体撮像装置。
  12. 　前記第２の画素群において、隣接する少なくとも２つの画素は、それぞれ、
    　可視光用受光素子と、
    　前記可視光用受光素子に接続されたトランスファゲートトランジスタとを備え、
    　前記少なくとも２つの画素は、
    　前記各トランスファゲートトランジスタに接続された共通のリセットトランジスタ及び共通の増幅トランジスタを備える
    　請求項１１に記載の固体撮像装置。
  13. 　光源からのパルス光が対象物において反射して帰還する時間により距離を測定し、１フレーム期間内に距離画像を出力する距離測定方法であって、
    　前記１フレーム期間には、背景光検知期間、距離測定期間および距離信号出力期間が含まれており、
    　前記背景光検知期間において、前記閾値が設定され、
    　前記距離測定期間は、Ｎ個の期間に区分され（Ｎは１以上の整数）、
    　前記背景光検知期間、前記距離測定期間および前記距離信号出力期間の各期間において、前記光源からの光パルスの発射時刻に対し所定の時間だけ遅れて前記露光信号を設定し、
    　前記距離測定期間の前記Ｎ個の期間のそれぞれにおいて前記閾値と前記カウント値を比較し、前記閾値よりも前記カウント値が大きくなった期間において前記時間信号を距離信号として記憶し、
    　前記距離信号出力期間において、前記距離信号を前記距離画像として出力する
    　距離測定方法。
  14. 　前記１フレーム期間内には、さらに、前記対象物の輝度画像を得る輝度画像撮影・出力期間が含まれており、
    　前記輝度画像撮影・出力期間において、前記対象物から得た前記受光信号を前記輝度画像として出力する
    　請求項１３に記載の距離測定方法。
PCT/JP2016/005075 2015-12-08 2016-12-07 固体撮像装置、距離測定装置および距離測定方法 WO2017098725A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP16872626.3A EP3388858A4 (en) 2015-12-08 2016-12-07 Solid-state imaging device, distance measuring device, and distance measurement method
JP2017554793A JP6823815B2 (ja) 2015-12-08 2016-12-07 固体撮像装置、距離測定装置および距離測定方法
CN201680065681.7A CN108291961B (zh) 2015-12-08 2016-12-07 固体摄像装置、距离测定装置及距离测定方法
US15/968,918 US10838066B2 (en) 2015-12-08 2018-05-02 Solid-state imaging device, distance measurement device, and distance measurement method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015239763 2015-12-08
JP2015-239763 2015-12-08
JP2016-028428 2016-02-17
JP2016028428 2016-02-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/968,918 Continuation US10838066B2 (en) 2015-12-08 2018-05-02 Solid-state imaging device, distance measurement device, and distance measurement method

Publications (1)

Publication Number Publication Date
WO2017098725A1 true WO2017098725A1 (ja) 2017-06-15

Family

ID=59013938

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/005075 WO2017098725A1 (ja) 2015-12-08 2016-12-07 固体撮像装置、距離測定装置および距離測定方法

Country Status (5)

Country Link
US (1) US10838066B2 (ja)
EP (1) EP3388858A4 (ja)
JP (1) JP6823815B2 (ja)
CN (1) CN108291961B (ja)
WO (1) WO2017098725A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018157387A (ja) * 2017-03-17 2018-10-04 キヤノン株式会社 撮像装置及び撮像システム
CN109429024A (zh) * 2017-08-31 2019-03-05 佳能株式会社 固态图像传感器和摄像设备
WO2019087471A1 (ja) * 2017-10-30 2019-05-09 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
WO2019176673A1 (en) * 2018-03-16 2019-09-19 Sony Semiconductor Solutions Corporation Light receiving device and distance measuring device
WO2019186837A1 (ja) * 2018-03-28 2019-10-03 パナソニックＩｐマネジメント株式会社 固体撮像装置、固体撮像システム、固体撮像装置の駆動方法
JP2020028081A (ja) * 2018-08-16 2020-02-20 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2020145502A (ja) * 2019-03-04 2020-09-10 キヤノン株式会社 撮像装置およびその制御方法
WO2020262476A1 (ja) * 2019-06-25 2020-12-30 国立大学法人静岡大学 距離画像測定装置
JPWO2019176250A1 (ja) * 2018-03-15 2021-03-25 株式会社ニコン 制御装置、制御方法およびプログラム
JP7422451B2 (ja) 2019-07-19 2024-01-26 キヤノン株式会社 光電変換装置、光電変換システム、および移動体

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6735515B2 (ja) * 2017-03-29 2020-08-05 パナソニックＩｐマネジメント株式会社 固体撮像装置
US10585176B2 (en) 2017-09-19 2020-03-10 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
US10663565B2 (en) * 2017-09-19 2020-05-26 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
US10996324B2 (en) 2018-05-14 2021-05-04 Rockwell Automation Technologies, Inc. Time of flight system and method using multiple measuring sequences
US11002836B2 (en) 2018-05-14 2021-05-11 Rockwell Automation Technologies, Inc. Permutation of measuring capacitors in a time-of-flight sensor
US10969476B2 (en) 2018-07-10 2021-04-06 Rockwell Automation Technologies, Inc. High dynamic range for sensing systems and methods
JP7117646B2 (ja) * 2018-09-03 2022-08-15 パナソニックＩｐマネジメント株式会社 距離測定装置
US10789506B2 (en) * 2018-09-24 2020-09-29 Rockwell Automation Technologies, Inc. Object intrusion detection system and method
US11181419B2 (en) 2018-10-09 2021-11-23 Omnivision Technologies, Inc. Photon sensing with threshold detection using capacitor-based comparator
WO2020082390A1 (en) * 2018-10-27 2020-04-30 Huawei Technologies Co., Ltd. Sensor and display device
CN111198382B (zh) * 2018-11-16 2022-07-12 精準基因生物科技股份有限公司 飞时测距传感器以及飞时测距方法
US10834351B2 (en) * 2018-11-26 2020-11-10 Omnivision Technologies, Inc. Bitline settling speed enhancement
US11754442B2 (en) 2019-03-07 2023-09-12 Sony Semiconductor Solutions Corporation Light-receiving apparatus with cycle setting according to photon count determinations
JP7115390B2 (ja) * 2019-03-28 2022-08-09 株式会社デンソー 測距装置
WO2020223589A1 (en) * 2019-05-01 2020-11-05 Sense Photonics, Inc. Event driven shared memory pixel
JP2021021597A (ja) * 2019-07-25 2021-02-18 株式会社東芝 距離計測装置、及び距離計測方法
CN111048540B (zh) * 2019-11-15 2023-07-21 西安电子科技大学 一种门控式像素单元以及3d图像传感器
CN112929519B (zh) * 2019-12-06 2022-10-25 Oppo广东移动通信有限公司 深度相机、成像装置和电子设备
TW202141064A (zh) * 2020-03-24 2021-11-01 日商索尼半導體解決方案公司 受光裝置及測距裝置
CN114556151A (zh) * 2020-12-16 2022-05-27 深圳市大疆创新科技有限公司 测距装置、测距方法和可移动平台
WO2023094308A1 (en) * 2021-11-26 2023-06-01 Sony Semiconductor Solutions Corporation Time-of-flight circuitry and time-of-flight method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328169A (ja) * 2001-05-01 2002-11-15 Nikon Corp 測距装置および方法
JP2004294420A (ja) 2003-02-03 2004-10-21 Shoji Kawahito 距離画像センサ
JP2010035168A (ja) * 2008-07-25 2010-02-12 Samsung Electronics Co Ltd イメージング装置および方法
JP2010091378A (ja) * 2008-10-07 2010-04-22 Toyota Motor Corp 画像取得装置及び方法
JP2011128024A (ja) * 2009-12-17 2011-06-30 Sharp Corp ３次元撮像装置
JP2012513694A (ja) * 2008-12-22 2012-06-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 単光子計数機能を備えるｃｍｏｓ撮像装置
JP2014514733A (ja) * 2011-03-10 2014-06-19 サイオニクス、インク． ３次元センサ、システム、および関連する方法
WO2015097284A1 (en) * 2013-12-24 2015-07-02 Softkinetic Sensors Nv A time-of-flight camera system
JP2015534068A (ja) * 2012-09-27 2015-11-26 ノースロップ グルマン システムズ コーポレーションＮｏｒｔｈｒｏｐ Ｇｒｕｍｍａｎ Ｓｙｓｔｅｍｓ Ｃｏｒｐｏｒａｔｉｏｎ 光検出および測距（ｌｉｄａｒ）焦点面アレイを使用する、３次元のハイパースペクトル撮像システムおよび方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002088772A1 (fr) 2001-04-25 2002-11-07 Nikon Corporation Telemetre, procede de telemetrie, et circuit de transduction photoelectrique
JP2009092555A (ja) * 2007-10-10 2009-04-30 Denso Corp パルスレーダ装置
JP2009257981A (ja) * 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
US8976340B2 (en) * 2011-04-15 2015-03-10 Advanced Scientific Concepts, Inc. Ladar sensor for landing, docking and approach
US9541386B2 (en) * 2012-03-21 2017-01-10 Semiconductor Energy Laboratory Co., Ltd. Distance measurement device and distance measurement system
EP2856207B1 (en) * 2012-05-29 2020-11-11 Brightway Vision Ltd. Gated imaging using an adaptive depth of field
US9137521B2 (en) * 2012-07-24 2015-09-15 Samsung Electronics Co., Ltd. Depth sensing apparatus and method
JP6225411B2 (ja) * 2012-10-16 2017-11-08 株式会社豊田中央研究所 光学的測距装置
US10422879B2 (en) * 2014-11-14 2019-09-24 Denso Corporation Time-of-flight distance measuring device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328169A (ja) * 2001-05-01 2002-11-15 Nikon Corp 測距装置および方法
JP2004294420A (ja) 2003-02-03 2004-10-21 Shoji Kawahito 距離画像センサ
JP2010035168A (ja) * 2008-07-25 2010-02-12 Samsung Electronics Co Ltd イメージング装置および方法
JP2010091378A (ja) * 2008-10-07 2010-04-22 Toyota Motor Corp 画像取得装置及び方法
JP2012513694A (ja) * 2008-12-22 2012-06-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 単光子計数機能を備えるｃｍｏｓ撮像装置
JP2011128024A (ja) * 2009-12-17 2011-06-30 Sharp Corp ３次元撮像装置
JP2014514733A (ja) * 2011-03-10 2014-06-19 サイオニクス、インク． ３次元センサ、システム、および関連する方法
JP2015534068A (ja) * 2012-09-27 2015-11-26 ノースロップ グルマン システムズ コーポレーションＮｏｒｔｈｒｏｐ Ｇｒｕｍｍａｎ Ｓｙｓｔｅｍｓ Ｃｏｒｐｏｒａｔｉｏｎ 光検出および測距（ｌｉｄａｒ）焦点面アレイを使用する、３次元のハイパースペクトル撮像システムおよび方法
WO2015097284A1 (en) * 2013-12-24 2015-07-02 Softkinetic Sensors Nv A time-of-flight camera system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3388858A4

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018157387A (ja) * 2017-03-17 2018-10-04 キヤノン株式会社 撮像装置及び撮像システム
US11115612B2 (en) 2017-08-31 2021-09-07 Canon Kabushiki Kaisha Solid-state image sensor and image capture apparatus
CN109429024A (zh) * 2017-08-31 2019-03-05 佳能株式会社 固态图像传感器和摄像设备
CN109429024B (zh) * 2017-08-31 2021-12-14 佳能株式会社 固态图像传感器和摄像设备
US11490045B2 (en) 2017-10-30 2022-11-01 Sony Semiconductor Solutions Corporation Solid-state imaging device
JPWO2019087471A1 (ja) * 2017-10-30 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
WO2019087471A1 (ja) * 2017-10-30 2019-05-09 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
US11895422B2 (en) 2017-10-30 2024-02-06 Sony Semiconductor Solutions Corporation Solid-state imaging device
US11082656B2 (en) 2017-10-30 2021-08-03 Sony Semiconductor Solutions Corporation Solid-state imaging device
JP7311423B2 (ja) 2017-10-30 2023-07-19 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
US11546542B2 (en) 2017-10-30 2023-01-03 Sony Semiconductor Solutions Corporation Solid-state imaging device
US11297249B2 (en) 2018-03-15 2022-04-05 Nikon Corporation Control device, control method and non-transitory computer readable storage medium
US11936988B2 (en) 2018-03-15 2024-03-19 Nikon Corporation Control device, control method and non-transitory computer readable storage medium
JP7359264B2 (ja) 2018-03-15 2023-10-11 株式会社ニコン センサ
JPWO2019176250A1 (ja) * 2018-03-15 2021-03-25 株式会社ニコン 制御装置、制御方法およびプログラム
JP7131604B2 (ja) 2018-03-15 2022-09-06 株式会社ニコン 制御装置、制御方法およびプログラム
CN111868555A (zh) * 2018-03-16 2020-10-30 索尼半导体解决方案公司 光接收设备与距离测量设备
WO2019176673A1 (en) * 2018-03-16 2019-09-19 Sony Semiconductor Solutions Corporation Light receiving device and distance measuring device
US11243310B2 (en) 2018-03-28 2022-02-08 Panasonic Intellectual Property Management Co., Ltd. Solid-state imaging device, solid-state imaging system, and method of driving the solid-state imaging device
WO2019186837A1 (ja) * 2018-03-28 2019-10-03 パナソニックＩｐマネジメント株式会社 固体撮像装置、固体撮像システム、固体撮像装置の駆動方法
JPWO2019186837A1 (ja) * 2018-03-28 2021-01-07 パナソニックＩｐマネジメント株式会社 固体撮像装置、固体撮像システム、固体撮像装置の駆動方法
JP2020028081A (ja) * 2018-08-16 2020-02-20 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP7278039B2 (ja) 2018-08-16 2023-05-19 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP7321723B2 (ja) 2019-03-04 2023-08-07 キヤノン株式会社 撮像装置およびその制御方法
JP2020145502A (ja) * 2019-03-04 2020-09-10 キヤノン株式会社 撮像装置およびその制御方法
WO2020262476A1 (ja) * 2019-06-25 2020-12-30 国立大学法人静岡大学 距離画像測定装置
JP7422451B2 (ja) 2019-07-19 2024-01-26 キヤノン株式会社 光電変換装置、光電変換システム、および移動体

Also Published As

Publication number Publication date
US10838066B2 (en) 2020-11-17
CN108291961B (zh) 2022-06-28
US20180246214A1 (en) 2018-08-30
EP3388858A1 (en) 2018-10-17
EP3388858A4 (en) 2018-12-12
CN108291961A (zh) 2018-07-17
JP6823815B2 (ja) 2021-02-03
JPWO2017098725A1 (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
WO2017098725A1 (ja) 固体撮像装置、距離測定装置および距離測定方法
US11869273B2 (en) Object recognition with removal of event as noise when the event is detected for a group of pixels exceeding a threshold
EP3334152B1 (en) Solid-state imaging device
EP2148514A1 (en) Imaging method and image sensor
EP3392674A1 (en) A pixel structure
JP2008539658A (ja) 照明フリッカ検出
US11662443B2 (en) Method and apparatus for determining malfunction, and sensor system
JPWO2016133053A1 (ja) 距離画像計測装置
WO2018180660A1 (ja) 固体撮像装置
JP6362511B2 (ja) 撮像装置及びその制御方法
US11381806B2 (en) Detection device and detection method using avalanche diode array and calibration matrix generating method thereof
US20220003876A1 (en) Distance image obtaining method and distance detection device
WO2019050024A1 (ja) 距離測定方法および距離測定装置
CN113167900A (zh) 成像传感器
JP7281718B2 (ja) 光検出器、固体撮像装置、及び、距離測定装置
JP7443006B2 (ja) 光検出器及び距離測定装置
JP2020107980A (ja) 光検出装置および撮像システム
US20220342053A1 (en) Distance measurement device, method of controlling distance measurement device, and electronic apparatus
WO2021157393A1 (ja) 測距装置および測距方法
JP6320132B2 (ja) 撮像システム
JP7384931B2 (ja) 分配された光電子倍増管を伴う高空間解像度の固体画像センサ
JP6366325B2 (ja) 撮像システム
JP2021025810A (ja) 距離画像センサ、および距離画像測定装置
JP6170618B6 (ja) 画素飽和を回避する方法
JP6170618B2 (ja) 画素飽和を回避する方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16872626

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017554793

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE