WO2017061104A1 - 撮像装置、およびそれに用いられる固体撮像素子 - Google Patents

撮像装置、およびそれに用いられる固体撮像素子 Download PDF

Info

Publication number
WO2017061104A1
WO2017061104A1 PCT/JP2016/004468 JP2016004468W WO2017061104A1 WO 2017061104 A1 WO2017061104 A1 WO 2017061104A1 JP 2016004468 W JP2016004468 W JP 2016004468W WO 2017061104 A1 WO2017061104 A1 WO 2017061104A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure
light emission
control signal
light
period
Prior art date
Application number
PCT/JP2016/004468
Other languages
English (en)
French (fr)
Inventor
昌也 岸本
遥 高野
純一 松尾
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP16853261.2A priority Critical patent/EP3361283A4/en
Priority to CN201680058360.4A priority patent/CN108139482B/zh
Priority to JP2017544189A priority patent/JP6741680B2/ja
Publication of WO2017061104A1 publication Critical patent/WO2017061104A1/ja
Priority to US15/946,270 priority patent/US10686994B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance

Definitions

  • the present invention relates to an imaging apparatus and a solid-state imaging device used for the imaging apparatus.
  • the distance calculation of the TOF (Time Of Flight) method at least two or more exposure signals are acquired with respect to the reflected light from the subject, and the time difference or phase difference between light emission and light reception (from the acquired exposure signal amount) Distance calculation is performed by calculating the time required for light to travel back and forth to the target object.
  • TOF Time Of Flight
  • the distance measurement calculation generally includes a difference calculation, and the influence of background light such as sunlight that irradiates a subject with a certain amount of light during the exposure period or is incident on an imaging device (TOF camera). The difference is removed and the influence is suppressed.
  • background light such as sunlight that irradiates a subject with a certain amount of light during the exposure period or is incident on an imaging device (TOF camera).
  • TOF camera imaging device
  • Patent Document 1 discloses the following optical flight type distance image generation device. That is, when generating a distance image of a shooting space, even if there are multiple optical flight-type distance image generation devices in the same shooting space at the same time, the modulation emitted from the light source is performed in order to accurately measure the distance. While the light emission (ON) period and the charge accumulation period in each unit accumulation unit of the charge accumulation unit are kept constant, light emission and accumulation are controlled so as to change the length of the period for each modulation period. The length of the period is changed by adding an additional time different for each period to a predetermined fixed modulation period Ts. And the prior art which discards the electric charge acquired during the addition time is disclosed.
  • the TOF camera generally has a very short light emission and exposure period of several tens of ns, it is necessary to perform light emission and exposure operations several thousand times or more in one frame.
  • the TOF camera by adding an additional time to the light emission period for each period of the irradiation light and modulating the light emission signal period, the periodicity of the light emission is lost, and each exposure signal necessary for the distance measurement calculation In the case where the interference light component contained in is uniformized, there is a problem that the light emission period and the exposure period are increased by the added time, and the frame rate is decreased.
  • an object of the present invention is to provide an imaging device that realizes suppression of a so-called interference phenomenon without reducing the frame rate, and a solid-state imaging device used therefor.
  • an imaging device is an imaging device that measures the distance to a subject by irradiating light and receiving reflected light from the subject.
  • a control unit that outputs a control signal and an exposure control signal, a light source unit that irradiates light at the timing of the light emission control signal, and a plurality of different reflected lights from the subject of the irradiated light depending on the exposure control signal
  • a light receiving unit including a solid-state imaging device that performs exposure at timing and outputs a plurality of exposure signals generated by exposure at the plurality of different timings; and a calculation unit that performs distance calculation using the plurality of exposure signals as inputs.
  • the control unit generates a light emission period of the light source unit and a length of an exposure period of the solid-state imaging device for generating each of the plurality of exposure signals, and the light emission period and Iteration order of the serial exposure period, and outputs the emission control signal and said exposure control signal for applying modulation to at least one of.
  • control unit outputs the light emission control signal and the exposure control signal that increase or decrease the length of the light emission period and the exposure period according to a random or constant rule, so that the length of the light emission period and the exposure period is increased. Modulation may be added to the length.
  • control unit outputs the light emission control signal and the exposure control signal that change a repetition order of the light emission period and the exposure period according to a random or constant rule, thereby repeating the light emission period and the exposure period. Modulation may be added to the order.
  • control unit outputs the light emission control signal or the exposure control signal obtained by modulating the ratio between the light emission state and the non-light emission state and the ratio between the exposure state and the non-exposure state in the light emission period and the exposure period. It may be output.
  • the modulation of the ratio may increase or decrease the ratio between the light emitting state and the non-light emitting state and the ratio between the exposed state and the non-exposed state according to a random or constant rule.
  • the ratio may be modulated by turning off the light emission pulse as the light emission control signal and the exposure pulse as the exposure control signal according to a random or constant rule.
  • the ratio may be modulated by thinning out at least one cycle of the light emission pulse and the exposure pulse according to a random or constant rule.
  • the imaging device may measure the distance to the subject by a TOF (time of flight) method.
  • TOF time of flight
  • a solid-state imaging device includes a control unit that outputs a light emission control signal and an exposure control signal, a light source unit that emits light at the timing of the light emission control signal, a solid-state imaging device, A solid-state image sensor used in an imaging device that measures a distance to a subject by irradiating light and receiving reflected light from the subject.
  • the solid-state imaging device has a light emission period of the light source unit and a length of the exposure period of the solid-state imaging device for generating each of the plurality of exposure signals, and a repetition order of the light emission period and the exposure period. Exposure at a plurality of different timings according to the light emission control signal and the exposure control signal for modulating at least one of the plurality of exposure signals and outputting the plurality of exposure signals And features.
  • the solid-state image sensor may be a CCD (Charge Coupled Device) type solid-state image sensor.
  • CCD Charge Coupled Device
  • the imaging apparatus and the solid-state imaging device used therefor it is possible to suppress a so-called interference phenomenon without increasing the exposure period or reducing the frame rate.
  • FIG. 1 is a functional block diagram illustrating an example of a schematic configuration of an imaging apparatus (ranging imaging apparatus) according to the first embodiment.
  • FIG. 2 is a schematic configuration diagram illustrating the solid-state imaging element according to the first embodiment.
  • FIG. 3 is a diagram illustrating a sequence of light emission exposure timing of a general imaging apparatus.
  • FIG. 4 is a diagram illustrating a sequence of light emission exposure timing when an interference signal exists in a general imaging apparatus.
  • FIG. 5 is a diagram illustrating a sequence of light emission exposure timings of the imaging apparatus according to the first embodiment.
  • FIG. 6 is a diagram illustrating a sequence of light emission exposure timings when an interference signal is present in the imaging apparatus according to the first embodiment.
  • FIG. 7 is a diagram illustrating a sequence of light emission exposure timings of the imaging apparatus according to the second embodiment.
  • FIG. 8 is a diagram illustrating a sequence of light emission exposure timings of the imaging apparatus according to the modification of the second embodiment.
  • light emission exposure is used as an expression related to light emission and exposure.
  • luminescence exposure is luminescence and exposure
  • luminescence exposure timing is luminescence timing and exposure timing
  • luminescence exposure operation is luminescence operation and exposure operation
  • luminescence exposure period is luminescence period and exposure period
  • the length of the light emission exposure period is the length of the light emission period and the length of the exposure period.
  • the repetition of the light emission exposure is the repetition of the light emission and the repetition of the exposure.
  • the operation order (repetition order) of the light emission exposure period is the light emission period.
  • FIG. 1 is a functional block diagram illustrating an example of a schematic configuration of an imaging apparatus (ranging imaging apparatus) according to the first embodiment.
  • the imaging apparatus 1 shown in the figure measures the distance to the subject (or senses the subject) by irradiating light and receiving reflected light from the subject.
  • the imaging apparatus 1 includes a light source unit 11, a light receiving unit 12, a control unit 13, and a TOF calculation unit 14.
  • a subject OB whose distance from the imaging device 1 is measured (sensed) by the imaging device 1 is also shown.
  • the light source unit 11 is a light source that emits light (irradiation light, pulsed light, light emission signal) at the timing indicated by the light emission control signal.
  • the light source unit 11 irradiates the subject OB with light according to the timing of receiving the light emission control signal generated by the control unit 13.
  • the light source unit 11 includes a drive circuit, a capacitor, and a light emitting element, and emits light by supplying the charge held in the capacitor to the light emitting diode.
  • the light emitting element other light emitting elements such as a laser diode (LD) and a light emitting diode (LED) may be used.
  • LD laser diode
  • LED light emitting diode
  • the control unit 13 is a control unit that outputs a light emission control signal and an exposure control signal. Specifically, the control unit 13 generates a light emission control signal for instructing light irradiation to the measurement object (subject OB) and an exposure control signal for instructing exposure of reflected light from the subject.
  • the control part 13 is comprised by arithmetic processing apparatuses, such as a microcomputer, for example.
  • the microcomputer includes a processor (microprocessor), a memory, and the like, and a driving program stored in the memory is executed by the processor, thereby outputting a light emission control signal and an exposure control signal.
  • control unit 13 may use an FPGA, an ISP, or the like, and may be configured by one piece of hardware or a plurality of pieces of hardware.
  • control unit that generates the light emission control signal and the control unit that generates the exposure control signal may be different control units.
  • the light receiving unit 12 includes a solid-state imaging device (image sensor, solid-state imaging device), and outputs an imaging signal (exposure signal) indicating an exposure amount by exposing reflected light at a timing indicated by an exposure control signal.
  • a solid-state imaging device image sensor, solid-state imaging device
  • an imaging signal exposure signal
  • FIG. 2 is a schematic configuration diagram illustrating the solid-state imaging device according to the first embodiment.
  • the solid-state imaging device according to the present embodiment is a so-called CCD type solid-state imaging device, and includes a photodiode 101 (PD, light receiving region), a vertical transfer unit 102, a horizontal transfer unit 103, And a signal charge detection unit 104.
  • the photodiode 101 converts received light into electric charges.
  • the vertical transfer unit 102 includes a plurality of gates, and sequentially transfers charges read from the photodiode 101 in the vertical direction.
  • the horizontal transfer unit 103 sequentially transfers the charges received from the vertical transfer unit 102 in the horizontal direction.
  • the signal charge detection unit 104 sequentially detects the charges received from the horizontal transfer unit 103, converts them into voltage signals, and outputs them.
  • the readout gate from the photodiode 101 to the vertical transfer unit 102 is opened, the substrate voltage is controlled according to the exposure control signal, and light is photoelectrically converted by the photodiode 101 during the period when the exposure control signal is low.
  • the charged charges are accumulated in the vertical transfer unit 102.
  • a CCD (Charge Coupled Device) image sensor (CCD type solid-state imaging device) is used, so that an operation of collectively resetting a plurality of photodiodes 101, so-called global reset, can be performed. Ranging can be realized.
  • the solid-state imaging device used in the present embodiment is not limited to the CCD image sensor, and other requirements such as a CMOS image sensor (CMOS solid-state imaging device) are taken into consideration for other requirements as an imaging device.
  • CMOS solid-state imaging device CMOS solid-state imaging device
  • a similar imaging device can be realized using a solid-state imaging device (image sensor).
  • the light receiving unit 12 includes, for example, a circuit for creating and outputting imaging data (RAW data) such as an optical lens, a band pass filter, a cover glass, and an A / D converter as necessary.
  • RAW data imaging data
  • the TOF calculation unit 14 is a calculation unit that calculates the distance to the subject using the exposure signal. Specifically, the TOF calculation unit 14 outputs a calculation result (distance image, sensing image, captured image, calculation information) based on a plurality of exposure signals received from the light receiving unit 12.
  • the TOF calculation unit 14 is configured by a calculation processing device such as a microcomputer, for example, similarly to the control unit 13. Further, the TOF calculation unit 14 calculates the distance by the calculation program stored in the memory being executed by the processor. As with the control unit 13, the TOF calculation unit 14 may use an FPGA, an ISP, or the like, and may be composed of one hardware or a plurality of hardware.
  • a general driving method described below is executed by a drive control unit or the like.
  • FIG. 3 is a diagram showing a sequence of light emission exposure timing of a general ranging image pickup apparatus. More specifically, FIGS. 3B, 3 ⁇ / b> C, and 3 ⁇ / b> D are general cases in which a distance is calculated from exposure signals detected at three timings in which the phases of the light emission control signal and the exposure control signal are different.
  • FIG. 3A illustrates an example of timing in one frame.
  • FIG. 3A illustrates an example of a driving timing (driving method).
  • A0 light emission exposure, A1 light emission exposure, and A2 light emission exposure operations in which the phase relationship between the light emission control signal and the exposure control signal are different in one frame period are detected in the light emission exposure period in the signal output period.
  • the exposure signals A0 to A2 are output, and the distance calculation is performed. Further, the length in the width T A of light emission pulses is dependent on the distance range to perform sensing, the sensing range of typically several m ⁇ number 10 m, very a short time and the number of 10 ns.
  • the exposure amounts A0 to A2 obtained for one pulse are very small.
  • the light emission operation and the exposure operation are performed several thousand times or more (M times) in each light emission exposure period. It is necessary to accumulate the exposure signal by repeating and to detect a sufficient amount of exposure signal.
  • FIG. 3B shows a general exposure timing (driving method) of an exposure amount A0 for one pulse in the A0 light emission exposure period of the first phase relationship.
  • the light emission control signal is High (light emission state)
  • (pulsed) light is emitted from the light source unit, and the reflected light is received by the delay due to the optical path, that is, the time delay difference corresponding to the round trip distance from the light source unit 11 to the subject OB. 12 is reached.
  • the light emission state the light emission control signal is in the high state
  • the exposure state the exposure control signal is in the low state
  • the reflected light and background light components exposed during this exposure state are the exposure amount A0 for one pulse, and the sum of M times is the exposure amount A0 output from the light receiving unit 12.
  • FIG. 3 (c) shows a general exposure timing (driving method) of an exposure amount A1 for one pulse in the second phase-related A1 light emission exposure period.
  • the exposure state starts at the same time as the light emission state ends, and similarly, the amount of exposure A1 is obtained by repeating this light emission exposure operation M times.
  • FIG. 3D shows a general exposure timing (driving method) of the exposure amount A2 for one pulse in the A2 light emission exposure period of the third phase relationship.
  • the light emission control signal is always OFF, and the light emission operation is not performed, and only the exposure operation is performed.
  • the exposure amount A2 detects background light such as sunlight and offset components such as dark current components, and the influence of background light can be suppressed by calculating the difference between the exposure amounts A0 and A1.
  • FIG. 4 is a diagram showing a sequence of light emission exposure timing when an interference signal is present in a general imaging apparatus.
  • FIG. 4A shows an example in which two TOF cameras are operating at the general exposure timing (driving method) shown in FIG. Note that due to the positional relationship with the subject OB, a temporal deviation occurs between the light emission control signal of the own TOF camera and the interference signal from the other TOF camera. Although there is a difference between the intensity of the light emission signal and the intensity of the interference light, the own TOF camera and the other TOF camera are completely synchronized (for the start and end of one frame) for easy understanding. However, it is assumed that the reflected light intensity of the own TOF camera is equal to the light intensity of the interference signal.
  • FIG. 4B shows a general exposure timing (driving method) of the exposure amount A0 when there is an interference signal. Since there is an interference signal from another TOF camera in the exposure state (exposure control signal is Low), the interference light component is mixed into the exposure amount A0 together with the reflected light component, and it is integrated M times.
  • FIG. 4C shows a general exposure timing (driving method) of the exposure amount A1.
  • the exposure timing of the exposure amount A1 there is no interference light during the exposure state, so the exposure amount A1 is only the reflected light component, and no interference light component is mixed.
  • FIG. 4D shows a general exposure timing (driving method) for the exposure amount A2. Since there is no interference signal during the exposure state, no interference light component is mixed in the exposure amount A2 as in the exposure amount A1. That is, only the exposure amount A0 is affected by the interference light, and the exposure amounts A1 and A2 are not affected by the interference light.
  • the signal amount increases only in the exposure amount A0 and a difference (error) occurs in the distance calculation result as compared with the case where there is no interference. Problem arises.
  • the light emission exposure period is divided, and the control unit 13 determines the length of each divided A0, A1, and A2 light emission exposure period, and , A0, A1, and A2 At least one of the light emission control signal and the exposure control signal that modulates at least one of the operation order (repetition order) of the light emission exposure period is output.
  • FIG. 5 is a diagram illustrating a sequence of light emission exposure timings of the imaging apparatus according to the first embodiment.
  • FIG. 6 is a diagram illustrating a sequence of light emission exposure timing when an interference signal is present in the imaging apparatus according to the first embodiment.
  • the distance signal is obtained by the TOF method, and the rectangular wave type TOF method (pulsed) in which there is a phase in which exposure is not performed in repetition of light emission exposure. (TOF method) will be described.
  • TOF method the method for obtaining the distance signal is not limited to this.
  • FIG. 5 (b) shows the modulation of the length of the light emission exposure period and the operation order of the A2 light emission exposure period for each of the divided A0, A1, and A2 light emission exposure periods according to the present embodiment. An example will be described.
  • FIG. 6A shows a case where another TOF camera modulates a self-TOF camera having a drive pattern in which the light emission exposure period is divided and the light emission exposure period and the operation order are modulated according to the present embodiment. It is an example in the case of showing the pattern of the interference signal when not adding.
  • FIG. 6B shows the exposure timing at the start of the first set A0 emission exposure period divided into N of the own TOF camera according to the present embodiment. Since the interference signal from the other TOF camera completely coincides with the exposure state of the own TOF camera, the interference light component is largely mixed in the exposure amount A0.
  • FIG. 6C shows the exposure amount timing at the start of the second set A0 light emission exposure period according to the present embodiment.
  • interference signals from other TOF cameras partially overlap, and the exposure amount A0 is partially affected by the interference light.
  • FIG. 6D shows the exposure timing at the start of the Nth light emission exposure period of the own TOF camera according to the present embodiment. Since there is no interference signal from another TOF camera during the exposure state of the own TOF camera, no interference light component is mixed in the exposure amount A0.
  • the exposure amount A0 for each pulse always includes the interference light component, but in the driving method according to the present embodiment, the exposure amount A0 for each pulse is included.
  • the interference light component generated is not always constant and has various variations.
  • the integrated exposure amount becomes an exposure signal including an interference light component in which variations of interference light are averaged.
  • the interference light component for each pulse included in the exposure amount A1 and the exposure amount A2 varies, and the integrated exposure amount becomes an exposure signal including the averaged interference component.
  • the light emission exposure period is divided, and the length and operation sequence of the light emission exposure period are modulated to eliminate the similarity of the operation pattern with other TOF cameras, and the exposure signals A0 and A1.
  • the interference light component contained in A2 can be made identical.
  • the difference calculation included in the distance calculation the interference light component included in the exposure amount is subtracted, and the influence of interference can be suppressed.
  • the length modulation of the light emission exposure period and the modulation of the operation order are modulated according to a random or fixed rule.
  • the dark current and frame rate can be adjusted even if modulation is applied. Can be prevented from being affected.
  • the imaging apparatus 1 each exposure of the own TOF camera by modulating the order of light emission exposure and the period thereof.
  • the interference light component included in the signal is equalized. That is, the control unit 13 includes the length of the A0 light emission exposure period, the A1 light emission exposure period, and the A2 light emission exposure period, which is a combination of the light emission period of the light source unit 11 and the exposure period of the light receiving unit 12, and the A0 light emission exposure period.
  • the light emission control signal and the exposure control signal are output so as to modulate at least one of the repetition order of the A1 light emission exposure period and the A2 light emission exposure period.
  • control unit 13 outputs a light emission control signal and an exposure control signal that increase or decrease the lengths of the A0 light emission exposure period, the A1 light emission exposure period, and the A2 light emission exposure period according to a random or constant rule.
  • A0 to A2 are modulated to the length of the light emission exposure period.
  • the control unit 13 outputs A0 to A2 by outputting a light emission control signal and an exposure control signal that change the repetition order of the A0 light emission exposure period, the A1 light emission exposure period, and the A2 light emission exposure period according to a random or fixed rule. Modulation is applied to the repetition order of the light emission exposure period.
  • the influence of the interference light is suppressed by the difference calculation included in the distance measurement calculation, and the distance measurement error due to the interference light (interference signal) from another TOF camera can be reduced.
  • the problem is that the scale of the circuit that generates the additional time and the memory (storage element, storage device) for storing the pattern of the additional time increase. Can be prevented.
  • the other TOF camera is not modulated, but the influence of interference is similarly suppressed even if the length of the light emission exposure period and the modulation of the operation sequence are added to the other TOF camera. it can. Further, the influence of interference can be further suppressed by making the modulation pattern added to the length of the light emission exposure period and the operation sequence different between the own TOF camera and the other TOF camera.
  • the imaging device 1 which concerns on this Embodiment, and the solid-state image sensor used for it are not necessarily limited to it.
  • different modulation is applied to light emission requirements (length of light emission time, repetition order of light emission time, etc.) and exposure requirements (length of exposure time, repetition order of exposure time, etc.) of the light emission exposure period. You can also.
  • it is possible to apply modulation to one of the light emission requirement and the exposure requirement in other words, to apply modulation to one of the light emission requirement and the exposure requirement, and to add no modulation to the other.
  • the light emission requirements are not limited to the length of the light emission time and the repetition order of the light emission times, but include other requirements related to light emission.
  • the exposure requirements are not limited to the length of the exposure time and the repetition order of the exposure times, but also include other requirements related to exposure.
  • FIG. 7 is a diagram illustrating a sequence of light emission exposure timings of the imaging apparatus according to the second embodiment.
  • FIG. 7A shows the timing of the light emission control signal and the exposure control signal during the light emission exposure period.
  • the period (T A OFF) between the non-light emission state (light emission control signal Low) and the non-exposure state (exposure control signal High) is constant.
  • control unit 13 modulates the period of light emission and exposure state (Duty) while maintaining the phase relationship between the light emission signal and the exposure control signal in the A0, A1, and A2 light emission exposure periods.
  • a light emission control signal and an exposure control signal are output.
  • FIG. 7B shows an example of an operation in which modulation is applied to the duty. While maintaining the phase relation between the light emitting control signal and the exposure control signal, according to a random or a predetermined rule, changing the non-emission state and a non-exposure state time (T A OFF).
  • this change amount can have not only a positive value but also a negative value.
  • the dark current and the frame rate can be reduced.
  • the influence of modulation can be prevented.
  • the minimum unit of the increase / decrease amount is equal to or greater than the emission width. That is, when the ratio between the light emitting state and the non-light emitting state before Duty modulation is 1: 5, a combination of 1: 3, 1: 4, 1: 5, 1: 6, 1: 7, etc. Modulation is performed by selecting a ratio according to a certain rule.
  • the similarity of the drive pattern with other TOF cameras is further eliminated, the interference components included in each exposure signal amount can be made more identical, and the influence of interference can be suppressed.
  • the modulation pattern is initialized when the first light emission exposure period ends, and by sharing the modulation pattern between the sets, the required modulation pattern becomes approximately 1 / N times, An increase in the random number generation circuit and the amount of memory can be further suppressed. Further, by performing modulation while periodically repeating fewer random number patterns, it is possible to suppress the scale of the random generation circuit while suppressing the influence of the interference light.
  • LFSR LINEAR FEEDBACK SHIFT REGISTER
  • pseudorandom numbers corresponding to the seed can be generated by changing the initial value (seed).
  • Modification 1 of Embodiment 2 In this modification, the control unit 13 of the emission control signal pulse and the exposure control signal pulse to OFF, the light emission control signal and an exposure control signal further modulated with the non-emission state and a non-exposure state time (T A OFF) Output.
  • FIG. 8 is a diagram illustrating a sequence of light emission exposure timings of the imaging apparatus according to the modification of the second embodiment.
  • FIG. 8A is an example in the case of showing a pattern in which the light emission control signal pulse and the exposure control signal pulse are turned OFF and further modulation is performed.
  • the emission control signal pulse and the exposure control signal pulse of the second cycle by to OFF, so that the first cycle T A OFF_1 is modulated to T A OFF_1 + T A + T A OFF_2.
  • the reference random number pattern is the same, by modulating the part where the pulse is turned OFF, it is possible to generate a substantially different random number pattern and apply modulation to the duty.
  • control unit 13 outputs a light emission control signal and an exposure control signal for thinning out the light emission control signal pulse and the exposure control signal pulse.
  • FIG. 8B is an example showing a pattern in which light emission control signal pulses and exposure control signal pulses for one cycle are thinned out.
  • T A OFF — 2 is modulated to T A OFF — 3, and different random number patterns can be generated.
  • the imaging device of this indication and the solid-state image sensor used for it have been explained based on the above-mentioned embodiment, the imaging device of this indication and the solid-state image sensor used for it are limited to the above-mentioned embodiment. Is not to be done.
  • the imaging apparatus according to the present invention and the solid-state imaging device used for the imaging apparatus are useful for three-dimensional measurement that requires suppression of interference phenomenon.

Abstract

光を照射して被写体からの反射光を受光することにより、被写体（ＯＢ）までの距離を測定する撮像装置（１）であって、発光制御信号および露光制御信号を出力する制御部（１３）と、発光制御信号のタイミングで光の照射を行う光源部（１１）と、照射された光の被写体からの反射光を、露光制御信号により複数の異なるタイミングで露光し、当該複数の異なるタイミングによる露光で生成された複数の露光信号を出力する受光部（１２）と、複数の露光信号を入力として距離演算を行う演算部とを有し、制御部（１３）は、発光期間および露光期間の長さ、ならびに、発光期間および露光期間の繰り返し順序の少なくとも一方に変調を加えるための発光制御信号および露光制御信号を出力する。

Description

撮像装置、およびそれに用いられる固体撮像素子
　本発明は、撮像装置、およびそれに用いられる固体撮像素子に関する。
　ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）方式の測距演算では、被写体からの反射光に対して、少なくとも２つ以上の露光信号を取得し、その取得した露光信号量から発光と受光との時間差または位相差（対象物体まで光が往復するのに要した時間）を算出することで測距演算を行う。
　また、上記測距演算では、一般的に差分演算が含まれており、太陽光など、露光期間中に一定の光量が被写体に照射あるいは撮像装置（ＴＯＦカメラ）に入射される背景光の影響は差分除去され、その影響は抑制される。
　しかし、ＴＯＦカメラが複数ある場合、他の撮像装置（他ＴＯＦカメラ）からの発光や反射光は周期性を持った光であるため、自ＴＯＦカメラの露光期間中に時間的な変化を持つ。そのため、測距演算に必要な複数の各露光信号に含まれる他ＴＯＦカメラからの干渉光の影響成分は同一ではない。つまり、測距演算に含まれる差分演算を行っても、干渉光の影響は排除することができず、測距誤差が発生する。
　特許文献１では、以下のような光飛行型距離画像生成装置が開示されている。すなわち、撮影空間の距離画像生成する際、同一撮影空間内に同時期に複数の光飛行型距離画像生成装置が存在する場合であっても、精度良く測距を行うため、光源から照射する変調光の発光（ＯＮ）期間と、電荷蓄積部の各単位蓄積部における電荷の蓄積期間とを一定としながら、変調周期毎に周期の長さを変化させるよう、発光と蓄積とを制御する。周期の長さは、予め定めた固定の変調周期Ｔｓに、周期毎に異なる付加時間を付加することにより変化させる。そして、付加時間中に取得した電荷は廃棄する従来技術を開示している。
特表２０１３－７６６４５号公報
　しかしながら、一般的にＴＯＦカメラは、発光および露光期間が数１０ｎｓと非常に短いため、１フレーム中に数１０００回以上の発光および露光動作を行う必要がある。
　そのため、ＴＯＦカメラにおいて、照射光に対して、１周期毎に発光周期に付加時間を加え、発光信号の周期を変調することにより、発光の周期性を崩し、測距演算に必要な各露光信号に含まれる干渉光成分を均一化する場合、付加した時間だけ、発光期間および露光期間が増大し、フレームレートが低下するという課題を有している。
　上記課題に鑑み、本発明は、フレームレートを低下させること無く、いわゆる干渉現象の抑制を実現する撮像装置、およびそれに用いられる固体撮像素子を提供することを目的とする。
　上記課題を解決するために、本発明の一態様に係る撮像装置は、光を照射して被写体からの反射光を受光することにより、当該被写体までの距離を測定する撮像装置であって、発光制御信号および露光制御信号を出力する制御部と、前記発光制御信号のタイミングで光の照射を行う光源部と、照射された光の前記被写体からの反射光を、前記露光制御信号により複数の異なるタイミングで露光し、当該複数の異なるタイミングによる露光で生成された複数の露光信号を出力する固体撮像素子を備える受光部と、前記複数の露光信号を入力として距離演算を行う演算部とを有し、前記制御部は、前記複数の露光信号のそれぞれを生成するための前記光源部の発光期間および前記固体撮像素子の露光期間の長さ、ならびに、前記発光期間および前記露光期間の繰り返し順序、の少なくとも一方に変調を加えるための前記発光制御信号および前記露光制御信号を出力することを特徴とする。
　また、前記制御部は、ランダムあるいは一定の規則に従い前記発光期間および前記露光期間の長さを増減させる前記発光制御信号および前記露光制御信号を出力することにより、前記発光期間および前記露光期間の長さに変調を加えてもよい。
　また、前記制御部は、ランダムあるいは一定の規則に従い前記発光期間および前記露光期間の繰り返し順序を変更する前記発光制御信号および前記露光制御信号を出力することにより、前記発光期間および前記露光期間の繰り返し順序に変調を加えてもよい。
　また、前記制御部は、前記発光期間および前記露光期間において、発光状態と非発光状態との比率および露光状態と非露光状態との比率に変調を加えた前記発光制御信号または前記露光制御信号を出力してもよい。
　また、前記比率の変調は、ランダムあるいは一定の規則に従って、前記発光状態と前記非発光状態との比率および前記露光状態と前記非露光状態との比率を増減させてもよい。
　また、前記比率の変調は、ランダムあるいは一定の規則に従って、前記発光制御信号である発光パルスおよび前記露光制御信号である露光パルスをオフにすることで前記比率を変調させてもよい。
　また、前記比率の変調は、ランダムあるいは一定の規則に従って、前記発光パルスおよび前記露光パルスについての少なくとも１周期分以上のパルス期間を間引くことで前記比率を変調させてもよい。
　また、前記撮像装置は、ＴＯＦ（ｔｉｍｅ　ｏｆ　ｆｌｉｇｈｔ）方式により前記被写体までの距離を測定してもよい。
　また、本発明の一態様に係る固体撮像素子は、発光制御信号および露光制御信号を出力する制御部と、前記発光制御信号のタイミングで光の照射を行う光源部と、固体撮像素子と、複数の露光信号を入力として距離演算を行う演算部とを有し、光を照射して被写体からの反射光を受光することにより、被写体までの距離を測定する撮像装置に用いられる固体撮像素子であって、前記固体撮像素子は、前記複数の露光信号のそれぞれを生成するための前記光源部の発光期間および前記固体撮像素子の露光期間の長さ、ならびに、前記発光期間および前記露光期間の繰り返し順序、の少なくとも一方に変調を加えるための前記発光制御信号および前記露光制御信号により、複数の異なるタイミングで露光して前記複数の露光信号を出力することを特徴とする。
　また、前記固体撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）型の固体撮像素子であってもよい。
　本発明に係る撮像装置、およびそれに用いられる固体撮像素子によれば、露光期間の増加や、フレームレートを低下させること無く、いわゆる干渉現象を抑制することが可能となる。
図１は、実施の形態１に係る撮像装置（測距撮像装置）の概略構成の一例を示す機能ブロック図である。 図２は、実施の形態１に係る固体撮像素子を表す概略構成図である。 図３は、一般的な撮像装置の発光露光タイミングのシーケンスを表す図である。 図４は、一般的な撮像装置において、干渉信号が存在する場合の発光露光タイミングのシーケンスを表す図である。 図５は、実施の形態１に係る撮像装置の発光露光タイミングのシーケンスを表す図である。 図６は、実施の形態１に係る撮像装置において干渉信号が存在する場合の発光露光タイミングのシーケンスを表す図である。 図７は、実施の形態２に係る撮像装置の発光露光タイミングのシーケンスを表す図である。 図８は、実施の形態２の変形例に係る撮像装置の発光露光タイミングのシーケンスを表す図である。
　以下、本開示の実施の形態に係る撮像装置、及びそれに用いられる固体撮像素子について、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本発明の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であり、本発明を限定するものではない。
　また、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　また、以下の実施の形態では、発光および露光に関する表現として発光露光を用いる。例えば、発光露光は発光と露光とであり、発光露光タイミングは発光タイミングおよび露光タイミングであり、発光露光動作は発光動作と露光動作とであり、発光露光期間は発光期間と露光期間とであり、発光露光期間の長さは発光期間の長さと露光期間の長さとであり、発光露光の繰り返しは発光の繰り返しと露光の繰り返しとであり、発光露光期間の動作順序（繰り返し順序）は発光期間の動作順序（繰り返し順序）と露光期間の動作順序（繰り返し順序）とである。
　（実施の形態１）
　図１は、実施の形態１に係る撮像装置（測距撮像装置）の概略構成の一例を示す機能ブロック図である。同図に示す撮像装置１は、光を照射して被写体からの反射光を受光することによって、被写体までの距離を測定する（または、被写体をセンシングする）。また、撮像装置１は、光源部１１と、受光部１２と、制御部１３と、ＴＯＦ演算部１４とを備える。なお、同図には、撮像装置１によって、当該撮像装置１からの距離が測定される（センシングされる）被写体ＯＢも示されている。
　光源部１１は、発光制御信号が示すタイミングで光（照射光、パルス光、発光信号）を照射する光源である。本実施の形態では、光源部１１は、制御部１３で発生した発光制御信号を受信するタイミングに従って被写体ＯＢに対して光照射を行う。例えば、光源部１１は、駆動回路、コンデンサ及び発光素子を有し、コンデンサに保持した電荷を発光ダイオードへ供給することで光を発する。発光素子としてはレーザダイオード（ＬＤ）や発光ダイオード（ＬＥＤ）等のその他の発光素子を用いてもよい。
　制御部１３は、発光制御信号及び露光制御信号を出力する制御部である。具体的には、制御部１３は、測定対象物（被写体ＯＢ）への光照射を指示する発光制御信号と、当該被写体からの反射光の露光を指示する露光制御信号とを発生する。制御部１３は、例えば、マイクロコンピュータ等の演算処理装置によって構成される。マイクロコンピュータは、プロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光制御信号及び露光制御信号を出力する。なお、制御部１３は、ＦＰＧＡやＩＳＰ等を用いてもよく、１つのハードウェアから構成されても、複数のハードウェアから構成されてもかまわない。また、制御部１３は、発光制御信号を発生する制御部と、露光制御信号を発生する制御部が別の制御部であっても良い。
　受光部１２は、固体撮像素子（イメージセンサ、固体撮像装置）を含み、露光制御信号が示すタイミングで反射光を露光することにより露光量を示す撮像信号（露光信号）を出力する。
　図２は、実施の形態１に係る固体撮像素子を表す概略構成図である。同図に示すように、本実施の形態に係る固体撮像素子は、いわゆるＣＣＤ型固体撮像素子であり、フォトダイオード１０１（ＰＤ、受光領域）と、垂直転送部１０２と、水平転送部１０３と、信号電荷検出部１０４とを備える。フォトダイオード１０１は、受光した光を電荷に変換する。垂直転送部１０２は、複数のゲートから構成され、フォトダイオード１０１から読み出された電荷を順次垂直方向に転送する。水平転送部１０３は、垂直転送部１０２から受けた電荷を順次水平方向に転送する。信号電荷検出部１０４は、水平転送部１０３から受けた電荷を順次検出して電圧信号に変換して出力する。
　ここで、フォトダイオード１０１から垂直転送部１０２への読み出しゲートは開いた状態で、露光制御信号に従って基板電圧を制御し、露光制御信号がＬｏｗの期間においてフォトダイオード１０１で光が光電変換され、発生した電荷が垂直転送部１０２に蓄積される。
　なお、図２では、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ（ＣＣＤ型固体撮像素子）を用いたことにより複数のフォトダイオード１０１を一括してリセットする動作、いわゆるグローバルリセットを行うことができ、高精度な測距を実現することが出来る。但し、本実施の形態に用いられる固体撮像素子は、ＣＣＤイメージセンサに限定されるものではなく、撮像装置として他の要求を考慮して、ＣＭＯＳイメージセンサ（ＣＭＯＳ型固体撮像素子）などのその他の固体撮像素子（イメージセンサ）を用いても同様の撮像装置の実現が可能である。
　また、受光部１２は、例えば、光学レンズ、バンドパスフィルタ、カバーガラス、及びＡ／Ｄコンバータ等の撮像データ（ＲＡＷデータ）を作成し出力する回路などを必要に応じて有する。
　また、ＴＯＦ演算部１４は、露光信号を用いて被写体までの距離を演算する演算部である。具体的には、ＴＯＦ演算部１４は、受光部１２から受けた複数の露光信号に基づいて、演算結果（距離画像、センシング画像、撮像画像、演算情報）を出力する。
　更に、ＴＯＦ演算部１４は、制御部１３と同様に、例えば、マイクロコンピュータ等の演算処理装置によって構成される。またＴＯＦ演算部１４は、メモリに格納された演算プログラムがプロセッサにより実行されることで距離を演算する。なお、ＴＯＦ演算部１４は、制御部１３と同様に、ＦＰＧＡやＩＳＰ等を用いてもよく、１つのハードウェアから構成されても、複数のハードウェアから構成されてもかまわない。
　次に、後述する実施の形態の理解を容易とするため、図３及び図４を用いて、一般的な測距撮像装置について説明する。なお、以下で説明する一般的な駆動方法は、駆動制御部等により実行される。
　図３は、一般的な測距撮像装置の発光露光タイミングのシーケンスを表す図である。より具体的には、図３（ｂ）、（ｃ）及び（ｄ）は、発光制御信号と露光制御信号の位相が異なる３つのタイミングで検出される露光信号から距離を演算する場合の一般的な駆動タイミング（駆動方法）を説明する図であり、図３（ａ）は、１フレームにおけるタイミングの例を示している。
　図３（ａ）より、１フレーム期間に、発光制御信号と露光制御信号の位相関係がそれぞれ異なるＡ０発光露光、Ａ１発光露光、及びＡ２発光露光動作を行い、信号出力期間に発光露光期間で検出した露光信号Ａ０～Ａ２を出力し、距離演算を実施する。また、発光パルスの幅ＴＡの長さは、センシングを行いたい距離範囲に依存し、一般的に数ｍ～数１０ｍのセンシング範囲では、数１０ｎｓと非常に短時間となる。
　そのため、１パルス分で得られる露光量Ａ０～Ａ２は非常に微少であり、測距精度を出すためには、各発光露光期間において、発光動作と露光動作とを数１０００回以上（Ｍ回）繰り返すことで露光信号を積算していき、十分な露光信号量を検出する必要がある。
　図３（ｂ）は、１つめの位相関係のＡ０発光露光期間における１パルス分の露光量Ａ０の一般的な露光タイミング（駆動方法）を示している。発光制御信号がＨｉｇｈの状態（発光状態）において光源部から（パルス）光が照射され、光路による遅延、すなわち光源部１１から被写体ＯＢまでの往復距離に応じた時間遅延差で反射光が受光部１２に到達する。Ａ０発光露光期間では、発光状態（発光制御信号がＨｉｇｈ状態）と露光状態（露光制御信号がＬｏｗ状態）とが同期したタイミングとなっている。そして、この露光状態中に露光された反射光及び背景光の成分が１パルス分の露光量Ａ０となり、Ｍ回分の総和が受光部１２から出力される露光量Ａ０となる。
　図３（ｃ）は、２つめの位相関係のＡ１発光露光期間における１パルス分の露光量Ａ１の一般的な露光タイミング（駆動方法）を示している。Ａ１発光露光期間では、発光状態が終了したと同時に露光状態が開始されるタイミングとなっており、同様にこの発光露光動作をＭ回繰り返したものが露光量Ａ１となる。
　図３（ｄ）は、３つめの位相関係のＡ２発光露光期間における１パルス分の露光量Ａ２の一般的な露光タイミング（駆動方法）を示している。Ａ２発光露光期間では、発光制御信号は常にＯＦＦの状態であり、発光動作を行わず、露光動作のみを行う。これにより、露光量Ａ２は、太陽光などの背景光や暗電流成分などのオフセット成分を検出することになり、露光量Ａ０およびＡ１との差分演算することで、背景光の影響を抑制できる。上記の位相関係の発光および露光制御を行った場合、被写体ＯＢまでの距離Ｚは、Ｚ＝（Ａ１－Ａ２）／（Ａ０＋Ａ１－２Ａ２）で算出する。
　次に、ＴＯＦカメラが複数台ある場合の一般的な測距撮像装置について説明する。
　図４は、一般的な撮像装置において、干渉信号が存在する状態する場合の発光露光タイミングのシーケンスを表す図である。図４（ａ）は、２台のＴＯＦカメラが、図３で示した一般的な露光タイミング（駆動方法）で動作している一例である。なお、被写体ＯＢとの位置関係により、自ＴＯＦカメラの発光制御信号と他ＴＯＦカメラからの干渉信号との間には時間的なズレが発生する。また、発光信号の強度及び干渉光の光強度には差異が発生するが、理解を容易とするために、自ＴＯＦカメラと他ＴＯＦカメラとは完全に同期しており（１フレームの開始と終わりが同時）、自ＴＯＦカメラの反射光の強度と干渉信号の光強度とは等しいものとして説明する。
　図４（ｂ）は、干渉信号がある場合の露光量Ａ０の一般的な露光タイミング（駆動方法）を示している。露光状態中（露光制御信号がＬｏｗ）に、他のＴＯＦカメラからの干渉信号が存在するため、露光量Ａ０には反射光成分と共に干渉光成分が混入し、それがＭ回積算される。
　図４（ｃ）は、露光量Ａ１の一般的な露光タイミング（駆動方法）を示している。露光量Ａ１の露光タイミングでは、露光状態中に干渉光が存在しないため、露光量Ａ１は反射光成分のみとなり、干渉光成分は混入しない。
　図４（ｄ）は、露光量Ａ２の一般的な露光タイミング（駆動方法）を示している。露光状態中に干渉信号が存在しないため、露光量Ａ１と同様に露光量Ａ２に干渉光成分は混入しない。つまり、露光量Ａ０だけが干渉光の影響を受け、露光量Ａ１およびＡ２は干渉光の影響を受けない。
　したがって、図３及び図４で示したように、一般的な測距撮像装置は、干渉がない場合に比べ、露光量Ａ０だけが信号量が増加し、距離演算結果に差（誤差）が発生するという問題が生じる。
　一方、実施の形態１に係る撮像装置１、及びそれに用いられる固体撮像素子では、発光露光期間を分割し、制御部１３が、分割された各Ａ０、Ａ１およびＡ２発光露光期間の長さ、ならびに、Ａ０、Ａ１およびＡ２発光露光期間の動作順序（繰り返し順序）、の少なくともいずれか一方に変調を加えるような発光制御信号および露光制御信号の少なくとも一方を出力する。
　以下、その詳細について、図５及び図６を用いて説明する。
　図５は、実施の形態１に係る撮像装置の発光露光タイミングのシーケンスを表す図である。また、図６は、実施の形態１に係る撮像装置において干渉信号が存在する場合の発光露光タイミングのシーケンスを表す図である。
　まず、図５及び図６で示すように、本実施の形態では、距離信号を得る方式としてはＴＯＦ方式であり、また発光露光の繰り返しにおいて露光をしない位相が存在する矩形波型ＴＯＦ方式（パルスＴＯＦ方式）を用いて説明する。但し、距離信号を得る方式はこれに限定されるものではない。
　次に、図５（ａ）を用いて、本実施の形態に係る発光露光期間の分割する場合の一例について説明する。図５（ａ）は、１フレームにおいて、Ａ０発光露光期間、Ａ１発光露光期間およびＡ２発光露光期間を１／Ｎ倍にし、Ｎ回繰り返すことで、１回当りの発光露光期間の長さに変調を加えている。また、１フレームにおける各発光露光期間の合計は、分割前と同等(ｍ×Ｎ＝Ｍ)であるため、検出される露光量Ａ０、Ａ１、Ａ２は従来例と同等であり、フレームレートの低下は発生しない。
　更に、前述した一般的な駆動方法では、各発光露光期間に時間差があり、被写体ＯＢがフレームレートに対して高速に動いている場合、Ａ０発光露光期間、Ａ１発光露光期間およびＡ２発光露光期間において、被写体ＯＢにズレが生じてしまう可能性がある。これに対して、図５（ａ）では、各発光露光期間を１／Ｎ倍に分割し、繰り返すことで、各露光期間の時間差が小さくなるため、被写体ＯＢの動きズレに対して有利となる効果を得ることも出来る。
　次に、図５（ｂ）は、本実施の形態に係る、分割した各Ａ０、Ａ１およびＡ２発光露光期間に対して、発光露光期間の長さ及びＡ２発光露光期間の動作順序に変調を加えた場合の一例について説明する。
　図５（ｂ）では、発光露光期間の長さに変調を加えているため、Ａ０、Ａ１およびＡ２の各発光露光期間は同一ではない。また、動作順序に変調を加えているため、常にＡ０、Ａ１、Ａ２発光露光期間の順に動作するのではなく、１セット目はＡ０、Ａ２、Ａ１の動作順序、２セット目は、Ａ１、Ａ０、Ａ２の動作順序というように、Ｎ分割した各セットにおいて、動作順序が変わりながら動作する。
　また、図６（ａ）は、本実施の形態に係る、発光露光期間を分割し、発光露光期間および動作順序に変調を加えた駆動パターンを有する自ＴＯＦカメラに対して、他ＴＯＦカメラが変調を加えていない場合における干渉信号のパターンを示した場合の一例である。
　図６（ｂ）は、本実施の形態に係る、自ＴＯＦカメラのＮ分割した１セット目のＡ０発光露光期間の開始時における露光タイミングを示したものである。自ＴＯＦカメラの露光状態中と他ＴＯＦカメラからの干渉信号が完全に一致しているため、露光量Ａ０には干渉光成分が大きく混入する。
　図６（ｃ）は、本実施の形態に係る、２セット目のＡ０発光露光期間の開始時における露光量タイミングを示したものである。自ＴＯＦカメラの露光状態中において、他ＴＯＦカメラからの干渉信号が一部重なっており、露光量Ａ０は干渉光の影響を一部受ける。
　図６（ｄ）は、本実施の形態に係る、自ＴＯＦカメラのＮセット目の発光露光期間の開始時における露光タイミングを示したものである。自ＴＯＦカメラの露光状態中に他ＴＯＦカメラからの干渉信号は存在しないため、露光量Ａ０には干渉光成分は混入しない。
　つまり、前述した一般的な駆動方法では、常に１パルス毎の露光量Ａ０には干渉光成分が含まれていたが、本実施の形態に係る駆動方法では、１パルス毎の露光量Ａ０に含まれる干渉光成分は常に一定ではなく、様々なバラつきを持つ。
　そして、１フレーム期間中に数１０００回の発光露光動作を繰り返すと、積算された露光量は干渉光のバラつきが平均化された干渉光成分を含んだ露光信号となる。同様に露光量Ａ１および露光量Ａ２含まれる１パルス毎の干渉光成分はバラつきを持ち、積算された露光量は平均化された干渉成分を含んだ露光信号となる。
　つまり、本実施の形態では、発光露光期間を分割し、さらに発光露光期間の長さ及び動作順序に変調を加えることで、他ＴＯＦカメラとの動作パターンの類似性をなくし、露光信号Ａ０、Ａ１およびＡ２に含まれる干渉光成分を同一化できる。
　したがって、距離演算に含まれる差分演算により、露光量に含まれる干渉光成分が減算され、干渉の影響を抑制することができる。
　更に、本実施の形態では、発光露光期間の長さ変調および動作順序の変調は、ランダムあるいは一定の規則に従って変調する。また、発光露光期間の長さおよび順序に変調を加える際に、変調を加える前後で、発光および露光期間の総和を一定に保つ規則を設定することで、変調を加えても暗電流やフレームレートに影響が及ばないようにすることができる。
　以上、図面を用いて説明したように、本実施の形態に係る撮像装置１、及びそれに用いられる固体撮像素子は、発光露光の順序およびその期間に変調を加えることで、自ＴＯＦカメラの各露光信号に含まれる干渉光成分を均等化する。つまり、制御部１３は、光源部１１の発光期間および受光部１２の露光期間の組み合わせであるＡ０発光露光期間、Ａ１発光露光期間、およびＡ２発光露光期間の長さ、ならびに、Ａ０発光露光期間、Ａ１発光露光期間、およびＡ２発光露光期間の繰り返し順序、の少なくとも一方に変調を加えるように、発光制御信号および露光制御信号を出力する。
　より具体的には、制御部１３は、ランダムあるいは一定の規則に従いＡ０発光露光期間、Ａ１発光露光期間、およびＡ２発光露光期間の長さを増減させる発光制御信号および露光制御信号を出力することにより、Ａ０～Ａ２発光露光期間の長さに変調を加える。また、制御部１３は、ランダムあるいは一定の規則に従いＡ０発光露光期間、Ａ１発光露光期間、およびＡ２発光露光期間の繰り返し順序を変更する発光制御信号および露光制御信号を出力することにより、Ａ０～Ａ２発光露光期間の繰り返し順序に変調を加える。
　これにより、測距演算に含まれる差分演算によって干渉光の影響が抑制され、他ＴＯＦカメラからの干渉光（干渉信号）による測距誤差を低減することが可能となる。
　また、１周期毎に発光周期に付加時間を加える場合のように、当該付加時間を発生させる回路の規模や付加時間のパターンを記憶しておくメモリ（記憶素子、記憶装置）が増大するという問題を防ぐことが出来る。
　なお、本実施の形態では、発光露光期間の分割数Ｎはその数が大きいほど、各露光量に含まれる干渉光成分をより同一化することができる。
　また、本実施の形態では、他ＴＯＦカメラは変調を加えていないものとしたが、他ＴＯＦカメラに発光露光期間の長さおよび動作順序の変調が加わっていても、同様に干渉の影響を抑制できる。また、自ＴＯＦカメラと他ＴＯＦカメラとで、発光露光期間の長さおよび動作順序に加える変調パターンを異なるものにすることで、より干渉の影響を抑制することができる。
　なお、前述の説明では、発光動作と露光動作とは同期をとることを優先し、発光露光期間の長さ、ならびに、発光露光期間の動作順序（繰り返し順序）の少なくともいずれか一方に同じ変調を加える場合を説明したが、本実施の形態に係る撮像装置１、及びそれに用いられる固体撮像素子は、必ずしもそれに限定されるものではない。例えば、発光露光期間の発光要件（発光時間の長さ、発光時間の繰り返し順序、等）、露光要件（露光時間の長さ、露光時間の繰り返し順序、等）に対して、異なる変調を加えることも出来る。更に、発光要件及び露光要件のいずれかに変調を加えること、言い換えると、発光要件及び露光要件の一方に変調を加え、他方には変調を加えないことも出来る。
　なお、発光要件は、発光時間の長さ、発光時間の繰り返し順序に限定されるものではなく、その他の発光に関係する要件も含まれる。同様に、露光要件は、露光時間の長さ、露光時間の繰り返し順序に限定されるものではなく、その他の露光が関係する要件も含まれる。
　（実施の形態２）
　以下、図面を参照しながら、実施の形態２に係る撮像装置、及びそれに用いられる固体撮像素子の構成及び動作について、実施の形態１との相違点を中心に説明する。
　図７は、実施の形態２に係る撮像装置の発光露光タイミングのシーケンスを表す図である。図７（ａ）は、発光露光期間中における発光制御信号と露光制御信号とのタイミングを示したものである。なお、非発光状態（発光制御信号Ｌｏｗ）および非露光状態（露光制御信号Ｈｉｇｈ）の期間（ＴＡＯＦＦ）は一定である。
　本実施の形態では、制御部１３は、Ａ０、Ａ１およびＡ２発光露光期間において、発光信号と露光制御信号との位相関係は保ったまま、発光および露光状態の周期（Ｄｕｔｙ）に変調を加えた発光制御信号および露光制御信号を出力する。
　図７（ｂ）は、Ｄｕｔｙに変調を加えた動作の一例である。発光制御信号と露光制御信号との位相関係は保ったまま、ランダムあるいは一定の規則に従って、非発光状態および非露光状態の時間（ＴＡＯＦＦ）を変化させる。
　なお、この変化量は正の値だけではなく、負の値を持たることも可能であり、増減させたＴＡＯＦＦ期間の変化量の総和を０に保つことで、暗電流やフレームレートに変調の影響が及ばないようにすることができる。また、干渉光の影響を抑制するためには、増減量の最小単位は発光幅と同等以上であることが望ましい。つまり、Ｄｕｔｙ変調前の発光状態と非発光状態との比率が１：５であった場合、１：３、１：４、１：５、１：６、１：７などの組み合わせから、ランダムあるいは一定の規則に従って比率を選択していくことで変調をかける。
　これによって、本実施の形態では、他ＴＯＦカメラとの駆動パターンの類似性を更になくし、より各露光信号量に含まれる干渉成分を同一化でき、干渉の影響を抑制することができる。
　また言い換えれば、同等の干渉光の抑制効果を想定した場合、Ｄｕｔｙ変調に発光露光期間の長さおよび動作順序を組み合わせれば、Ｄｕｔｙ変調だけを行うよりも、Ｄｕｔｙ変調に要する乱数発生回路やメモリ量の増大を抑制することができる。
　具体的には、１セット目の発光露光期間が終了した際に変調パターンを初期化し、各セット間で変調パターンを共通化することで、必要となる変調パターンが約１／Ｎ倍になり、乱数発生回路やメモリ量の増大を更に抑制することもできる。また、さらにより少ない乱数パターンを周期的に繰り返しながら変調を掛けることで、干渉光の影響を抑制しながら、ランダム発生回路の規模も抑制することも可能である。
　なお、乱数の発生回路の一例としては、ＬＦＳＲ（ＬＩＮＥＡＲ　ＦＥＥＤＢＡＣＫ　ＳＨＩＦＴ　ＲＥＧＩＳＴＥＲ）がある。この場合、初期値（シード）を変えることによって、シードに応じた擬似乱数を生成することができる。
　例えば、Ｄｕｔｙ変調前の発光状態と非発光状態との比率が１：５であった場合、１０数ビットのＬＳＦＲ回路を用意し、任意の２ビットを取り出し、その組み合わせ（００、０１、１０、１１）に応じて、Ｄｕｔｙを（１：３、１：４、１：６、１：７）に変調させる。また、００の次が００の場合など、同じ変調が連続する場合、変化量の符号を反転させ（００を１１に変換）、乱数性を向上させることができる。
　なお、前述の説明では、発光動作と露光動作とは同期をとることを優先し、発光および露光状態の周期（Ｄｕｔｙ）に同じ変調を加えた場合について説明したが、本実施の形態に係る撮像装置１、及びそれに用いられる固体撮像素子は、必ずしもそれに限定されるものではない。例えば、発光および露光状態の周期（Ｄｕｔｙ）に異なる変調を加えることも出来る。更に、発光および露光状態の周期（Ｄｕｔｙ）のいずれかに変調を加えること、言い換えると、発光および露光状態の周期（Ｄｕｔｙ）の一方に変調を加え、他方には変調を加えないことも出来る。
　（実施の形態２の変形例１）
　本変形例では、制御部１３は、発光制御信号パルスおよび露光制御信号パルスをＯＦＦにして、非発光状態および非露光状態の時間（ＴＡＯＦＦ）をさらに変調させる発光制御信号および露光制御信号を出力する。
　図８は、実施の形態２の変形例に係る撮像装置の発光露光タイミングのシーケンスを表す図である。図８（ａ）は、発光制御信号パルスおよび露光制御信号パルスをＯＦＦにしてさらに変調を加えたパターンを示した場合の一例である。２周期目の発光制御信号パルスおよび露光制御信号パルスをＯＦＦにすることで、１周期目のＴＡＯＦＦ＿１がＴＡＯＦＦ＿１＋ＴＡ＋ＴＡＯＦＦ＿２に変調されたことになる。つまり基準となる乱数パターンが同じでも、パルスをＯＦＦにする箇所を変調することで、実質的に全く異なる乱数パターンを生成し、Ｄｕｔｙに変調を加えることが可能となる。
　（実施の形態２の変形例２）
　本変形例では、制御部１３は、発光制御信号パルスおよび露光制御信号パルスを間引きする発光制御信号および露光制御信号を出力する。
　図８（ｂ）は、１周期分の発光制御信号パルスおよび露光制御信号パルスを間引きしたパターンを示した一例である。２周期目の発光制御信号パルスおよび露光制御信号パルスを間引き（スキップ）することで、ＴＡＯＦＦ＿２がＴＡＯＦＦ＿３に変調されたことになり、異なる乱数パターンを生成することが可能である。
　（その他の実施の形態）
　以上、本開示の撮像装置、およびそれに用いられる固体撮像素子について、上記実施の形態に基づいて説明してきたが、本開示の撮像装置、およびそれに用いられる固体撮像素子は、上記実施の形態に限定されるものではない。上記実施の形態における任意の構成要素を組み合わせて実現される別の実施の形態や、上記実施の形態に対して本発明の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本開示の撮像装置、およびそれに用いられる固体撮像素子を内蔵した各種機器も本発明に含まれる。
　本発明に係る撮像装置、およびそれに用いられる固体撮像素子は、干渉現象の抑制が要求される３次元測定などに有用である。
　１　　撮像装置
　１１　　光源部
　１２　　受光部
　１３　　制御部
　１４　　ＴＯＦ演算部
　１０１　　フォトダイオード
　１０２　　垂直転送部
　１０３　　水平転送部
　１０４　　信号電荷検出部

Claims (10)

  1. 　光を照射して被写体からの反射光を受光することにより、当該被写体までの距離を測定する撮像装置であって、
    　発光制御信号および露光制御信号を出力する制御部と、
    　前記発光制御信号のタイミングで光の照射を行う光源部と、
    　照射された光の前記被写体からの反射光を、前記露光制御信号により複数の異なるタイミングで露光し、当該複数の異なるタイミングによる露光で生成された複数の露光信号を出力する固体撮像素子を備える受光部と、
    　前記複数の露光信号を入力として距離演算を行う演算部とを有し、
    　前記制御部は、前記複数の露光信号のそれぞれを生成するための前記光源部の発光期間および前記固体撮像素子の露光期間の長さ、ならびに、前記発光期間および前記露光期間の繰り返し順序、の少なくとも一方に変調を加えるための前記発光制御信号および前記露光制御信号を出力する
    　撮像装置。
  2. 　前記制御部は、ランダムあるいは一定の規則に従い前記発光期間および前記露光期間の長さを増減させる前記発光制御信号および前記露光制御信号を出力することにより、前記発光期間および前記露光期間の長さに変調を加える
    　請求項１に記載の撮像装置。
  3. 　前記制御部は、ランダムあるいは一定の規則に従い前記発光期間および前記露光期間の繰り返し順序を変更する前記発光制御信号および前記露光制御信号を出力することにより、前記発光期間および前記露光期間の繰り返し順序に変調を加える
    　請求項１または２に記載の撮像装置。
  4. 　前記制御部は、前記発光期間および前記露光期間において、発光状態と非発光状態との比率および露光状態と非露光状態との比率に変調を加えた前記発光制御信号または前記露光制御信号を出力する
    　請求項１～３のいずれか一項に記載の撮像装置。
  5. 　前記比率の変調は、
    　ランダムあるいは一定の規則に従って、前記発光状態と前記非発光状態との比率および前記露光状態と前記非露光状態との比率を増減させる
    　請求項４に記載の撮像装置。
  6. 　前記比率の変調は、
    　ランダムあるいは一定の規則に従って、前記発光制御信号である発光パルスおよび前記露光制御信号である露光パルスをオフにすることで前記比率を変調させる
    　請求項４または５に記載の撮像装置。
  7. 　前記比率の変調は、
    　ランダムあるいは一定の規則に従って、前記発光パルスおよび前記露光パルスについての少なくとも１周期分以上のパルス期間を間引くことで前記比率を変調させる
    　請求項４～６のいずれか一項に記載の撮像装置。
  8. 　前記撮像装置は、
    　ＴＯＦ（ｔｉｍｅ　ｏｆ　ｆｌｉｇｈｔ）方式により前記被写体までの距離を測定する
    　請求項１～７のいずれか一項に記載の撮像装置。
  9. 　発光制御信号および露光制御信号を出力する制御部と、前記発光制御信号のタイミングで光の照射を行う光源部と、固体撮像素子と、複数の露光信号を入力として距離演算を行う演算部とを有し、光を照射して被写体からの反射光を受光することにより、被写体までの距離を測定する撮像装置に用いられる固体撮像素子であって、
    　前記固体撮像素子は、
    　前記複数の露光信号のそれぞれを生成するための前記光源部の発光期間および前記固体撮像素子の露光期間の長さ、ならびに、前記発光期間および前記露光期間の繰り返し順序、の少なくとも一方に変調を加えるための前記発光制御信号および前記露光制御信号により、複数の異なるタイミングで露光して前記複数の露光信号を出力する
    　固体撮像素子。
  10. 　前記固体撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）型の固体撮像素子である
    　請求項９に記載の固体撮像素子。
PCT/JP2016/004468 2015-10-09 2016-10-04 撮像装置、およびそれに用いられる固体撮像素子 WO2017061104A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP16853261.2A EP3361283A4 (en) 2015-10-09 2016-10-04 Imaging apparatus and solid-state image element used for same
CN201680058360.4A CN108139482B (zh) 2015-10-09 2016-10-04 摄像装置、以及在其中使用的固体摄像元件
JP2017544189A JP6741680B2 (ja) 2015-10-09 2016-10-04 撮像装置、およびそれに用いられる固体撮像素子
US15/946,270 US10686994B2 (en) 2015-10-09 2018-04-05 Imaging device, and solid-state imaging element used for same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562239300P 2015-10-09 2015-10-09
US62/239,300 2015-10-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/946,270 Continuation US10686994B2 (en) 2015-10-09 2018-04-05 Imaging device, and solid-state imaging element used for same

Publications (1)

Publication Number Publication Date
WO2017061104A1 true WO2017061104A1 (ja) 2017-04-13

Family

ID=58488312

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/004468 WO2017061104A1 (ja) 2015-10-09 2016-10-04 撮像装置、およびそれに用いられる固体撮像素子

Country Status (5)

Country Link
US (1) US10686994B2 (ja)
EP (1) EP3361283A4 (ja)
JP (1) JP6741680B2 (ja)
CN (1) CN108139482B (ja)
WO (1) WO2017061104A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109981992A (zh) * 2017-12-28 2019-07-05 周秦娜 一种在高环境光变化下提升测距准确度的控制方法及装置
WO2019170542A1 (fr) 2018-03-07 2019-09-12 Teledyne E2V Semiconductors Sas Camera de vision a mesure de temps de vol optimisee pour environnement multi-cameras
CN110546916A (zh) * 2017-07-11 2019-12-06 索尼半导体解决方案公司 固态成像装置和信息处理装置
CN110988902A (zh) * 2018-10-03 2020-04-10 日立乐金光科技株式会社 测距摄像装置
EP3605149A4 (en) * 2017-12-22 2020-05-13 Sony Semiconductor Solutions Corporation SIGNAL GENERATOR
WO2020158378A1 (ja) * 2019-01-29 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
CN113196104A (zh) * 2019-01-29 2021-07-30 索尼半导体解决方案公司 测距装置、测距方法和程序
US11543525B2 (en) 2017-12-22 2023-01-03 Sony Semiconductor Solutions Corporation Signal generation apparatus

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017082826A1 (en) * 2015-11-11 2017-05-18 Heptagon Micro Optics Pte. Ltd. Enhanced distance data acquisition
JP6848364B2 (ja) * 2016-11-10 2021-03-24 株式会社リコー 測距装置、移動体、ロボット、３次元計測装置、監視カメラ及び測距方法
US11280908B2 (en) * 2017-08-15 2022-03-22 Black Sesame Technologies Inc. Obstacle detection by global shutter image sensor
JP7013730B2 (ja) * 2017-08-29 2022-02-15 株式会社Ｊｖｃケンウッド 画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム
CN109167770B (zh) * 2018-08-21 2021-02-09 北京小米移动软件有限公司 输出联网认证信息的方法、联网方法、装置及存储介质
WO2020049906A1 (ja) * 2018-09-03 2020-03-12 パナソニックＩｐマネジメント株式会社 距離測定装置
WO2020054617A1 (ja) * 2018-09-11 2020-03-19 パナソニックＩｐマネジメント株式会社 測距撮像装置、及び固体撮像素子
EP3663800B1 (de) * 2018-12-03 2021-01-27 Sick Ag Verfahren zur objekterfassung mit einer 3d-kamera
CN110475076B (zh) * 2019-08-20 2021-01-05 桂林电子科技大学 一种基于fpga的多光源曝光控制器及方法
JP7235638B2 (ja) * 2019-10-04 2023-03-08 株式会社日立エルジーデータストレージ 測距装置および測距システム
CN110988840B (zh) * 2019-11-01 2022-03-18 青岛小鸟看看科技有限公司 飞行时间的获取方法、装置及电子设备
DE102020112430B4 (de) * 2020-05-07 2021-12-23 Sick Ag Kamera und Verfahren zur Erfassung von Objekten

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7405812B1 (en) * 2006-05-18 2008-07-29 Canesta, Inc. Method and system to avoid inter-system interference for phase-based time-of-flight systems
JP2008197048A (ja) * 2007-02-15 2008-08-28 Honda Motor Co Ltd 環境認識装置
JP2013076645A (ja) * 2011-09-30 2013-04-25 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
WO2013094062A1 (ja) * 2011-12-22 2013-06-27 ジックオプテックス株式会社 光波測距装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8681255B2 (en) * 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US9294754B2 (en) * 2012-02-03 2016-03-22 Lumentum Operations Llc High dynamic range and depth of field depth camera
WO2013174614A1 (de) * 2012-05-21 2013-11-28 Ifm Electronic Gmbh Lichtlaufzeitkamerasystem
US9851245B2 (en) * 2012-11-06 2017-12-26 Microsoft Technology Licensing, Llc Accumulating charge from multiple imaging exposure periods
AT513589B1 (de) * 2012-11-08 2015-11-15 Bluetechnix Gmbh Aufnahmeverfahren für zumindest zwei ToF-Kameras
WO2014122714A1 (ja) * 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
JP6435513B2 (ja) * 2013-06-26 2018-12-12 パナソニックＩｐマネジメント株式会社 測距撮像装置及びその測距方法、固体撮像素子
WO2014207983A1 (ja) * 2013-06-27 2014-12-31 パナソニックＩｐマネジメント株式会社 距離測定装置
WO2015107869A1 (ja) * 2014-01-14 2015-07-23 パナソニックＩｐマネジメント株式会社 距離画像生成装置及び距離画像生成方法
US9170095B1 (en) * 2014-04-08 2015-10-27 Sony Corporation Distance detection device and method including dynamically adjusted frame rate
US9945936B2 (en) * 2015-05-27 2018-04-17 Microsoft Technology Licensing, Llc Reduction in camera to camera interference in depth measurements using spread spectrum

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7405812B1 (en) * 2006-05-18 2008-07-29 Canesta, Inc. Method and system to avoid inter-system interference for phase-based time-of-flight systems
JP2008197048A (ja) * 2007-02-15 2008-08-28 Honda Motor Co Ltd 環境認識装置
JP2013076645A (ja) * 2011-09-30 2013-04-25 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
WO2013094062A1 (ja) * 2011-12-22 2013-06-27 ジックオプテックス株式会社 光波測距装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3361283A4 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110546916A (zh) * 2017-07-11 2019-12-06 索尼半导体解决方案公司 固态成像装置和信息处理装置
EP3605149A4 (en) * 2017-12-22 2020-05-13 Sony Semiconductor Solutions Corporation SIGNAL GENERATOR
US11921209B2 (en) 2017-12-22 2024-03-05 Sony Semiconductor Solutions Corporation Signal generation apparatus
US11894851B2 (en) 2017-12-22 2024-02-06 Sony Semiconductor Solutions Corporation Signal generation apparatus for time-of-flight camera with suppressed cyclic error
US11543525B2 (en) 2017-12-22 2023-01-03 Sony Semiconductor Solutions Corporation Signal generation apparatus
CN109981992A (zh) * 2017-12-28 2019-07-05 周秦娜 一种在高环境光变化下提升测距准确度的控制方法及装置
CN109981992B (zh) * 2017-12-28 2021-02-23 周秦娜 一种在高环境光变化下提升测距准确度的控制方法及装置
JP7319311B2 (ja) 2018-03-07 2023-08-01 テレダイン・イー２ブイ・セミコンダクターズ・ソシエテ・パール・アクシオン・サンプリフィエ マルチカメラ環境向けに最適化された飛行時間測定ビジョンカメラ
WO2019170542A1 (fr) 2018-03-07 2019-09-12 Teledyne E2V Semiconductors Sas Camera de vision a mesure de temps de vol optimisee pour environnement multi-cameras
FR3078851A1 (fr) * 2018-03-07 2019-09-13 Teledyne E2V Semiconductors Sas Camera de vision a mesure de temps de vol optimisee pour environnement multi-cameras
CN112166338A (zh) * 2018-03-07 2021-01-01 特利丹E2V半导体简化股份公司 针对多相机环境进行优化的飞行时间测量视觉相机
JP2021517256A (ja) * 2018-03-07 2021-07-15 テレダイン・イー２ブイ・セミコンダクターズ・ソシエテ・パール・アクシオン・サンプリフィエＴｅｌｅｄｙｎｅ ｅ２ｖ Ｓｅｍｉｃｏｎｄｕｃｔｏｒｓ ＳＡＳ マルチカメラ環境向けに最適化された飛行時間測定ビジョンカメラ
CN110988902A (zh) * 2018-10-03 2020-04-10 日立乐金光科技株式会社 测距摄像装置
CN110988902B (zh) * 2018-10-03 2023-05-12 日立乐金光科技株式会社 测距摄像装置
CN113196104A (zh) * 2019-01-29 2021-07-30 索尼半导体解决方案公司 测距装置、测距方法和程序
WO2020158378A1 (ja) * 2019-01-29 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム

Also Published As

Publication number Publication date
US20180227475A1 (en) 2018-08-09
JP6741680B2 (ja) 2020-08-19
EP3361283A4 (en) 2018-10-24
CN108139482B (zh) 2023-01-06
JPWO2017061104A1 (ja) 2018-08-02
CN108139482A (zh) 2018-06-08
US10686994B2 (en) 2020-06-16
EP3361283A1 (en) 2018-08-15

Similar Documents

Publication Publication Date Title
WO2017061104A1 (ja) 撮像装置、およびそれに用いられる固体撮像素子
JP6676866B2 (ja) 測距撮像装置及び固体撮像素子
WO2017085916A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
JP6701199B2 (ja) 測距撮像装置
JP6435513B2 (ja) 測距撮像装置及びその測距方法、固体撮像素子
CN109791205B (zh) 用于从成像阵列中的像素单元的曝光值减除背景光的方法以及用于该方法的像素单元
JP5593479B2 (ja) バックグランド放射光の抑制に有利なｔｏｆ領域
JP2013076645A (ja) 距離画像生成装置および距離画像生成方法
JP6286677B2 (ja) 測距システム、及び撮像センサ
US20200213577A1 (en) Three-Dimensional (3D) Image System and Electronic Device
JP2017191042A (ja) 距離センサ
JP2020046247A (ja) 距離計測装置、及び距離計測方法
JP2020056698A (ja) 測距撮像装置
KR20160092137A (ko) 티오에프 방식의 거리 측정 장치에서 제어 방법
JP2015081780A (ja) 距離測定システム及び補正用データの取得方法
JP2008241258A (ja) 測距装置及び測距方法
US20230204727A1 (en) Distance measurement device and distance measurement method
WO2023199804A1 (ja) 測距装置および測距方法
WO2022113637A1 (ja) 信号処理装置、測距装置、測距方法、イメージセンサ
WO2023234253A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2014021100A (ja) ３次元情報検出装置および３次元情報検出方法
JP2022157846A (ja) 測距装置及び測距方法
JP2021148669A (ja) 距離測定装置、移動体、ロボット、３次元計測装置、監視カメラ、及び距離測定方法
JP2022124821A (ja) 測距センサ及び測距装置
JP2013174446A (ja) ３次元情報検出装置および３次元情報検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16853261

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017544189

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016853261

Country of ref document: EP