WO2017183480A1 - 撮像装置および電子機器 - Google Patents

撮像装置および電子機器 Download PDF

Info

Publication number
WO2017183480A1
WO2017183480A1 PCT/JP2017/014455 JP2017014455W WO2017183480A1 WO 2017183480 A1 WO2017183480 A1 WO 2017183480A1 JP 2017014455 W JP2017014455 W JP 2017014455W WO 2017183480 A1 WO2017183480 A1 WO 2017183480A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
memory
light
imaging
max
Prior art date
Application number
PCT/JP2017/014455
Other languages
English (en)
French (fr)
Inventor
大木　光晴
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/736,585 priority Critical patent/US10277827B2/en
Publication of WO2017183480A1 publication Critical patent/WO2017183480A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Definitions

  • the present disclosure relates to an imaging apparatus and an electronic apparatus, and more particularly, to an imaging apparatus and an electronic apparatus that can receive light multiple times in time for each pulse emission.
  • gated imaging There are photography techniques known under the names of Active Gated Imaging, Active Imaging, Range-gated Active Imaging, and so on. In Japanese, this is called gated imaging, and hereinafter referred to as gated imaging.
  • Gated imaging is a technique that emits pulsed light and images only a specific time with an image sensor so that only a subject at a specific distance can be clearly imaged.
  • Patent Document 1 when there are a plurality of subjects, as shown in Patent Document 1, it is necessary to perform imaging a plurality of times.
  • the present disclosure has been made in view of such a situation, and can receive light multiple times in time for each pulse light emission.
  • An imaging device causes a light emitting unit that performs pulsed light emission, a light receiving unit that performs light reception, and one light emission from the light emitting unit to cause the light receiving unit to perform multiple exposures.
  • the start time and end time of multiple exposures according to the predetermined imaging distance range with reference to the timing of the pulse emission
  • a setting unit for setting the time.
  • 1 to n) exposure start time and end time can be set as (2 ⁇ Min (i)) / c and (2 ⁇ Max (i)) / c (c is the speed of light), respectively. it can.
  • the amount of light received by the light receiving unit is stored in one of 1 to m (m is an integer of 2 or more) memory, and the predetermined imaging distance range is set to Min to Max (Min ⁇ Max).
  • a subject specifying unit that specifies a memory in which no projection image data of the subject exists is further provided, and the number of the memory in which no data of the projection image of the subject specified by the subject specifying unit exists.
  • resetting may be performed so as to increase at least one of the Max values, and then a parameter for imaging can be determined.
  • the distance range is Min (k) to Max (k) (Min (k) ⁇ Max (k))
  • the number of exposures is 2 ⁇ (2 to the power of s)
  • Is stored in the r (k, q) th (r (k, q) is 1 or 2) memory of the two memories, and
  • the amount of light received by the light receiving unit by the 2 ⁇ k-th exposure of the (2 s-th power) exposure is the r (k, q) -th (r (k, q ) Is stored in a memory that is not 1 or 2), and for any k, the sequence ⁇ r (k, 1), r (k, 2),... R (k, s + 1) ⁇ Is the sequence ⁇ r (k ′, 1), r (k ′, 2),...
  • R (k ′, s + 1) However, unlike k ′ ⁇ k ⁇ , the sequence ⁇ 3-r (k ′, 1), r (k ', 2), ... r (k', s + 1: where k ' ⁇ k) In addition, r (k, q) can be determined.
  • the setting unit further includes a specifying unit that reduces at least one of the Min value and the Max value in correspondence with a memory number in which there is no projection image data of the subject specified by the subject specifying unit. So that the parameters for the next imaging can be determined.
  • An electronic apparatus causes a light emitting unit that performs pulsed light emission, a light receiving unit that performs light reception, and one light emission from the light emitting unit to cause the light receiving unit to perform multiple exposures.
  • a light emitting unit that performs pulsed light emission
  • a light receiving unit that performs light reception
  • one light emission from the light emitting unit to cause the light receiving unit to perform multiple exposures.
  • the start time and end time of multiple exposures according to the predetermined imaging distance range with reference to the timing of the pulse emission
  • a setting unit for setting the time.
  • a plurality of exposures are performed on a light receiving unit that receives light for each pulse light emission. Then, in order to perform imaging processing of a subject existing in a predetermined imaging distance range, the timing of the pulse emission is used as a reference, and the start time and end time of multiple exposures are determined according to the predetermined imaging distance range. Is set.
  • the subject can be imaged.
  • FIG. 22 is a flowchart for describing gated imaging processing of the gated imaging system in the case of the fourth embodiment of the present technology. It is a flowchart explaining the process of the subroutine A in step S303 of FIG. It is a flowchart explaining the process of the subroutine A in step S303 of FIG.
  • FIG. 1 illustrates a schematic configuration example of an example of a complementary metal oxide semiconductor (CMOS) solid-state imaging device applied to each embodiment of the present technology.
  • CMOS complementary metal oxide semiconductor
  • a solid-state imaging device (element chip) 1 includes a pixel region (a pixel region in which pixels 2 including a plurality of photoelectric conversion elements are regularly arranged two-dimensionally on a semiconductor substrate 11 (for example, a silicon substrate). A so-called imaging region) 3 and a peripheral circuit region.
  • the pixel 2 includes a photoelectric conversion element (for example, PD (Photo Diode)) and a plurality of pixel transistors (so-called MOS transistors).
  • the plurality of pixel transistors can be constituted by three transistors, for example, a transfer transistor, a reset transistor, and an amplifying transistor, and can further be constituted by four transistors by adding a selection transistor.
  • the pixel 2 can have a pixel sharing structure.
  • the pixel sharing structure includes a plurality of photodiodes, a plurality of transfer transistors, one shared floating diffusion, and one other pixel transistor that is shared.
  • the photodiode is a photoelectric conversion element.
  • the peripheral circuit area includes a vertical drive circuit 4, a column signal processing circuit 5, a horizontal drive circuit 6, an output circuit 7, and a control circuit 8.
  • the control circuit 8 receives data for instructing an input clock, an operation mode, and the like, and outputs data such as internal information of the solid-state imaging device 1. Specifically, the control circuit 8 is based on the vertical synchronization signal, the horizontal synchronization signal, and the master clock, and the clock signal or the reference signal for the operations of the vertical drive circuit 4, the column signal processing circuit 5, and the horizontal drive circuit 6 Generate a control signal. The control circuit 8 inputs these signals to the vertical drive circuit 4, the column signal processing circuit 5, and the horizontal drive circuit 6.
  • the vertical drive circuit 4 is composed of, for example, a shift register, selects a pixel drive wiring, supplies a pulse for driving the pixel 2 to the selected pixel drive wiring, and drives the pixels 2 in units of rows. Specifically, the vertical drive circuit 4 selectively scans each pixel 2 in the pixel region 3 sequentially in the vertical direction in units of rows, and generates the signal according to the amount of light received by the photoelectric conversion element of each pixel 2 through the vertical signal line 9. A pixel signal based on the signal charge is supplied to the column signal processing circuit 5.
  • the column signal processing circuit 5 is disposed, for example, for each column of the pixels 2 and performs signal processing such as noise removal on the signal output from the pixels 2 for one row for each pixel column. Specifically, the column signal processing circuit 5 performs signal processing such as CDS (Correlated Double Sampling) for removing fixed pattern noise specific to the pixel 2, signal amplification, A / D (Analog / Digital) conversion, and the like. .
  • a horizontal selection switch (not shown) is provided connected to the horizontal signal line 10.
  • the horizontal drive circuit 6 is constituted by, for example, a shift register, and sequentially outputs horizontal scanning pulses to select each of the column signal processing circuits 5 in order, and the pixel signal is output from each of the column signal processing circuits 5 to the horizontal signal line. 10 to output.
  • the output circuit 7 performs signal processing on the signals sequentially supplied from each of the column signal processing circuits 5 through the horizontal signal line 10 and outputs the signals.
  • the output circuit 7 may perform only buffering, or may perform black level adjustment, column variation correction, various digital signal processing, and the like.
  • the input / output terminal 12 is provided for exchanging signals with the outside.
  • Gated imaging is a technique that emits pulsed light and images only a specific time with an image sensor so that only a subject at a specific distance can be clearly imaged.
  • gated imaging is known under names such as Active Gated Imaging, Active Imaging, and Range-gated Active Imaging.
  • the gated imaging device 21 includes a control unit 31, a light emitting unit 32, and an imaging unit 33.
  • the control unit 31 controls the light emission timing of the light emitting unit 32 and the exposure time of the imaging unit 33.
  • the light emitting unit 32 emits a rectangular wave.
  • the imaging unit 33 exposes the subject 23. In such a gated imaging device 21, it is possible to image the subject 23 beyond the fog 22.
  • the reflected light from the fog 22 first reaches the imaging unit 33, and then the reflected light from the subject 23 reaches the imaging unit 33.
  • the exposure time is from when the rectangular wave is emitted until the reflected light of the subject 23 arrives, and the total of the reflected light from the fog 22 and the reflected light from the subject 23 is exposed.
  • the image of the subject 23 is difficult to see (hazy image).
  • the imaging unit 33 for gated imaging a specific time portion is accurately exposed, so that only reflection from the subject 23 can be imaged, for example. Therefore, in gated imaging, a subject can be clearly shown on an image.
  • FIG. 3 a gated imaging system 50 is shown.
  • a gated imaging device 51 As the gated imaging system 50, a gated imaging device 51, a fog 52, and a subject 53 are shown in order from the left in the figure.
  • the gated imaging device 51 includes a light emitting unit 61 that emits pulsed light and an image sensor 62 (solid-state imaging device 1 in FIG. 1). For example, consider imaging the subject 53 using the gated imaging device 51. There is a fog 52 in front of the subject 53 (that is, between the gated imaging device 51 and the subject 53).
  • c is the speed of light, and so on.
  • “distance to fog 52” ⁇ D1 ⁇ “distance to subject 52” ⁇ D2. Since the light reflected from the fog 52 and returning after emitting the pulsed light is earlier than the time T1 (2 ⁇ D1) / c, it is not received by the image sensor 62.
  • the image sensor 62 also receives the reflected light from the mist 52-1 and the mist 52-2 in FIG. 4, so that clear images of the subjects 53-1 to 53-3 can be obtained. It was difficult.
  • D1 and D2 may be set appropriately according to the movement of the subject. It was difficult.
  • the present technology is configured to receive light multiple times in time for each pulse light emission. Thereby, a plurality of subjects can be clearly imaged, the direction of movement of the subject in the depth direction can be known, and the subject can be continuously photographed following the moving subject.
  • FIG. 5 is a block diagram illustrating a configuration example of a gated imaging apparatus to which the present technology is applied.
  • the gated imaging device 70 is configured to include a control unit 71 and an output terminal 72 in addition to the light emitting unit 61 and the image sensor 62 of FIG. 3.
  • the control unit 71 issues a control signal for controlling the light emitting unit 61 and the image sensor 62.
  • the light emitting unit 61 emits pulsed light according to a control signal from the control unit 71.
  • the image sensor 62 outputs from the output terminal 72 the charge in each pixel accumulated by the exposure start and exposure end processing and the exposure by the control signal of the control unit 71.
  • a lens is provided so as to focus in front of the image sensor 62, but the illustration is omitted in order to prevent the figure from becoming complicated. In the subsequent drawings, the lens is omitted in the same manner.
  • the image sensor 62 is composed of the solid-state imaging device 1 of FIG.
  • the number of pixels is usually several hundred to several thousand pixels both vertically and horizontally.
  • FIG. 6 shows the configuration of one pixel 2.
  • Light exposed (received) in a PD (photodiode: light receiving element) 81 becomes a charge, and is switched by a switch 83 to a memory (FD: charge storage unit) 82-1 or 82-2 and stored.
  • the switch 83 switches to the drain and discharges (discards).
  • the switch 83 is controlled by a control signal from the control unit 71.
  • the charges accumulated in the memories 82-1 and 82-2 can be output from the output terminal 72 of FIG. At the time of output to the output terminal 72, the charges accumulated in the memories 82-1 and 82-2 disappear.
  • the memory 82-2 is not used. That is, in the first embodiment, the light (charge) received by the PD 81 is discarded to the drain until the exposure starts or after the exposure ends. From the start of exposure to the end of exposure, the light received by the PD 81 is accumulated in the memory 82-1. In this configuration, when the exposure is resumed after the exposure is completed, the charges stored in the memory 82-1 are further accumulated by the current exposure. These controls are controlled by a control signal from the control unit 71.
  • the memory 82-2 is also used.
  • FIG. 7 is a diagram illustrating a configuration example of the first embodiment of the gated imaging system to which the present technology is applied.
  • the subjects 53-1 to 53-3 are imaged using the gated imaging device. There is no fog in front of the subject 53-1 (that is, between the gated imaging device 70 and the subject 53-1). In front of the subject 53-2 (that is, between the subject 53-1 and the subject 53-2), there is a fog 52-1, and in front of the subject 53-3 (that is, between the subject 53-2 and the subject 53-3). Between) there is a fog 52-2.
  • the control unit 71 is configured to include, for example, an exposure control unit 91 that controls a plurality of exposures and a setting unit 92 that sets a start time and an end time of the plurality of exposures.
  • the setting unit 92 uses a pulse emission timing as a reference, and starts and ends a plurality of exposures according to the predetermined imaging distance range. Set the time.
  • the setting unit 92 instructs the light emitting unit 61 to perform pulsed light emission, and then sets the start time and end time of the following multiple exposures. Then, the exposure control unit 91 controls the exposure of the image sensor 62 a plurality of times.
  • D11 ⁇ “distance to subject 53-1” ⁇ D21 ⁇ “distance to fog 52-1” ⁇ D12 ⁇ “distance to subject 53-2” ⁇ D22 ⁇ “distance to fog 52-2” ⁇ D13 ⁇ “distance to subject 53-3”.
  • the reflected light from the subjects 53-1 to 53-3 is received, and the reflected light from the fogs 52-1 and 52-2 is not received.
  • clear projected images of the subjects 53-1 to 53-3 can be obtained.
  • Min (1) D11
  • Max (1) D21
  • Min (2) D12
  • Max (2) D22
  • Min (3) D13
  • Max (3) D23. .
  • step S13 the exposure control unit 91 switches the switch 83 to the drain and starts to send the light (generated charge) exposed in the PD 81 to the drain. That is, the charge is discharged to the drain.
  • step S14 the exposure controller 91 causes the charge in the memory 82-1 to be read from the output terminal 72 as dummy data in order to reset the charge in the memory 82-1.
  • step S15 the exposure controller 91 emits pulsed light from the light emitter 61 and sets 1 to the parameter i.
  • the exposure control unit 91 waits for 2 * Min (i) / c from the time of pulse emission, and starts exposure in step S17. That is, the charge generated by the PD 81 starts to be sent to the memory 82-1.
  • step S18 the exposure control unit 91 waits for 2 * Max (i) / c from the time of pulse emission, and ends the exposure in step S19. That is, the charge generated by the PD 81 starts to be sent to the drain.
  • step S22 the exposure control unit 91 determines whether or not it has been repeated a predetermined number of times. If it is determined in step S22 that the process has not been repeated a predetermined number of times, the process returns to step S15, and the subsequent processes are repeated.
  • step S22 when it is determined that the exposure control unit 91 has repeated a predetermined number of times, the process proceeds to step S23.
  • step 23 the exposure control unit 91 reads out the electric charge of the memory 82-1 from the output terminal 72 and sets it as a result image I.
  • the same processing is performed a predetermined number of times (one emission in S15 to S20 and multiple exposures), and the charge is accumulated in the memory 82-1. Yes. With this accumulation, a sufficient amount of light (charge) can be obtained.
  • the predetermined number of times is, for example, hundreds to tens of thousands of times.
  • the subject 53-1 is shown with appropriate brightness, but the subject 53-2 and the subject 53-3 may be dark images.
  • the gated imaging process (second gated imaging process) described with reference to FIG. 8 may be performed again.
  • the gated imaging device 70 of the present technology can be mounted on an automobile and used for forward monitoring. In this case, it does not end with one gated imaging, and the forward monitoring can always be performed by continuing the gated imaging.
  • the subject can be properly captured even when the gated imaging device 70 is moving.
  • the gated imaging system 100 at the current time is shown in the upper part of the figure, and the gated imaging system 100 after the time Tc is shown in the lower part.
  • the gated imaging system 100 at the current time it is assumed that the automobile 101 equipped with the gated imaging device 70 is traveling rightward at a speed Vc.
  • the pulsed light 111 emitted from the light emitting unit 61 of the gated imaging device 70 is reflected by the subjects 53-1 to 53-3 and is reflected as the reflected light 112.
  • Light is received by the sensor 63.
  • the image sensor 63 does not receive the reflections from the fogs 52-1 and 52-2.
  • clear projected images of the subjects 53-1 to 53-3 can be obtained. This image is displayed in real time on a monitor in the automobile 101 (not shown), and driving of the automobile 101 can be supported.
  • gated imaging is performed again.
  • the pulsed light 111Tc emitted from the light emitting unit 61 is reflected by the subjects 53-1 to 53-3 and received by the image sensor 63 as reflected light 112Tc.
  • Reflections from the fogs 52-1 and 52-2 are not received by the image sensor 63.
  • clear projected images of the subjects 53-1 to 53-3 can be obtained.
  • This image is displayed in real time on a monitor in the automobile 101Tc (not shown), and can support driving of the automobile.
  • FIG. 10 is a diagram illustrating a configuration example of the second embodiment of the gated imaging system to which the present technology is applied.
  • the control unit 71 is a memory that has data (or no data) of the projection image of the subject. 7 is different from the gated imaging system 50 of FIG. 7 in that a subject determination unit 161 for determining (specifying) whether or not a subject at which distance is captured is added.
  • the first half of the emitted pulse (light emitted during the period from time -W / 2 to time 0) is reflected by the subject 53, exposed (received) by the PD 81, and stored in the memory 82-1.
  • the second half of the emitted pulse (light emitted during the period from time 0 to time W / 2) is reflected by the subject 53, exposed (received) by the PD 81, and stored in the memory 82-2.
  • the charge accumulated in the memory 82-1 of each pixel 2 of the image sensor 62 is read, and the value of the read pixel is used as a gated imaging result image I1. Further, the electric charge accumulated in the memory 82-2 of each pixel 2 of the image sensor 62 is read out, and the value of the read out pixel is used as a gated imaging result image I2.
  • the projection images of the subject 53 are shown in the result images I1 and I2.
  • an image obtained by adding the result image I1 and the result image I2 may be created to obtain a clear image of the subject 53.
  • the light reflected and returned from the subject 53 is advanced in time, so that the projection image of the subject 53 is shown in the result image I1, but the subject 53 is shown in the result image I2. This video is not shown.
  • the setting unit 92 may perform gated imaging by setting T0 to a value larger than the previous value of T0.
  • the gated imaging system 150 can continue to perform gated imaging while following the subject.
  • step S111 in FIG. 12 the setting unit 92 designates a distance D0 to be photographed.
  • step S112 the exposure control unit 91 switches the switch 83 to the drain and starts sending the charge generated in the PD 81 to the drain. That is, the charge is discharged to the drain.
  • step S113 the exposure control unit 91 causes the charge in the memory 82-1 to be read from the output terminal 72 as dummy data in order to reset the charge in the memory 82-1, and resets the charge in the memory 82-2.
  • the charge of the memory 82-2 is read from the output terminal 72 as dummy data.
  • step S116 in FIG. 13 the exposure control unit 91 emits pulsed light from the light emitting unit 61.
  • the exposure control unit 91 waits for T1 from the time of pulse emission, and in step S118, the memory 82-1 is used to perform exposure. To start. That is, the charge generated by the PD 81 starts to be sent to the memory 82-1.
  • the exposure control unit 91 waits for T0 from the time of pulse emission in step S119, and starts exposure using the memory 82-2 in step S120. That is, the charge generated by the PD 81 starts to be sent to the memory 82-2.
  • the exposure controller 91 waits for T2 from the time of pulse emission in step S121, and ends the exposure in step S122. That is, the charge generated by the PD 81 starts to be sent to the drain.
  • step S123 the exposure control unit 91 determines whether or not it has been repeated a predetermined number of times. If it is determined in step S123 that the process has not been repeated a predetermined number of times, the process returns to step S116, and the subsequent processes are repeated.
  • step S123 If it is determined in step S123 that the exposure control unit 91 has repeated a predetermined number of times, the process proceeds to step S124.
  • step S124 the exposure control unit 91 reads the charge in the memory 82-1 from the output terminal 72 and sets it as a result image I1.
  • the exposure control unit 91 reads out the electric charge of the memory 82-2 from the output terminal 72 and sets it as a result image I2.
  • step S125 the exposure control unit 91 outputs an image obtained by adding the result image I1 and the result image I2 from the output terminal 72 as the result image I of the current gated imaging.
  • step S126 If it is determined in step S126 that the contrast of the subject in the result image I1 is different from the contrast of the subject in the result image I2, the process proceeds to step S128.
  • step S128 If it is determined in step S128 that the result image I1 has higher contrast, the process proceeds to step S129.
  • step S128 If it is determined in step S128 that the result image I1 has a lower contrast, the process proceeds to step S130.
  • the memory in which no projection image data exists is determined by using the projection images of the two images.
  • the exposure time is the width W of the pulsed light. Although not particularly limited to W, W is preferable. By setting the exposure time to W, all the reflections of the pulsed light emitted from the light emitting unit 61 on the subject 53 are exposed, and reflections from objects at other distances (eg, fog not shown) are exposed. It is not necessary.
  • the gated imaging device 70 is installed at a position away from the ridge 212 by a distance D0, and images the direction of the ridge 212.
  • the gated imaging system 200 configured as described above, the gated imaging process described above with reference to FIGS. 12 and 13 is executed. If there is something that gets over the ridge 212 from the inside and escapes outside (the subject 53 in FIG. 14), even if there is a fog 52, a projected image of the subject 53 can be clearly obtained.
  • the gated imaging process can be continued by appropriately following the distance to the subject 53. This is because the contrast of the projected portion of the subject 53 increases from the moment when the subject 53 gets over the ridge 212, and the gated imaging continues to be performed while the distance follows the higher contrast. In this way, the gated imaging system 200 can monitor escape.
  • FIG. 15 is a diagram illustrating a configuration example of a third embodiment of a gated imaging system to which the present technology is applied.
  • control unit 71 causes the subject determination unit 161 to determine (specify) which memory has the data (or no data) of the projection image of the subject. 10 differs from the gated imaging system 150 of FIG. 10 in that the subject determination unit 261 that determines (specifies) which distance the subject has moved forward or backward is replaced.
  • gated imaging is performed three times, and light (charge) exposed (received) in the PD 81 is stored in the memory 82-1 or 82-2 at an appropriate timing, or to the drain. And discarded.
  • gated imaging is performed by a control method called control C1 in the figure
  • gated imaging is performed by a control method called control 2
  • gated imaging is performed by a control method called control C3 so that gated imaging is performed three times in total. Is called.
  • the subject determination unit 261 determines which distance the subject has moved forward / backward, and the setting unit 92 sets parameters for the next three times of gated imaging. (T01 to T04 described later) is updated.
  • gated imaging is performed three times in time.
  • the multiple line 3 of the image sensor 62 is gated by a control method called control C1.
  • Imaging is performed, and a line that is one surplus in a multiple of 3 is gated by a control method called control C2, and a line that is two surplus in a multiple of 3 is gated by a control method called control C3. May be.
  • FIG. 15 shows an example of gated imaging in which four subjects (subjects 53-1 to 53-4) are clearly photographed. Even when the subject moves, it is possible to follow the subject and capture a clear image even in the next gated imaging.
  • T0i 2 ⁇ D0i / c.
  • imaging is performed by the method of Control 1 as shown in A of FIG. That is, from time T11 to T01, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-1. From time T01 to T21, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-2.
  • the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-1. From time T02 to T22, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-2.
  • the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-1. From time T03 to T23, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-2. From time T14 to T04, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-1. From time T04 to T24, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-2.
  • imaging is performed by the method of control C2, as shown in FIG. That is, from time T11 to T01, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-1. From time T01 to T21, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-2.
  • the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-1. From time T02 to T22, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-2.
  • the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-2. From time T03 to T23, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-1. From time T14 to T04, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-2. From time T04 to T24, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-1.
  • imaging is performed by the method of control C3 as shown in C of FIG. That is, from time T11 to T01, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-1. From time T01 to T21, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-2.
  • the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-2. From time T02 to T22, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-1.
  • the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-1. From time T03 to T23, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-2. From time T14 to T04, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-2. From time T04 to T24, the light (charge) exposed in the PD (light receiving element) 81 is accumulated in the memory 82-1.
  • the charge accumulated in the memory 82-1 of each pixel 2 of the image sensor 62 is read after time T24, and the value of the read pixel is A gated imaging result image I1j is obtained. Then, the charge stored in the memory 82-2 of each pixel 2 of the image sensor 63 is read out, and the value of the read out pixel is used as a gated imaging result image I2j.
  • the projection images of the subjects 53-1 to 53-4 are shown in the result image I1j and the result image I2j.
  • an image obtained by adding the result image I1j and the result image I2j may be created to obtain clear images of the subjects 53-1 to 53-4.
  • This 3-bit pattern is different for four subjects. By setting differently in this way, it is possible to determine which subject has moved.
  • Each of the three 3-bit patterns is different. This makes it possible to determine whether the vehicle has moved forward or backward. Such pattern assignment is an important point of the third embodiment of the present technology.
  • each image includes four projected images of the subjects 53-1 to 53-4. Note that the correspondence between the four projected images of the images 281 and 282 and the subjects 53-1 to 53-4 is not known.
  • any of the four subjects 53-1 to 53-4 has moved backward. However, it cannot be specified which subject has moved backward.
  • the exposure timing should be delayed following the moved subject, but it is not known which of T01 to T04 should be delayed.
  • the image read from the gated imaging memory 82-1 by the control C1 the image read from the gated imaging memory 82-1 by the control C2, and the gated imaging memory 82- by the control C3. If it is not shown in the image read out from 2 but is shown in the rest of the images, it means that the subject at the distance D02 has moved backward. If delayed, a total of four subjects, including the other three subjects, can be clearly captured.
  • the setting unit 92 delays T01 by a minute time in the next imaging.
  • the setting unit 92 advances T01 by a minute time in the next shooting.
  • the memory 82- in the gated imaging by the control C2 1 is not reflected in the image I21 read out from 1, but is reflected in the image I22 read out from the memory 82-1 in the gated imaging by the control C2, and is reflected in the image I13 read out from the memory 82-1 in the gated imaging by the control C3.
  • the setting unit 92 delays T02 by a minute time in the next shooting.
  • FIG. 21 will be described in order from the top. It is not shown in the image I11 read from the memory 82-1 in the gated imaging by the control C1, but is shown in the image I12 read from the memory 82-2 in the gated imaging by the control C1, and the memory 82- in the gated imaging by the control C2 1 appears in the image I21 read out from 1 and not in the image I22 read out from the memory 82-1 in the gated imaging by the control C2, but in the image I13 read out from the memory 82-1 in the gated imaging by the control C3. If there is a subject that is reflected in the image I23 read from the memory 82-1 in the gated imaging by the control C3, the setting unit 92 delays T03 by a minute time in the next imaging.
  • the image I11 read from the memory 82-1 in the gated imaging by the control C1 and not the image I12 read from the memory 82-2 in the gated imaging by the control C1, and the memory 82- in the gated imaging by the control C2 1 is not reflected in the image I21 read out from 1, but is reflected in the image I22 read out from the memory 82-1 in the gated imaging by the control C2, and is reflected in the image I13 read out from the memory 82-1 in the gated imaging by the control C3.
  • the setting unit 92 advances T03 by a minute time in the next shooting.
  • the setting unit 92 delays T04 by a minute time in the next shooting.
  • the image I11 read from the memory 82-1 in the gated imaging by the control C1 and not the image I12 read from the memory 82-2 in the gated imaging by the control C1, and the memory 82- in the gated imaging by the control C2 1 is not reflected in the image I21 read out from 1, but is reflected in the image I22 read out from the memory 82-1 in the gated imaging by the control C2, and is reflected in the image I13 read out from the memory 82-1 in the gated imaging by the control C3. If there is a subject that is reflected in the image I23 read from the memory 82-1 in the gated imaging by the control C3, the setting unit 92 advances T04 by a minute time in the next imaging.
  • step S201 the setting unit 92 designates four distances to be photographed. In this case, D01, D02, D03, and D04.
  • step S204 the exposure control unit 91 performs gated imaging according to the control 1, reads the charge in the memory 82-1 and reads the result image I11, and reads the charge in the memory 82-2 and sets the result image I21. Then, the exposure control unit 91 outputs an image obtained by adding the result image I11 and the result image I21 from the output terminal 72 as the result image I of the current gated imaging.
  • step S205 the exposure control unit 91 performs gated imaging according to the control C2, reads out the charges in the memory 82-1 and reads the result image I12, and reads the charges in the memory 82-2 and sets it as the result image I22. Then, the exposure control unit 91 outputs an image obtained by adding the result image I12 and the result image I22 from the output terminal 72 as the result image I of the current gated imaging.
  • step S206 the exposure control unit 91 performs gated imaging according to the control C3, reads the charge in the memory 82-1 and reads the result image I13, reads the charge in the memory 82-2, and sets the result image I23. Then, the exposure control unit 91 outputs an image obtained by adding the result image I13 and the result image I23 from the output terminal 72 as the result image I of the current gated imaging.
  • gated imaging is performed three times by the control C1 to the control C3.
  • Generalizing the number of subjects is as follows. In other words, to gate (2 to the power of s) subjects, s + 1 gated imaging is performed. In each gated imaging, the s + 1 bit pattern, including bit inversion, is all different depending on whether the first half or the second half of the reflection of the pulsed light is stored in the memory 82-1 or the memory 82-2. That's fine.
  • the fourth embodiment a method for determining the subject distance in a short time when the subject distance is unknown will be described. That is, by using the fourth embodiment of the present technology to identify the distance of the subject, and then executing the first to third embodiments of the present technology, the best implementation of the present technology is achieved. Is possible.
  • step S301 the setting unit 92 sets the maximum photographing range Dmin to Dmax. Note that Dmin ⁇ Dmax.
  • step S303 the setting unit 92 performs the process of the subroutine A, and then ends the gated imaging process. Subsequently, the processing of subroutine A in step S303 will be described with reference to FIGS.
  • the exposure control unit 91 performs gated imaging. That is, pulse light is emitted from the light emitting unit 61, and light (charge) received (exposed) by the PD (light receiving element) 81 is accumulated in the memory 82-1 from time Tmin to Tmid. From time Tmid to Tmax, the light (charge) received (exposed) by the PD (light receiving element) 81 is accumulated in the memory 82-2. At other times, light (charge) received (exposed) by the PD (light receiving element) 81 is discharged to the drain.
  • step S323 the exposure control unit 91 reads out the electric charge stored in the memory 82-1 of each pixel 2 of the image sensor 62 after time Tmax, and uses the value of the read pixel as a gated imaging result image I1. And Further, the exposure control unit 91 reads out the electric charge stored in the memory 82-2 of each pixel 2 of the image sensor 62, and sets the value of the read out pixel as a gated imaging result image I2.
  • step S324 in FIG. 25 the subject determination unit 261 determines whether or not a significant subject is reflected in the result image I1. If it is determined in step S324 that a significant subject is captured in the result image I1, the process proceeds to step S325.
  • step S325 the setting unit 92 determines whether Tmid-Tmin ⁇ 2 * ⁇ / c.
  • ⁇ represents the accuracy of the designated distance. If it is determined in step S325 that Tmid ⁇ Tmin ⁇ 2 * ⁇ / c is not satisfied, the process proceeds to step S326.
  • step S325 If it is determined in step S325 that Tmid-Tmin ⁇ 2 * ⁇ / c, the process proceeds to step S328.
  • step S327 or S329 the process proceeds to S330 in FIG.
  • step S324 it is determined in step S324 that no significant subject is captured in the result image I1
  • the process proceeds to step S330 in FIG.
  • step S330 of FIG. 26 the subject determination unit 261 determines whether or not a significant subject is reflected in the result image I2. If it is determined in step S330 that a significant subject is captured in the result image I2, the process proceeds to step S331.
  • step S331 the setting unit 92 determines whether or not Tmax ⁇ Tmin ⁇ 2 * ⁇ / c.
  • ⁇ represents the accuracy of the designated distance. If it is determined in step S331 that Tmax ⁇ Tmin ⁇ 2 * ⁇ / c is not satisfied, the process proceeds to step S332.
  • step S331 If it is determined in step S331 that Tmax ⁇ Tmin ⁇ 2 * ⁇ / c, the process proceeds to step S334.
  • step S333 or S335 the process returns to S303 in FIG. 23, and the gated imaging process is terminated.
  • step S330 it is determined in step S330 that no significant subject is captured in the result image 2
  • the process returns to S303 in FIG. 23, and the gated imaging process is terminated.
  • the configuration of one pixel has been described based on the configuration shown in FIG. That is, the light exposed (received) in the PD (light receiving element) 81 becomes charges and is stored in the memory (charge storage unit) 82.
  • the memory charge storage unit
  • the imaging range may be divided into m instead of being divided into two, as in the above example, to narrow the search range.
  • light can be received a plurality of times in time for each pulse light emission.
  • a plurality of subjects can be photographed clearly, or the direction of movement of the subject in the depth direction can be known, and the subject can be continuously photographed following the moving subject.
  • the present technology may be applied to a solid-state imaging device such as a CCD (Charge Coupled Device) solid-state imaging device.
  • CCD Charge Coupled Device
  • FIG. 27 is a diagram illustrating a usage example in which the above-described solid-state imaging device is used.
  • the solid-state imaging device (image sensor) described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-ray as follows.
  • Devices for taking images for viewing such as digital cameras and mobile devices with camera functions
  • Devices used for traffic such as in-vehicle sensors that capture the back, surroundings, and interiors of vehicles, surveillance cameras that monitor traveling vehicles and roads, and ranging sensors that measure distances between vehicles, etc.
  • Equipment used for home appliances such as TVs, refrigerators, air conditioners, etc. to take pictures and operate the equipment according to the gestures ⁇ Endoscopes, equipment that performs blood vessel photography by receiving infrared light, etc.
  • Equipment used for medical and health care ⁇ Security equipment such as security surveillance cameras and personal authentication cameras ⁇ Skin measuring instrument for photographing skin and scalp photography Such as a microscope to do beauty Equipment used for sports-Equipment used for sports such as action cameras and wearable cameras for sports applications-Used for agriculture such as cameras for monitoring the condition of fields and crops apparatus
  • the present technology is not limited to application to a solid-state imaging device, but can also be applied to an imaging device.
  • the imaging apparatus refers to a camera system such as a digital still camera or a digital video camera, or an electronic apparatus having an imaging function such as a mobile phone.
  • a module-like form mounted on an electronic device that is, a camera module is used as an imaging device.
  • the 28 includes a solid-state imaging device (element chip) 501, an optical lens 502, a shutter device 503, a drive circuit 504, and a signal processing circuit 505.
  • the solid-state imaging device 501 the above-described solid-state imaging device 1 (image sensor 62) of the present technology is provided.
  • the electronic device 500 is provided with the light emitting unit 61 described above as a light emitting unit (not shown).
  • the optical lens 502 forms image light (incident light) from the subject on the imaging surface of the solid-state imaging device 501. As a result, signal charges are accumulated in the solid-state imaging device 501 for a certain period.
  • the shutter device 503 controls the light irradiation period and the light shielding period for the solid-state imaging device 501.
  • the drive circuit 504 supplies a drive signal for controlling the signal transfer operation of the solid-state imaging device 501, the shutter operation of the shutter device 503, and the light emission operation of a light emitting unit (not shown).
  • the above-described exposure control unit 91 of the present technology is provided.
  • the drive circuit 504 controls each operation using parameters set by a CPU (not shown).
  • the CPU (not shown) the setting unit 92 of the present technology described above is provided.
  • the solid-state imaging device 501 performs signal transfer according to a drive signal (timing signal) supplied from the drive circuit 504.
  • the signal processing circuit 505 performs various types of signal processing on the signal output from the solid-state imaging device 501.
  • the video signal subjected to the signal processing is stored in a storage medium such as a memory or output to a monitor.
  • steps describing the series of processes described above are not limited to the processes performed in time series according to the described order, but are not necessarily performed in time series, either in parallel or individually.
  • the process to be executed is also included.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). . That is, the present technology is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present technology.
  • 1 solid-state imaging device 2 pixels, 21 gated imaging device, 22 fog, 23 subject, 31 control unit, 32 light emitting unit, 33 imaging unit, 50 gated imaging system, 51 gated imaging device, 52, 52-1, 52-2 Fog, 53, 53-1 to 53-3 subject, 61 light emitting unit, 62 image sensor, 70 gated imaging device, 71 control unit, 72 output terminal, 81 PD, 82-1, 82-2 memory, 83 switch, 91 Setting unit, 92 exposure control unit, 100 gated imaging system, 101 automobile, 111 pulsed light, 112 reflected light, 150 gated imaging system, 200 gated imaging system, 211 pillar, 212 mm, 250 gate De imaging system 261 subject determination unit, 281 to 284 images, 500 the electronic device, 501 solid-state imaging device, 502 an optical lens, 503 a shutter device, 504 driving circuit, 505 a signal processing circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本開示は、１回のパルス発光につき、時間的に複数回の受光を行うことができるようにする撮像装置および電子機器に関する。 制御部は、発光部に対してパルス発光を行うように指示した後、イメージセンサに対して、時刻T11＝(2×D11)/cにおいて露光開始、時刻T21＝(2×D21)/cにおいて露光終了、時刻T12＝(2×D12)/cにおいて露光開始、時刻T22＝(2×D22)/cにおいて露光終了、時刻T13＝(2×D13)/cにおいて露光開始、時刻T21＝(2×D23)/cにおいて露光終了、を指示する。本開示は、例えば、パルス光を発光して、ある特定の時間のみを撮像する装置であるゲーテッド撮像装置に適用することができる。

Description

撮像装置および電子機器
　本開示は、撮像装置および電子機器に関し、特に、１回のパルス発光につき、時間的に複数回の受光を行うことができるようにした撮像装置および電子機器に関する。
　Active Gated Imaging,Active ImagingやRange-gated Active Imagingなどの名称で知られている撮影技術がある。日本語では、ゲーテッド撮像と呼ばれており、以下、ゲーテッド撮像と称する。
　ゲーテッド撮像は、パルス光を発光して、ある特定の時間のみをイメージセンサで撮像することで、特定の距離の被写体のみを鮮明に撮像することができる技術である。
　この技術において、複数の被写体がある場合、特許文献１に示されるように、複数回の撮像を行わなければならなかった。
国際公開２０１３－１７９２８０号
　すなわち、複数の被写体がある場合など、適切なゲーテッド撮像を行うことが困難であった。
　本開示は、このような状況に鑑みてなされたものであり、１回のパルス発光につき、時間的に複数回の受光を行うことができるものである。
　本技術の一側面の撮像装置は、パルス発光を行う発光部と、受光を行う受光部と、前記発光部からの１回のパルス発光につき、前記受光部に対して複数回の露光を行わせる露光制御部と、所定の撮像距離範囲に存在する被写体の撮像処理を行うために、前記パルス発光のタイミングを基準とし、前記所定の撮像距離範囲に応じて、複数回の露光の開始時刻と終了時刻を設定する設定部とを備える。
　前記所定の撮像距離範囲は、１乃至ｎ(ｎは２以上の整数)の撮像距離範囲で構成され、前記所定の撮像距離範囲の第i番目（i=１乃至ｎ）の距離範囲をMin(i)乃至Max(i)（Min(i)＜Max(i)）とするとき、前記露光の回数は、ｎ回であり、前記設定部は、前記ｎ回の露光の第j番目（j=１乃至ｎ）の露光の開始時間と終了時間を、それぞれ、(2×Min(i))/cと(2×Max(i))/c(cは光の速さ)として設定することができる。
　前記受光部において受光された光量は、１乃至ｍ(ｍは２以上の整数)のメモリのいずれかに格納される構成であり、前記所定の撮像距離範囲をMin乃至Max（Min＜Max）とするとき、前記露光の回数は、ｍ回であり、前記設定部は、前記ｍ回の露光の第j番目（j=１乃至ｎ）の露光の開始時間と終了時間を、それぞれ、(2×Min)/c＋2×(Max-Min)×(j-1)/c/mと2×Min/c＋2×(Max-Min)×j/c/m (cは光の速さ)として設定し、前記制御部は、前記ｍ回の露光の第j番目（j=１乃至ｎ）の露光により受光された光量を、前記ｍのメモリのうち第j番目のメモリに格納するように制御することができる。
　前記ｍのメモリのうち、前記被写体の投影像のデータが存在しないメモリを特定する被写体特定部をさらに備え、前記被写体特定部により特定された前記被写体の投影像のデータが存在しないメモリの番号が第ｐ番目である場合、ｐ＝ｍまたはｐがｍとほぼ等しいとき、前記Minの値あるいはMaxの値の少なくとも一方を小さくするように再設定をして、次に撮像のためのパラメータを決定するか、または、前記被写体特定部により特定された前記被写体の投影像のデータが存在しないメモリの番号が第ｐ番目である場合、ｐ＝１またはｐが１とほぼ等しいとき、前記Minの値あるいはMaxの値の少なくとも一方を大きくするように再設定をして、次に撮像のためのパラメータを決定することができる。
　前記被写体の撮像処理がs＋1(sは１以上の整数)回続けられるうちの各回の撮像処理において、前記受光部において受光された光量は、第１のメモリまたは第２のメモリのいずれかに格納される構成であり、前記所定の撮像距離範囲は、１乃至（２のｓ乗）の撮像距離範囲で構成され、前記所定の撮像距離範囲の第k番目（k=１乃至２のｓ乗）の距離範囲をMin(k)乃至Max(k)（Min(k)＜Max(k)）とするとき、前記露光の回数は、２×（２のｓ乗）回であり、前記設定部は、前記（２のｓ乗）回の露光の第２×k-1番目（k=１乃至２のｓ乗）の露光の開始時間と終了時間を、それぞれ、2×Min(k)/cと2×Max(k)/c＋2×(Max(k)-Min(k)/c/2と、2×Max(k)/c(cは光の速さ)として設定し、かつ、前記設定部は、前記（２のｓ乗）回の露光の第２×k番目（k=１乃至２のｓ乗）の露光の開始時間と終了時間を、それぞれ、2×Min(k)/c＋2×(Max(k)-Min(k))/c/と、2×Max(k)/c(cは光の速さ)として設定し、前記制御部は、前記ｑ回目（ｑは１乃至s＋1）の撮像処理において、前記（２のｓ乗）回の露光の第２×k-1番目（k=１乃至２のｓ乗）の露光により前記受光部において受光された光量は、前記２のメモリのうちの第r(k,q)番目（r(k,q)は、１または２）のメモリに格納され、かつ、前記（２のｓ乗）回の露光の第２×k番目の露光により前記受光部において受光された光量は、前記２のメモリのうちの第r(k,q)番目（r(k,q)は、１または２）ではないメモリに格納されるように制御し、任意のkに対して、数列{r(k,1)、r(k,2)、…r(k,s＋1)}が、数列{r(k',1)、r(k',2)、…r(k',s+1):ただし、k'≠k}と異なり、数列｛３－r(k',1)、r(k',2)、…r(k',s+1:ただし、k'≠k)とも異なるように、r(k,q)を決めることができる。
　前記被写体の撮像処理がs+1(sは１以上の整数)回続けられるうちの各回の撮像処理において、前記２のメモリのうち、前記被写体の投影像のデータが存在しないメモリを特定する被写体特定部をさらに備え前記設定部は、前記被写体特定部により特定された前記被写体の投影像のデータが存在しないメモリの番号に対応して、前記Minの値およびMaxの値の少なくとも一方を小さくするように再設定して、次の撮像のためのパラメータを決定することができる。
　前記ｍのメモリのうち第j番目（j=１乃至ｎ）のメモリに、前記被写体の投影像のデータが存在するメモリを特定する被写体特定部をさらに備え、前記設定部は、前記被写体特定部により特定された前記被写体の投影像のデータが存在するメモリの番号が第ｑ番目としたとき、2×Min/c＋2×(Max-Min)×(q-1)/c/mを新たにMinと設定し、2×Min/c＋2×(Max-Min)×q/c/m (cは光の速さ)を新たにMaxと設定して、次の撮像のためのパラメータの決定を行うことができる。
　本技術の一側面の電子機器は、パルス発光を行う発光部と、受光を行う受光部と、前記発光部からの１回のパルス発光につき、前記受光部に対して複数回の露光を行わせる露光制御部と、所定の撮像距離範囲に存在する被写体の撮像処理を行うために、前記パルス発光のタイミングを基準とし、前記所定の撮像距離範囲に応じて、複数回の露光の開始時刻と終了時刻を設定する設定部とを備える。
　本技術の一側面においては、１回のパルス発光につき、受光を行う受光部に対して複数回の露光が行われる。そして、所定の撮像距離範囲に存在する被写体の撮像処理を行うために、前記パルス発光のタイミングが基準とされ、前記所定の撮像距離範囲に応じて、複数回の露光の開始時刻と終了時刻が設定される。
　本技術によれば、被写体を撮像することができる。特に、本技術によれば、複数の被写体を鮮明に撮像することができる。
  なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
本技術を適用した固体撮像装置の概略構成例を示すブロック図である。 ゲーテッド撮像の概要を示す図である。 ゲーテッド撮像について説明する図である。 被写体が複数の場合のゲーテッド撮像の例を示す図である。 本技術を適用したゲーテッド撮像装置の構成例を示すブロック図である。 画素の構成例を示す図である。 本技術を適用したゲーテッド撮像システムの第１の実施の形態の構成例を示す図である。 本技術を適用した実装基板の他の構造例を示す図である。 本技術のゲーテッド撮像装置を自動車に搭載した場合の例を示す図である。 本技術を適用したゲーテッド撮像システムの第２の実施の形態の構成例を示す図である。 被写体が前方に移動する場合について説明する図である。 図１０のゲーテッド撮像システムのゲーテッド撮像処理について説明するフローチャートである。 図１０のゲーテッド撮像システムのゲーテッド撮像処理について説明するフローチャートである。 本技術の第２の実施の形態の利用の具体例を説明する図である。 本技術を適用したゲーテッド撮像システムの第３の実施の形態の構成例を示す図である。 制御の方法を示す図である。 パターンの組み合わせを示す図である。 本技術の第３の実施の形態の重要なポイントについて詳しく説明する図である。 移動した被写体の特定方法を説明する図である。 次のゲーテッド撮像の時間のセッティング方法を説明する図である。 次のゲーテッド撮像の時間のセッティング方法を説明する図である。 図１５のゲーテッド撮像システムのゲーテッド撮像処理について説明するフローチャートである。 本技術の第４の実施の形態の場合のゲーテッド撮像システムのゲーテッド撮像処理について説明するフローチャートである。 図２３のステップＳ３０３におけるサブルーチンＡの処理を説明するフローチャートである。 図２３のステップＳ３０３におけるサブルーチンＡの処理を説明するフローチャートである。 図２３のステップＳ３０３におけるサブルーチンＡの処理を説明するフローチャートである。 本技術を適用したイメージセンサの使用例を示す図である。 本技術を適用した電子機器の構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
０．概要
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態（イメージセンサの使用例）
６．第６の実施の形態（電子機器の例）
＜０．概要＞
　＜固体撮像装置の概略構成例＞
　図１は、本技術の各実施の形態に適用されるCMOS（Complementary Metal Oxide Semiconductor）固体撮像装置の一例の概略構成例を示している。
　図１に示されるように、固体撮像装置（素子チップ）１は、半導体基板１１（例えばシリコン基板）に複数の光電変換素子を含む画素２が規則的に２次元的に配列された画素領域（いわゆる撮像領域）３と、周辺回路領域とを有して構成される。
　画素２は、光電変換素子（例えば、PD(Photo Diode)）と、複数の画素トランジスタ（いわゆるMOSトランジスタ）を有してなる。複数の画素トランジスタは、例えば、転送トランジスタ、リセットトランジスタ、および増幅トランジスタの３つのトランジスタで構成することができ、さらに選択トランジスタを追加して４つのトランジスタで構成することもできる。
　また、画素２は、画素共有構造とすることもできる。画素共有構造は、複数のフォトダイオード、複数の転送トランジスタ、共有される１つのフローティングディフュージョン、および、共有される１つずつの他の画素トランジスタから構成される。フォトダイオードは、光電変換素子である。
　周辺回路領域は、垂直駆動回路４、カラム信号処理回路５、水平駆動回路６、出力回路７、および制御回路８から構成される。
　制御回路８は、入力クロックや、動作モード等を指令するデータを受け取り、また、固体撮像装置１の内部情報等のデータを出力する。具体的には、制御回路８は、垂直同期信号、水平同期信号、およびマスタクロックに基づいて、垂直駆動回路４、カラム信号処理回路５、および水平駆動回路６の動作の基準となるクロック信号や制御信号を生成する。そして、制御回路８は、これらの信号を垂直駆動回路４、カラム信号処理回路５、および水平駆動回路６に入力する。
　垂直駆動回路４は、例えばシフトレジスタによって構成され、画素駆動配線を選択し、選択された画素駆動配線に画素２を駆動するためのパルスを供給し、行単位で画素２を駆動する。具体的には、垂直駆動回路４は、画素領域３の各画素２を行単位で順次垂直方向に選択走査し、垂直信号線９を通して各画素２の光電変換素子において受光量に応じて生成した信号電荷に基づいた画素信号をカラム信号処理回路５に供給する。
　カラム信号処理回路５は、画素２の例えば列毎に配置されており、１行分の画素２から出力される信号を画素列毎にノイズ除去等の信号処理を行う。具体的には、カラム信号処理回路５は、画素２固有の固定パターンノイズを除去するためのCDS（Correlated Double Sampling）や、信号増幅、A/D（Analog/Digital）変換等の信号処理を行う。カラム信号処理回路５の出力段には、水平選択スイッチ（図示せず）が水平信号線１０との間に接続されて設けられる。
　水平駆動回路６は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路５の各々を順番に選択し、カラム信号処理回路５の各々から画素信号を水平信号線１０に出力させる。
　出力回路７は、カラム信号処理回路５の各々から水平信号線１０を通して順次に供給される信号に対し、信号処理を行って出力する。出力回路７は、例えば、バッファリングだけを行う場合もあるし、黒レベル調整、列ばらつき補正、各種デジタル信号処理等を行う場合もある。
　入出力端子１２は、外部と信号のやりとりをするために設けられる。
　＜ゲーテッド撮像の概要＞
　本技術は、ゲーテッド撮像に関する技術である。ゲーテッド撮像は、パルス光を発光して、ある特定の時間のみをイメージセンサで撮像することで、特定の距離の被写体のみを鮮明に撮像することができる技術である。例えば、ゲーテッド撮像は、Active Gated Imaging,Active ImagingやRange-gated Active Imagingなどの名称で知られている。
　図２を参照して、ゲーテッド撮像について説明する。図２の例において、ゲーテッド撮像装置２１は、制御部３１、発光部３２、および撮像部３３を備えている。制御部３１は、発光部３２の発光タイミングと、撮像部３３の露光時間とを制御する。発光部３２は、矩形波を発光する。撮像部３３は、被写体２３を露光する。このようなゲーテッド撮像装置２１においては、霧２２の向こうの被写体２３を撮像することが可能である。
　すなわち、発光部３２が矩形波を発光すると、まず、霧２２からの反射光が撮像部３３に到達し、次に、被写体２３からの反射光が撮像部３３に到達する。
　ここで、通常の撮像部の場合、矩形波が発光されてから、被写体２３の反射光が到達するまでが露光時間となり、霧２２からの反射光と被写体２３からの反射光の合計が露光されるので、被写体２３が見えにくい画像（もやのかかった画像）となる。
　これに対して、ゲーテッド撮像の撮像部３３の場合、特定の時間の部分を精度よく露光するので、例えば、被写体２３からの反射のみを撮像することができる。したがって、ゲーテッド撮像においては、画像に、はっきりと被写体を写すことができる。
　次に、図３を参照して、ゲーテッド撮像について具体的に説明する。図３の例においては、ゲーテッド撮像システム５０が示されている。
　ゲーテッド撮像システム５０として、図中左から順に、ゲーテッド撮像装置５１、霧５２、被写体５３が示されている。
　図３の例において、ゲーテッド撮像装置５１は、パルス光を発光する発光部６１および、イメージセンサ６２（図１の固体撮像装置１）を備えている。例えば、ゲーテッド撮像装置５１を用いて被写体５３を撮像することを考える。被写体５３の前（すなわち、ゲーテッド撮像装置５１と被写体５３の間）に霧５２がある。
　この場合、図３に示されるように、距離D1とD2（すなわち、露光開始時間T1＝（２×D1）/cと、露光開始時間T2＝（２×D2）/c）を設定することで、霧５２からの反射光は受光せずに、被写体５３からの反射光のみを受光することができる。結果として、鮮明な被写体５３の投影像を撮影することができる。ここで、ｃは、光の速度であり、以降も同様である。
　また、「霧５２までの距離」＜D1＜「被写体５２までの距離」＜D2である。パルス光を発光してから、霧５２に反射して戻ってくる光は、時刻T1＝（２×D1）/cよりも早いので、イメージセンサ６２では受光されない。
　次に、図４を参照して、ゲーテッド撮像システム５０において、撮影したい被写体が３つの場合のゲーテッド撮像について説明する。
　被写体５３－１乃至５３－３を撮影するためには、D1＜「被写体５３－１までの距離」＜D2、かつ、D1＜「被写体５３－２までの距離」＜D2、かつ、D1＜「被写体５３－３までの距離」＜D2となるように距離D1とD2を決める必要があった。すなわち、露光開始時刻T1＝（２×D1）/cと、露光開始時間T2＝（２×D2）/c）は、図４に示されるように設定される。この場合、イメージセンサ６２は、図４中の霧５２－１および霧５２－２からの反射光も受光してしまうことになり、鮮明な被写体５３－１乃至５３－３の画像を得ることが困難であった。
　例えば、特許文献１においては、複数の被写体がある場合、複数回の撮影をするようにしており、１回の撮像だけでは不可能であった。すなわち、D11＜「被写体５３－１までの距離」＜D21＜「霧５２－１までの距離」＜D12＜「被写体５３－２までの距離」＜D22＜「霧５２－２までの距離」＜D13＜「被写体５３－３までの距離」＜D23として、まず、D1＝D11、D2＝D21として撮像を行い、次に、D1＝D12、D2＝D22として撮像を行い、最後に、D1＝D13、D2＝D23として撮像を行わなければならなかった（合計3回の撮像が必要）。
　また、被写体が奥行き方向に移動してしまい、D1乃至D2の範囲の外に移動してしまうと、被写体からの反射光を受光できず、被写体を見失ってしまうことがあった。もちろん、被写体の動きに応じて、適切にD1とD2を設定しなおすこともあるが、D1より手前に被写体が移動したのか、D2よりも奥に被写体が移動したのかがわからないので、再設定することが困難であった。
　そこで、本技術においては、１回のパルス発光につき、時間的に複数回の受光を行うような構成にされる。これにより、複数の被写体を鮮明に撮像することができ、また、被写体の奥行き方向の移動の方向がわかり、移動する被写体に追従して被写体を撮影し続けることができる。
　図５は、本技術を適用したゲーテッド撮像装置の構成例を示すブロック図である。
　図５の例において、ゲーテッド撮像装置７０は、図３の発光部６１、イメージセンサ６２に加えて、制御部７１および出力端子７２を含むように構成される。制御部７１は、発光部６１およびイメージセンサ６２を制御する制御信号を発行する。発光部６１は、制御部７１からの制御信号によりパルス光を発光する。イメージセンサ６２は、制御部７１の制御信号により、露光開始と露光終了の処理、および露光により蓄積された各画素内の電荷を出力端子７２から出力する。なお、実際には、イメージセンサ６２の前に焦点を結ぶようにレンズが具備されるが、図が煩雑になるのを防ぐために図示省略されている。以降の図でも同様にレンズは図示省略されている。
　イメージセンサ６２は、例えば、複数の画素２によりからなる、図１の固体撮像装置１で構成される。画素の数は、通常、縦、横ともに数百画素乃至数千画素ある。
　図６には、１つの画素２の構成が示されている。PD(フォトダイオード：受光素子)８１において露光（受光）された光は電荷となり、スイッチ８３により、メモリ（FD:電荷蓄積部）８２－１または８２－２に切り替えられ、蓄積される。露光しない期間は、スイッチ８３によりドレインに切り替えられ、排出（破棄）される。このスイッチ８３は、制御部７１からの制御信号で制御される。
　また、メモリ８２－１および８２－２に蓄積された電荷は、図５の出力端子７２より出力することができる。出力端子７２に出力した時点で、メモリ８２－１および８２－２に蓄積された電荷はなくなる。
　なお、図６の例においては、メモリが２つの例を説明したが、３つ以上の場合も実現可能である。ただし、３つ以上の場合はレイアウトが複雑になる。
　また、以降に説明する第１の実施の形態においては、メモリ８２－２は使用されない。すなわち、第１の実施の形態においては、露光開始までは、あるいは、露光終了後は、PD８１で受光した光（電荷）は、ドレインに捨てられる。そして、露光開始から露光終了までは、PD８１で受光した光は、メモリ８２－１に蓄積される。なお、この構成においては、露光終了後に露光を再開すると、メモリ８２－１には、それまでに蓄えられていた電荷に対して、さらに、今回の露光により電荷が累積される。これらの制御は、制御部７１からの制御信号で制御される。
　なお、以降に説明する第２乃至第４の実施の形態においては、メモリ８２－２も用いられる。
＜１．第１の実施の形態＞
　＜ゲーテッド撮像システムの構成＞
　図７は、本技術を適用したゲーテッド撮像システムの第１の実施の形態の構成例を示す図である。
　図７のゲーテッド撮像システム９０においては、ゲーテッド撮像装置７０を用いて、被写体５３－１乃至５３－３が撮像される。被写体５３－１の前（すなわち、ゲーテッド撮像装置７０と被写体５３－１の間）には、霧はない。被写体５３－２の前（すなわち、被写体５３－１と被写体５３－２の間）には、霧５２－１があり、被写体５３－３の前（すなわち、被写体５３－２と被写体５３－３の間）には、霧５２－２がある。
　そして、ゲーテッド撮像システム９０においては、１回のパルス発光につき、複数回（図７の例の場合、３回）の露光を行っている。なお、制御部７１は、例えば、複数回の露光を制御する露光制御部９１および複数回の露光の開始時刻と終了時刻を設定する設定部９２を含むように構成される。設定部９２は、例えば、所定の撮像距離範囲に存在する被写体の撮像処理を行うために、パルス発光のタイミングを基準とし、所定の撮像距離範囲に応じて、複数回の露光の開始時刻と終了時刻を設定する。
　ゲーテッド撮像装置７０において、設定部９２は、例えば、発光部６１に対してパルス発光を行うように指示した後、次のような複数回の露光の開始時刻と終了時刻を設定する。そして、露光制御部９１は、イメージセンサ６２の複数回の露光を制御する。
　具体的には、複数回の露光の開始時刻と終了時刻は、
　時刻T11＝(2×D11)/cにおいて露光開始、時刻T21＝(2×D21)/cにおいて露光終了。
　時刻T12＝(2×D12)/cにおいて露光開始、時刻T22＝(2×D22)/cにおいて露光終了。
　時刻T13＝(2×D13)/cにおいて露光開始、時刻T21＝(2×D23)/cにおいて露光終了。

　である。ただし、cは、光の速さである。また、D11＜「被写体５３－１までの距離」＜D21＜「霧５２－１までの距離」＜D12＜「被写体５３－２までの距離」＜D22＜「霧５２－２までの距離」＜D13＜「被写体５３－３までの距離」である。
　そして、時刻T23以降に、イメージセンサ６２の画素２のメモリ８２－１に蓄積された電荷が読み出され、この読み出された画素の値が、ゲーテッド撮像の結果画像Ｉとなる。
　図７に示されるように、被写体５３－１乃至５３－３からの反射光は受光され、そして、霧５２－１および５２－２からの反射光は受光されない。これにより、被写体５３－１乃至５３－３の鮮明な投影像を得ることができる。
　＜ゲーテッド撮像システムの動作＞
　次に、図８のフローチャートを参照して、図７のゲーテッド撮像システム９０のゲーテッド撮像処理について説明する。
　ステップＳ１１において、設定部９２は、撮影したい距離範囲の数ｎを指定する。なお、図７の例においては、ｎ＝３である。
　ステップＳ１２において、設定部９２は、ｎ個の撮影したい距離範囲を指定する。この距離範囲をMin(i)乃至Max(i)(i=1乃至n)とする。図７の例においては、Min(1)=D11,Max(1)=D21,Min(2)=D12,Max(2)=D22,Min(3)=D13,Max(3)=D23である。
　ステップＳ１３において、露光制御部９１は、スイッチ８３をドレインに切り替え、PD８１において露光した光（発生した電荷）を、ドレインへ送り続け始める。すなわち、電荷をドレインに排出させる。
　ステップＳ１４において、露光制御部９１は、メモリ８２－１の電荷をリセットするために、メモリ８２－１の電荷をダミーデータとして出力端子７２より読み出させる。
　ステップＳ１５において、露光制御部９１は、発光部６１からパルス光を発光し、パラメータiに1をセットする。ステップＳ１６において、露光制御部９１は、パルス発光した時刻から、2*Min(i)/cだけ待ち、ステップＳ１７において、露光を開始する。すなわち、PD８１が発生した電荷が、メモリ８２－１に送られ始める。
　ステップＳ１８において、露光制御部９１は、パルス発光した時刻から、2*Max(i)/cだけ待ち、ステップＳ１９において、露光を終了する。すなわち、PD８１が発生した電荷が、ドレインへ送られ始める。
　ステップＳ２０において、露光制御部９１は、i＝n（n回繰り返したか）？を判定する。ステップＳ２０において、i=nではないと判定された場合、処理は、ステップＳ２１に進む。ステップＳ２１において、露光制御部９１は、i=i+1とし、処理は、ステップＳ１６に戻り、それ以降の処理が繰り返される。
　ステップＳ２０において、i=nであると判定された場合、処理は、ステップＳ２２に進む。ステップＳ２２において、露光制御部９１は、所定回数繰り返したか否かを判定する。ステップＳ２２において、所定回数繰り返していないと判定された場合、処理は、ステップＳ１５に戻り、それ以降の処理が繰り返される。
　ステップＳ２２において、露光制御部９１は、所定回数繰り返したと判定された場合、処理は、ステップＳ２３に進む。ステップ２３において、露光制御部９１は、メモリ８２－１の電荷を出力端子７２から読み出し、結果画像Ｉとする。
　なお、１回のパルス発光での蓄積では光量が少ないので、所定回数（Ｓ１５乃至Ｓ２０における１回の発光と複数回の露光）だけ同じ処理が行われ、メモリ８２－１に電荷が累積されている。この累積により、十分な光量（電荷）を得ることができる。所定回数とは、例えば、数百乃至数万回である。
　また、被写体までの距離が遠ければ遠いほど、発光部６１から発光して被写体に反射して戻ってくる光の量が弱くなる。したがって、図７の例では、被写体５３－１は適切な明るさで映っているが、被写体５３－２および被写体５３－３は暗い映像になってしまう場合も考えられる。
　このような場合は、再度、図８を参照して説明したゲーテッド撮像処理（２回目のゲーテッド撮像処理）を行うとよい。この２回目のゲーテッド撮像処理においては、n＝２、Min(1)＝D12、Max(1)＝D22、Min(2)＝D13、Max(2)＝D23とされる。これにより、被写体５３－２および５３－３のみの投影像を得ることができる。ただし、この２回目のゲーテッド撮像においても、被写体５３－２および５３－３は、遠いので暗い投影像である。そこで、最初のゲーテッド撮像と２回目のゲーテッド撮像の画像を加算することにより、被写体５３－２および５３－３のみの投影像は２倍の明るさの画像となり、鮮明となる。
　このように、図８のゲーテッド撮像処理をパラメータnおよびMin(i)乃至Max(i)(i＝1乃至n)を変えて行い、これらの処理で得られた画像を加算することにより、近い被写体から遠い被写体まで適切な明るさの画像を得ることができる。
　なお、本技術のゲーテッド撮像装置７０は、自動車に搭載して、前方の監視に用いることができる。この場合、１回のゲーテッド撮像で終了することはなく、ゲーテッド撮像し続けることで前方の監視を常に行うことができる。前回のゲーテッド撮像から、次のゲーテッド撮像までに自動車は、距離Vc×Tcだけ進んでいる。そこで、前回のゲーテッド撮像に用いたMin(i)乃至Max(i)(i＝1乃至n)の値に対して、次のゲーテッド撮像では、これら値は、Vc×Tcだけ小さい値にするとよい。このように設定することで、ゲーテッド撮像装置７０が移動している場合でも、被写体を適切に捉え続けることができる。
　＜ゲーテッド撮像システムの他の構成＞
　さらに、図９を参照して、本技術のゲーテッド撮像装置７０を自動車に搭載した場合の例を具体的に説明する。なお、ゲーテッド撮像装置７０の構成例は、図５を参照して上述したものが用いられる。
　図９の例においては、図の上の段に、現在の時刻でのゲーテッド撮像システム１００が示されており、下の段に、時間Tc後でのゲーテッド撮像システム１００が示されている。
　現在の時刻でのゲーテッド撮像システム１００においては、ゲーテッド撮像装置７０を搭載した自動車１０１が右方向に速さVcで進んでいるとする。現在の時刻において、ゲーテッド撮像を適切に行うことで、ゲーテッド撮像装置７０の発光部６１から発光されたパルス光１１１は被写体５３－１乃至５３－３にて反射されて、反射光１１２として、イメージセンサ６３にて受光される。一方、イメージセンサ６３において、霧５２－１および５２－２からの反射は受光されない。これにより、鮮明な被写体５３－１乃至５３－３の投影像を得ることができる。この画像は、図示省略した自動車１０１内のモニタにリアルタイムで表示され、自動車１０１の運転の支援を行うことができる。
　次に、時間Tc後に、再度ゲーテッド撮像が行われる。時間Tc後のゲーテッド撮像においては、自動車１０１Tcは、距離Vc×Tcだけ進んでいる。すなわち、ゲーテッド撮像装置７０と被写体５３－１乃至５３－３との距離は、Vc×Tcだけ縮まっている。そこで、上述したように、Min(i)乃至Max(i)(i＝1乃至n)の値をVc×Tcだけ小さい値にすることにより、時間Tc後のゲーテッド撮像においても、ゲーテッド撮像装置７０内の発光部６１から発光されたパルス光１１１Tcは、被写体５３－１乃至５３－３にて反射されて、反射光１１２Tcとして、イメージセンサ６３にて受光される。霧５２－１および５２－２からの反射は、イメージセンサ６３では受光されない。これにより、鮮明な被写体５３－１乃至５３－３の投影像を得ることができる。この画像は、図示省略した自動車１０１Tc内のモニタにリアルタイムで表示され、自動車の運転の支援を行うことができる。
＜２．第２の実施の形態＞
　＜ゲーテッド撮像システムの構成＞
　図１０は、本技術を適用したゲーテッド撮像システムの第２の実施の形態の構成例を示す図である。
　図１０のゲーテッド撮像システム１５０においては、PD８１において露光（受光）した光（電荷）は適切なタイミングで、メモリ８２－１あるいは８２－２に蓄えられるか、または、ドレインへと廃棄される。なお、図１０のゲーテッド撮像システム１５０においては、制御部７１は、露光制御部９１および設定部９２に加えて、被写体の投影像のデータがある（または、データがない）メモリがどれであるかを判定（特定）することで、どの距離にある被写体が写っているか否かを判定（特定）する被写体判定部１６１が追加されている点が、図７のゲーテッド撮像システム５０と異なっている。
　図１０の例において、被写体５３までの距離D0とすると、パルス光が被写体５３に反射して戻ってくるまでの時刻は、T0＝2×D0/cである。パルス光の幅Wとし、時刻-W/2から時刻W/2までの期間、パルス光が発光されているとし、T1＝T0-W、T2＝T0+Wとする。
　時刻T1乃至T0においては、PD８１において露光（受光）された光（電荷）がメモリ８２－１に蓄積される。時刻T0乃至T2においては、PD８１において露光（受光）された光（電荷）がメモリ８２－２に蓄積される。それ以外の時間では、ドレインに排出される。図１０のゲーテッド撮像システム１５０においては、このように制御される。
　発光されたパルスの前半（時刻-W/2乃至時刻0の期間に発せられた光）は、被写体５３にて反射されてPD８１において露光（受光）され、メモリ８２－１に蓄積される。
　発光されたパルスの後半（時刻0乃至時刻W/2の期間に発せられた光）は、被写体５３にて反射されてPD８１において露光（受光）され、メモリ８２－２に蓄積される。
　そして、時刻T2以降に、イメージセンサ６２の各画素２のメモリ８２－１に蓄積された電荷が読み出され、この読み出された画素の値がゲーテッド撮像の結果画像Ｉ１とされる。また、イメージセンサ６２の各画素２のメモリ８２－２に蓄積された電荷が読み出され、この読み出された画素の値がゲーテッド撮像の結果画像Ｉ２とされる。
　結果画像Ｉ１およびＩ２には、被写体５３の投影像が写っている。なお、見やすくするために、結果画像Ｉ１と結果画像Ｉ２を加算した画像を作成して、被写体５３の鮮明な画像としてもよい。
　さて、次に、図１１に示されるように、被写体５３が前方に移動することを考える。
　図１１の例の場合、被写体５３から反射して戻ってくる光は、時間的に早まるので、結果画像Ｉ１には、被写体５３の投影像が写っているが、結果画像Ｉ２には、被写体５３の当映像は写っていない。
　すなわち、逆に、結果画像Ｉ１には、写っているが、結果画像Ｉ２には写っていない場合、被写体５３が前方に移動したことがわかる。そこで、再度ゲーテッド撮像を行う場合、設定部９２が、前回のT0の値よりも大きい値にT0をセットしてゲーテッド撮像を行えばよい。
　ゲーテッド撮像システム１５０においては、このようにして、被写体を追い続けながら、ゲーテッド撮像を行い続けることができる。
　すなわち、本技術の第２の実施の形態によれば、被写体が奥行き方向に移動してしまう場合でも適切に追従して、鮮明な画像を撮影し続けることができるゲーテッド撮像を実現できる。
　　＜ゲーテッド撮像システムの動作＞
　次に、図１２および図１３のフローチャートを参照して、図１０および図１１のゲーテッド撮像システム１５０のゲーテッド撮像処理について説明する。
　図１２のステップＳ１１１において、設定部９２は、撮影したい距離D0を指定する。ステップＳ１１２において、露光制御部９１は、スイッチ８３をドレインに切り替え、PD８１で発生した電荷をドレインへ送り始める。すなわち、電荷をドレインに排出させる。
　ステップＳ１１３において、露光制御部９１は、メモリ８２－１の電荷をリセットするために、メモリ８２－１の電荷をダミーデータとして出力端子７２より読み出させ、また、メモリ８２－２の電荷をリセットするために、メモリ８２－２の電荷をダミーデータとして出力端子７２より読み出させる。
　設定部９２は、ステップＳ１１４において、T0＝2*D0/cとし、ステップＳ１１５において、T1＝T0-W,T2＝T0+W（ただし、Wはパルス光の幅）とする。
　図１３のステップＳ１１６において、露光制御部９１は、発光部６１からパルス光を発光し、ステップＳ１１７において、パルス発光した時刻から、T1だけ待ち、ステップＳ１１８において、メモリ８２－１を使って、露光を開始する。すなわち、PD８１が発生した電荷が、メモリ８２－１に送られ始める。
　露光制御部９１は、ステップＳ１１９において、パルス発光した時刻から、T0だけ待ち、ステップＳ１２０において、メモリ８２－２を使って、露光を開始する。すなわち、PD８１が発生した電荷が、メモリ８２－２に送られ始める。
　露光制御部９１は、ステップＳ１２１において、パルス発光した時刻から、T2だけ待ち、ステップＳ１２２において、露光を終了する。すなわち、PD８１が発生した電荷が、ドレインへ送られ始める。
　ステップＳ１２３において、露光制御部９１は、所定回数繰り返したか否かを判定する。ステップＳ１２３において、所定回数繰り返していないと判定された場合、処理は、ステップＳ１１６に戻り、それ以降の処理が繰り返される。
　ステップＳ１２３において、露光制御部９１は、所定回数繰り返したと判定された場合、処理は、ステップＳ１２４に進む。ステップＳ１２４において、露光制御部９１は、メモリ８２－１の電荷を出力端子７２から読み出し、結果画像Ｉ１とする。また、露光制御部９１は、メモリ８２－２の電荷を出力端子７２から読み出し、結果画像Ｉ２とする。
　ステップＳ１２５において、露光制御部９１は、結果画像Ｉ１と結果画像Ｉ２を加算した画像を、今回のゲーテッド撮像の結果画像Ｉとして、出力端子７２より出力する。
　その後、図１２のステップＳ１２６において、被写体判定部１６１は、結果画像Ｉ１の被写体のコントラストと結果画像Ｉ２の被写体のコントラストが同じであるか否かを判定する。ステップＳ１２６において、結果画像Ｉ１の被写体のコントラストと結果画像Ｉ２の被写体のコントラストが同じであると判定された場合、処理は、ステップＳ１２７に進む。ステップＳ１２７において、設定部９２は、δ＝０とする。
　ステップＳ１２６において、結果画像Ｉ１の被写体のコントラストと結果画像Ｉ２の被写体のコントラストが異なると判定された場合、処理は、ステップＳ１２８に進む。ステップＳ１２８において、設定部９２は、結果画像Ｉ１のほうが、コントラストが強いか否かを判定する。
　ステップＳ１２８において、結果画像Ｉ１のほうが、コントラストが強いと判定された場合、処理は、ステップＳ１２９に進む。ステップＳ１２９において、設定部９２は、δ＝所定の微小な負の値に設定する。
　ステップＳ１２８において、結果画像Ｉ１のほうが、コントラストが弱いと判定された場合、処理は、ステップＳ１３０に進む。ステップＳ１３０において、設定部９２は、δ＝所定の微小な正の値に設定する。
　ステップＳ１２７，ステップＳ１２９，およびステップＳ１３０のあと、処理は、ステップＳ１３１に進む。ステップＳ１３１において、設定部９２は、T0＝T0＋δとし、処理は、ステップＳ１１５に戻り、それ以降の処理が繰り返される。
　なお、図１２および図１３のゲーテッド撮像処理において、結果画像Ｉ１には写っている／いない、および結果画像Ｉ２には写っている／いないの判定、すなわち、メモリ８２－１および８２－２のメモリのうち、投影像のデータが存在しないメモリは、２つの画像の投影像を用いてどちらであるかで判定するようにしている。
　また、上記説明において、露光時間を、パルスの光の幅Wとしている。特にWに限定するわけではないが、好適には、Wがよい。露光時間をWとすることで、発光部６１から発光されるパルス光の被写体５３での反射をすべて露光し、かつ、他の距離にある物体（たとえば、図示省略した霧）からの反射を露光しないですむからである。
　＜ゲーテッド撮像システムの他の構成＞
　さらに、図１４を参照して、本技術の第２の実施の形態の利用の具体例を説明する。
　図１４のゲーテッド撮像システム２００においては、刑務所の監視を行う用途例が記載されている。刑務所内と刑務所外とは、塀２１２で分けられている。この塀２１２から距離D0だけ外側に離れた位置に、ゲーテッド撮像装置７０が設置されており、塀２１２の方向を撮影している。
　好適には柱２１１などの上に設置して、ゲーテッド撮像装置７０からは塀２１２の全体が見渡せるようにするとよい。このように構成されるゲーテッド撮像システム２００において、図１２および図１３を参照して上述したゲーテッド撮像処理が実行される。もし、塀２１２を内側から乗り越えて、外側に脱走するもの（図１４の被写体５３）がいると、霧５２があったとしても、鮮明に被写体５３の投影像を得ることができる。
　また、ゲーテッド撮像システム２００においては、この被写体５３が移動した場合でも、その被写体５３までの距離に適切に追従して、ゲーテッド撮像処理を行い続けることができる。それは、被写体５３が塀２１２を乗り越えた瞬間から、被写体５３の投影部分はコントラストが高くなるからであり、コントラストの高い方に距離が追従してゲーテッド撮像が行われ続けるからである。このようにして、ゲーテッド撮像システム２００においては、脱走を監視することが可能である。
＜３．第３の実施の形態＞
　＜ゲーテッド撮像システムの構成＞
　図１５は、本技術を適用したゲーテッド撮像システムの第３の実施の形態の構成例を示す図である。
　図１５のゲーテッド撮像システム２５０においては、制御部７１は、被写体判定部１６１が、被写体の投影像のデータがある（または、データがない）メモリがどれであるかを判定（特定）することで、どの距離にある被写体が前方または後方に動いたかを判定（特定）する被写体判定部２６１に代えられた点が、図１０のゲーテッド撮像システム１５０と異なっている。
　図１５の例においては、３回のゲーテッド撮像が行われ、PD８１において露光（受光）した光（電荷）は適切なタイミングで、メモリ８２－１あるいは８２－２に蓄えられるか、または、ドレインへと廃棄される。
　すなわち、図中の制御Ｃ１という制御方法によりゲーテッド撮像が行われ、制御２という制御方法によりゲーテッド撮像が行われ、制御Ｃ３という制御方法によりゲーテッド撮像が行われ、合計で３回のゲーテッド撮像が行われる。この３回のゲーテッド撮像により得られる画像群から、被写体判定部２６１により、どの距離にある被写体が前方／後方に動いたかが判定され、設定部９２により、次の３回のゲーテッド撮像のためのパラメータ（後述するT01乃至T04）が更新される。
　なお、以降では、時間的に３回のゲーテッド撮像を行うとして説明するが、例えば、空間方向の解像度を犠牲にしてよければ、イメージセンサ６２の３の倍数ラインは、制御Ｃ１という制御方法によりゲーテッド撮像が行われ、３の倍数で１余るラインは、制御Ｃ２という制御方法によりゲーテッド撮像が行われ、さらに、３の倍数で２余るラインは、制御Ｃ３という制御方法によりゲーテッド撮像が行われるようにしてもよい。このようにすることで、解像度は１／３に落ちるが、１回のゲーテッド撮像により、制御Ｃ１乃至制御Ｃ３のゲーテッド撮像の画像をすべて得ることができる。
　図１５の例においては、４つの被写体（被写体５３－１乃至５３－４）を鮮明に撮影するゲーテッド撮像の例が示されている。なお、被写体が動いた場合でも被写体に追従して、次のゲーテッド撮像においても、鮮明に撮影することができる。
　被写体５３－i（i＝１乃至４）までの距離をD0iとすると、パルス光が被写体５３－ｉに反射して戻ってくるまでの時刻は、T0i＝2×D0i/cである。パルス光の幅をWとする。すなわち、時刻-W/2から時刻W/2までの期間、パルス光が発光されているとする。さらに、T1i＝T0i-W,T2i＝T0i+Wとされる。
　まず、１回目のゲーテッド撮像においては、図１６のＡに示されるように、制御１の方法により撮影が行われる。すなわち、時刻T11乃至T01においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－１に蓄積される。時刻T01乃至T21においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－２に蓄積される。
　時刻T12乃至T02においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－１に蓄積される。時刻T02乃至T22においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－２に蓄積される。
　時刻T13乃至T03においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－１に蓄積される。時刻T03乃至T23においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－２に蓄積される。時刻T14乃至T04においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－１に蓄積される。時刻T04乃至T24においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－２に蓄積される。
　それ以外の時間では、ドレインへと排出されるように制御される。
　２回目のゲーテッド撮像では、図１６のＢに示されるように、制御Ｃ２の方法により撮影が行われる。すなわち、時刻T11乃至T01においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－１に蓄積される。時刻T01乃至T21においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－２に蓄積される。
　時刻T12乃至T02においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－１に蓄積される。時刻T02乃至T22においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－２に蓄積される。
　時刻T13乃至T03においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－２に蓄積される。時刻T03乃至T23においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－１に蓄積される。時刻T14乃至T04においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－２に蓄積される。時刻T04乃至T24においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－１に蓄積される。
　３回目のゲーテッド撮像では、図１６のＣに示されるように、制御Ｃ３の方法により撮影が行われる。すなわち、時刻T11乃至T01においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－１に蓄積される。時刻T01乃至T21においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－２に蓄積される。
　時刻T12乃至T02においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－２に蓄積される。時刻T02乃至T22においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－１に蓄積される。
　時刻T13乃至T03においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－１に蓄積される。時刻T03乃至T23においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－２に蓄積される。時刻T14乃至T04においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－２に蓄積される。時刻T04乃至T24においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２－１に蓄積される。
　j回目（j=1乃至3）のゲーテッド撮像において、時刻T24以降に、イメージセンサ６２の各画素２のメモリ８２－１に蓄積された電荷が読み出され、この読み出された画素の値がゲーテッド撮像の結果画像Ｉ1jとされる。そして、イメージセンサ６３の各画素２のメモリ８２－２に蓄えられた電荷が読み出され、この読み出された画素の値がゲーテッド撮像の結果画像Ｉ2jとされる。
　結果画像Ｉ1jおよび結果画像Ｉ2jには、被写体５３－１乃至５３－４の投影像が写っている。なお、見やすくするために、結果画像Ｉ1jと結果画像Ｉ2jを加算した画像を作成して、被写体５３－１乃至５３－４の鮮明な画像としてもよい。
　さて、制御Ｃ１乃至制御Ｃ３を比べると、時間T1i乃至T0iと、時間T0i乃至T2i(i＝1乃至４)とで、メモリ８２－１に蓄積するか、メモリ８２－２に蓄積するかが異なっている。仮に、時間T1i乃至T0iでメモリ８２－１に蓄積し、時間T0i乃至T2iでメモリ８２－２に蓄積する場合をパターン０とする。そして、時間T1i乃至T0iでメモリ８２－２に蓄積し、時間T0i乃至T2iでメモリ８２－１に蓄積する場合をパターン０とする。このようにパターン０とパターン１と定義すると、図１６のＡ乃至図１６のＣの制御は、図１７に示される制御となる。
　図１７のパターン０／１の組み合わせをみれば明らかなように、被写体５３－１乃至５３－４のそれぞれに３ビットのコードが割り当てられていると考えられる。すなわち、被写体５３－１のための撮像においては、｛制御Ｃ１の場合、制御Ｃ２の場合、制御Ｃ３の場合｝＝｛０，０，０｝である。
　被写体５３－２のための撮像においては、｛制御Ｃ１の場合、制御Ｃ２の場合、制御Ｃ３の場合｝＝｛０，０，１｝である。被写体５３－３のための撮像においては、｛制御Ｃ１の場合、制御Ｃ２の場合、制御Ｃ３の場合｝＝｛０，１，０｝である。被写体５３－４のための撮像においては、｛制御Ｃ１の場合、制御Ｃ２の場合、制御Ｃ３の場合｝＝｛０，１，１｝である。
　この３ビットのパターンは、４つの被写体で異なる。このように異なるように設定することで、どの被写体が移動したかを判別することができる。
　さらに、被写体５３－１の｛制御Ｃ１の場合、制御Ｃ２の場合、制御Ｃ３の場合｝をビット反転した３ビット＝｛１，１，１｝、被写体５３－２の｛制御Ｃ１の場合、制御Ｃ２の場合、制御Ｃ３の場合｝をビット反転した３ビット＝｛１，１，０｝、被写体５３－３の｛制御Ｃ１の場合、制御Ｃ２の場合、制御Ｃ３の場合｝をビット反転した３ビット＝｛１，０，１｝、被写体５３－４の｛制御Ｃ１の場合、制御Ｃ２の場合、制御Ｃ３の場合｝をビット反転した３ビット＝｛１，０，０｝まで含めた合計８個の３ビットパターンは、いずれも異なる。これにより、前方に移動したのか、後方に移動したのかも判別できる。このようなパターンのアサインが、本技術の第３の実施の形態の重要なポイントである。
　このことについて、図１８を参照して、さらに詳しく説明する。
　もし、制御Ｃ１によるゲーテッド撮像しか行わなかったとする。このゲーテッド撮像においては、メモリ８２－１から画像２８１が読み出され、メモリ８２－２から画像２８２が読み出される。それぞれの画像には、被写体５３－１乃至５３－４の４つの投影像が写っている。なお、画像２８１および２８２の４つの投影像と、被写体５３－１乃至５３－４の対応関係はわからない。
　次に、再度、制御Ｃ１によるゲーテッド撮像が行われたとする。このとき、被写体５３－１乃至５３－４のいずれか１つが後方に移動したとする。本技術の第２の実施の形態で上述したように、後方に移動した被写体の投影像は、メモリ８２－１から読み出された画像２８３には投影されない。一方、メモリ８２－２から読み出された画像２８４には投影される。
　したがって、４つの被写体５３－１乃至５３－４のいずれかが後方に移動したのはわかる。しかし、どの被写体が後方に移動したかを特定することはできない。移動した被写体に追従して、露光タイミングを遅らせればよいが、T01乃至T04のいずれを遅らせればよいのかわからない。
　具体的にいえば、例えば、もしかすると、距離D03にあった被写体が後方に移動したため、画像２８３および２８４が得られたのかもしれないので、T03を遅らせればよいと考えるかもしれないが、これは間違いである。移動した被写体は、距離D03ではなく、距離D04の被写体であったかもしれないからである。
　再度、説明すると、画像２８３の右下の投影像が消えている（写っていない）ことから、右下の投影像に対応する被写体が移動したのはわかるが、この被写体はもともと、どの距離(D01乃至D04のいずれかの距離)にいたものかはわからない。そのため、T01乃至T04のいずれを遅らせればよいのかわからない。
　これに対して、３回のゲーテッド撮像（制御Ｃ１乃至制御Ｃ３による撮影）を行うことで、T01乃至T04のいずれであるかを特定できる。例えば、図１５の例において、距離D02（時間で換算すればT02）にある被写体（つまり、被写体５３－２）が、図１９に示されるように、後方に移動したとする。図１９の斜線領域２７１の時間においては、被写体５３－２が存在しないので、反射光は戻ってこない。したがって、制御Ｃ１によるゲーテッド撮像のメモリ８２－１から読み出された画像には被写体が写っていない。そして、制御Ｃ２によるゲーテッド撮像のメモリ８２－１から読み出された画像には、被写体が写っていない。そして、制御Ｃ３によるゲーテッド撮像のメモリ８２－２から読み出された画像には被写体が写っていない。他の画像には被写体が写っている。
　逆にいえば、制御Ｃ１によるゲーテッド撮像のメモリ８２－１から読み出された画像と、制御Ｃ２によるゲーテッド撮像のメモリ８２－１から読み出された画像と、制御Ｃ３によるゲーテッド撮像のメモリ８２－２から読み出された画像には写っておらず、残りの画像に写っている場合は、距離D02にあった被写体が後方に移動した場合であり、次回のゲーテッド撮像において、T02を微小時間だけ遅らせれば、他の３つの被写体も含め、合計４つの被写体を鮮明に写すことができる。
　他の場合もまとめると、図２０および図２１に示されるように、T0i(i＝１乃至４)を設定しなおせば、次回のゲーテッド撮像においても４つの被写体を鮮明に写すことができる。
　図２０の例について上から順に説明する。制御Ｃ１によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ１１に写っておらず、制御Ｃ１によるゲーテッド撮像におけるメモリ８２－２から読み出した画像Ｉ１２に写っていて、制御Ｃ２によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２１に写っておらず、制御Ｃ２によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２２に写っていて、制御Ｃ３によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ１３に写っておらず、制御Ｃ３によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２３に写っていて、という被写体がある場合、設定部９２は、次の撮影においては、T01を微小時間遅くする。
　制御Ｃ１によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ１１に写っていて、制御Ｃ１によるゲーテッド撮像におけるメモリ８２－２から読み出した画像Ｉ１２に写っておらず、制御Ｃ２によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２１に写っていて、制御Ｃ２によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２２に写っておらず、制御Ｃ３によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ１３に写っていて、制御Ｃ３によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２３に写っておらず、という被写体がある場合、設定部９２は、次の撮影においては、T01を微小時間早める。
　制御Ｃ１によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ１１に写っておらず、制御Ｃ１によるゲーテッド撮像におけるメモリ８２－２から読み出した画像Ｉ１２に写っていて、制御Ｃ２によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２１に写っておらず、制御Ｃ２によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２２に写っていて、制御Ｃ３によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ１３に写っていて、制御Ｃ３によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２３に写っておらず、という被写体がある場合、設定部９２は、次の撮影においては、T02を微小時間遅くする。
　制御Ｃ１によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ１１に写っていて、制御Ｃ１によるゲーテッド撮像におけるメモリ８２－２から読み出した画像Ｉ１２に写っておらず、制御Ｃ２によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２１に写っていて、制御Ｃ２によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２２に写っておらず、制御Ｃ３によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ１３に写っておらず、制御Ｃ３によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２３に写っていて、という被写体がある場合、設定部９２は、次の撮影においては、T02を微小時間早める。
　さらに、図２１の例について上から順に説明する。制御Ｃ１によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ１１に写っておらず、制御Ｃ１によるゲーテッド撮像におけるメモリ８２－２から読み出した画像Ｉ１２に写っていて、制御Ｃ２によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２１に写っていて、制御Ｃ２によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２２に写っておらず、制御Ｃ３によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ１３に写っておらず、制御Ｃ３によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２３に写っていて、という被写体がある場合、設定部９２は、次の撮影においては、T03を微小時間遅くする。
　制御Ｃ１によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ１１に写っていて、制御Ｃ１によるゲーテッド撮像におけるメモリ８２－２から読み出した画像Ｉ１２に写っておらず、制御Ｃ２によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２１に写っておらず、制御Ｃ２によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２２に写っていて、制御Ｃ３によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ１３に写っていて、制御Ｃ３によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２３に写っておらず、という被写体がある場合、設定部９２は、次の撮影においては、T03を微小時間早める。
　制御Ｃ１によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ１１に写っておらず、制御Ｃ１によるゲーテッド撮像におけるメモリ８２－２から読み出した画像Ｉ１２に写っていて、制御Ｃ２によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２１に写っていて、制御Ｃ２によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２２に写っおらず、制御Ｃ３によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ１３に写っていて、制御Ｃ３によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２３に写っておらず、という被写体がある場合、設定部９２は、次の撮影においては、T04を微小時間遅くする。
　制御Ｃ１によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ１１に写っていて、制御Ｃ１によるゲーテッド撮像におけるメモリ８２－２から読み出した画像Ｉ１２に写っておらず、制御Ｃ２によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２１に写っておらず、制御Ｃ２によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２２に写っていて、制御Ｃ３によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ１３に写っておらず、制御Ｃ３によるゲーテッド撮像におけるメモリ８２－１から読み出した画像Ｉ２３に写っていて、という被写体がある場合、設定部９２は、次の撮影においては、T04を微小時間早める。
　以上のように、本技術の第３の実施の形態によれば、複数の被写体が奥行き方向に移動してしまう場合でも適切に追従して、鮮明な被写体を撮影し続けることができるゲーテッド撮像を実現できる。なお、複数の被写体に対応させた点が、本技術の第２の実施の形態と異なる。
　　＜ゲーテッド撮像システムの動作＞
　次に、図２２のフローチャートを参照して、図１５および図１９のゲーテッド撮像システム２５０のゲーテッド撮像処理について説明する。
　ステップＳ２０１において、設定部９２は、撮影したい４つの距離を指定する。いまの場合、D01,D02,D03,D04とする。
　設定部９２は、ステップＳ２０２において、T01＝2*D01/c、T02＝2*D02/c、T03＝2*D03/c、T04＝2*D04/c、（cは光の速さ）とし、ステップＳ２０５において、T11＝T01-W,T21＝T01+W, T12＝T02-W,T22＝T02+W, T13＝T03-W,T23＝T03+W, T14＝T04-W,T24＝T04+W,（ただし、Wはパルス光の幅）とする。
　露光制御部９１は、ステップＳ２０４において、制御１によるゲーテッド撮像を行い、メモリ８２－１の電荷を読み出し、結果画像Ｉ１１とし、メモリ８２－２の電荷を読み出し、結果画像Ｉ２１とする。そして、露光制御部９１は、結果画像Ｉ１１と結果画像Ｉ２１を加算した画像を今回のゲーテッド撮像の結果画像Ｉとして出力端子７２より出力する。
　露光制御部９１は、ステップＳ２０５において、制御Ｃ２によるゲーテッド撮像を行い、メモリ８２－１の電荷を読み出し、結果画像Ｉ１２とし、メモリ８２－２の電荷を読み出し、結果画像Ｉ２２とする。そして、露光制御部９１は、結果画像Ｉ１２と結果画像Ｉ２２を加算した画像を今回のゲーテッド撮像の結果画像Ｉとして出力端子７２より出力する。
　露光制御部９１は、ステップＳ２０６において、制御Ｃ３によるゲーテッド撮像を行い、メモリ８２－１の電荷を読み出し、結果画像Ｉ１３とし、メモリ８２－２の電荷を読み出し、結果画像Ｉ２３とする。そして、露光制御部９１は、結果画像Ｉ１３と結果画像Ｉ２３を加算した画像を今回のゲーテッド撮像の結果画像Ｉとして出力端子７２より出力する。
　ステップＳ２０７において、設定部９２は、図２０および図２１に示された表のいずれかに当てはまる場合は、T0i(i=１乃至４)を変更する。
　その後、処理は、ステップＳ２０３に戻って、それ以降の処理が繰り返される。
　なお、上記説明においては、被写体が４つの場合について説明した。この場合においては、４つを区別し、かつ、前方移動／後方移動の区別をするため３ビット必要であった。これを実現するために、制御Ｃ１乃至制御Ｃ３による３回のゲーテッド撮像を行っていた。被写体の数（撮影したい被写体の距離の数）を一般化すると、以下のようになる。すなわち、（２のs乗）個の被写体をゲーテッド撮像するには、s+1回のゲーテッド撮像を行うようにする。各回のゲーテッド撮像は、パルス光の反射の前半と後半を、メモリ８２－１とメモリ８２－２のどちらに蓄積するかは、s+1ビットのパターンがビット反転も含めてすべて異なるようにすればよい。
＜４．第４の実施の形態＞
　上述した本技術の第１乃至第３の実施の形態においては、最初のゲーテッド撮像を行う際、すでに被写体の距離がわかっているとして上述した。しかしながら、実運用においては、被写体の距離が最初不明な場合が多い。
　そこで、第４の実施の形態においては、被写体の距離が不明な場合において、短時間で被写体の距離を決定する方法を説明する。つまり、本技術の第４の実施の形態を用いて、被写体の距離を同定して、その後、本技術の第１乃至第３の実施の形態を実行することで、本技術の最良な具現化が可能となる。
　次に、図２３のフローチャートを参照して、第４の実施の形態の場合のゲーテッド撮像処理を説明する。なお、図１５および図１９を参照して上述したゲーテッド撮像装置２５０を用いて説明する。
　ステップＳ３０１において、設定部９２は、最大撮影範囲Dmin乃至Dmaxをセットする。なお、Dmin＜Dmaxである。
　ステップＳ３０２において、設定部９２は、Tmin＝2*Dmin/c,Tmax＝2*Dmax/cとする。
　ステップＳ３０３において、設定部９２は、サブルーチンＡの処理を行い、その後、ゲーテッド撮像処理を終了する。続けて、ステップＳ３０３におけるサブルーチンＡの処理を、図２４乃至図２６を参照して説明する。
　図２４のステップＳ３２１において、設定部９２は、Tmid＝(Tmin＋Tmax)/2とする。ステップＳ３２２において、露光制御部９１は、ゲーテッド撮像を行う。すなわち、発光部６１からパルス光を発光して、時刻Tmin乃至Tmidにおいては、PD（受光素子）８１で受光（露光）した光（電荷）をメモリ８２－１に蓄積する。時刻Tmid乃至Tmaxにおいては、PD（受光素子）８１で受光（露光）した光（電荷）をメモリ８２－２に蓄積する。それ以外の時間では、PD（受光素子）８１で受光（露光）した光（電荷）は、ドレインへ排出される。
　ステップＳ３２３において、露光制御部９１は、時刻Tmax以降に、イメージセンサ６２の各画素２のメモリ８２－１に蓄えられた電荷を読み出し、この読み出された画素の値をゲーテッド撮像の結果画像Ｉ１とする。また、露光制御部９１は、イメージセンサ６２の各画素２のメモリ８２－２に蓄えられた電荷を読み出し、この読み出された画素の値をゲーテッド撮像の結果画像Ｉ２とする。
　図２５のステップＳ３２４において、被写体判定部２６１は、結果画像Ｉ１に有意な被写体が写っているか否かを判定する。ステップＳ３２４において、結果画像Ｉ１に有意な被写体が写っていると判定された場合、ステップＳ３２５に進む。
　ステップＳ３２５において、設定部９２は、Tmid-Tmin＜2*Δ/cであるか否かを判定する。ここで、Δは、指定する距離の精度を表す。ステップＳ３２５において、Tmid-Tmin＜2*Δ/cではないと判定された場合、処理は、ステップＳ３２６に進む。設定部９２は、ステップＳ３２６において、Tmin＝Tmin,Tmax＝Tmidとし、ステップＳ３２７において、サブルーチンＡの処理（現在説明中の処理）を再度行う。
　また、ステップＳ３２５において、Tmid-Tmin＜2*Δ/cであると判定された場合、処理は、ステップＳ３２８に進む。設定部９２は、ステップＳ３２８において、Ttmp＝(Tmin+Tmid)/2とし、ステップＳ３２９において、被写体５３のいる距離として、Tmid*c/2という値を出力する。
　ステップＳ３２７またはＳ３２９の後、処理は、図２６のＳ３３０に進む。一方、ステップＳ３２４において、結果画像Ｉ１に有意な被写体が写っていないと判定された場合、図２６のステップＳ３３０に進む。
　図２６のステップＳ３３０において、被写体判定部２６１は、結果画像Ｉ２に有意な被写体が写っているか否かを判定する。ステップＳ３３０において、結果画像Ｉ２に有意な被写体が写っていると判定された場合、ステップＳ３３１に進む。
　ステップＳ３３１において、設定部９２は、Tmax-Tmin＜2*Δ/cであるか否かを判定する。ここで、Δは、指定する距離の精度を表す。ステップＳ３３１において、Tmax-Tmin＜2*Δ/cではないと判定された場合、処理は、ステップＳ３３２に進む。設定部９２は、ステップＳ３３２において、Tmin＝Tmid,Tmax＝Tmaxとし、ステップＳ３３３において、サブルーチンＡの処理（現在説明中の処理）を再度行う。
　また、ステップＳ３３１において、Tmax-Tmin＜2*Δ/cであると判定された場合、処理は、ステップＳ３３４に進む。設定部９２は、ステップＳ３３４において、Ttmp＝(Tmin+Tmax)/2とし、ステップＳ３３５において、被写体５３のいる距離として、Tmid*c/2という値を出力する。
　ステップＳ３３３またはＳ３３５の後、処理は、図２３のＳ３０３に戻り、ゲーテッド撮像処理が終了される。一方、ステップＳ３３０において、結果画像２に有意な被写体が写っていないと判定された場合、図２３のＳ３０３に戻り、ゲーテッド撮像処理が終了される。
　なお、上記説明においては、１つの画素の構成は、図６に示す構成を前提として説明した。すなわち、PD（受光素子）８１において露光（受光）した光は電荷となり、メモリ（電荷蓄積部）８２に蓄えられるとした。これに対して、m個(mは３以上の整数)のメモリがある場合には、次のようになる。
　すなわち、PD８１において、露光した光は電荷となり、メモリ８２－ｋ（ｋ＝１乃至ｍ）のいずれかに蓄えられるとする。この場合、撮影範囲は、上記の例のように、２分割ではなく、ｍ分割して探索範囲を狭めていけばよい。
　以上のように、本技術によれば、１回のパルス発光につき、時間的に複数回の受光を行うことができる。これにより、複数の被写体を鮮明に撮影することができたり、あるいは、被写体の奥行き方向の移動の方向がわかり、移動する被写体に追従して被写体を撮影し続けることができる。
　なお、上記説明においては、本技術を、CMOS固体撮像装置に適用した構成について説明してきたが、CCD（Charge Coupled Device）固体撮像装置といった固体撮像装置に適用するようにしてもよい。
＜５．第５の実施の形態（イメージセンサの使用例）＞
　図２７は、上述の固体撮像装置を使用する使用例を示す図である。
　上述した固体撮像装置（イメージセンサ）は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜６．第６の実施の形態（電子機器の例）＞
　＜電子機器の構成例＞
　さらに、本技術は、固体撮像装置への適用に限られるものではなく、撮像装置にも適用可能である。ここで、撮像装置とは、デジタルスチルカメラやデジタルビデオカメラ等のカメラシステムや、携帯電話機等の撮像機能を有する電子機器のことをいう。なお、電子機器に搭載されるモジュール状の形態、すなわちカメラモジュールを撮像装置とする場合もある。
　ここで、図２８を参照して、本技術の電子機器の構成例について説明する。
　図２８に示される電子機器５００は、固体撮像装置（素子チップ）５０１、光学レンズ５０２、シャッタ装置５０３、駆動回路５０４、および信号処理回路５０５を備えている。固体撮像装置５０１としては、上述した本技術の固体撮像装置１（イメージセンサ６２）が設けられる。また、電子機器５００には、図示せぬ発光部として、上述した発光部６１が設けられている。
　光学レンズ５０２は、被写体からの像光（入射光）を固体撮像装置５０１の撮像面上に結像させる。これにより、固体撮像装置５０１内に一定期間信号電荷が蓄積される。シャッタ装置５０３は、固体撮像装置５０１に対する光照射期間および遮光期間を制御する。
　駆動回路５０４は、固体撮像装置５０１の信号転送動作、シャッタ装置５０３のシャッタ動作、および図示せぬ発光部の発光動作を制御する駆動信号を供給する。駆動回路５０４としては、上述した本技術の露光制御部９１が設けられる。駆動回路５０４は、図示せぬＣＰＵにより設定されたパラメータを用いて各動作を制御する。この図示せぬＣＰＵとしては、上述した本技術の設定部９２が設けられる。駆動回路５０４から供給される駆動信号（タイミング信号）により、固体撮像装置５０１は信号転送を行う。信号処理回路５０５は、固体撮像装置５０１から出力された信号に対して各種の信号処理を行う。信号処理が行われた映像信号は、メモリなどの記憶媒体に記憶されたり、モニタに出力される。
　なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するのであれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　　　１　固体撮像装置，　２　画素，　２１　ゲーテッド撮像装置，　２２　霧，　２３　被写体，　３１　制御部，　３２　発光部，　３３　撮像部，　５０　ゲーテッド撮像システム，　５１　ゲーテッド撮像装置，　５２，５２－１，５２－２　霧，　５３，５３－１乃至５３－３　被写体，　６１　発光部，　６２　イメージセンサ，　７０　ゲーテッド撮像装置，　７１　制御部，　７２　出力端子，　８１　PD，　８２－１，８２－２　メモリ，　８３　スイッチ，　９１　設定部，　９２　露光制御部，１００　ゲーテッド撮像システム，　１０１　自動車，１１１　パルス光，　１１２　反射光，　１５０　ゲーテッド撮像システム，　２００　ゲーテッド撮像システム，　２１１　柱，　２１２　塀，　２５０　ゲーテッド撮像システム，　２６１　被写体判定部，　２８１乃至２８４　画像，　５００　電子機器，　５０１　固体撮像装置，　５０２　光学レンズ，　５０３　シャッタ装置，　５０４　駆動回路，　５０５　信号処理回路

Claims (8)

  1. 　パルス発光を行う発光部と、
    　受光を行う受光部と、
    　前記発光部からの１回のパルス発光につき、前記受光部に対して複数回の露光を行わせる露光制御部と、
    　所定の撮像距離範囲に存在する被写体の撮像処理を行うために、前記パルス発光のタイミングを基準とし、前記所定の撮像距離範囲に応じて、複数回の露光の開始時刻と終了時刻を設定する設定部と
    　を備える撮像装置。
  2. 　前記所定の撮像距離範囲は、１乃至ｎ(ｎは２以上の整数)の撮像距離範囲で構成され、
    　前記所定の撮像距離範囲の第i番目（i=１乃至ｎ）の距離範囲をMin(i)乃至Max(i)（Min(i)＜Max(i)）とするとき、
    　前記露光の回数は、ｎ回であり、
    　前記設定部は、前記ｎ回の露光の第j番目（j=１乃至ｎ）の露光の開始時間と終了時間を、それぞれ、(2×Min(i))/cと(2×Max(i))/c(cは光の速さ)として設定する
    　請求項１に記載の撮像装置。
  3. 　前記受光部において受光された光量は、１乃至ｍ(ｍは２以上の整数)のメモリのいずれかに格納される構成であり、
    　前記所定の撮像距離範囲をMin乃至Max（Min＜Max）とするとき、
    　前記露光の回数は、ｍ回であり、
    　前記設定部は、前記ｍ回の露光の第j番目（j=１乃至ｎ）の露光の開始時間と終了時間を、それぞれ、(2×Min)/c＋2×(Max-Min)×(j-1)/c/mと2×Min/c＋2×(Max-Min)×j/c/m (cは光の速さ)として設定し、
    　前記制御部は、前記ｍ回の露光の第j番目（j=１乃至ｎ）の露光により受光された光量を、前記ｍのメモリのうち第j番目のメモリに格納するように制御する
    　請求項１に記載の撮像装置。
  4. 　前記ｍのメモリのうち、前記被写体の投影像のデータが存在しないメモリを特定する被写体特定部を
    　さらに備え、
    　前記被写体特定部により特定された前記被写体の投影像のデータが存在しないメモリの番号が第ｐ番目である場合、ｐ＝ｍまたはｐがｍとほぼ等しいとき、前記Minの値あるいはMaxの値の少なくとも一方を小さくするように再設定をして、次に撮像のためのパラメータを決定するか、
    　または、
    　前記被写体特定部により特定された前記被写体の投影像のデータが存在しないメモリの番号が第ｐ番目である場合、ｐ＝１またはｐが１とほぼ等しいとき、前記Minの値あるいはMaxの値の少なくとも一方を大きくするように再設定をして、次に撮像のためのパラメータを決定する
    　請求項３に記載の撮像装置。
  5. 　前記被写体の撮像処理がs+1(sは１以上の整数)回続けられるうちの各回の撮像処理において、
    　前記受光部において受光された光量は、第１のメモリまたは第２のメモリのいずれかに格納される構成であり、
    　前記所定の撮像距離範囲は、１乃至（２のｓ乗）の撮像距離範囲で構成され、
    　前記所定の撮像距離範囲の第k番目（k=１乃至２のｓ乗）の距離範囲をMin(k)乃至Max(k)（Min(k)＜Max(k)）とするとき、
    　前記露光の回数は、２×（２のｓ乗）回であり、
    　前記設定部は、前記（２のｓ乗）回の露光の第２×k-1番目（k=１乃至２のｓ乗）の露光の開始時間と終了時間を、それぞれ、2×Min(k)/cと2×Max(k)/c+2×(Max(k)-Min(k)/c/2と、2×Max(k)/c(cは光の速さ)として設定し、
    　かつ、
    　前記設定部は、前記（２のｓ乗）回の露光の第２×k番目（k=１乃至２のｓ乗）の露光の開始時間と終了時間を、それぞれ、2×Min(k)/c+2×(Max(k)-Min(k))/c/と、2×Max(k)/c(cは光の速さ)として設定し、
    　前記制御部は、
    　前記ｑ回目（ｑは１乃至s+1）の撮像処理において、
      前記（２のｓ乗）回の露光の第２×k-1番目（k=１乃至２のｓ乗）の露光により前記受光部において受光された光量は、前記２のメモリのうちの第r(k,q)番目（r(k,q)は、１または２）のメモリに格納され、かつ、前記（２のｓ乗）回の露光の第２×k番目の露光により前記受光部において受光された光量は、前記２のメモリのうちの第r(k,q)番目（r(k,q)は、１または２）ではないメモリに格納されるように制御し、
    　任意のkに対して、数列{r(k,1)、r(k,2)、…r(k,s+1)}が、数列{r(k’,1)、r(k’,2)、…r(k’,s+1):ただし、k’≠k}と異なり、数列｛３－r(k’,1)、r(k’,2)、…r(k’,s+1:ただし、k’≠k)とも異なるように、r(k,q)を決める
    　請求項１に記載の撮像装置。
  6. 　前記被写体の撮像処理がs+1(sは１以上の整数)回続けられるうちの各回の撮像処理において、
    　前記２のメモリのうち、前記被写体の投影像のデータが存在しないメモリを特定する被写体特定部を
    　さらに備え、
    　前記設定部は、前記被写体特定部により特定された前記被写体の投影像のデータが存在しないメモリの番号に対応して、前記Minの値およびMaxの値の少なくとも一方を小さくするように再設定して、次の撮像のためのパラメータを決定する
    　請求項５に記載の撮像装置。
  7. 　前記ｍのメモリのうち第j番目（j=１乃至ｎ）のメモリに、前記被写体の投影像のデータが存在するメモリを特定する被写体特定部を
    　さらに備え、
    　前記設定部は、前記被写体特定部により特定された前記被写体の投影像のデータが存在するメモリの番号が第ｑ番目としたとき、2×Min/c＋2×(Max-Min)×(q-1)/c/mを新たにMinと設定し、2×Min/c＋2×(Max-Min)×q/c/m (cは光の速さ)を新たにMaxと設定して、次の撮像のためのパラメータの決定を行う
    　請求項３に記載の撮像装置。
  8. 　パルス発光を行う発光部と、
    　受光を行う受光部と、
    　前記発光部からの１回のパルス発光につき、前記受光部に対して複数回の露光を行わせる露光制御部と、
    　所定の撮像距離範囲に存在する被写体の撮像処理を行うために、前記パルス発光のタイミングを基準とし、前記所定の撮像距離範囲に応じて、複数回の露光の開始時刻と終了時刻を設定する設定部と
    　を備える電子機器。
PCT/JP2017/014455 2016-04-22 2017-04-07 撮像装置および電子機器 WO2017183480A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/736,585 US10277827B2 (en) 2016-04-22 2017-04-07 Imaging apparatus and electronic apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016086216A JP2017195573A (ja) 2016-04-22 2016-04-22 撮像装置および電子機器
JP2016-086216 2016-04-22

Publications (1)

Publication Number Publication Date
WO2017183480A1 true WO2017183480A1 (ja) 2017-10-26

Family

ID=60115852

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/014455 WO2017183480A1 (ja) 2016-04-22 2017-04-07 撮像装置および電子機器

Country Status (3)

Country Link
US (1) US10277827B2 (ja)
JP (1) JP2017195573A (ja)
WO (1) WO2017183480A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020055833A1 (en) 2018-09-10 2020-03-19 TuSimple Adaptive illumination for a time-of-flight camera on a vehicle
US11932238B2 (en) 2020-06-29 2024-03-19 Tusimple, Inc. Automated parking technology

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
US10830879B2 (en) 2017-06-29 2020-11-10 Apple Inc. Time-of-flight depth mapping with parallax compensation
KR102403544B1 (ko) 2017-12-18 2022-05-30 애플 인크. 방출기들의 어드레스가능 어레이를 사용하는 비행 시간 감지
US11506790B2 (en) 2018-02-20 2022-11-22 The Charles Stark Draper Laboratory, Inc. Time-resolved contrast imaging for LIDAR
WO2020167338A1 (en) 2019-02-11 2020-08-20 Apple Inc. Depth sensing using a sparse array of pulsed beams
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
CN114079707B (zh) * 2020-08-13 2024-05-10 深圳中科飞测科技股份有限公司 图像采集方法、设备、计算机可读存储介质及电子设备
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170449A (ja) * 2009-01-26 2010-08-05 Calsonic Kansei Corp 車両用距離画像データ生成装置及び方法
US20120320219A1 (en) * 2010-03-02 2012-12-20 Elbit Systems Ltd. Image gated camera for detecting objects in a marine environment

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001337166A (ja) * 2000-05-26 2001-12-07 Minolta Co Ltd ３次元入力方法および３次元入力装置
TWI540312B (zh) * 2010-06-15 2016-07-01 原相科技股份有限公司 可提高測量精確度、省電及／或能提高移動偵測效率的時差測距系統及其方法
JP6416085B2 (ja) 2012-05-29 2018-10-31 ブライトウェイ ビジョン リミテッド 適用可能な被写界深度を使用するゲーテッド撮像

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170449A (ja) * 2009-01-26 2010-08-05 Calsonic Kansei Corp 車両用距離画像データ生成装置及び方法
US20120320219A1 (en) * 2010-03-02 2012-12-20 Elbit Systems Ltd. Image gated camera for detecting objects in a marine environment

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020055833A1 (en) 2018-09-10 2020-03-19 TuSimple Adaptive illumination for a time-of-flight camera on a vehicle
EP3850827A4 (en) * 2018-09-10 2022-05-04 Tusimple, Inc. ADAPTIVE LIGHTING FOR A VEHICLE TIME-OF-FLIGHT CAMERA
US11523067B2 (en) 2018-09-10 2022-12-06 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
US11877066B2 (en) 2018-09-10 2024-01-16 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
US11932238B2 (en) 2020-06-29 2024-03-19 Tusimple, Inc. Automated parking technology

Also Published As

Publication number Publication date
US10277827B2 (en) 2019-04-30
JP2017195573A (ja) 2017-10-26
US20190037120A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
WO2017183480A1 (ja) 撮像装置および電子機器
EP3557863B1 (en) Solid-state imaging element, and electronic device
JP6806494B2 (ja) 撮像装置、撮像システム、移動体及び撮像装置の駆動方法
WO2017221715A1 (ja) 撮像素子及び電子機器
JP6739066B2 (ja) 撮像制御装置、撮像制御方法、プログラムおよびそれを記録した記録媒体
WO2017163890A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
US20210320135A1 (en) Imaging device and electronic apparatus
JP2022543459A (ja) Ｔｏｆピクセルを用いたｈｄｒ可視光イメージング
WO2021033576A1 (en) Imaging element and distance measuring apparatus
US11489999B2 (en) Photoelectric conversion device and method of driving photoelectric conversion device
US20080080848A1 (en) Camera focusing system and method thereof
JP7033739B2 (ja) 固体撮像素子、固体撮像装置、固体撮像システム、固体撮像素子の駆動方法
WO2022085476A1 (ja) 固体撮像装置および信号処理方法
US20220239852A1 (en) Photoelectric conversion device and photodetection system having avalanche photodiode
JP2020096259A (ja) 光電変換装置および撮像システム
JP2023099398A (ja) 光電変換装置、撮像システム、光検出システム、および移動体
WO2021059699A1 (ja) 測距装置及び測距装置の制御方法、並びに、電子機器
WO2021084891A1 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
WO2016208416A1 (ja) 固体撮像装置および電子機器
JP6609910B2 (ja) 撮像装置
JP2022051408A (ja) 光電変換装置、光電変換システム及び移動体
JP2017103568A (ja) 撮像装置、撮像装置の制御方法およびプログラム
WO2016203984A1 (ja) 撮像装置および制御方法
WO2022254836A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
KR20200125593A (ko) 촬상 소자 및 전자 기기

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17785822

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17785822

Country of ref document: EP

Kind code of ref document: A1