WO2018142878A1 - ３次元モーション取得装置、及び３次元モーション取得方法 - Google Patents

３次元モーション取得装置、及び３次元モーション取得方法 Download PDF

Info

Publication number
WO2018142878A1
WO2018142878A1 PCT/JP2018/000612 JP2018000612W WO2018142878A1 WO 2018142878 A1 WO2018142878 A1 WO 2018142878A1 JP 2018000612 W JP2018000612 W JP 2018000612W WO 2018142878 A1 WO2018142878 A1 WO 2018142878A1
Authority
WO
WIPO (PCT)
Prior art keywords
charge amount
exposure
pixel
pattern
period
Prior art date
Application number
PCT/JP2018/000612
Other languages
English (en)
French (fr)
Inventor
佐藤　智
三四郎 宍戸
克弥 能澤
吾妻　健夫
真明 柳田
健富 徳原
登　一生
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP18748002.5A priority Critical patent/EP3579021B1/en
Priority to JP2018525626A priority patent/JP6887126B2/ja
Priority to CN201880000847.6A priority patent/CN108700664A/zh
Publication of WO2018142878A1 publication Critical patent/WO2018142878A1/ja
Priority to US16/124,435 priority patent/US10708511B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14665—Imagers using a photoconductor layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor

Definitions

  • the present disclosure relates to a 3D motion acquisition apparatus and a 3D motion acquisition system that acquire both distance information and motion information of a subject.
  • Object movement information and / or distance information obtained from image sensors such as CCD (Charge Coupled Device) sensors, CMOS (Complementary MOS) sensors, etc. are the vehicle periphery monitoring system, indoor monitoring system, outdoor monitoring system, interface equipment. Plays an important role.
  • CCD Charge Coupled Device
  • CMOS Complementary MOS
  • the method of obtaining motion information and distance information at the same time is called three-dimensional motion estimation, and is very effective for environment recognition of moving objects.
  • One non-limiting exemplary aspect of the present disclosure is a three-dimensional motion acquisition apparatus that can acquire subject distance information and motion information with high accuracy using one image sensor.
  • One non-limiting exemplary aspect of the present disclosure is a three-dimensional motion acquisition method used in the three-dimensional motion acquisition device.
  • a three-dimensional motion acquisition apparatus includes a light source and a plurality of pixels, and each pixel includes a first charge amount in the first exposure pattern and an exposure period of the first exposure pattern.
  • a charge amount acquisition circuit that acquires a second charge amount in a second exposure pattern that overlaps at least a part of the exposure period; a light emission pattern of the light source; the first exposure pattern; and the second exposure pattern.
  • the processor controls the light emission pattern, the first charge amount in each pixel of the charge amount acquisition circuit, and the second charge acquired by the charge amount acquisition circuit.
  • the distance to the subject in each pixel of the charge amount acquisition circuit is estimated based on the amount, and the first exposure pattern, the second exposure pattern, and the charge amount acquisition time.
  • the optical flow in each pixel of the charge amount acquisition circuit is estimated and estimated based on the first charge amount and the second charge amount in each pixel of the charge amount acquisition circuit acquired by The distance and the estimated optical flow are output.
  • a 3D motion acquisition method is a 3D motion acquisition method performed by a 3D motion acquisition apparatus including a light source, a charge amount acquisition circuit including a plurality of pixels, and a processor.
  • a second exposure in which at least a part of the exposure period overlaps the light emission pattern of the light source, the first exposure pattern in each pixel of the charge amount acquisition circuit, and the exposure period of the first exposure pattern;
  • the charge amount acquisition circuit acquires a first charge amount in the first exposure pattern and a second charge amount in the second exposure pattern in each pixel, and the processor Are the first charge amount and the second charge amount in each pixel of the charge amount acquisition circuit acquired by the light emission pattern and the charge amount acquisition circuit.
  • the distance to the subject in each pixel of the charge amount acquisition circuit is estimated, and the processor is acquired by the first exposure pattern, the second exposure pattern, and the charge amount acquisition circuit. , Estimating an optical flow in each pixel of the charge amount acquisition circuit based on the first charge amount and the second charge amount in each pixel of the charge amount acquisition circuit, and the processor The estimated distance and the estimated optical flow are output.
  • the computer-readable recording medium includes a non-volatile recording medium such as a CD-ROM (Compact Disc-Read Only Memory).
  • FIG. 1 is a block diagram illustrating a configuration of a three-dimensional motion acquisition apparatus according to Embodiment 1.
  • FIG. FIG. 2 is a circuit configuration diagram of the charge amount acquisition circuit.
  • FIG. 3 is a sectional view of an example of a pixel cell.
  • FIG. 4 is a plan view of an example of a pixel cell.
  • FIG. 5 is a schematic diagram showing a device structure of a sub-pixel cell.
  • FIG. 6 is a cross-sectional view of an example of a pixel cell.
  • FIG. 7 is a plan view of an example of a pixel cell.
  • FIG. 8 is a cross-sectional view of an example of a pixel cell.
  • FIG. 9 is a plan view of an example of a pixel cell.
  • FIG. 1 is a block diagram illustrating a configuration of a three-dimensional motion acquisition apparatus according to Embodiment 1.
  • FIG. FIG. 2 is a circuit configuration diagram of the charge amount acquisition circuit.
  • FIG. 10 is a flowchart illustrating an example of processing in the three-dimensional motion acquisition apparatus according to the first embodiment.
  • FIG. 11 is a schematic diagram showing the relationship between the temporal light emission pattern and the modulated exposure pattern.
  • FIG. 12 is a flowchart illustrating an example of processing in the three-dimensional motion acquisition apparatus according to the first embodiment.
  • FIG. 13 is a schematic diagram showing a relationship among a temporal light emission pattern, a reflected light pattern, and a modulated exposure pattern.
  • FIG. 14 is a block diagram illustrating a configuration of the three-dimensional motion acquisition apparatus according to the second embodiment.
  • FIG. 15 is a flowchart illustrating an example of processing in the three-dimensional motion acquisition apparatus according to the second embodiment.
  • Non-Patent Document 1 a method for obtaining an optical flow from one frame using a time correlation image sensor for calculating a time correlation between a reference signal supplied from the outside and a temporal change in light intensity during exposure. Is disclosed.
  • Patent Document 1 a method using TOF (Time-of-Flight) to acquire three-dimensional information of a subject is widely known (for example, Patent Document 1).
  • the optical flow constraint equation is an underdetermined problem and cannot be solved without adding some constraint condition.
  • the optical flow detection method in Non-Patent Document 1 obtains a solution using a constraint condition that optical flows are equal in the vicinity in addition to the optical flow constraint equation.
  • a constraint condition is generally not satisfied in all scenes, there is a problem that the accuracy of the obtained optical flow is deteriorated.
  • the optical flow constraint equation assumes that “the brightness (pixel value) does not change even when the pixel moves”, it is difficult to achieve compatibility with a projection-type distance information acquisition method such as the TOF method.
  • Non-Patent Document 2 there is a problem that extra wiring is required compared to a normal COMS sensor, the aperture is lowered, and the sensitivity is deteriorated.
  • the inventor has come up with a three-dimensional motion acquisition apparatus and a three-dimensional motion acquisition method according to one aspect of the present disclosure described below.
  • a three-dimensional motion acquisition apparatus includes a light source and a plurality of pixels, and each pixel includes a first charge amount in the first exposure pattern and an exposure period of the first exposure pattern.
  • a charge amount acquisition circuit that acquires a second charge amount in a second exposure pattern that overlaps at least a part of the exposure period; a light emission pattern of the light source; the first exposure pattern; and the second exposure pattern.
  • the processor controls the light emission pattern, the first charge amount in each pixel of the charge amount acquisition circuit, and the second charge acquired by the charge amount acquisition circuit.
  • the distance to the subject in each pixel of the charge amount acquisition circuit is estimated based on the amount, and the first exposure pattern, the second exposure pattern, and the charge amount acquisition time.
  • the optical flow in each pixel of the charge amount acquisition circuit is estimated and estimated based on the first charge amount and the second charge amount in each pixel of the charge amount acquisition circuit acquired by The distance and the estimated optical flow are output.
  • the three-dimensional motion acquisition apparatus having the above-described configuration, it is possible to acquire subject distance information and motion information (optical flow) with high accuracy by using one image sensor (charge amount acquisition circuit).
  • the processor performs control of the first exposure pattern and control of the second exposure pattern by controlling an exposure period or exposure sensitivity in each pixel of the charge amount acquisition circuit. .
  • the exposure period overlaps the exposure period of the first exposure pattern and the exposure period of the second exposure pattern in each pixel.
  • the third charge amount in the third exposure pattern is acquired, and in the first exposure pattern, the exposure sensitivity changes with a sine wave of a predetermined period, and in the second exposure pattern, the exposure sensitivity is the first exposure pattern.
  • the exposure sensitivity changes in a rectangular wave, and the processor uses the charge amount acquisition circuit to change the exposure sensitivity.
  • the distance is estimated based on the acquired third charge amount in each pixel of the charge amount acquisition circuit, and the charge amount acquisition circuit acquired by the charge amount acquisition circuit is acquired. Estimates of the optical flow based also on the third charge amount in each pixel of.
  • the light emission amount changes with the sine wave having the predetermined period.
  • the exposure sensitivity changes in a rectangular wave in the first period, and in the second period not including the first period, the exposure sensitivity is a sine wave having a predetermined cycle.
  • the exposure sensitivity changes with a rectangular wave, and in the fourth period not including the third period, the exposure sensitivity changes with the sine wave of the predetermined period.
  • the light emission amount changes with a rectangular wave.
  • the pixel includes a plurality of sub-pixels in one opening, the sub-pixel being stacked above a main plane of a semiconductor substrate, and the semiconductor more than the first electrode.
  • a photoelectric conversion unit including a second electrode positioned far from the substrate and a photoelectric conversion member positioned between the first electrode and the second electrode; and the charge amount acquisition circuit further includes each subpixel An electrode control circuit for controlling the potential of the first electrode.
  • the electrode control circuit is electrically connected to the first electrode in each of the sub-pixels via a capacitor.
  • the pixel includes one color filter shared by the plurality of sub-pixels included in the pixel.
  • the pixel includes one on-chip microlens shared by the plurality of subpixels included in the pixel.
  • the electrode control circuit changes the exposure sensitivity in each sub-pixel by changing the potential of the first electrode in each sub-pixel during a non-exposure period other than the exposure period. .
  • the processor is configured to acquire the first charge amount in each pixel of the charge amount acquisition circuit acquired by the first exposure pattern, the second exposure pattern, and the charge amount acquisition circuit. And two or more optical flow constraint equations that are independent of each other based on the second charge amount, and the optical flow is estimated using the calculated optical flow constraint equations.
  • the light source is used in at least a part of an exposure period of the first exposure pattern and at least a part of an exposure period of the exposure period of the second exposure pattern.
  • the amount of emitted light changes.
  • the light source further includes a transmission unit that transmits a light emission control signal for causing the light source to emit light in the light emission pattern, and the light source receives the light emission control signal transmitted from the transmission unit, and receives the light reception control signal. Based on the emitted light control signal, light is emitted with the light emission pattern.
  • a three-dimensional motion acquisition method is a three-dimensional motion acquisition method performed by a three-dimensional motion acquisition device including a light source, a charge amount acquisition circuit including a plurality of pixels, and a processor.
  • a three-dimensional motion acquisition device including a light source, a charge amount acquisition circuit including a plurality of pixels, and a processor.
  • the charge amount acquisition circuit acquires a first charge amount in the first exposure pattern and a second charge amount in the second exposure pattern in each pixel, and the processor Based on the light emission pattern and the first charge amount and the second charge amount obtained by the charge amount acquisition circuit in each pixel of the charge amount acquisition circuit.
  • a distance to a subject in each pixel of the charge amount acquisition circuit is estimated, and the processor is acquired by the first exposure pattern, the second exposure pattern, and the charge amount acquisition circuit, Based on the first charge amount and the second charge amount in each pixel of the charge amount acquisition circuit, an optical flow in each pixel of the charge amount acquisition circuit is estimated, and the processor estimates The distance and the estimated optical flow are output.
  • the three-dimensional motion acquisition method configured as described above, it is possible to acquire subject distance information and motion information (optical flow) with high accuracy using a single image sensor (charge amount acquisition circuit).
  • the processor performs control of the first exposure pattern and control of the second exposure pattern by controlling an exposure period or exposure sensitivity in each pixel of the charge amount acquisition circuit. .
  • the charge amount acquisition circuit further includes, in each pixel, at least a part of the exposure period that overlaps the exposure period of the first exposure pattern and the exposure period of the second exposure pattern.
  • the third charge amount in the third exposure pattern is acquired, and in the first exposure pattern, the exposure sensitivity changes with a sine wave of a predetermined period, and in the second exposure pattern, the exposure sensitivity is the first exposure pattern.
  • the exposure sensitivity changes in a rectangular wave, and the processor uses the charge amount acquisition circuit to change the exposure sensitivity.
  • the distance is estimated based on the acquired third charge amount in each pixel of the charge amount acquisition circuit, and the charge amount acquisition circuit acquired by the charge amount acquisition circuit is acquired. Estimates of the optical flow based also on the third charge amount in each pixel of.
  • the light emission amount changes with the sine wave having the predetermined period.
  • the exposure sensitivity changes in a rectangular wave in the first period, and in the second period not including the first period, the exposure sensitivity is a sine wave having a predetermined cycle.
  • the exposure sensitivity changes in a rectangular wave in the third period, and the exposure sensitivity changes in the sine wave of the predetermined period in the fourth period not including the third period.
  • the light emission amount changes with a rectangular wave.
  • a three-dimensional motion apparatus includes a light source that emits light according to a first signal, a lens that receives light from an observation target that has received the light, and light output from the lens.
  • a circuit including a first pixel cell, a second pixel cell, and a third pixel cell for receiving light, and a processor, wherein the first cell is positioned between the first electrode, the second electrode, and the first electrode and the second electrode.
  • the second cell includes a third electrode, a fourth electrode, a second photoelectric material positioned between the third electrode and the fourth electrode
  • the third cell includes a fifth electrode, 6 electrodes, a third photoelectric material positioned between the fifth electrode and the sixth electrode, and the area defined by the opening of the lens is the area of the second electrode, the area of the fourth electrode, and the sixth electrode Less than the total area of the first electrode, the potential of the first electrode, the potential of the third electrode, the potential of the fifth electrode
  • the first electrode, the third electrode, and the fifth electrode are included in the electrode formed continuously, and the first photoelectric material, the second photoelectric material, and the third photoelectric material are continuous.
  • the distance between the first electrode and the lens is smaller than the distance between the second electrode and the lens, and the distance between the third electrode and the lens is the third electrode and the lens.
  • a distance between the fifth electrode and the lens is smaller than a distance between the fourth electrode and the lens, the second electrode is connected to a first gate of a first amplifier, and the third electrode.
  • the fourth electrode is connected to a third gate of a third amplifier
  • the second electrode is connected to a first signal generator for generating a second signal
  • the three electrodes are connected to a second signal generator that generates a third signal
  • the fourth electrode is connected to a third signal generator for generating a fourth signal
  • the first amplifier provides an electric signal proportional to the electric signal applied to the first gate as the first output signal of the first cell.
  • the second amplifier provides an electrical signal proportional to the electrical signal applied to the second gate as the second output signal of the second cell
  • the third amplifier is proportional to the electrical signal applied to the third gate.
  • the electrical signal is provided as the third output signal of the third cell, the first signal is L (t), the second signal is s1 (t), the third signal is S2 (t), and the fourth signal is S0 (t).
  • ⁇ t is the reciprocal of the frame rate
  • ⁇ is the phase difference indicating the time difference from the frame timing
  • N is the number of periods of the light emission pattern between one frame
  • FIG. 1 is a block diagram illustrating a configuration of a three-dimensional motion acquisition apparatus 1 according to an aspect of the present disclosure.
  • the three-dimensional motion acquisition apparatus 1 includes a light source 110, a charge amount acquisition circuit 120, and a processor 130.
  • the light source 110 is, for example, an LED (Light-Emitting-Diode), and emits luminance-modulated light toward the subject.
  • Luminance modulated light is light whose luminance can be changed over time.
  • the light source 110 is not necessarily limited to the LED as long as it has a function of emitting luminance modulation light.
  • a laser or an HID (High-Intensity Discharge) lamp may be used.
  • the charge amount acquisition circuit 120 is, for example, an image sensor and includes a plurality of pixels, and each pixel is at least partially in the first charge amount in the first exposure pattern and the exposure period of the first exposure pattern. And a second charge amount in the second exposure pattern in which the exposure periods overlap.
  • the charge amount acquisition circuit 120 further includes, for example, a third exposure pattern in which at least a part of the exposure period overlaps the exposure period of the first exposure pattern and the exposure period of the second exposure pattern in each pixel.
  • the third charge amount may be acquired.
  • the processor 130 implements a control unit 131, a distance estimation unit 132, an optical flow estimation unit 133, and an output unit 134 by executing a program stored in a memory (not shown).
  • the control unit 131 controls the light emission pattern of the light source 110. In addition, the control unit 131 controls the first exposure pattern and the second exposure pattern in the charge amount acquisition circuit 120.
  • the control unit 131 may control the first exposure pattern and the second exposure pattern by controlling the exposure period or the exposure sensitivity in the pixel of the charge amount acquisition circuit 120, for example.
  • the exposure sensitivity changes in proportion to the peak value of the sine wave having a predetermined cycle
  • the exposure sensitivity is changed from the phase of the sine wave having the predetermined cycle. It may be changed in proportion to the peak value of the sine wave having a different phase and having a different phase
  • the exposure sensitivity may be changed in proportion to the peak value of the rectangular wave.
  • the light emission amount may change in proportion to the peak value of the sine wave having the predetermined period.
  • the exposure sensitivity changes in proportion to the peak value of the rectangular wave
  • the exposure sensitivity in the second period, changes in proportion to the crest value of the rectangular wave in the second exposure pattern, and in the fourth period not including the third period.
  • the exposure sensitivity may be changed in proportion to the peak value of the sine wave having the predetermined period.
  • the light emission amount may change in proportion to the peak value of the rectangular wave.
  • control unit 131 Details of the operation of the control unit 131 will be described later.
  • the distance estimation unit 132 determines the charge based on the light emission pattern of the light source 110 and the first charge amount and the second charge amount in each pixel of the charge amount acquisition circuit 120 acquired by the charge amount acquisition circuit 120. The distance to the subject in each pixel of the quantity acquisition circuit 120 is estimated.
  • the distance estimation unit 132 may estimate the distance based on, for example, the third charge amount in each pixel of the charge amount acquisition circuit 120 acquired by the charge amount acquisition circuit 120.
  • the optical flow estimation unit 133 includes the first exposure pattern, the second exposure pattern, the first charge amount in each pixel of the charge amount acquisition circuit 120 acquired by the charge amount acquisition circuit 120, and the second Based on the charge amount, the optical flow in each pixel of the charge amount acquisition circuit 120 is estimated.
  • the optical flow estimation unit 133 may estimate the optical flow based on the third charge amount in each pixel of the charge amount acquisition circuit 120 acquired by the charge amount acquisition circuit 120, for example.
  • the optical flow estimation unit 133 can estimate an optical flow from an image of one frame.
  • the optical flow estimation unit 133 can estimate the optical flow even under a light source that emits luminance-modulated light.
  • the output unit 134 outputs the distance estimated by the distance estimation unit 132 and the optical flow estimated by the optical flow estimation unit 133.
  • LIDAR Light Detection And Ranging, Laser Imaging Detection And Ranging
  • motion information is acquired using a different sensor, for example, an optical flow by a camera
  • the three-dimensional motion acquisition apparatus 1 since the three-dimensional motion acquisition apparatus 1 according to the first embodiment obtains the distance information and the motion information from the same charge amount acquisition circuit 120, the observation point of the distance information and the observation point of the motion information are always the same. Therefore, it is possible to output more accurate three-dimensional motion information while reducing the burden of information processing.
  • distance information and motion information at the same observation point can be acquired even when a multi-frame stereo image is used.
  • the distance information is estimated from images of the same exposure time and the motion information is estimated from information of different exposure times, both are different information in time. For this reason, an error has occurred when both pieces of information are integrated.
  • the three-dimensional motion acquisition apparatus 1 according to the first embodiment obtains distance information and motion information from the same first charge amount and second charge amount, such a shift between frames occurs. Therefore, more accurate 3D motion information can be output.
  • FIG. 2 is a circuit configuration diagram of the charge amount acquisition circuit 120.
  • the charge amount acquisition circuit includes a plurality of pixel cells 10 (pixels) arranged in a two-dimensional array.
  • Each pixel cell 10 includes a plurality of subpixel cells 5.
  • each pixel cell 10 will be described as including two subpixel cells 5 including a subpixel cell 5a and a subpixel cell 5b.
  • the sub-pixel cells 5a and the sub-pixel cells 5b are in a relationship of being alternately adjacent in the row direction in the two-dimensional array of pixel cells 10 (hereinafter also referred to as “pixel array PA”).
  • pixel array PA the subpixel cell 5a and the subpixel cell 5b are described as being alternately adjacent to each other in the row direction of the pixel array PA.
  • the subpixel cell 5a and the subpixel cell 5b are The pixel array PA may be adjacent to each other in the column direction.
  • FIG. 3 is a cross-sectional view of an example of the pixel cell 10
  • FIG. 4 is a plan view of the example of the pixel cell 10 shown in FIG.
  • the pixel cell 10 includes a plurality of sub-pixel cells 5 (here, the sub-pixel cell 5a and the sub-pixel cell 5b) in one opening (lens opening).
  • the pixel cell 10 includes one color filter 201 shared by a plurality of subpixel cells 5 (here, the subpixel cell 5a and the subpixel cell 5b) and a plurality of subpixel cells 5 (here, the subpixels).
  • an on-chip microlens 202 shared by the cell 5a and the subpixel cell 5b).
  • the subpixel cell 5 a that is the subpixel cell 5 includes a first electrode 11 a that is a first electrode 11 (also referred to as a pixel electrode) stacked above the main plane of the semiconductor substrate 20, and Photoelectric conversion including a second electrode 12 (also referred to as a counter electrode) positioned farther from the semiconductor substrate 20 than the first electrode 11a and a photoelectric conversion member 15 positioned between the first electrode 11a and the second electrode 12.
  • the photoelectric conversion part 13a which is the part 13 is provided.
  • the subpixel cell 5 b that is the subpixel cell 5 is a first electrode 11 b that is a first electrode 11 (also referred to as a pixel electrode) stacked above the main plane of the semiconductor substrate 20.
  • a second electrode 12 also referred to as a counter electrode
  • the photoelectric conversion part 13b which is the photoelectric conversion part 13 is provided.
  • the photoelectric conversion unit 13 generates an electrical signal based on the light incident on the photoelectric conversion member 15.
  • the electrical signal depends on the intensity of the light.
  • the photoelectric conversion unit 13 does not necessarily need to be configured with an independent element for each sub-pixel cell 5.
  • the second electrode 12 of the photoelectric conversion unit 13 provided in one subpixel cell 5 shown in FIG. 3 is shared with the second electrode 12 of the photoelectric conversion unit 13 provided in another subpixel cell 5.
  • the photoelectric conversion member 15 of the photoelectric conversion unit 13 provided in one subpixel cell 5 illustrated in FIG. 3 and the photoelectric conversion member 15 provided in another subpixel cell 5 are configured by a common element. It does not matter.
  • the signal detection circuit 14 is a circuit that detects an electrical signal generated by the photoelectric conversion unit 13. As shown in the figure, the signal detection circuit 14 includes a signal detection transistor 24 and an address transistor 26.
  • the signal detection transistor 24 and the address transistor 26 are typically field effect transistors (FETs).
  • FETs field effect transistors
  • the signal detection transistor 24 is an N-channel MOSFET
  • the address transistor 26 is an N-channel MOSFET.
  • the control terminal (here, the gate) of the signal detection transistor 24 is electrically connected to the photoelectric conversion unit 13. Electric signal charges (holes or electrons) generated by the photoelectric conversion unit 13 are accumulated in the charge accumulation node 41 between the gate of the signal detection transistor 24 and the photoelectric conversion unit 13.
  • the charge storage node 41 is also called a floating diffusion node (FD).
  • the electrode control circuit 32a is a modulation voltage source that controls the potential of the first electrode 11a of one of the two subpixel cells 5 provided in each pixel cell 10 (here, the subpixel cell 5a).
  • the electrode control circuit 32b is a modulation voltage source that controls the potential of the first electrode 11b of the other of the two subpixel cells 5 included in each pixel cell 10 (here, the subpixel cell 5b).
  • the electrode control circuit 32a is not limited to a specific power supply circuit.
  • the electrode control circuit 32b is not limited to a specific power supply circuit.
  • the electrode control circuit 32a and the electrode control circuit 32b are connected to the first electrodes 11a and 11b via a capacitor C, respectively. Therefore, even if the electrode control circuit 32a controls the potential of the first electrode 11a, the amount of charge stored in the corresponding charge storage node 41 is not destroyed, and the electrode control circuit 32b controls the potential of the first electrode 11b. Even so, the amount of charge stored in the corresponding charge storage node 41 is not destroyed.
  • the control of the potential of the first electrode 11a and the control of the potential of the first electrode 11b performed by the electrode control circuit 32a and the electrode control circuit 32b will be described later.
  • the potential of the first electrode 11a and the potential of the first electrode 11b can be switched by the electrode control circuit 32a and the electrode control circuit 32b. That is, the sensitivity can be adjusted for each subcell, and the electronic shutter operation can be realized by making the sensitivity of a specific subcell the lowest.
  • Each subpixel cell 5 is connected to a power supply line 40 that supplies a power supply voltage VDD.
  • the power supply line 40 is connected to the input terminal (typically the drain) of the signal detection transistor 24.
  • the signal detection transistor 24 amplifies and outputs the signal generated by the photoelectric conversion unit 13.
  • the input terminal (here, drain) of the address transistor 26 is connected to the output terminal (here, source) of the signal detection transistor 24.
  • An output terminal (here, a source) of the address transistor 26 is connected to one of a plurality of vertical signal lines 47 arranged for each column of the pixel array PA.
  • the control terminal (here, the gate) of the address transistor 26 is connected to the address control line 46, and by controlling the potential of the address control line 46, the output of the signal detection transistor 24 is connected to the corresponding vertical signal line 47. It can be read selectively.
  • the address control line 46 is connected to a vertical scanning circuit (also called “row scanning circuit”) 36.
  • the vertical scanning circuit 36 applies a predetermined voltage to the address control line 46 to select a plurality of subpixel cells 5 arranged in each row in units of rows. Thereby, reading of the signal of the selected subpixel cell 5 is executed.
  • the vertical signal line 47 is a main signal line that transmits a pixel signal from the pixel array PA to a peripheral circuit.
  • a column signal processing circuit (also referred to as “row signal storage circuit”) 37 is connected to the vertical signal line 47.
  • the column signal processing circuit 37 performs noise suppression signal processing typified by correlated double sampling and analog-digital conversion (AD conversion).
  • AD conversion analog-digital conversion
  • the column signal processing circuit 37 is provided corresponding to each column of the sub-pixel cells 5 in the pixel array PA.
  • These column signal processing circuits 37 are connected to a horizontal signal readout circuit (also referred to as “column scanning circuit”) 38.
  • the horizontal signal read circuit 38 sequentially reads signals from the plurality of column signal processing circuits 37 to the horizontal common signal line 49.
  • each of the subpixel cells 5 includes a reset transistor 28.
  • the reset transistor 28 can be, for example, a field effect transistor, similar to the signal detection transistor 24 and the address transistor 26. In the following, an example in which an N-channel MOSFET is applied as the reset transistor 28 will be described unless otherwise specified.
  • the reset transistor 28 is connected between a reset voltage line 44 that supplies a reset voltage Vr and a charge storage node 41.
  • the control terminal (here, the gate) of the reset transistor 28 is connected to the reset control line 48, and by controlling the potential of the reset control line 48, the potential of the charge storage node 41 is set to the reset voltage Vr.
  • the charge accumulated in 41 can be discharged, that is, the subpixel cell 5 can be reset.
  • the reset control line 48 is connected to the vertical scanning circuit 36. Therefore, when the vertical scanning circuit 36 applies a predetermined voltage to the reset control line 48, the plurality of subpixel cells 5 arranged in each row can be reset in units of rows.
  • a reset voltage line 44 that supplies a reset voltage Vr to the reset transistor 28 is connected to a reset voltage source 34 (reset voltage supply circuit).
  • the reset voltage source 34 only needs to have a configuration capable of supplying a predetermined reset voltage Vr to the reset voltage line 44 during the operation of the charge amount acquisition circuit 120, and is not limited to a specific power supply circuit.
  • Each of the electrode control circuit 32a, the electrode control circuit 32b, and the reset voltage source 34 may be a part of a single voltage supply circuit, or may be an independent separate voltage supply circuit.
  • a part or all of the electrode control circuit 32a, the electrode control circuit 32b, and the reset voltage source 34 may be a part of the vertical scanning circuit 36.
  • the second electrode voltage (counter electrode voltage) from the electrode control circuit 32 a and the electrode control circuit 32 b and / or the reset voltage Vr from the reset voltage source 34 is supplied to each subpixel cell 5 via the vertical scanning circuit 36. May be.
  • the power supply voltage VDD of the signal detection circuit 14 is also possible to use as the reset voltage Vr.
  • a voltage supply circuit (not shown in FIG. 2) for supplying a power supply voltage to each subpixel cell 5 and the reset voltage source 34 can be shared.
  • the power supply line 40 and the reset voltage line 44 can be shared, wiring in the pixel array PA can be simplified.
  • using different voltages for the reset voltage Vr and the power supply voltage VDD of the signal detection circuit 14 enables more flexible control of the charge amount acquisition circuit 120.
  • FIG. 5 schematically shows an exemplary device structure of the sub-pixel cell 5.
  • the signal detection transistor 24, the address transistor 26, and the reset transistor 28 described above are formed on the semiconductor substrate 20.
  • the semiconductor substrate 20 is not limited to a substrate whose entirety is a semiconductor.
  • the semiconductor substrate 20 may be an insulating substrate provided with a semiconductor layer on the surface on the side where the photosensitive region is formed.
  • a P-type silicon (Si) substrate is used as the semiconductor substrate 20 will be described.
  • the semiconductor substrate 20 includes impurity regions (here, N-type regions) 26s, 24s, 24d, 28d, and 28s, an element isolation region 20t and a pixel cell for electrical isolation between the subpixel cell 5a and the subpixel cell 5b.
  • 10 has an element isolation region 20t for electrical isolation.
  • the element isolation region 20t is also provided between the impurity region 24d and the impurity region 28d.
  • the element isolation region 20t is formed, for example, by implanting acceptor ions under predetermined implantation conditions.
  • the impurity regions 26 s, 24 s, 24 d, 28 d, and 28 s are typically diffusion layers formed in the semiconductor substrate 20.
  • the signal detection transistor 24 includes impurity regions 24s and 24d and a gate electrode 24g (typically a polysilicon electrode).
  • the impurity regions 24s and 24d function as, for example, a source region and a drain region of the signal detection transistor 24, respectively.
  • a channel region of the signal detection transistor 24 is formed between the impurity regions 24s and 24d.
  • the address transistor 26 includes impurity regions 26s and 24s and a gate electrode 26g (typically a polysilicon electrode) connected to the address control line 46 (see FIG. 2).
  • the signal detection transistor 24 and the address transistor 26 are electrically connected to each other by sharing the impurity region 24s.
  • the impurity region 26s functions as, for example, a source region of the address transistor 26.
  • the impurity region 26s has a connection with a vertical signal line 47 (see FIG. 2) not shown in FIG.
  • the reset transistor 28 includes impurity regions 28d and 28s and a gate electrode 28g (typically a polysilicon electrode) connected to a reset control line 48 (see FIG. 2).
  • the impurity region 28s functions as a source region of the reset transistor 28, for example.
  • the impurity region 28s has a connection with a reset voltage line 44 (see FIG. 2) not shown in FIG.
  • an interlayer insulating layer 50 (typically a silicon dioxide layer) is disposed so as to cover the signal detection transistor 24, the address transistor 26 and the reset transistor 28.
  • a wiring layer 56 may be disposed in the interlayer insulating layer 50.
  • the wiring layer 56 is typically formed of a metal such as copper, and may include, for example, a wiring such as the vertical signal line 47 described above.
  • the number of insulating layers in the interlayer insulating layer 50 and the number of layers included in the wiring layer 56 disposed in the interlayer insulating layer 50 can be arbitrarily set, and are not limited to the example shown in FIG.
  • the above-described photoelectric conversion unit 13 is disposed on the interlayer insulating layer 50.
  • a plurality of subpixel cells 5 constituting the pixel array PA are formed on the semiconductor substrate 20.
  • the plurality of subpixel cells 5 arranged two-dimensionally on the semiconductor substrate 20 form a photosensitive region (pixel region).
  • the distance (pixel pitch) between two adjacent sub-pixel cells 5 can be, for example, about 2 ⁇ m.
  • the photoelectric conversion unit 13 includes a first electrode 11, a second electrode 12, and a photoelectric conversion member 15 disposed therebetween.
  • the second electrode 12 and the photoelectric conversion member 15 are formed across the plurality of subpixel cells 5.
  • the first electrode 11 is provided for each sub-pixel cell 5, and is spatially separated from the first electrode 11 of another adjacent sub-pixel cell 5, whereby the first electrode 11 of the other pixel cell 10. It is electrically separated from the electrode 11.
  • the second electrode 12 is typically a transparent electrode formed from a transparent conductive material.
  • the second electrode 12 is disposed on the photoelectric conversion member 15 on the light incident side. Therefore, light that has passed through the second electrode 12 enters the photoelectric conversion member 15.
  • the light detected by the charge amount acquisition circuit 120 is not limited to light within the wavelength range of visible light (for example, 380 nm to 780 nm).
  • “transparent” means that at least part of light in the wavelength range to be detected is transmitted, and it is not essential to transmit light over the entire wavelength range of visible light.
  • electromagnetic waves in general including infrared rays and ultraviolet rays are expressed as “light” for convenience.
  • a transparent conductive oxide Transparent Conducting Oxide (TCO)
  • ITO Indium Tin Oxide
  • IZO IZO
  • AZO Zinc Oxide
  • FTO Tin Oxide
  • SnO2 Tin Oxide
  • ZnO2 ZnO2
  • the photoelectric conversion member 15 receives incident light and generates a hole-electron pair.
  • the photoelectric conversion member 15 is typically formed from an organic material.
  • the second electrode 12 is formed across the plurality of subpixel cells 5. Therefore, it is possible to apply a second electrode voltage (counter electrode voltage) having a desired magnitude between the plurality of subpixel cells 5 at once. If a second electrode voltage (a counter electrode voltage) having a desired magnitude can be applied between the plurality of subpixel cells 5 at once, the second electrode 12 is separated for each subpixel cell 5. It may be provided. Similarly, the photoelectric conversion member 15 may be provided separately for each subpixel cell 5.
  • the electrode control circuit 32 controls the exposure sensitivity by supplying different voltages to the photoelectric conversion unit 13 between the exposure period and the non-exposure period.
  • the “exposure period” means a period for accumulating one of the positive and negative charges (signal charge) generated by photoelectric conversion in the charge accumulation region, and may be called the “charge accumulation period”. Good.
  • a period other than the exposure period during the operation of the imaging apparatus is referred to as a “non-exposure period”.
  • the “non-exposure period” is not limited to the period in which the incidence of light on the photoelectric conversion unit 13 is blocked, and may include the period in which the photoelectric conversion unit 13 is irradiated with light.
  • any one of holes and electrons among the hole-electron pairs generated in the photoelectric conversion member 15 by photoelectric conversion is changed to the first. It can be collected by the electrode 11.
  • the second electrode 12 is provided on the entire surface of the pixel array, it is difficult to control each row or each pixel.
  • the second electrode 12 can be divided into sub-pixel units by patterning, so that control of each row or pixel of the second electrode 12 can be realized. .
  • holes can be selectively collected by the first electrode 11 by making the potential of the second electrode 12 higher than that of the first electrode 11.
  • a hole is utilized as a signal charge is illustrated.
  • electrons it is also possible to use electrons as signal charges.
  • the first electrode 11 collects one of positive and negative charges generated by photoelectric conversion in the photoelectric conversion member 15 when an appropriate bias voltage is applied between the second electrode 12 and the first electrode 11. To do.
  • the first electrode 11 is formed of a metal such as aluminum or copper, a metal nitride, or polysilicon that is given conductivity by being doped with impurities.
  • the first electrode 11 may be a light shielding electrode.
  • a TaN electrode having a thickness of 100 nm as the first electrode 11 a sufficient light shielding property can be realized.
  • the channel region or the impurity region of the transistor in this example, at least one of the signal detection transistor 24, the address transistor 26, and the reset transistor 28
  • a light shielding film may be formed in the interlayer insulating layer 50 using the wiring layer 56 described above.
  • the first electrode 11 is connected to the gate electrode 24 g of the signal detection transistor 24 via the contact plug 52, the wiring 53 and the contact plug 54.
  • the gate of the signal detection transistor 24 has an electrical connection with the first electrode 11.
  • the contact plug 52 and the wiring 53 can be formed of a metal such as copper, for example.
  • the contact plug 52, the wiring 53, and the contact plug 54 constitute at least a part of the charge accumulation node 41 (see FIG. 2) between the signal detection transistor 24 and the photoelectric conversion unit 13.
  • the wiring 53 can be a part of the wiring layer 56.
  • the first electrode 11 is also connected to the impurity region 28d through the contact plug 54, the contact plug 52, the wiring 53, and the contact plug 55. In the configuration illustrated in FIG.
  • a voltage corresponding to the amount of the signal charge accumulated in the charge accumulation region is applied to the gate of the signal detection transistor 24.
  • the signal detection transistor 24 amplifies the voltage applied to this gate.
  • the voltage amplified by the signal detection transistor 24 is selectively read out via the address transistor 26 as a signal voltage.
  • the electrode control circuit 32 controls (changes) the potential of the first electrode 11 with respect to the potential of the second electrode 12 during the non-exposure period, thereby changing the exposure sensitivity (implementing a sensitivity variable function).
  • the global shutter function that simultaneously reduces the sensitivity of all pixels is realized by selecting the potential with the lowest sensitivity and simultaneously controlling all the pixels to simultaneously give the potential with the lowest sensitivity to all the pixels. it can.
  • the second electrode 12 needs to be divided for each sub-pixel, but the sensitivity can be varied in units of arbitrary sub-pixels by the control by the first electrode 11.
  • a rolling shutter that is a shutter operation for each row can be realized by controlling the potential of the first electrode 11 for each row.
  • the pixel cell 10 is provided with two first electrodes 11, that is, a first electrode 11a and a first electrode 11b, in one lens opening.
  • the first electrode 11a and the first electrode 11b are respectively connected to the floating diffusion nodes FD1 and FD2 that are the corresponding charge storage nodes 41.
  • the potential of the first electrode 11a is controlled by the electrode control circuit 32a
  • the potential of the first electrode 11b is controlled by the electrode control circuit 32b.
  • the electrode control circuit 32a and the electrode control circuit 32b may perform different modulations. With this configuration, different modulations can be simultaneously applied to the subpixel cell 5a and the subpixel cell 5b having the same field of view.
  • the pixel cell 10 when the pixel cell 10 is viewed in plan, the pixel cell 10 includes the first electrode 11 a and the first electrode with respect to one on-chip microlens 202 and one color filter 201.
  • 11b are the same size and are arranged side by side.
  • positioning of the 1st electrode 11a and the 1st electrode 11b are not this limitation.
  • a shield electrode for controlling the charge trapping range may be inserted between the first electrode 11a and the first electrode 11b.
  • each pixel cell 10 includes sub-pixel cells 5 that are adjacent in the pixel array PA by the number of first electrodes 11 included in the pixel cell 10 (for example, continuously arranged in the row direction or the column direction in the pixel array PA). It becomes the composition to provide.
  • FIG. 6 is a cross-sectional view of an example of a pixel cell 10 that includes three first electrodes 11 in one lens aperture and performs three different modulations on each of the first electrodes 11.
  • FIG. 7 is a plan view of an example of the pixel cell 10 shown in FIG.
  • the pixel cell 10 when the pixel cell 10 is viewed in plan, the pixel cell 10 includes the first electrode 11 a and the first electrode with respect to one on-chip microlens 202 and one color filter 201.
  • 11b and the first electrode 11c have the same size and are arranged in a straight line at equal intervals.
  • positioning of the 1st electrode 11a, the 1st electrode 11b, and the 1st electrode 11c are not this limitation.
  • a shield electrode for controlling the charge trapping range may be inserted between the first electrode 11a and the first electrode 11b and between the first electrode 11b and the first electrode 11c. With this configuration, three modulations can be simultaneously applied to the same spatial information.
  • FIG. 8 shows an on-chip microlens 202 (here, an on-chip microlens 202a and an on-chip) on each of the plurality of first electrodes 11 (here, each of the first electrode 11a, the first electrode 11b, and the first electrode 11c).
  • FIG. 9 is a cross-sectional view of an example of the pixel cell 10 in which the chip microlens 202b and the on-chip microlens 202c) are arranged, and FIG.
  • FIG. 9 is a plan view of the example of the pixel cell 10 shown in FIG.
  • only one charge amount (modulation information) can be acquired for each aperture of the on-chip microlens 202, but the adjacent subpixel cells 5 have substantially the same field of view and have the same color filter. It is possible to acquire a plurality of charge amounts having the same visual field.
  • the pixel cell 10 includes three first electrodes 11a, a first electrode 11b, and a first electrode 11c, which are three first electrodes 11, in one lens opening. That is, description will be made assuming that the sub pixel cell 5a, the sub pixel cell 5b, and the sub pixel cell 5c, which are three sub pixel cells 5, are provided.
  • FIG. 10 is a flowchart showing an example of processing in the three-dimensional motion acquisition apparatus 1 in the present embodiment (hereinafter, this processing may also be referred to as “first processing”).
  • FIG. 11 is a schematic diagram showing the relationship between the temporal light emission pattern of the light source 110 and the modulated exposure pattern of each pixel cell 10.
  • Step S100 The control unit 131 reads a time emission pattern from a memory (not shown) and instructs the light source 110 to emit light according to the read time emission pattern.
  • the control unit 131 reads out modulation exposure patterns corresponding to the electrode control circuit 32a, the electrode control circuit 32b, and the electrode control circuit 32c from a memory (not shown), and each of the electrode control circuit 32a, the electrode control circuit 32b, and the electrode control circuit 32c. To generate a modulation signal in accordance with the corresponding time emission pattern read out.
  • the control unit 131 controls the output of the temporal light emission pattern and the modulated exposure pattern. For example, the control unit 131 controls the output of the temporal light emission pattern and the modulated exposure pattern so that the temporal light emission pattern and the modulated exposure pattern are synchronized. For example, the control unit 131 causes the light source 110 to start light emission according to the time light emission pattern, the modulation signal generation start time according to the time light emission pattern corresponding to the electrode control circuit 32a, and the time corresponding to the electrode control circuit 32b. The start time of generation of the modulation signal according to the light emission pattern and the start time of generation of the modulation signal according to the time light emission pattern corresponding to the electrode control circuit 32c may be indicated.
  • Step S101 The light source 110 emits light to the subject according to the temporal light emission pattern instructed from the control unit 131.
  • the time emission pattern of the light emitting unit 102 is shown in the top graph of FIG.
  • an example of the temporal light emission pattern is a sine wave (sine wave).
  • the frequency of the sine wave is high, the measurable distance resolution is high, but the measurable distance range is narrow.
  • the frequency is low, the measurable distance resolution is low, but the measurable distance range is wide.
  • An example of the frequency is 1 MHz to several hundred GHz, but is not limited to this.
  • the charge amount acquisition circuit 120 has three sub-pixels that are different within one aperture in accordance with the modulated exposure pattern instructed from the control unit 131 in a state where the light source 110 irradiates the subject in accordance with the time emission pattern instructed from the control unit 131.
  • the cell charge amount (multiplex modulation information) is acquired.
  • three modulated exposure patterns set by the control unit 131 are shown.
  • each modulation exposure pattern has a certain time interval.
  • exposure sensitivity is associated with each time in the time interval.
  • the charge amount acquisition circuit 120 includes, in each pixel cell 10, the first charge amount of the subpixel cell 5a in the first modulated exposure pattern and the second charge amount of the subpixel cell 5b in the second exposure change pattern.
  • the third charge amount of the sub-pixel cell 5c in the third exposure change pattern is acquired. Specifically, these three modulation exposure patterns are as follows.
  • the first modulated exposure pattern is a signal having the same frequency as the temporal light emission pattern and having a phase different from that of the temporal light emission pattern. However, it has a bias so as not to have a negative value.
  • the second modulated exposure pattern is a signal having the same frequency and bias as the first modulated exposure pattern and having a phase different from that of the first modulated exposure pattern.
  • the phase of the second modulated exposure pattern is 90 degrees different from the phase of the first modulated exposure pattern.
  • the second modulated exposure pattern is a signal having the same frequency and bias as the first modulated exposure pattern, a phase different from that of the first modulated exposure pattern, and a phase different from that of the temporal light emission pattern. May be.
  • Pattern 3 A signal having a bias component of the first modulated exposure pattern.
  • the distance estimation unit 132 includes a first charge amount of the sub-pixel cell 5a and a second charge amount of the sub-pixel cell 5b, which are charge amounts of three different pixel cells within one opening acquired by the charge amount acquisition circuit 120. The distance to the subject is estimated from the third charge amount of the subpixel cell 5c.
  • the optical flow estimation unit 133 includes the first charge amount of the sub-pixel cell 5a and the second charge amount of the sub-pixel cell 5b, which are the charge amounts of three different pixel cells within one opening acquired by the charge amount acquisition circuit 120.
  • the optical flow expressing the movement of the subject on the image is estimated from the third charge amount of the sub-pixel cell 5c.
  • Step S105 The output unit 134 integrates the distance estimated by the distance estimation unit 132 and the optical flow estimated by the optical flow estimation unit 133, and outputs three-dimensional motion information of the subject.
  • step S103 and step S104 will be described in detail.
  • the temporal light emission pattern L (t) in the light source 110 is expressed by the following equation.
  • ⁇ t is the reciprocal of the frame rate
  • ⁇ is the phase difference indicating the time difference from the frame timing
  • the frequency N of the light emission pattern may be about MHz to GHz.
  • the luminance of the light source 110 is normalized to 0 to 2, but of course the luminance range may be anything.
  • ⁇ is a delay amount depending on the distance L1 between the light source 110 and the subject and the distance L2 between the subject and the charge amount acquisition circuit 120, and satisfies the following relationship.
  • vc is 299, 792, 458 [m / sec] which is the speed of light.
  • the distance L between the charge amount acquisition circuit 120 and the subject can be expressed by the following equation.
  • the distance L to the subject can be estimated by estimating the delay amount ⁇ .
  • control unit 131 sets the three modulated exposure patterns s0 (t), s1 (t), and s2 (t) of the charge amount acquisition circuit 120 as follows.
  • Equation 5 the three modulated exposure patterns of the charge amount acquisition circuit 120 are normalized to 0 to 2, but of course, they may not be in this range.
  • the three charge amounts fs0, fs1, and fs2 acquired by the charge amount acquisition circuit 120 are as follows.
  • ⁇ is a parameter that can be controlled by the control unit 131 and is known. Therefore, it is possible to estimate ⁇ , which is distance information of the subject, from Equation 9.
  • the range in which distance can be estimated is as follows.
  • the control unit 131 can calculate the optimal time emission pattern and modulated exposure pattern from the necessary distance range. For example, when a 1 GHz pattern is used, the detection range is up to about 15 cm. When a 100 MHz pattern is used, detection is possible up to about 150 cm. When a 10 MHz pattern is used, detection is up to about 15 m. When using a 1 MHz pattern, detection is possible up to about 150 m. Therefore, it is possible to estimate the distance within a necessary range by appropriately setting the wavelength.
  • the temporal light emission pattern L (t) in the light source 110 is the same as Equation 1, and the three modulated exposure patterns s0 (t), s1 (t), and s2 (t) of the charge amount acquisition circuit 120 are also the same as Equation 5. .
  • Equation 13 shows the time differentiation of the luminance value f (x, y, t) on the image.
  • ⁇ t the time between frames
  • the conventional optical flow estimation method using the optical flow constraint formula has the following two problems.
  • the optical flow estimation unit 133 in the present embodiment solves the above two problems by using the three charge amounts acquired by the charge amount acquisition circuit 120.
  • optical flow constraint equation is as follows.
  • the optical flow estimation unit 133 can estimate the optical flow from one image by acquiring the three charge amounts of the subject.
  • the assumption that the luminance change of each pixel is constant between frames is not used, high-precision estimation is possible.
  • the constraint equations only the optical flow constraint equation is used, and other constraint equations are not used. Therefore, the optical flow can be estimated more accurately.
  • the distance is first estimated by the distance estimation unit 132 and then the optical flow is estimated by the optical flow estimation unit 133.
  • this order may be reversed or may be processed in parallel.
  • the order of the processes of the distance estimation unit 132 and the optical flow estimation unit 133 may be reversed.
  • the three-dimensional motion acquisition device 1 of the present embodiment can acquire highly accurate three-dimensional motion information by acquiring three different charge amounts within one opening by the charge amount acquisition circuit 120.
  • the pixel cell 10 includes the first electrode 11a, the first electrode 11b, and the first electrode 11c that are the three first electrodes 11 in one lens opening, that is, the three sub-pixel cells 5.
  • the sub pixel cell 5a, the sub pixel cell 5b, and the sub pixel cell 5c are provided.
  • the pixel cell 10 includes two first electrodes 11 a and 11 b that are two first electrodes 11 in one lens opening. That is, an example in which the sub pixel cell 5a and the sub pixel cell 5b, which are two sub pixel cells 5, are provided will be described. In this example, the processing of the distance estimation unit 132 and the processing of the optical flow estimation unit 133 are switched to time division and executed.
  • the distance is estimated by the distance estimating unit 132 and then the optical flow is estimated by the optical flow estimating unit 133.
  • the order of the processes of the distance estimation unit 132 and the optical flow estimation unit 133 may be reversed.
  • FIG. 12 is a flowchart showing an example of processing in the three-dimensional motion acquisition apparatus 1 that acquires two different amounts of charge within one opening. 12, the same components as those in FIG. 10 are denoted by the same reference numerals.
  • FIG. 13 is a schematic diagram showing the relationship among the temporal light emission pattern of the light source 110, the reflected light pattern by the subject, and the modulated exposure pattern of each pixel cell 10.
  • the time emission pattern of the light source 110 repeats a time modulation pattern for distance detection and a time modulation pattern for optical flow detection.
  • Step S100 The control unit 131 reads a time emission pattern from a memory (not shown) and instructs the light source 110 to emit light according to the read time emission pattern.
  • the control unit 131 reads out modulation exposure patterns corresponding to the electrode control circuit 32a and the electrode control circuit 32b from a memory (not shown), and modulates according to the corresponding time emission patterns read out to the electrode control circuit 32a and the electrode control circuit 32b. Instruct to generate a signal.
  • the control unit 131 controls the output of the temporal light emission pattern and the modulated exposure pattern. For example, the control unit 131 controls the output of the temporal light emission pattern and the modulated exposure pattern so that the temporal light emission pattern and the modulated exposure pattern are synchronized. For example, the control unit 131 causes the light source 110 to start light emission according to the time light emission pattern, the modulation signal generation start time according to the time light emission pattern corresponding to the electrode control circuit 32a, and the time light emission pattern corresponding to the electrode control circuit 32b. The start time of generation of the modulation signal may be indicated according to
  • Step S101 The light source 110 emits light to the subject according to the time detection pattern for distance detection instructed from the control unit 131.
  • the top graph in FIG. 13 shows the temporal light emission pattern of the light source 110 at this time.
  • the temporal light emission pattern is a rectangular wave, and its time width is Tp [sec].
  • the light emitted from the light source 110 is reflected by the subject, and has a delay ⁇ that depends on the sum L of the distance L1 between the light source 110 and the subject and the distance L2 between the subject and the charge amount acquisition circuit 120, and has a charge amount acquisition circuit.
  • the reflected light that has returned to the charge amount acquisition circuit 120 is affected not only by the light source 110 but also by an external light component.
  • Such a reflected light component is schematically shown in the second graph from the top in FIG. Here, it is assumed that the external light component is constant regardless of the exposure time.
  • the charge amount acquisition circuit 120 has two sub-pixel cells that are different within one aperture in accordance with the modulated exposure pattern instructed from the control unit 131 in a state where the light source 110 irradiates the subject with the time emission pattern instructed from the control unit 131.
  • Charge amount (multiplex modulation information) is acquired.
  • the modulation exposure pattern corresponding to each FD includes a modulation exposure pattern for distance detection (s11 (t) in FD1, s21 (t) in FD2), and a modulation exposure pattern for optical flow detection (in FD1). s12 (t) and s22 (t) in FD2 are switched over time.
  • Two modulation exposure patterns set by the control unit 131 are shown in the third to fourth graphs from the top in FIG.
  • each modulation exposure pattern has a certain time interval.
  • exposure sensitivity is associated with each time in the time interval.
  • the charge amount acquisition circuit 120 includes, in each pixel cell 10, the first charge amount of the subpixel cell 5a in the first modulated exposure pattern and the second charge amount of the subpixel cell 5b in the second exposure change pattern.
  • modulated exposure for distance detection is performed in the first half and modulated exposure for optical flow detection is performed in the second half.
  • the modulation exposure in the distance detection modulation pattern s11 (t) of the FD1 included in the sub-pixel cell 5a is performed at the same timing as when the light source 110 emits light, and the exposure is stopped after a certain time (FIG. 13).
  • the charge amount at this time is sf11. Further, the second exposure is performed with the same exposure time during a period not affected by the light emitted from the light source 110. The charge amount at this time is sf12. Similarly, in the modulation exposure in the TOF modulation pattern s21 (t) of the FD2 included in the sub-pixel cell 5b, first, exposure is performed at the same timing as when the light emission of the light source 110 is stopped, and the exposure is stopped after a certain time. The charge amount at this time is sf21. Further, the second exposure is performed with the same exposure time during a period not affected by the light emitted from the light source 110, and the charge amount at this time is defined as sf22. The second exposure time of FD2 may be equal to the second exposure time of FD1.
  • the first exposure has an influence of light emitted from the light source 110, but the second exposure has no influence of light emitted from the light source 110. Therefore, by obtaining the difference between the two charge amounts, the light emission pattern components fsp1 and fsp2 from which the influence of the ambient light has been removed can be calculated as follows.
  • sf12 and sf22 that are not affected by the light emission pattern of the light source 110 may be acquired before sf11 and sf21.
  • Step S108 The distance estimation unit 132 estimates the distance to the subject from the charge amounts of two subpixel cells 5a and subpixel cells 5a that are different within one opening acquired by the charge amount acquisition circuit 120. As described above, if the positions of the light source 110 and the charge amount acquisition circuit 120 are substantially equal, the distance L between the charge amount acquisition circuit 120 and the subject can be expressed by the following equation.
  • the distance estimation unit 132 acquires the charge amounts of the two different subpixel cells 5a and 5a within the one opening by the charge amount acquisition circuit 120, thereby obtaining the subject. The distance can be estimated.
  • the optical flow estimation unit 133 is an optical that represents the movement of the subject on the image from the charge amounts of the two subpixel cells 5a and the subpixel cells 5a that are different within one opening acquired by the charge amount acquisition circuit 120. Estimate the flow. As described above, in Equation 13, there are two unknowns for vx and vy, and there is only one equation, so it cannot be solved as it is. Therefore, in the conventional optical flow estimation method using the optical flow constraint equation, in addition to this equation, the optical flow is estimated by giving some constraint condition such that the optical flow does not change greatly between the neighborhoods or is sparse. It was. For this reason, a precondition different from the actual condition is required, which causes the estimation accuracy to deteriorate.
  • Equation 12 Given that the charge amount is acquired with the modulated exposure pattern s (t), the optical flow constraint equation is expressed by Equation 12.
  • Equation 13 can be expressed as follows: Deformed.
  • the optical flow estimation unit 133 acquires two images and the optical flow constraint by acquiring the charge amount of the subpixel cell 5a and the charge amount of the subpixel cell 5b, which are two charge amounts related to the subject. It is possible to estimate the optical flow more accurately by using only the equations and without using other constraint equations.
  • Step S105 The output unit 134 integrates the distance estimated by the distance estimation unit 132 and the optical flow estimated by the optical flow estimation unit 133, and outputs three-dimensional motion information of the subject.
  • the three-dimensional motion acquisition device 1 of the present embodiment can acquire highly accurate three-dimensional motion information by acquiring two different charge amounts within one opening by the charge amount acquisition circuit 120.
  • FIG. 14 is a block diagram illustrating a configuration of the three-dimensional motion acquisition apparatus 2 according to an embodiment of the present disclosure.
  • the same components as those in FIG. As shown in the figure, the three-dimensional motion acquisition device 2 of the present embodiment includes a main body unit 3 and a light emitting unit 4.
  • the main unit 3 includes a charge amount acquisition circuit 120, a processor 130, and a transmission unit 107.
  • the light emitting unit 4 includes a light source 110 and a receiving unit 108.
  • the transmission unit 107 has a function of transmitting a signal output from the processor 130 to the reception unit 108 wirelessly or by wire. More specifically, it has a function of transmitting a light emission control signal for causing the light source 110 to emit light with the light emission pattern generated by the control unit 131 to the reception unit 108.
  • the transmission unit 107 is realized by a transmission circuit including a communication LSI having a wireless communication function and a transmission antenna.
  • the reception unit 108 has a function of receiving a signal transmitted from the transmission unit 107 wirelessly or by wire and outputting the received signal to the light source 110. More specifically, it has a function of receiving the light emission control signal transmitted from the transmission unit 107 and outputting it to the light source 110.
  • the receiving unit 108 is realized by a receiving circuit including a communication LSI having a wireless communication function and a receiving antenna.
  • the receiving unit 108 is described as an external block of the light source 110, but the light source 110 includes the receiving unit 108, that is, even if the light source 110 has the function of the receiving unit 108. I do not care.
  • FIG. 15 is a flowchart showing an example of processing in the three-dimensional motion acquisition apparatus 2 in the present embodiment.
  • the same components as those in FIG. 10 are denoted by the same reference numerals, and description thereof is omitted.
  • This process is a process in which the process of step S110 and the process of step S111 are added to the first process described in FIG.
  • the process of step S110 and the process of step S111 will be described.
  • Step S110 When the process of step S100 ends.
  • the transmission unit 107 transmits the temporal light emission pattern set by the control unit 131 to the reception unit 108.
  • Step S111 The reception unit 108 receives the temporal light emission pattern transmitted from the transmission unit 107 and outputs it to the light source 110.
  • the 3D motion acquisition apparatus 2 according to the present embodiment can acquire highly accurate 3D motion information in the same manner as the 3D motion acquisition apparatus 1 according to Embodiment 1.
  • Each component in the three-dimensional motion acquisition apparatuses 1 and 2 may be individually made into one chip by a semiconductor device such as an IC (Integrated Circuit) and an LSI (Large Scale Integration), or may include a part or all of them.
  • a semiconductor device such as an IC (Integrated Circuit) and an LSI (Large Scale Integration), or may include a part or all of them.
  • One chip may be used.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and / or setting of the circuit cells inside the LSI may be used.
  • integrated circuit technology that replaces LSI appears as a result of progress in semiconductor technology or other derived technology
  • functional blocks may be integrated using this technology. Biotechnology can be applied as a possibility.
  • all or a part of the various processes described above may be realized by hardware such as an electronic circuit or may be realized by software.
  • the processing by software is realized by a processor included in the three-dimensional motion acquisition apparatus executing a control program stored in a memory.
  • the control program may be recorded on a recording medium and distributed and / or distributed. For example, by installing the distributed control program in the 3D motion acquisition apparatus and causing the processor of the 3D motion acquisition apparatus to execute the process, the 3D motion acquisition processing apparatus performs various processes (for example, FIGS. 16 and the like) can be performed.
  • the present disclosure can be widely used in apparatuses that acquire both distance information and motion information of a subject.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

３次元モーション取得装置（１）は、光源（１１０）と、複数の画素を含み、各画素において、第１の露光パターンにおける第１の電荷量と、第１の露光パターンの露光期間に少なくとも一部の露光期間が重なる第２の露光パターンにおける第２の電荷量とを取得する電荷量取得回路（１２０）と、光源（１１０）の発光パターンと、第１の露光パターンと、第２の露光パターンとを制御するプロセッサ（１３０）とを備え、プロセッサ（１３０）は、発光パターンと、電荷量取得回路（１２０）によって取得された、各画素における第１の電荷量、及び第２の電荷量とに基づいて、各画素における被写体までの距離を推定し、第１の露光パターンと、第２の露光パターンと、電荷量取得回路（１２０）によって取得された、第１の電荷量、及び第２の電荷量とに基づいて、各画素におけるオプティカルフローを推定する。

Description

３次元モーション取得装置、及び３次元モーション取得方法
　本開示は、被写体の距離情報と動き情報との両方を取得する３次元モーション取得装置及び３次元モーション取得システムに関する。
　ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary MOS）センサなどによる画像センサから求めた被写体の動き情報及び／または距離情報は、車の周辺監視システム、屋内の監視システム、屋外の監視システム、インターフェイス機器において、重要な役割をはたしている。
　特に、動き情報と距離情報を同時に求める手法は３次元モーション推定と呼ばれ、動物体の環境認識には非常に有効である。
特許第３７５８６１８号公報
B.D. Lucas and T. Kanade， "An Iterative Image Registration Technique with application to stereo vision"， In Proc． 7th IJCAI， pp．674-679，1981． 安藤繁，魏大比，ポルマズレル，　"複素正弦波変調撮像によるオプティカルフロー検出理論および時間相関イメージセンサによる実現"，　情報処理学会研究報告コンピュータビジョンとイメージメディア（ＣＶＩＭ），Ｖｏｌ．１５７，ｐｐ．７７－８４，２００７．
　しかしながら、従来の３次元モーション推定において、１つの画像センサを利用して、被写体の距離情報と動き情報とを高精度に取得することが難しい。
　本開示の非限定的で例示的な一態様は、１つの画像センサを利用して、被写体の距離情報と動き情報とを高精度に取得し得る３次元モーション取得装置である。また、本開示の非限定的で例示的な一態様は、その３次元モーション取得装置で用いられる３次元モーション取得方法である。
　本開示の一態様に係る３次元モーション取得装置は、光源と、複数の画素を含み、各画素において、第１の露光パターンにおける第１の電荷量と、当該第１の露光パターンの露光期間に少なくとも一部の露光期間が重なる第２の露光パターンにおける第２の電荷量とを取得する電荷量取得回路と、前記光源の発光パターンと、前記第１の露光パターンと、前記第２の露光パターンとを制御するプロセッサとを備え、前記プロセッサは、前記発光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素における、被写体までの距離を推定し、前記第１の露光パターンと、前記第２の露光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素におけるオプティカルフローを推定し、推定した前記距離と、推定した前記オプティカルフローとを出力する。
　また、本開示の一態様に係る３次元モーション取得方法は、光源と、複数の画素を含む電荷量取得回路と、プロセッサとを備える３次元モーション取得装置が行う３次元モーション取得方法であって、前記プロセッサが、前記光源の発光パターンと、前記電荷量取得回路の各画素における、第１の露光パターンと、当該第１の露光パターンの露光期間に少なくとも一部の露光期間が重なる第２の露光パターンとを制御し、前記電荷量取得回路が、各画素において、前記第１の露光パターンにおける第１の電荷量と、前記第２の露光パターンにおける第２の電荷量とを取得し、前記プロセッサが、前記発光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量に基づいて、前記電荷量取得回路の各画素における、被写体までの距離を推定し、前記プロセッサが、前記第１の露光パターンと、前記第２の露光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における、前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素におけるオプティカルフローを推定し、前記プロセッサが、推定した前記距離と、推定した前記オプティカルフローとを出力する。
　なお、これらの包括的または具体的な態様は、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの不揮発性の記録媒体を含む。
　本開示によれば、１つの画像センサ（電荷量取得回路）を利用して、被写体の距離情報と動き情報（オプティカルフロー）とを高精度に取得することができる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
図１は、実施の形態１に係る３次元モーション取得装置の構成を示すブロック図 図２は、電荷量取得回路の回路構成図 図３は、画素セルの一例についての断面図 図４は、画素セルの一例についての平面図 図５は、サブ画素セルのデバイス構造を示す模式図 図６は、画素セルの一例についての断面図 図７は、画素セルの一例についての平面図 図８は、画素セルの一例についての断面図 図９は、画素セルの一例についての平面図 図１０は、実施の形態１に係る３次元モーション取得装置における処理の例を示すフローチャート 図１１は、時間発光パターンと変調露光パターンとの関係を示す模式図 図１２は、実施の形態１に係る３次元モーション取得装置における処理の例を示すフローチャート 図１３は、時間発光パターンと反射光パターンと変調露光パターンとの関係を示す模式図 図１４は、実施の形態２に係る３次元モーション取得装置の構成を示すブロック図 図１５は、実施の形態２に係る３次元モーション取得装置における処理の例を示すフローチャート
　（本開示の一態様を得るに至った経緯）
　従来、被写体の動き情報を求めるために、オプティカルフローが広く使われている。移動する被写体を異なる時間に撮像した２枚の第１画像、第２画像において、被写体に含まれる同じ部分に対応する画素が移動しても明るさ（画素値）は不変であることを利用したオプティカルフロー拘束式を利用してオプティカルフローを求める手法が、演算コストの観点から広く利用されている（例えば、非特許文献１）。また、非特許文献２では、外部から供給される参照信号と、露光中の光の強度の時間変化との時間相関を算出する時間相関イメージセンサを利用して、１フレームからオプティカルフローを求める手法が開示されている。
　一方、被写体の３次元情報を取得するために、ＴＯＦ（Time-of-Flight）を利用する方法が広く知られている（例えば、特許文献１）。
　しかしながら、オプティカルフロー拘束式は劣決定問題であり、何らかの拘束条件を加えなければ解くことができない。例えば、非特許文献１におけるオプティカルフロー検出手法は、オプティカルフロー拘束式に加え、近傍でオプティカルフローが等しいという拘束条件を利用して解を求めている。しかし、このような拘束条件は、一般にすべてのシーンで満たされるものではないため、求めたオプティカルフローの精度が劣化するという問題がある。さらに、オプティカルフロー拘束式は、「画素が移動しても明るさ（画素値）は不変」を仮定しているため、ＴＯＦ法のような投光型の距離情報取得方法との両立が難しい。
　また、非特許文献２に関しては、通常のＣＯＭＳセンサに比べ、余計な配線が必要となり、開口が低下し、感度が劣化するという問題がある。
　発明者は、このような問題を鑑みて、下記本開示の一態様に係る３次元モーション取得装置及び３次元モーション取得方法を想到するに至った。
　本開示の一態様に係る３次元モーション取得装置は、光源と、複数の画素を含み、各画素において、第１の露光パターンにおける第１の電荷量と、当該第１の露光パターンの露光期間に少なくとも一部の露光期間が重なる第２の露光パターンにおける第２の電荷量とを取得する電荷量取得回路と、前記光源の発光パターンと、前記第１の露光パターンと、前記第２の露光パターンとを制御するプロセッサとを備え、前記プロセッサは、前記発光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素における、被写体までの距離を推定し、前記第１の露光パターンと、前記第２の露光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素におけるオプティカルフローを推定し、推定した前記距離と、推定した前記オプティカルフローとを出力することを特徴とする。
　上記構成の３次元モーション取得装置によれば、１つの画像センサ（電荷量取得回路）を利用して、被写体の距離情報と動き情報（オプティカルフロー）とを高精度に取得することができる。
　また、好ましくは、前記プロセッサは、前記電荷量取得回路の各画素における、露光期間又は露光感度を制御することで、前記第１の露光パターンの制御、及び前記第２の露光パターンの制御を行う。
　また、好ましくは、前記電荷量取得回路は、さらに、各画素において、前記第１の露光パターンの露光期間と、前記第２の露光パターンの露光期間とに、少なくとも一部の露光期間が重なる第３の露光パターンにおける第３の電荷量を取得し、前記第１の露光パターンでは、露光感度が、所定周期のサイン波で変化し、前記第２の露光パターンでは、露光感度が、前記第１の露光パターンにおけるサイン波とは位相が異なる、前記所定周期のサイン波で変化し、前記第３の露光パターンでは、露光感度が、矩形波で変化し、前記プロセッサは、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第３の電荷量にも基づいて前記距離の推定を行い、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第３の電荷量にも基づいて前記オプティカルフローの推定を行う。
　また、好ましくは、前記発光パターンでは、発光量が、前記所定周期のサイン波で変化する。
　また、好ましくは、前記第１の露光パターンでは、第１期間において、露光感度が、矩形波で変化し、前記第１期間を含まない第２期間において、露光感度が、所定周期のサイン波で変化し、前記第２の露光パターンでは、第３期間において、露光感度が、矩形波で変化し、前記第３期間を含まない第４期間において、露光感度が、前記所定周期のサイン波で変化する。
　また、好ましくは、前記発光パターンでは、発光量が、矩形波で変化する。
　また、好ましくは、前記画素は、一の開口内に複数のサブ画素を備え、前記サブ画素は、半導体基板の主平面上方に積層された、第１電極と、当該第１電極よりも前記半導体基板から遠くに位置する第２電極と、前記第１電極及び前記第２電極の間に位置する光電変換部材とからなる光電変換部を備え、前記電荷量取得回路は、さらに、各前記サブ画素における前記第１電極の電位を制御する電極制御回路を備える。
　また、好ましくは、前記電極制御回路は、各前記サブ画素における前記第１電極に、容量を介して電気的に接続される。
　また、好ましくは、前記画素は、当該画素が備える複数の前記サブ画素によって共用される一のカラーフィルタを備える。
　また、好ましくは、前記画素は、当該画素が備える複数の前記サブ画素によって共用される一のオンチップマイクロレンズを備える。
　また、好ましくは、前記電極制御回路は、露光期間以外の期間である非露光期間に、各前記サブ画素における前記第１電極の電位を変更することで、各前記サブ画素における露光感度を変更する。
　また、好ましくは、前記プロセッサは、前記第１の露光パターンと、前記第２の露光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量とに基づいて、互いに独立する２以上のオプティカルフロー拘束式を算出し、当該算出したオプティカルフロー拘束式を用いて、前記オプティカルフローの推定を行う。
　また、好ましくは、前記発光パターンでは、前記第１の露光パターンの露光期間の少なくとも一部の期間と、前記第２の露光パターンの露光期間の露光期間の少なくとも一部の期間とに、前記光源の発光量が変化する。
　また、好ましくは、前記光源を前記発光パターンで発光させるための発光制御信号を前記光源に送信する送信部を備え、前記光源は、前記送信部から送信された発光制御信号を受信し、当該受信した発光制御信号に基づいて、前記発光パターンで発光する。
　本開示の一態様に係る３次元モーション取得方法は、光源と、複数の画素を含む電荷量取得回路と、プロセッサとを備える３次元モーション取得装置が行う３次元モーション取得方法であって、前記プロセッサが、前記光源の発光パターンと、前記電荷量取得回路の各画素における、第１の露光パターンと、当該第１の露光パターンの露光期間に少なくとも一部の露光期間が重なる第２の露光パターンとを制御し、前記電荷量取得回路が、各画素において、前記第１の露光パターンにおける第１の電荷量と、前記第２の露光パターンにおける第２の電荷量とを取得し、前記プロセッサが、前記発光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量に基づいて、前記電荷量取得回路の各画素における、被写体までの距離を推定し、前記プロセッサが、前記第１の露光パターンと、前記第２の露光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における、前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素におけるオプティカルフローを推定し、前記プロセッサが、推定した前記距離と、推定した前記オプティカルフローとを出力することを特徴とする。
　上記構成の３次元モーション取得方法によれば、１つの画像センサ（電荷量取得回路）を利用して、被写体の距離情報と動き情報（オプティカルフロー）とを高精度に取得することができる。
　また、好ましくは、前記プロセッサは、前記電荷量取得回路の各画素における、露光期間又は露光感度を制御することで、前記第１の露光パターンの制御、及び前記第２の露光パターンの制御を行う。
　また、好ましくは、さらに、前記電荷量取得回路が、各画素において、前記第１の露光パターンの露光期間と、前記第２の露光パターンの露光期間とに、少なくとも一部の露光期間が重なる第３の露光パターンにおける第３の電荷量を取得し、前記第１の露光パターンでは、露光感度が、所定周期のサイン波で変化し、前記第２の露光パターンでは、露光感度が、前記第１の露光パターンにおけるサイン波とは位相が異なる、前記所定周期のサイン波で変化し、前記第３の露光パターンでは、露光感度が、矩形波で変化し、前記プロセッサは、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第３の電荷量にも基づいて前記距離の推定を行い、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第３の電荷量にも基づいて前記オプティカルフローの推定を行う。
　また、好ましくは、前記発光パターンでは、発光量が、前記所定周期のサイン波で変化する。
　また、好ましくは、前記第１の露光パターンでは、第１期間において、露光感度が、矩形波で変化し、前記第１期間を含まない第２期間において、露光感度が、所定周期のサイン波で変化し、前記第２の露光パターンは、第３期間において、露光感度が、矩形波で変化し、前記第３期間を含まない第４期間において、露光感度が、前記所定周期のサイン波で変化する。
　また、好ましくは、前記発光パターンでは、発光量が、矩形波で変化する。
　本開示の一態様に係る３次元モーション装置は、第１信号に従った光を出射する光源と、前記光を受けた観察対象からの光を受光するレンズと、前記レンズから出力された光を受光する第１画素セル、第２画素セル、第３画素セルを含む回路と、処理器を含み、前記第１セルは第１電極、第２電極、第１電極と第２電極の間に位置する第１光電材料を含み、前記第２セルは第３電極、第４電極、第３電極と第４電極の間に位置する第２光電材料を含み、前記第３セルは第５電極、第６電極、第５電極と第６電極の間に位置する第３光電材料を含み、前記レンズの開口で規定される面積は前記第２電極の面積と前記第４電極の面積と前記第６電極の面積を加算した面積より小さく、前記第１電極の電位、前記第３電極の電位、前記第５電極の電位は同じであり、前記第１電極、前記３電極、前記第５電極は連続して形成される電極に含まれ、前記第１光電材、前記第２光電材、前記第３光電材料は連続して掲載される光電材料に含まれ、前記第１電極と前記レンズの距離は前記第２電極と前記レンズの距離よりも小さく、前記第３電極と前記レンズの距離は前記第３電極と前記レンズの距離よりも小さく、前記第５電極と前記レンズの距離は前記第４電極と前記レンズの距離よりも小さく、前記第２電極は第１増幅器の第１ゲートに接続され、前記第３電極は第２増幅器の第２ゲートに接続され、前記第４電極は第３増幅器の第３ゲートに接続され、前記第２電極は第２信号を発生する第１信号発生器に接続され、前記第３電極は第３信号を発生する第２信号発生器に接続され、前記第４電極は第４信号を発生する第３信号発生器に接続され、第１増幅器は、第１ゲートに印加される電気信号に比例した電気信号を第１セルの第１出力信号として提供し、第２増幅器は、第２ゲートに印加される電気信号に比例した電気信号を第２セルの第２出力信号として提供し、第３増幅器は、第３ゲートに印加される電気信号に比例した電気信号を第３セルの第３出力信号として提供し、第１信号はＬ（ｔ）、第２信号はｓ１（ｔ）、第３信号はＳ２（ｔ）、第４信号はＳ０（ｔ）であり、ここでΔｔをフレームレートの逆数、φをフレームタイミングとの時間差を示す位相差、Ｎを１フレーム間での発光パターンの周期数すると、
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
である装置。
　以下、本開示の一態様に係る３次元モーション取得装置の具体例について、図面を参照しながら説明する。ここで示す実施の形態は、いずれも本開示の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態、並びに、ステップ（工程）及びステップの順序等は、一例であって本開示を限定するものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
　（実施の形態１）
　図１は、本開示の一態様に係る３次元モーション取得装置１の構成を示すブロック図である。
　同図に示されるように、３次元モーション取得装置１は、光源１１０と、電荷量取得回路１２０と、プロセッサ１３０とを備える。
　光源１１０は、例えば、ＬＥＤ（Light Emitting Diode）であって、被写体に向けて、輝度変調光を発光する。輝度変調光とは、時間的に輝度が変更し得る光である。
　光源１１０は、輝度変調光を発光する機能を有していれば、必ずしもＬＥＤに限定される必要はない。例えば、レーザ、ＨＩＤ（High-Intensity Discharge）ランプであっても構わない。
　電荷量取得回路１２０は、例えば、画像センサであって、複数の画素を含み、各画素において、第１の露光パターンにおける第１の電荷量と、第１の露光パターンの露光期間に少なくとも一部の露光期間が重なる第２の露光パターンにおける第２の電荷量とを取得する機能を有する。
　電荷量取得回路１２０は、例えば、さらに、各画素において、第１の露光パターンの露光期間と、第２の露光パターンの露光期間とに、少なくとも一部の露光期間が重なる第３の露光パターンにおける第３の電荷量を取得するとしてもよい。
　電荷量取得回路１２０の詳細については、後述する。
　プロセッサ１３０は、図示していないメモリに記憶されるプログラムを実行することで、制御部１３１と、距離推定部１３２と、オプティカルフロー推定部１３３と、出力部１３４とを実現する。
　制御部１３１は、光源１１０の発光パターンを制御する。また、制御部１３１は、電荷量取得回路１２０における、第１の露光パターンと第２の露光パターンとを制御する。
　制御部１３１は、例えば、電荷量取得回路１２０の画素における、露光期間又は露光感度を制御することで、第１の露光パターンの制御、及び第２の露光パターンの制御を行うとしてもよい。
　また、例えば、第１の露光パターンでは、露光感度が、所定周期のサイン波の波高値に比例して変化し、第２の露光パターンでは、露光感度が、上記所定周期のサイン波の位相と異なる位相を有する上記所定周期のサイン波の波高値に比例して変化し、第３の露光パターンでは、露光感度が、矩形波の波高値に比例して変化するとしてもよい。
　また、例えば、発光パターンでは、発光量が、上記所定周期のサイン波の波高値に比例して変化するとしてもよい。
　また、例えば、第１の露光パターンでは、第１期間において、露光感度が、矩形波の波高値に比例して変化し、第１期間を含まない第２期間において、露光感度が、所定周期のサイン波の波高値に比例して変化し、第２の露光パターンでは、第３期間において、露光感度が、矩形波の波高値に比例して変化し、第３期間を含まない第４期間において、露光感度が、上記所定周期のサイン波の波高値に比例して変化するとしてもよい。
　また、例えば、発光パターンでは、発光量が、矩形波の波高値に比例して変化するとしてもよい。
　制御部１３１の動作の詳細については、後述する。
　距離推定部１３２は、光源１１０の発光パターンと、電荷量取得回路１２０によって取得された、電荷量取得回路１２０の各画素における第１の電荷量、及び第２の電荷量とに基づいて、電荷量取得回路１２０の各画素における、被写体までの距離を推定する。
　距離推定部１３２は、例えば、電荷量取得回路１２０によって取得された、電荷量取得回路１２０の各画素における第３の電荷量に基づいて上記距離の推定を行うとしてもよい。
　距離推定の詳細については、後述する。
　オプティカルフロー推定部１３３は、第１の露光パターンと、第２の露光パターンと、電荷量取得回路１２０によって取得された、電荷量取得回路１２０の各画素における第１の電荷量、及び第２の電荷量とに基づいて、電荷量取得回路１２０の各画素におけるオプティカルフローを推定する。
　オプティカルフロー推定部１３３は、例えば、電荷量取得回路１２０によって取得された、電荷量取得回路１２０の各画素における第３の電荷量に基づいて上記オプティカルフローの推定を行うとしてもよい。
　オプティカルフロー推定の詳細については、後述する。
　従来のオプティカルフロー推定方法では、複数のフレーム間における着目箇所の被写体とカメラ間の相対的な動きの方向及び大きさが一定であることを仮定し、複数フレームの画像を利用する。これに対して、オプティカルフロー推定部１３３では、後述するように、１フレームの画像から、オプティカルフローを推定することが可能である。
　また、従来のオプティカルフロー推定方法では、輝度変調光を発する光源下においては、被写体の輝度が時間的に変動するため、オプティカルフローを推定することが困難である。これに対して、オプティカルフロー推定部１３３では、後述するように、輝度変調光を発する光源下においても、オプティカルフローを推定することができる。
　出力部１３４は、距離推定部１３２によって推定された距離と、オプティカルフロー推定部１３３によって推定されたオプティカルフローとを出力する。
　例えば、自動運転車の環境認識システムでは、従来、被写体の距離情報はＬＩＤＡＲ（Light Detection And Ranging、Laser Imaging Detection And Ranging）、動き情報は異なるセンサ、例えばカメラによるオプティカルフローを利用して取得することが多い。この場合、距離情報と動き情報の観測点は一致しておらず、異なるセンサで取得した情報を統合する処理が別途必要であり、この処理が精度を劣化させる原因となっていた。
　一方、本実施の形態１に係る３次元モーション取得装置１は、距離情報と動き情報とを同一の電荷量取得回路１２０から求めているため、距離情報の観測点と動き情報の観測点は常に一致しており、情報処理の負担を軽減しつつ、より精度の高い３次元モーション情報を出力することができる。
　また、従来、複数フレームのステレオ画像を利用した場合も、同一観測点での距離情報と動き情報とを取得できる。しかしながら、距離情報は同一露光時間の画像、動き情報は異なる露光時間の情報から推定しているため、両者は時間的に異なった情報となる。そのため、両情報を統合した際に誤差が生じていた。一方、本実施形態１に係る３次元モーション取得装置１は、距離情報と動き情報とを同一の第１の電荷量及び第２の電荷量から求めているためこのようなフレーム間のずれは生じず、より精度の高い３次元モーション情報を出力することができる。
　次に、電荷量取得回路１２０の詳細について説明する。
　図２は、電荷量取得回路１２０の回路構成図である。
　同図に示されるように、電荷量取得回路は、２次元アレイ状に配置された複数の画素セル１０（画素）を含む。そして、各画素セル１０は、複数のサブ画素セル５を備える。ここでは、各画素セル１０が、サブ画素セル５ａとサブ画素セル５ｂとの２つのサブ画素セル５を備えるとして説明する。ここで、サブ画素セル５ａとサブ画素セル５ｂとは、画素セル１０の２次元アレイ（以下、「画素アレイＰＡ」とも呼ぶ。）における行方向において交互に隣り合わせになる関係にある。なお、ここでは、サブ画素セル５ａとサブ画素セル５ｂとが、画素アレイＰＡの行方向において交互に隣り合わせになる関係にあるとして説明するが、例えば、サブ画素セル５ａとサブ画素セル５ｂとが、画素アレイＰＡの列方向において交互に隣り合わせになる関係にあっても構わない。
　図３は、画素セル１０の一例についての断面図であり、図４は、図３に示される画素セル１０の一例についての平面図である。
　図３、図４に示されるように、画素セル１０は、一の開口（レンズ開口）内に、複数のサブ画素セル５（ここでは、サブ画素セル５ａとサブ画素セル５ｂ）を備える。そして、画素セル１０は、複数のサブ画素セル５（ここでは、サブ画素セル５ａとサブ画素セル５ｂ）で共用される一のカラーフィルタ２０１と、複数のサブ画素セル５（ここでは、サブ画素セル５ａとサブ画素セル５ｂ）で共用される一のオンチップマイクロレンズ２０２とを備える。
　図３に示されるように、サブ画素セル５であるサブ画素セル５ａは、半導体基板２０の主平面上方に積層された第１電極１１（画素電極とも言う。）である第１電極１１ａと、第１電極１１ａよりも半導体基板２０から遠くに位置する第２電極１２（対向電極とも言う。）と、第１電極１１ａと第２電極１２との間に位置する光電変換部材１５を含む光電変換部１３である光電変換部１３ａを備える。
　また、図３に示されるように、サブ画素セル５であるサブ画素セル５ｂは、半導体基板２０の主平面上方に積層された第１電極１１（画素電極とも言う。）である第１電極１１ｂと、第１電極１１ｂよりも半導体基板２０から遠くに位置する第２電極１２（対向電極とも言う。）と、第１電極１１ｂと第２電極１２との間に位置する光電変換部材１５を含む光電変換部１３である光電変換部１３ｂを備える。
　光電変換部１３は、光電変換部材１５に入射した光に基づいて、電気信号を生成する。電気信号は、光の強さに依存する。
　なお、光電変換部１３は、必ずしも、サブ画素セル５毎に独立した素子で構成されている必要はない。例えば、図３に示され一のサブ画素セル５に備えられた光電変換部１３の第２電極１２が、他のサブ画素セル５に備えられた光電変換部１３の第２電極１２とが共通の素子で構成されていても構わない。例えば、図３に示される一のサブ画素セル５に備えられた光電変換部１３の光電変換部材１５と、他のサブ画素セル５に備えられた光電変換部材１５とが共通の素子で構成されていても構わない。
　図２において、信号検出回路１４は、光電変換部１３によって生成された電気信号を検出する回路である。同図に示されるように、信号検出回路１４は、信号検出トランジスタ２４とアドレストランジスタ２６とを含む。信号検出トランジスタ２４およびアドレストランジスタ２６は、典型的には、電界効果トランジスタ（ＦＥＴ）である。ここに示す例では、信号検出トランジスタ２４はＮチャンネルＭＯＳＦＥＴであり、アドレストランジスタ２６はＮチャンネルＭＯＳＦＥＴとする。
　図２において模式的に示されるように、信号検出トランジスタ２４の制御端子（ここではゲート）は、光電変換部１３と電気的に接続される。光電変換部１３によって生成される電気信号の電荷（正孔または電子）は、信号検出トランジスタ２４のゲートと光電変換部１３との間の電荷蓄積ノード４１に蓄積される。この電荷蓄積ノード４１は、フローティングディフュージョンノード（ＦＤ）とも呼ばれる。
　電極制御回路３２ａは、各画素セル１０が備える２つのサブ画素セル５の内の一方（ここでは、サブ画素セル５ａ）の第１電極１１ａの電位を制御する変調電圧源である。そして、電極制御回路３２ｂは、各画素セル１０が備える２つのサブ画素セル５の内の他方（ここでは、サブ画素セル５ｂ）の第１電極１１ｂの電位を制御する変調電圧源である。電極制御回路３２ａは、特定の電源回路に限定されない。電極制御回路３２ｂは、特定の電源回路に限定されない。
　図３に示されるように、電極制御回路３２ａと電極制御回路３２ｂとは、それぞれ、容量Ｃを介して第１電極１１ａ、１１ｂに接続されている。このため、電極制御回路３２ａが第１電極１１ａの電位を制御しても対応する電荷蓄積ノード４１に蓄積される電荷の量は破壊されないし、電極制御回路３２ｂが第１電極１１ｂの電位を制御しても対応する電荷蓄積ノード４１に蓄積される電荷の量は破壊されない。
　電極制御回路３２ａと電極制御回路３２ｂがそれぞれ行う第１電極１１ａの電位の制御及び、第１電極１１ｂの電位の制御の詳細については、後述する。例えば、電極制御回路３２ａと電極制御回路３２ｂとによって第１電極１１ａの電位、第１電極１１ｂの電位を切り替えられることができる。つまりサブセル毎に感度が調整でき、特定のサブセルの感度を最も低くすることで電子シャッタ動作が実現できる。
　各サブ画素セル５は、電源電圧ＶＤＤを供給する電源線４０と接続される。図２に示されるように、電源線４０には、信号検出トランジスタ２４の入力端子（典型的にはドレイン）が接続されている。電源線４０がソースフォロア電源として機能することにより、信号検出トランジスタ２４は、光電変換部１３によって生成された信号を増幅して出力する。
　信号検出トランジスタ２４の出力端子（ここではソース）には、アドレストランジスタ２６の入力端子（ここではドレイン）が接続されている。アドレストランジスタ２６の出力端子（ここではソース）は、画素アレイＰＡの列ごとに配置された複数の垂直信号線４７のうちの１つに接続されている。アドレストランジスタ２６の制御端子（ここではゲート）は、アドレス制御線４６に接続されており、アドレス制御線４６の電位を制御することにより、信号検出トランジスタ２４の出力を、対応する垂直信号線４７に選択的に読み出すことができる。
　図２に図示される例では、アドレス制御線４６は、垂直走査回路（「行走査回路」とも呼ばれる）３６に接続されている。垂直走査回路３６は、アドレス制御線４６に所定の電圧を印加することにより、各行に配置された複数のサブ画素セル５を行単位で選択する。これにより、選択されたサブ画素セル５の信号の読み出しが実行される。
　垂直信号線４７は、画素アレイＰＡからの画素信号を周辺回路へ伝達する主信号線である。垂直信号線４７には、カラム信号処理回路（「行信号蓄積回路」とも呼ばれる）３７が接続される。カラム信号処理回路３７は、相関二重サンプリングに代表される雑音抑圧信号処理およびアナログ－デジタル変換（ＡＤ変換）などを行う。図示するように、カラム信号処理回路３７は、画素アレイＰＡにおけるサブ画素セル５の各列に対応して設けられる。これらのカラム信号処理回路３７には、水平信号読み出し回路（「列走査回路」とも呼ばれる）３８が接続される。水平信号読み出し回路３８は、複数のカラム信号処理回路３７から水平共通信号線４９に信号を順次読み出す。
　図２に例示する構成において、サブ画素セル５の各々は、リセットトランジスタ２８を有する。リセットトランジスタ２８は、例えば、信号検出トランジスタ２４およびアドレストランジスタ２６と同様に、電界効果トランジスタであり得る。以下では、特に断りの無い限り、リセットトランジスタ２８としてＮチャンネルＭＯＳＦＥＴを適用した例を説明する。図示するように、このリセットトランジスタ２８は、リセット電圧Ｖｒを供給するリセット電圧線４４と、電荷蓄積ノード４１との間に接続される。リセットトランジスタ２８の制御端子（ここではゲート）は、リセット制御線４８に接続されており、リセット制御線４８の電位を制御することによって、電荷蓄積ノード４１の電位をリセット電圧Ｖｒにして電荷蓄積ノード４１に蓄積された電荷をデスチャージ、すなわちサブ画素セル５をリセットすることができる。この例では、リセット制御線４８が、垂直走査回路３６に接続されている。したがって、垂直走査回路３６がリセット制御線４８に所定の電圧を印加することにより、各行に配置された複数のサブ画素セル５を行単位でリセットすることが可能である。
　この例では、リセットトランジスタ２８にリセット電圧Ｖｒを供給するリセット電圧線４４が、リセット電圧源３４（リセット電圧供給回路）に接続されている。リセット電圧源３４は、電荷量取得回路１２０の動作時にリセット電圧線４４に所定のリセット電圧Ｖｒを供給可能な構成を有していればよく、特定の電源回路に限定されない。なお、電極制御回路３２ａ、電極制御回路３２ｂ、およびリセット電圧源３４の各々は、単一の電圧供給回路の一部分であってもよいし、独立した別個の電圧供給回路であってもよい。なお、電極制御回路３２ａ、電極制御回路３２ｂ、およびリセット電圧源３４の一部または全部が、垂直走査回路３６の一部分であってもよい。あるいは、電極制御回路３２ａ、電極制御回路３２ｂからの第２電極電圧（対向電極電圧）および／またはリセット電圧源３４からのリセット電圧Ｖｒが、垂直走査回路３６を介して各サブ画素セル５に供給されてもよい。
　リセット電圧Ｖｒとして、信号検出回路１４の電源電圧ＶＤＤを用いることも可能である。この場合、各サブ画素セル５に電源電圧を供給する電圧供給回路（図２において不図示）と、リセット電圧源３４とを共通化し得る。また、電源線４０と、リセット電圧線４４を共通化できるので、画素アレイＰＡにおける配線を単純化し得る。ただし、リセット電圧Ｖｒと、信号検出回路１４の電源電圧ＶＤＤとに互いに異なる電圧を用いることは、電荷量取得回路１２０のより柔軟な制御を可能にする。
　図５は、サブ画素セル５の例示的なデバイス構造を模式的に示す。図５に例示する構成では、上述の信号検出トランジスタ２４、アドレストランジスタ２６およびリセットトランジスタ２８が、半導体基板２０に形成されている。半導体基板２０は、その全体が半導体である基板に限定されない。半導体基板２０は、感光領域が形成される側の表面に半導体層が設けられた絶縁性基板などであってもよい。ここでは、半導体基板２０としてＰ型シリコン（Ｓｉ）基板を用いる例を説明する。
　半導体基板２０は、不純物領域（ここではＮ型領域）２６ｓ、２４ｓ、２４ｄ、２８ｄおよび２８ｓと、サブ画素セル５ａとサブ画素セル５ｂ間の電気的な分離のための素子分離領域２０ｔおよび画素セル１０間の電気的な分離のための素子分離領域２０ｔとを有する。ここでは、素子分離領域２０ｔは、不純物領域２４ｄと不純物領域２８ｄとの間にも設けられている。素子分離領域２０ｔは、例えば所定の注入条件のもとでアクセプタのイオン注入を行うことによって形成される。
　不純物領域２６ｓ、２４ｓ、２４ｄ、２８ｄおよび２８ｓは、典型的には、半導体基板２０内に形成された拡散層である。図５に模式的に示すように、信号検出トランジスタ２４は、不純物領域２４ｓおよび２４ｄと、ゲート電極２４ｇ（典型的にはポリシリコン電極）とを含む。不純物領域２４ｓおよび２４ｄは、それぞれ、信号検出トランジスタ２４の例えばソース領域およびドレイン領域として機能する。不純物領域２４ｓと２４ｄとの間に、信号検出トランジスタ２４のチャネル領域が形成される。
　同様に、アドレストランジスタ２６は、不純物領域２６ｓおよび２４ｓと、アドレス制御線４６（図２参照）に接続されたゲート電極２６ｇ（典型的にはポリシリコン電極）とを含む。この例では、信号検出トランジスタ２４およびアドレストランジスタ２６は、不純物領域２４ｓを共有することによって互いに電気的に接続されている。不純物領域２６ｓは、アドレストランジスタ２６の例えばソース領域として機能する。不純物領域２６ｓは、図５において不図示の垂直信号線４７（図２参照）との接続を有する。
　リセットトランジスタ２８は、不純物領域２８ｄおよび２８ｓと、リセット制御線４８（図２参照）に接続されたゲート電極２８ｇ（典型的にはポリシリコン電極）とを含む。不純物領域２８ｓは、リセットトランジスタ２８の例えばソース領域として機能する。不純物領域２８ｓは、図５において不図示のリセット電圧線４４（図２参照）との接続を有する。
　半導体基板２０上には、信号検出トランジスタ２４、アドレストランジスタ２６およびリセットトランジスタ２８を覆うように層間絶縁層５０（典型的には二酸化シリコン層）が配置されている。図示するように、層間絶縁層５０中には、配線層５６が配置され得る。配線層５６は、典型的には、銅などの金属から形成され、例えば、上述の垂直信号線４７などの配線をその一部に含み得る。層間絶縁層５０中の絶縁層の層数、および、層間絶縁層５０中に配置される配線層５６に含まれる層数は、任意に設定可能であり、図３に示す例に限定されない。
　層間絶縁層５０上には、上述の光電変換部１３が配置される。別の言い方をすれば、本開示の実施形態では、画素アレイＰＡ（図２参照）を構成する複数のサブ画素セル５が、半導体基板２０上に形成されている。半導体基板２０上に２次元に配列された複数のサブ画素セル５は、感光領域（画素領域）を形成する。隣接する２つのサブ画素セル５間の距離（画素ピッチ）は、例えば２μｍ程度であり得る。
　光電変換部１３は、第１電極１１と、第２電極１２と、これらの間に配置された光電変換部材１５とを含む。この例（図３）では、第２電極１２および光電変換部材１５は、複数のサブ画素セル５にまたがって形成されている。他方、第１電極１１は、サブ画素セル５ごとに設けられており、隣接する他のサブ画素セル５の第１電極１１と空間的に分離されることによって、他の画素セル１０の第１電極１１から電気的に分離されている。
　第２電極１２は、典型的には、透明な導電性材料から形成される透明電極である。第２電極１２は、光電変換部材１５において光が入射される側に配置される。したがって、光電変換部材１５には、第２電極１２を透過した光が入射する。なお、電荷量取得回路１２０によって検出される光は、可視光の波長範囲（例えば、３８０ｎｍ以上７８０ｎｍ以下）内の光に限定されない。本明細書における「透明」は、検出しようとする波長範囲の光の少なくとも一部を透過することを意味し、可視光の波長範囲全体にわたって光を透過することは必須ではない。本明細書では、赤外線および紫外線を含めた電磁波全般を、便宜上「光」と表現する。第２電極１２には、例えば、ＩＴＯ、ＩＺＯ、ＡＺＯ、ＦＴＯ、ＳｎＯ２、ＴｉＯ２、ＺｎＯ２などの透明導電性酸化物（Transparent Conducting Oxide（ＴＣＯ））を用いることができる。
　光電変換部材１５は、入射する光を受けて正孔－電子対を発生させる。光電変換部材１５は、典型的には、有機材料から形成される。
　図２を参照して説明したように、第２電極１２は、複数のサブ画素セル５にまたがって形成されている。したがって、所望の大きさの第２電極電圧（対向電極電圧）を複数のサブ画素セル５の間に一括して印加することが可能である。なお、複数のサブ画素セル５の間に一括して、所望の大きさの第２電極電圧（対向電極電圧）を印加することができれば、第２電極１２は、サブ画素セル５ごとに分離して設けられていてもよい。同様に、光電変換部材１５がサブ画素セル５ごとに分離して設けられていてもよい。
　電極制御回路３２は、露光期間と非露光期間との間で互いに異なる電圧を光電変換部１３に供給することで露光感度を制御する。本明細書において、「露光期間」は、光電変換により生成される正および負の電荷の一方（信号電荷）を電荷蓄積領域に蓄積するための期間を意味し、「電荷蓄積期間」と呼んでもよい。また、本明細書では、撮像装置の動作中であって露光期間以外の期間を「非露光期間」と呼ぶ。なお、「非露光期間」は、光電変換部１３への光の入射が遮断されている期間に限定されず、光電変換部１３に光が照射されている期間を含んでいてもよい。
　第１電極１１の電位に対する第２電極１２の電位を制御することにより、光電変換によって光電変換部材１５内に生じた正孔－電子対のうち、正孔および電子のいずれか一方を、第１電極１１によって収集することができる。しかしながら、第２電極１２は画素アレイ全面に設けられており、行毎または画素毎の制御が難しい。Ｌｉｎｅ／Ｓｐａｃｅの確保と各電極への信号配線を確保することで、第２電極１２をパターニングによりサブ画素単位に分割することで、第２電極１２の行毎または画素毎の制御を実現し得る。
　例えば信号電荷として正孔を利用する場合、第１電極１１よりも第２電極１２の電位を高くすることにより、第１電極１１によって正孔を選択的に収集することが可能である。以下では、信号電荷として正孔を利用する場合を例示する。もちろん、信号電荷として電子を利用することも可能である。
　第１電極１１は、第２電極１２と第１電極１１との間に適切なバイアス電圧が与えられることにより、光電変換部材１５において光電変換によって発生した正および負の電荷のうちの一方を収集する。第１電極１１は、アルミニウム、銅などの金属、金属窒化物、または、不純物がドープされることにより導電性が付与されたポリシリコンなどから形成される。
　第１電極１１を遮光性の電極としてもよい。例えば、第１電極１１として、厚さが１００ｎｍのＴａＮ電極を形成することにより、十分な遮光性を実現し得る。第１電極１１を遮光性の電極とすることにより、半導体基板２０に形成されたトランジスタ（この例では信号検出トランジスタ２４、アドレストランジスタ２６およびリセットトランジスタ２８の少なくともいずれか）のチャネル領域または不純物領域への、光電変換部材１５を通過した光の入射を抑制し得る。上述の配線層５６を利用して層間絶縁層５０内に遮光膜を形成してもよい。半導体基板２０に形成されたトランジスタのチャネル領域への光の入射を抑制することにより、トランジスタの特性のシフト（例えば閾値電圧の変動）などを抑制し得る。また、半導体基板２０に形成された不純物領域への光の入射を抑制することにより、不純物領域における意図しない光電変換によるノイズの混入を抑制し得る。このように、半導体基板２０への光の入射の抑制は、電荷量取得回路１２０の信頼性の向上に貢献する。
　図５に模式的に示すように、第１電極１１は、コンタクトプラグ５２、配線５３およびコンタクトプラグ５４を介して、信号検出トランジスタ２４のゲート電極２４ｇに接続されている。言い換えれば、信号検出トランジスタ２４のゲートは、第１電極１１との電気的な接続を有する。これらコンタクトプラグ５２、配線５３は、例えば銅などの金属から形成され得る。コンタクトプラグ５２、配線５３およびコンタクトプラグ５４は、信号検出トランジスタ２４と光電変換部１３との間の電荷蓄積ノード４１（図２参照）の少なくとも一部を構成する。配線５３は、配線層５６の一部であり得る。また、第１電極１１は、コンタクトプラグ５４、コンタクトプラグ５２、配線５３およびコンタクトプラグ５５を介して、不純物領域２８ｄにも接続されている。図５に例示する構成において、信号検出トランジスタ２４のゲート電極２４ｇ、コンタクトプラグ５２、配線５３、コンタクトプラグ５４および５５、ならびに、リセットトランジスタ２８のソース領域およびドレイン領域の一方である不純物領域２８ｄは、第１電極１１によって収集された信号電荷を蓄積する電荷蓄積領域として機能する。
　第１電極１１によって信号電荷が収集されることにより、電荷蓄積領域に蓄積された信号電荷の量に応じた電圧が、信号検出トランジスタ２４のゲートに印加される。信号検出トランジスタ２４は、このゲートに印加された電圧を増幅する。信号検出トランジスタ２４によって増幅された電圧が、信号電圧としてアドレストランジスタ２６を介して選択的に読み出される。
　本開示において、電極制御回路３２は、非露光期間に第２電極１２の電位に対する第１電極１１の電位を制御（変更）することで、露光感度を変更する（感度可変機能を実現する）。感度が最も低くなる電位を選択し、全画素同時に制御することで全画素のそれぞれに対して感度が最も低くなる電位を同時に与えることで、全画素の感度を同時に最も低くするグローバルシャッタ機能が実現できる。
　また、第２電極１２の電位制御では、第２電極１２をサブ画素毎に分割する必要があったが、第１電極１１による制御により、任意サブ画素単位での感度可変が可能となる。たとえば、行毎に第１電極１１の電位を制御することにより行毎のシャッタ動作であるローリングシャッタが実現できる。
　図３に示されるように、画素セル１０には、１つのレンズ開口内に２つの第１電極１１すなわち、第１電極１１ａと第１電極１１ｂとが設けられている。第１電極１１ａと第１電極１１ｂはそれぞれ対応する電荷蓄積ノード４１たるフローティングディフュージョンノードＦＤ１、ＦＤ２に接続される。上述したように、第１電極１１ａの電位は、電極制御回路３２ａによって制御され、第１電極１１ｂの電位は、電極制御回路３２ｂによって制御される。電極制御回路３２ａと電極制御回路３２ｂとは、互いに異なる変調を行ってもよい。この構成により、同一の視野を有するサブ画素セル５ａ、サブ画素セル５ｂに対して、異なる変調を同時に適用することができる。
　なお、図３ではサブ画素セル５内のトランジスタ等の表記は省略している。
　図４に示されるように、画素セル１０を平面視した場合に、画素セル１０には、一のオンチップマイクロレンズ２０２、および一のカラーフィルタ２０１に対して、第１電極１１ａと第１電極１１ｂとが、同じ大きさで、並んで配置されている。なお、第１電極１１ａと第１電極１１ｂとの大きさ及び/または配置はこの限りではない。更に、第１電極１１ａと第１電極１１ｂとの間に電荷捕獲範囲を制御するシールド電極を挿入しても良い。
　以上の説明では、１つのレンズ開口内に２つの第１電極１１である第１電極１１ａと第１電極１１ｂを設けて、それぞれに異なる変調を行うとしたが、１つのレンズ開口内に３つ以上の第１電極１１を設けて、それぞれに異なる変調を行っても良い。この場合、各画素セル１０は、自身に含まれる第１電極１１の数だけ、画素アレイＰＡにおいて隣接する（例えば、画素アレイＰＡにおける行方向又は列方向に連続して並ぶ）サブ画素セル５を備える構成となる。
　図６は、１つのレンズ開口内に３つの第１電極１１を備え、第１電極１１のそれぞれに対して、互いに異なる３つの変調を実施する、画素セル１０の一例についての断面図であり、図７は、図６に示される画素セル１０の一例についての平面図である。
　図７に示されるように、画素セル１０を平面視した場合に、画素セル１０には、一のオンチップマイクロレンズ２０２、および一のカラーフィルタ２０１に対して、第１電極１１ａと第１電極１１ｂと第１電極１１ｃとが、同じ大きさで、等間隔に直線状に並んで配置されている。なお、第１電極１１ａと第１電極１１ｂと第１電極１１ｃとの大きさ及び/または配置はこの限りではない。更に、第１電極１１ａと第１電極１１ｂとの間、および第１電極１１ｂと第１電極１１ｃとの間に電荷捕獲範囲を制御するシールド電極を挿入しても良い。本構成により、同一の空間情報に対して、３つの変調を同時に適用することができる。
　また、以上の説明では、複数の第１電極１１に対して一つのオンチップマイクロレンズ２０２を配置するとしたが、複数の第１電極１１の各々にオンチップマイクロレンズ２０２を配置するとしても構わない。図８は、複数の第１電極１１の各々（ここでは、第１電極１１ａと第１電極１１ｂと第１電極１１ｃの各々）にオンチップマイクロレンズ２０２（ここでは、オンチップマイクロレンズ２０２ａとオンチップマイクロレンズ２０２ｂとオンチップマイクロレンズ２０２ｃ）を配置した画素セル１０の一例についての断面図であり、図９は、図８に示される画素セル１０の一例についての平面図である。このような構成の場合、オンチップマイクロレンズ２０２の開口ごとに１つの電荷量（変調情報）しか取得できないが、隣り合ったサブ画素セル５では視野がほぼ等しく、また、等しいカラーフィルタを有するため、視野の等しい複数の電荷量を取得することが可能である。
　次に、電荷量取得回路１２０によって取得された電荷量を利用した３次元モーション推定方法について説明する。ここでは、画素セル１０は、図６、図７に示されるように、１つのレンズ開口内に３つの第１電極１１である第１電極１１ａ、第１電極１１ｂ、第１電極１１ｃを備える、すなわち、３つのサブ画素セル５であるサブ画素セル５ａ、サブ画素セル５ｂ、サブ画素セル５ｃを備える構成であるとして説明する。
　図１０は、本実施形態における３次元モーション取得装置１における処理（以下、この処理のことを「第１処理」とも呼ぶことがある。）の例を示すフローチャートである。
　図１１は、光源１１０の時間発光パターンと、各画素セル１０の変調露光パターンとの関係を示す模式図である。
　（ステップＳ１００）
　制御部１３１は、図示しないメモリから時間発光パターンを読み出し、光源１１０に読み出した時間発光パターンに従って発光することを指示する。制御部１３１は、図示しないメモリから電極制御回路３２ａ、電極制御回路３２ｂ、電極制御回路３２ｃのそれぞれに対応する変調露光パターンを読み出し、電極制御回路３２ａ、電極制御回路３２ｂ、電極制御回路３２ｃのそれぞれに読み出した対応する時間発光パターンに従って変調信号を発生することを指示する。
　制御部１３１は、時間発光パターンと変調露光パターンとの出力を制御する。制御部１３１は、例えば、時間発光パターンと変調露光パターンとが同期するように、時間発光パターンと変調露光パターンとの出力を制御する。例えば、制御部１３１は、光源１１０に時間発光パターンに沿った発光の開始時刻、電極制御回路３２ａに対応する時間発光パターンに従った変調信号の発生の開始時刻、電極制御回路３２ｂに対応する時間発光パターンに従った変調信号の発生の開始時刻、電極制御回路３２ｃに対応する時間発光パターンに従った変調信号の発生の開始時刻を指示してもよい。
　（ステップＳ１０１）
　光源１１０は、制御部１３１から指示された時間発光パターンに従い、被写体に対して発光する。
　図１１の一番上のグラフに、発光部１０２の時間発光パターンが示されている。ここで、時間発光パターンの一例は、サイン波（正弦波）である。サイン波の周波数が高い場合、測定できる距離分解能は高くなるが、測定できる距離範囲は狭くなる。一方、周波数が低い場合、測定できる距離分解能は低くなるが、測定できる距離範囲は広くなる。周波数の一例は、１ＭＨｚ以上数百ＧＨｚ以下であるが、これに限定されない。
　（ステップＳ１０２）
　電荷量取得回路１２０は、制御部１３１から指示された時間発光パターンに従い、光源１１０が被写体を照射した状態で、制御部１３１から指示された変調露光パターンに従って、１開口内で異なる３つのサブ画素セルの電荷量（多重変調情報）を取得する。ここで、図１１の上から２つ目～４つ目のグラフに、制御部１３１によって設定された３つの変調露光パターンが示されている。
　同図に示されるように、各変調露光パターンは、一定の時間区間を有する。そして、各変調露光パターンは、時間区間の各時刻のそれぞれに、露光感度が対応付けられている。電荷量取得回路１２０は、各画素セル１０において、第１の変調露光パターンにおけるサブ画素セル５ａの第１の電荷量と、第２の露光変更パターンにおけるサブ画素セル５ｂの第２の電荷量と、第３の露光変更パターンにおけるサブ画素セル５ｃの第３の電荷量とを取得する。これら３つの変調露光パターンは、具体的には以下の通りである。
　パターン１：第１の変調露光パターンは、時間発光パターンと同じ周波数を有し、かつ、時間発光パターンと位相が異なる信号である。ただし、負の値を持たないように、バイアスを有する。
　パターン２：第２の変調露光パターンは、第１の変調露光パターンと同じ周波数及びバイアスを有し、かつ、第１の変調露光パターンと位相が異なる信号である。例えば、第２の変調露光パターンの位相は、第１の変調露光パターンの位相と９０度異なる。なお、第２の変調露光パターンは、第１の変調露光パターンと同じ周波数及びバイアスを有し、かつ、第１の変調露光パターンと位相が異なり、かつ、時間発光パターンと位相が異なる信号であってもよい。
　パターン３：第１の変調露光パターンのバイアス成分を有する信号である。
　（ステップＳ１０３）
　距離推定部１３２は、電荷量取得回路１２０が取得した１開口内で異なる３つの画素セルの電荷量であるサブ画素セル５ａの第１の電荷量、サブ画素セル５ｂの第２の電荷量、サブ画素セル５ｃの第３の電荷量から、被写体までの距離を推定する。
　（ステップＳ１０４）
　オプティカルフロー推定部１３３は、電荷量取得回路１２０が取得した１開口内で異なる３つの画素セルの電荷量であるサブ画素セル５ａの第１の電荷量、サブ画素セル５ｂの第２の電荷量、サブ画素セル５ｃの第３の電荷量から、被写体の画像上での動きを表現したオプティカルフローを推定する。
　（ステップＳ１０５）
　出力部１３４は、距離推定部１３２が推定した距離と、オプティカルフロー推定部１３３が推定したオプティカルフローを統合し、被写体の３次元モーション情報を出力する。
　次に、ステップＳ１０３とステップＳ１０４の処理に関して、詳しく説明する。
　まず、ステップＳ１０３の距離情報の推定方法について説明する。光源１１０における時間発光パターンＬ（ｔ）を次式で表現する。
Figure JPOXMLDOC01-appb-M000003
　ここで、Δｔはフレームレートの逆数、φはフレームタイミングとの時間差を示す位相差、Ｎは１フレーム間での発光パターンの周期数（図１１ではＮ＝１２）である。前述のように、発光パターンの周波数ＮはＭＨｚからＧＨｚ程度であればよい。また、式１では、光源１１０の輝度は０～２に正規化しているが、もちろん、輝度範囲は何でも構わない。
　この光が、被写体で反射した場合、電荷量取得回路１２０には以下のＬｓ（ｔ）の信号が到来すると想定できる。
Figure JPOXMLDOC01-appb-M000004
　ここで、θは光源１１０と被写体の距離Ｌ１と、被写体と電荷量取得回路１２０の距離Ｌ２とに依存した遅延量であり、以下の関係を満たす。
Figure JPOXMLDOC01-appb-M000005
　ただし、ｖｃは光速である２９９，７９２，４５８［ｍ／ｓｅｃ］である。ここで、光源１１０と電荷量取得回路１２０の位置がほぼ等しいとすると、電荷量取得回路１２０と被写体の距離Ｌは次式で表現できる。
Figure JPOXMLDOC01-appb-M000006
　つまり、遅延量θを推定することで、被写体までの距離Ｌを推定することができる。
　ここで、制御部１３１は、電荷量取得回路１２０の３つの変調露光パターンｓ０（ｔ），ｓ１（ｔ），ｓ２（ｔ）を、次式のように設定する。
Figure JPOXMLDOC01-appb-M000007
　ところで、式５において、電荷量取得回路１２０の３つの変調露光パターンは０～２に正規化しているが、もちろん、この範囲でなくても構わない。
　３つの変調露光パターンが式５のとき、電荷量取得回路１２０が取得する３つの電荷量ｆｓ０、ｆｓ１、ｆｓ２は以下のようになる。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　よって、以下の関係式が成り立つ。
Figure JPOXMLDOC01-appb-M000011
　ここで、φは制御部１３１によって制御可能なパラメータであり、既知である。よって、式９より、被写体の距離情報であるθを推定することが可能である。また、この方法では、１周期以上の位相差は検出できないため、距離の推定可能範囲は以下の通りである。
Figure JPOXMLDOC01-appb-M000012
　そのため、制御部１３１は必要な距離範囲から最適な時間発光パターン及び変調露光パターンを計算することができる。例えば、１ＧＨｚのパターンを利用する場合、検出範囲は１５ｃｍ程度までである。また、１００ＭＨｚのパターンを利用する場合は１５０ｃｍ程度まで、１０ＭＨｚのパターンを利用する場合は１５ｍ程度まで、１ＭＨｚのパターンを利用する場合は１５０ｍ程度まで検出できる。そのため、波長を適切に設定することにより、必要な範囲の距離推定が可能である。
　次に、ステップＳ１０４において、オプティカルフロー推定部１３３によるオプティカルフロー推定方法について説明する。
　光源１１０における時間発光パターンＬ（ｔ）は式１と同じであり、電荷量取得回路１２０の３つの変調露光パターンｓ０（ｔ），ｓ１（ｔ），ｓ２（ｔ）も式５と同じである。
　まず、オプティカルフロー拘束式を利用したオプティカルフロー推定方法について説明する。時刻ｔにおける画像上の画素座標（ｘ、ｙ）における輝度値をｆ（ｘ、ｙ、ｔ）とする。被写体の明るさはフレーム間で変化しないとすると、以下のオプティカルフロー拘束式が成り立つ。
Figure JPOXMLDOC01-appb-M000013
　ここで、微小時間Δｔで各画素の輝度変化が一定とすると、以下の関係式が成り立つ。
Figure JPOXMLDOC01-appb-M000014
　ただし、（ｖｘ、　ｖｙ）は画像上の画素座標（ｘ、ｙ）におけるオプティカルフローである。この式を書き直すと、以下の関係式が求まる。
Figure JPOXMLDOC01-appb-M000015
　式１３において未知数はｖｘとｖｙの２つに対して、方程式は１つのため、このままでは解くことはできない。そのため、従来のオプティカルフロー拘束式を利用したオプティカルフロー推定方法では、この式に加え、オプティカルフローが近傍間で大きく変化しない、スパースであるなどの何らかの拘束条件を与えることでオプティカルフローを推定していた。そのため、実際とは異なる前提条件が必要になり、推定精度が劣化する原因となっていた。
　また、式１３の右辺は、画像上の輝度値ｆ（ｘ、ｙ、ｔ）の時間微分を示しているが、通常、Δｔをフレーム間の時間とすることにより、時間的に異なる２フレームから計算する。これは、フレーム間で各画素の輝度変化が一定であると仮定していることになる。しかし、この仮定はエッジなどを含む被写体においては成り立たず、オプティカルフロー推定結果が劣化する原因となっていた。
　以上から、従来のオプティカルフロー拘束式を用いたオプティカルフロー推定方法では、以下の２点の課題が存在していた。
　課題１：オプティカルフロー拘束式に加え、何らかの拘束条件が必要。
　課題２：フレーム間で各画素の輝度変化が一定であると仮定。
　一方、本実施形態におけるオプティカルフロー推定部１３３では、電荷量取得回路１２０によって取得された３つの電荷量を利用することで、上記２つの課題を解決する。
　ここで、変調露光パターンｓ（ｔ）で電荷量を取得すること考えると、オプティカルフロー拘束式は以下のようになる。
Figure JPOXMLDOC01-appb-M000016
　このとき、変調露光をすることで、オプティカルフロー拘束式の条件「被写体の明るさはフレーム間で変化しない」を満たさないよう見えるが、そのようなことはない。これは、式１４の第一項において、積分処理を行っているが、この微小区間内では輝度は一定であると仮定できるためである。
　ところで、部分積分法
Figure JPOXMLDOC01-appb-M000017
を利用すると、式１４は以下のように変形される。
Figure JPOXMLDOC01-appb-M000018
　よって、式５の変調露光パターンｓ０（ｔ），　ｓ１（ｔ），　ｓ２（ｔ）であるとき、電荷量取得回路１２０が取得する３つの電荷量ｆｓ０，ｆｓ１，ｆｓ２において、以下の関係式が成り立つ。
Figure JPOXMLDOC01-appb-M000019
Figure JPOXMLDOC01-appb-M000020
　ただし、
Figure JPOXMLDOC01-appb-M000021
　式１４、式１８、式１９より、以下の関係式が導かれる。
Figure JPOXMLDOC01-appb-M000022
　書き直すと、
Figure JPOXMLDOC01-appb-M000023
　この式において未知数はｖｘとｖｙの２つに対して、方程式も２つのため、何らかの拘束条件を与えることなく、オプティカルフローを推定することができる。以上より、本実施形態に係るオプティカルフロー推定部１３３は、被写体による３つの電荷量を取得することにより、１枚の画像からオプティカルフローを推定できる。また、フレーム間で各画素の輝度変化が一定であるという仮定も利用しないため、高精度の推定が可能である。加えて、拘束式のうち、オプティカルフロー拘束式のみを利用し、他の拘束式を利用していないため、より正確なオプティカルフローの推定が可能である。
　以上の説明では、まず、距離推定部１３２によって距離を推定し、その次にオプティカルフロー推定部１３３によってオプティカルフローを推定するとして説明をした。しかしこの順番は逆でも構わないし、並列に処理しても構わない。もちろん、この処理は繰り返し行われるため、距離推定部１３２とオプティカルフロー推定部１３３の処理の順番は逆でも構わない。
　以上のように、本実施形態の３次元モーション取得装置１は、電荷量取得回路１２０により１開口内で異なる３つの電荷量を取得することにより、高精度の３次元モーション情報を取得できる。
　上記例では、画素セル１０が、１つのレンズ開口内に３つの第１電極１１である第１電極１１ａ、第１電極１１ｂ、第１電極１１ｃを備える、すなわち、３つのサブ画素セル５であるサブ画素セル５ａ、サブ画素セル５ｂ、サブ画素セル５ｃを備える構成である例であった。
　これに対して、次に、画素セル１０は、図３、図４に示されるように、１つのレンズ開口内に２つの第１電極１１である第１電極１１ａ、第１電極１１ｂを備える、すなわち、２つのサブ画素セル５であるサブ画素セル５ａ、サブ画素セル５ｂを備える構成である例について説明する。この例では、距離推定部１３２の処理と、オプティカルフロー推定部１３３の処理とを時分割に切り替えて実行する。
　ここでは、第１処理の場合と同様に、距離推定部１３２によって距離を推定し、その次にオプティカルフロー推定部１３３によってオプティカルフローを推定するとして説明をする。もちろん、この処理は繰り返し行われるため、距離推定部１３２とオプティカルフロー推定部１３３の処理の順番は逆でも構わない。
　図１２は、１開口内で異なる２つの電荷量を取得する３次元モーション取得装置１における処理の例を示すフローチャートである。図１２において、図１０と同一の構成要素に関しては、同一の符号を付す。
　図１３は、光源１１０の時間発光パターンと、被写体による反射光パターンと、各画素セル１０の変調露光パターンとの関係を示す模式図である。後述するように、光源１１０の時間発光パターンは、距離検出用の時間変調パターンと、オプティカルフロー検出用の時間変調パターンとを繰り返す。
　（ステップＳ１００）
　制御部１３１は、図示しないメモリから時間発光パターンを読み出し、光源１１０に読み出した時間発光パターンに従って発光することを指示する。制御部１３１は、図示しないメモリから電極制御回路３２ａ、電極制御回路３２ｂのそれぞれに対応する変調露光パターンを読み出し、電極制御回路３２ａ、電極制御回路３２ｂのそれぞれに読み出した対応する時間発光パターンに従って変調信号を発生することを指示する。
　制御部１３１は、時間発光パターンと変調露光パターンとの出力を制御する。制御部１３１は、例えば、時間発光パターンと変調露光パターンとが同期するように、時間発光パターンと変調露光パターンとの出力を制御する。例えば、制御部１３１は、光源１１０に時間発光パターンに沿った発光の開始時刻、電極制御回路３２ａに対応する時間発光パターンに従って変調信号の発生の開始時刻、電極制御回路３２ｂに対応する時間発光パターンに従って変調信号の発生の開始時刻を指示してもよい。
　（ステップＳ１０１）
　光源１１０は、制御部１３１から指示された距離検出用の時間発光パターンに従い、被写体に対して発光を行なう。図１３の一番上のグラフに、このときの光源１１０の時間発光パターンを示す。ここでは時間発光パターンは矩形波であり、その時間幅はＴｐ［ｓｅｃ］である。光源１１０が照射した光は、被写体に反射して、光源１１０と被写体の距離Ｌ１と、被写体と電荷量取得回路１２０の距離Ｌ２との和Ｌに依存した遅延θを持って、電荷量取得回路１２０へ戻る。ここで、電荷量取得回路１２０へ戻った反射光は、光源１１０だけではなく、外光成分の影響も受ける。図１３の上から２つ目のグラフに、このような反射光成分が模式的に示されている。ここで、外光成分は露光時間によらず一定であるとする。
　（ステップＳ１０７）
　電荷量取得回路１２０は、制御部１３１から指示された時間発光パターンで光源１１０が被写体を照射した状態で、制御部１３１から指示された変調露光パターンに従って、１開口内で異なる２つのサブ画素セルの電荷量（多重変調情報）を取得する。ここで、各ＦＤに対応する変調露光パターンは、距離検出用の変調露光パターン（ＦＤ１においてはｓ１１（ｔ）、ＦＤ２においてはｓ２１（ｔ））とオプティカルフロー検出用の変調露光パターン（ＦＤ１においてはｓ１２（ｔ）、ＦＤ２においてはｓ２２（ｔ））とを時間的に切り替えている。図１３の上から３つ目～４つ目のグラフに、制御部１３１が設定した２つの変調露光パターンが示されている。
　同図に示されるように、各変調露光パターンは、一定の時間区間を有する。そして、各変調露光パターンは、時間区間の各時刻のそれぞれに、露光感度が対応付けられている。電荷量取得回路１２０は、各画素セル１０において、第１の変調露光パターンにおけるサブ画素セル５ａの第１の電荷量と、第２の露光変更パターンにおけるサブ画素セル５ｂの第２の電荷量とを取得する。ここでは、前半で距離検出用の変調露光、後半はオプティカルフロー検出用の変調露光を行なうとする。まず、サブ画素セル５ａに含まれるＦＤ１の距離検出用変調パターンｓ１１（ｔ）における変調露光は、光源１１０の発光時と同じタイミングで露光を行い、一定時間後に露光を停止する（図１３）。このときの電荷量をｓｆ１１とする。さらに、光源１１０から出射される光の影響を受けない時間に、同じ露光時間で２回目の露光を行う。このときの電荷量をｓｆ１２とする。同様に、サブ画素セル５ｂに含まれるＦＤ２のＴＯＦ用変調パターンｓ２１（ｔ）における変調露光は、まず、光源１１０の発光停止時と同じタイミングで露光を行い、一定時間後に露光を停止する。このときの電荷量をｓｆ２１とする。さらに、光源１１０から出射される光の影響を受けない時間に、同じ露光時間で２回目の露光を行ない、このときの電荷量をｓｆ２２とする。ＦＤ２の２回目の露光は、ＦＤ１の２回目の露光時間と等しくても構わない。
　ここで、ＦＤ１、ＦＤ２ともに１回目の露光には光源１１０から出射される光の影響があるが、２回目の露光では光源１１０から出射される光の影響はない。そのためこの二つの電荷量の差分を求めることにより、環境光の影響を除去した発光パターン成分ｆｓｐ１、ｆｓｐ２を下記のように計算することができる。
Figure JPOXMLDOC01-appb-M000024
　もちろん、光源１１０の発光パターンの影響を受けないｓｆ１２，ｓｆ２２を、ｓｆ１１，ｓｆ２１の前に取得しても構わない。
　（ステップＳ１０８）
　距離推定部１３２は、電荷量取得回路１２０が取得した１開口内で異なる２つサブ画素セル５ａ、サブ画素セル５ａの電荷量から、被写体までの距離を推定する。前述のように、光源１１０と電荷量取得回路１２０の位置がほぼ等しいとすると、電荷量取得回路１２０と被写体の距離Ｌは次式で表現できる。
Figure JPOXMLDOC01-appb-M000025
　以上のように、本実施形態の距離推定部１３２は、電荷量取得回路１２０により１開口内で異なる２つサブ画素セル５ａ、サブ画素セル５ａの電荷量をそれぞれ取得することにより、被写体までの距離を推定することができる。
　（ステップＳ１０９）
　次に、オプティカルフロー推定部１３３は、電荷量取得回路１２０が取得した１開口内で異なる２つサブ画素セル５ａ、サブ画素セル５ａの電荷量から、被写体の画像上での動きを表現したオプティカルフローを推定する。前述のように、式１３において未知数はｖｘとｖｙの２つに対して、方程式は１つのため、このままでは解くことはできない。そのため、従来のオプティカルフロー拘束式を利用したオプティカルフロー推定方法では、この式に加え、オプティカルフローが近傍間で大きく変化しない、スパースであるなどの何らかの拘束条件を与えることでオプティカルフローを推定していた。そのため、実際とは異なる前提条件が必要になり、推定精度が劣化する原因となっていた。
　ここで、変調露光パターンｓ（ｔ）で電荷量を取得すること考えると、オプティカルフロー拘束式は式１２になる。
　さらに、
Figure JPOXMLDOC01-appb-M000026
は［０，Δｔ］で一定であるとすると、次式が成り立つ。
Figure JPOXMLDOC01-appb-M000027
　よって、信号ｓ１２（ｔ）とｓ２２（ｔ）によって変調露光したサブ画素セル５ａの電荷量ｆｓ１（ｔ）とサブ画素セル５ａの電荷量ｆｓ２（ｔ）が取得できれば、式１３は以下のように変形される。
Figure JPOXMLDOC01-appb-M000028
　この式において未知数はｖｘとｖｙの２つに対して、方程式も２つのため、何らかの拘束条件を与えることなく、オプティカルフローを推定することができる。以上より、本実施形態のオプティカルフロー推定部１３３は、被写体に関する２つの電荷量であるサブ画素セル５ａ電荷量、サブ画素セル５ｂの電荷量を取得することにより、２枚の画像とオプティカルフロー拘束式のみを利用し、他の拘束式を利用せずに、より正確なオプティカルフローの推定が可能である。
　（ステップＳ１０５）
　出力部１３４は、距離推定部１３２が推定した距離と、オプティカルフロー推定部１３３が推定したオプティカルフローを統合し、被写体の３次元モーション情報を出力する。
　以上のように、本実施形態の３次元モーション取得装置１は、電荷量取得回路１２０により１開口内で異なる２つの電荷量を取得することにより、高精度の３次元モーション情報を取得できる。
　もちろん、図８、図９で説明したように、異なる２つの電荷量は、１開口内ではなく、隣り合った開口であっても構わない。
　（実施の形態２）
　図１４は、本開示の一実施形態に係る３次元モーション取得装置２の構成を示すブロック図である。同図において、図１と同じ構成要素には、同一の符号を付し、説明を省略する。同図に示されるように、本実施形態の３次元モーション取得装置２は、本体部３と発光部４とから構成される。
　本体部３は、電荷量取得回路１２０と、プロセッサ１３０と、送信部１０７とを含んで構成される。
　発光部４は、光源１１０と、受信部１０８とを含んで構成される。
　送信部１０７は、プロセッサ１３０から出力される信号を、無線又は有線にて受信部１０８に送信する機能を有する。より具体的には、光源１１０を制御部１３１によって生成された発光パターンで発光させるための発光制御信号を、受信部１０８に送信する機能を有する。一例として、送信部１０７は、無線通信機能を有する通信用ＬＳＩと送信用アンテナとを含む送信回路によって実現される。
　受信部１０８は、送信部１０７から、無線又は有線にて送信された信号を受信して、受信した信号を光源１１０に出力する機能を有する。より具体的には、送信部１０７から送信された発光制御信号を受信して光源１１０に出力する機能を有する。一例として、受信部１０８は、無線通信機能を有する通信用ＬＳＩと受信用アンテナとを含む受信回路によって実現される。なお、ここでは、受信部１０８は、光源１１０の外部ブロックであるとして説明したが、光源１１０が受信部１０８を含んでいる、すなわち、光源１１０が受信部１０８の機能を有しているとしても構わない。
　図１５は、本実施形態における３次元モーション取得装置２における処理の例を示すフローチャートである。同図において、図１０と同じ構成要素には、同一の符号を付し、説明を省略する。この処理は、図１０に記載された第１処理に対して、ステップＳ１１０の処理とステップＳ１１１の処理とが追加された処理となっている。ここでは、これらステップＳ１１０の処理とステップＳ１１１の処理とについて説明する。
　（ステップＳ１１０）
　ステップＳ１００の処理が終了すると。送信部１０７は、制御部１３１によって設定された時間発光パターンを、受信部１０８に送信する。
　（ステップＳ１１１）
　受信部１０８は、送信部１０７から送信された時間発光パターンを受信し、光源１１０に出力する。
　以上のように、本実施形態に係る３次元モーション取得装置２は、実施の形態１に係る３次元モーション取得装置１と同様に、高精度の３次元モーション情報を取得できる。
　（補足）
　３次元モーション取得装置１、２における各構成要素は、ＩＣ（Integrated Circuit）、ＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）または、ＬＳＩ内部の回路セルの接続及び/または設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
　また、上述した各種処理（例えば、図１０、１２、１６に示す手順等）の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、３次元モーション取得装置に含まれるプロセッサがメモリに記憶された制御プログラムを実行することにより実現されるものである。また、その制御プログラムを記録媒体に記録して頒布及び/または流通させてもよい。例えば、頒布された制御プログラムを３次元モーション取得装置にインストールして、その３次元モーション取得装置のプロセッサに実行させることで、その３次元モーション取得処理装置に各種処理（例えば、図１０、１２、１６に示す手順等）を行わせることが可能となる。
　また、上述した実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。
　本開示は、被写体の距離情報と動き情報との両方を取得する装置において広く利用可能である。
　１，２　３次元モーション取得装置
　３　本体部
　４　発光部
　５，５ａ，５ｂ，５ｃ　サブ画素セル
　１０　画素セル
　１１，１１ａ，１１ｂ，１１ｃ　第１電極
　１２　第２電極
　１３，１３ａ，１３ｂ　光電変換部
　１５　光電変換部材
　２０　半導体基板
　３２，３２ａ，３２ｂ，３２ｃ　電極制御回路
　１０７　送信部
　１０８　受信部
　１１０　光源
　１２０　電荷量取得回路
　１３０　プロセッサ
　１３１　制御部
　１３２　距離推定部
　１３３　オプティカルフロー推定部
　１３４　出力部

Claims (20)

  1. 　光源と、
    　複数の画素を含み、各画素において、第１の露光パターンにおける第１の電荷量と、当該第１の露光パターンの露光期間に少なくとも一部の露光期間が重なる第２の露光パターンにおける第２の電荷量とを取得する電荷量取得回路と、
    　前記光源の発光パターンと、前記第１の露光パターンと、前記第２の露光パターンとを制御するプロセッサとを備え、
    　前記プロセッサは、
    　　前記発光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素における、被写体までの距離を推定し、
    　　前記第１の露光パターンと、前記第２の露光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素におけるオプティカルフローを推定し、
    　　推定した前記距離と、推定した前記オプティカルフローとを出力する
    　３次元モーション取得装置。
  2. 　前記プロセッサは、前記電荷量取得回路の各画素における、露光期間又は露光感度を制御することで、前記第１の露光パターンの制御、及び前記第２の露光パターンの制御を行う
    　請求項１に記載の３次元モーション取得装置。
  3. 　前記電荷量取得回路は、さらに、各画素において、前記第１の露光パターンの露光期間と、前記第２の露光パターンの露光期間とに、少なくとも一部の露光期間が重なる第３の露光パターンにおける第３の電荷量を取得し、
    　前記第１の露光パターンでは、露光感度が、所定周期のサイン波で変化し、
    　前記第２の露光パターンでは、露光感度が、前記第１の露光パターンにおけるサイン波とは位相が異なる、前記所定周期のサイン波で変化し、
    　前記第３の露光パターンでは、露光感度が、矩形波で変化し、
    　前記プロセッサは、
    　　前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第３の電荷量にも基づいて前記距離の推定を行い、
    　　前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第３の電荷量にも基づいて前記オプティカルフローの推定を行う
    　請求項１又は２に記載の３次元モーション取得装置。
  4. 　前記発光パターンでは、発光量が、前記所定周期のサイン波で変化する
    　請求項３に記載の３次元モーション取得装置。
  5. 　前記第１の露光パターンでは、第１期間において、露光感度が、矩形波で変化し、前記第１期間を含まない第２期間において、露光感度が、所定周期のサイン波で変化し、
    　前記第２の露光パターンでは、第３期間において、露光感度が、矩形波で変化し、前記第３期間を含まない第４期間において、露光感度が、前記所定周期のサイン波で変化する
    　請求項１又は２に記載の３次元モーション取得装置。
  6. 　前記発光パターンでは、発光量が、矩形波で変化する
    　請求項５に記載の３次元モーション取得装置。
  7. 　前記画素は、一の開口内に複数のサブ画素を備え、
    　前記サブ画素は、半導体基板の主平面上方に積層された、第１電極と、当該第１電極よりも前記半導体基板から遠くに位置する第２電極と、前記第１電極及び前記第２電極の間に位置する光電変換部材とからなる光電変換部を備え、
    　前記電荷量取得回路は、さらに、各前記サブ画素における前記第１電極の電位を制御する電極制御回路を備える
    　請求項１～６のいずれか１項に記載の３次元モーション取得装置。
  8. 　前記電極制御回路は、各前記サブ画素における前記第１電極に、容量を介して電気的に接続される
    　請求項７に記載の３次元モーション取得装置。
  9. 　前記画素は、当該画素が備える複数の前記サブ画素によって共用される一のカラーフィルタを備える
    　請求項８に記載の３次元モーション取得装置。
  10. 　前記画素は、当該画素が備える複数の前記サブ画素によって共用される一のオンチップマイクロレンズを備える
    　請求項９に記載の３次元モーション取得装置。
  11. 　前記電極制御回路は、露光期間以外の期間である非露光期間に、各前記サブ画素における前記第１電極の電位を変更することで、各前記サブ画素における露光感度を変更する
    　請求項７～１０のいずれか１項に記載の３次元モーション取得装置。
  12. 　前記プロセッサは、前記第１の露光パターンと、前記第２の露光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量とに基づいて、互いに独立する２以上のオプティカルフロー拘束式を算出し、当該算出したオプティカルフロー拘束式を用いて、前記オプティカルフローの推定を行う
    　請求項１～１１のいずれか１項に記載の３次元モーション取得装置。
  13. 　前記発光パターンでは、前記第１の露光パターンの露光期間の少なくとも一部の期間と、前記第２の露光パターンの露光期間の露光期間の少なくとも一部の期間とに、前記光源の発光量が変化する
    　請求項１２に記載の３次元モーション取得装置。
  14. 　前記光源を前記発光パターンで発光させるための発光制御信号を前記光源に送信する送信部を備え、
    　前記光源は、前記送信部から送信された発光制御信号を受信し、当該受信した発光制御信号に基づいて、前記発光パターンで発光する
    　請求項１～１３のいずれか１項に記載の３次元モーション取得装置。
  15. 　光源と、複数の画素を含む電荷量取得回路と、プロセッサとを備える３次元モーション取得装置が行う３次元モーション取得方法であって、
    　前記プロセッサが、前記光源の発光パターンと、前記電荷量取得回路の各画素における、第１の露光パターンと、当該第１の露光パターンの露光期間に少なくとも一部の露光期間が重なる第２の露光パターンとを制御し、
    　前記電荷量取得回路が、各画素において、前記第１の露光パターンにおける第１の電荷量と、前記第２の露光パターンにおける第２の電荷量とを取得し、
    　前記プロセッサが、前記発光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量に基づいて、前記電荷量取得回路の各画素における、被写体までの距離を推定し、
    　前記プロセッサが、前記第１の露光パターンと、前記第２の露光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における、前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素におけるオプティカルフローを推定し、
    　前記プロセッサが、推定した前記距離と、推定した前記オプティカルフローとを出力する
    　３次元モーション取得方法。
  16. 　前記プロセッサは、前記電荷量取得回路の各画素における、露光期間又は露光感度を制御することで、前記第１の露光パターンの制御、及び前記第２の露光パターンの制御を行う
    　請求項１５に記載の３次元モーション取得方法。
  17. 　さらに、前記電荷量取得回路が、各画素において、前記第１の露光パターンの露光期間と、前記第２の露光パターンの露光期間とに、少なくとも一部の露光期間が重なる第３の露光パターンにおける第３の電荷量を取得し、
    　前記第１の露光パターンでは、露光感度が、所定周期のサイン波で変化し、
    　前記第２の露光パターンでは、露光感度が、前記第１の露光パターンにおけるサイン波とは位相が異なる、前記所定周期のサイン波で変化し、
    　前記第３の露光パターンでは、露光感度が、矩形波で変化し、
    　前記プロセッサは、
    　　前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第３の電荷量にも基づいて前記距離の推定を行い、
    　　前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第３の電荷量にも基づいて前記オプティカルフローの推定を行う
    　請求項１５又は１６に記載の３次元モーション取得方法。
  18. 　前記発光パターンでは、発光量が、前記所定周期のサイン波で変化する
    　請求項１７に記載の３次元モーション取得方法。
  19. 　前記第１の露光パターンでは、第１期間において、露光感度が、矩形波で変化し、前記第１期間を含まない第２期間において、露光感度が、所定周期のサイン波で変化し、
    　前記第２の露光パターンは、第３期間において、露光感度が、矩形波で変化し、前記第３期間を含まない第４期間において、露光感度が、前記所定周期のサイン波で変化する
    　請求項１５又は１６に記載の３次元モーション取得方法。
  20. 　前記発光パターンでは、発光量が、矩形波で変化する
    　請求項１９に記載の３次元モーション取得方法。
PCT/JP2018/000612 2017-02-06 2018-01-12 ３次元モーション取得装置、及び３次元モーション取得方法 WO2018142878A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18748002.5A EP3579021B1 (en) 2017-02-06 2018-01-12 Three-dimensional motion acquisition device and three-dimensional motion acquisition method
JP2018525626A JP6887126B2 (ja) 2017-02-06 2018-01-12 ３次元モーション取得装置、及び３次元モーション取得方法
CN201880000847.6A CN108700664A (zh) 2017-02-06 2018-01-12 三维运动取得装置及三维运动取得方法
US16/124,435 US10708511B2 (en) 2017-02-06 2018-09-07 Three-dimensional motion obtaining apparatus and three-dimensional motion obtaining method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762455012P 2017-02-06 2017-02-06
US62/455012 2017-02-06
JP2017-103588 2017-05-25
JP2017103588 2017-05-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/124,435 Continuation US10708511B2 (en) 2017-02-06 2018-09-07 Three-dimensional motion obtaining apparatus and three-dimensional motion obtaining method

Publications (1)

Publication Number Publication Date
WO2018142878A1 true WO2018142878A1 (ja) 2018-08-09

Family

ID=63039565

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/000612 WO2018142878A1 (ja) 2017-02-06 2018-01-12 ３次元モーション取得装置、及び３次元モーション取得方法

Country Status (3)

Country Link
US (1) US10708511B2 (ja)
CN (1) CN108700664A (ja)
WO (1) WO2018142878A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735711B2 (en) * 2017-05-05 2020-08-04 Motorola Mobility Llc Creating a three-dimensional image via a wide-angle camera sensor
IL274955B2 (en) * 2017-12-13 2024-05-01 Magic Leap Inc A general shutter pixel circuit and method for computer vision applications
CN108827461B (zh) * 2018-04-25 2019-05-03 上海芯仑光电科技有限公司 像素采集电路及光流传感器
CN112835016A (zh) * 2018-12-11 2021-05-25 锐驰智光(北京)科技有限公司 面阵激光雷达、激光器模块及探测器模块
CN111580117A (zh) * 2019-02-19 2020-08-25 光宝电子(广州)有限公司 飞时测距感测系统的控制方法
TWI724594B (zh) * 2019-10-29 2021-04-11 鑑微科技股份有限公司 三維形貌測量裝置
US11330246B2 (en) 2019-11-21 2022-05-10 Microsoft Technology Licensing, Llc Imaging system configured to use time-of-flight imaging and stereo imaging

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3758618B2 (ja) 2002-07-15 2006-03-22 松下電工株式会社 撮像素子を用いた測距装置および測距方法
JP2011027707A (ja) * 2009-06-25 2011-02-10 Sharp Corp 人物動作検出装置、遊具装置、人物動作検出方法、ゲーム方法、制御プログラムおよび可読記録媒体
JP2012238163A (ja) * 2011-05-11 2012-12-06 Toyota Motor Corp オプティカルフロー生成装置、生成方法、プログラム
WO2014132767A1 (ja) * 2013-02-28 2014-09-04 株式会社テクノロジーハブ 距離画像センサ
JP2017220926A (ja) * 2016-06-07 2017-12-14 パナソニックＩｐマネジメント株式会社 撮像装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6049385A (en) * 1996-06-05 2000-04-11 Minolta Co., Ltd. Three dimensional measurement system and pickup apparatus
JPH10222665A (ja) 1997-01-31 1998-08-21 Fujitsu Ten Ltd 画像認識装置
WO2004008175A1 (en) 2002-07-15 2004-01-22 Matsushita Electric Works, Ltd. Light receiving device with controllable sensitivity and spatial information detecting apparatus using the same
DE10312249A1 (de) * 2003-03-19 2004-09-30 Ibeo Automobile Sensor Gmbh Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
US8013900B2 (en) * 2003-12-11 2011-09-06 Advasense Technologies Ltd. Method and apparatus for camera shake compensation
JP4349232B2 (ja) 2004-07-30 2009-10-21 ソニー株式会社 半導体モジュール及びｍｏｓ型固体撮像装置
JP4325557B2 (ja) * 2005-01-04 2009-09-02 ソニー株式会社 撮像装置および撮像方法
JP5180501B2 (ja) 2007-03-23 2013-04-10 富士フイルム株式会社 測距装置及び測距方法
DE102008018718B4 (de) * 2008-04-14 2010-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optischer Abstandsmesser und Verfahren zur optischen Abstandsmessung
DE102009037596B4 (de) * 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur
JP2011114486A (ja) 2009-11-25 2011-06-09 Sanyo Electric Co Ltd 撮像装置
JP5569298B2 (ja) * 2010-09-28 2014-08-13 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5622648B2 (ja) * 2011-04-14 2014-11-12 日立オートモティブシステムズ株式会社 画像処理装置
TWI491949B (zh) * 2013-01-21 2015-07-11 Sintai Optical Shenzhen Co Ltd 變焦鏡頭
JP2014143498A (ja) * 2013-01-22 2014-08-07 Toshiba Corp 固体撮像装置
US20150002734A1 (en) * 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor
JP6521676B2 (ja) * 2015-03-09 2019-05-29 キヤノン株式会社 動き情報取得装置および動き情報取得方法
WO2016157600A1 (ja) * 2015-03-30 2016-10-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
EP3159711A1 (en) * 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3758618B2 (ja) 2002-07-15 2006-03-22 松下電工株式会社 撮像素子を用いた測距装置および測距方法
JP2011027707A (ja) * 2009-06-25 2011-02-10 Sharp Corp 人物動作検出装置、遊具装置、人物動作検出方法、ゲーム方法、制御プログラムおよび可読記録媒体
JP2012238163A (ja) * 2011-05-11 2012-12-06 Toyota Motor Corp オプティカルフロー生成装置、生成方法、プログラム
WO2014132767A1 (ja) * 2013-02-28 2014-09-04 株式会社テクノロジーハブ 距離画像センサ
JP2017220926A (ja) * 2016-06-07 2017-12-14 パナソニックＩｐマネジメント株式会社 撮像装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
B. D. LUCAS; T. KANADE: "An Iterative Image Registration Technique with Application to Stereo Vision", PROC. 7TH IJCAI, 1981, pages 674 - 679, XP001032964
See also references of EP3579021A4
SHIGERU ANDO; DABI WEI; PAUL MASUREL: "Optical Flow Detection via Complex-sinusoidally Modulated Imaging and Its Realization with Correlation Image Sensor", INFORMATION PROCESSING SOCIETY OF JAPAN, SPECIAL INTEREST GROUP TECHNICAL REPORT, COMPUTER VISION AND IMAGE MEDIA (CVIM, vol. 157, 2007, pages 77 - 84

Also Published As

Publication number Publication date
US20190007594A1 (en) 2019-01-03
US10708511B2 (en) 2020-07-07
CN108700664A (zh) 2018-10-23

Similar Documents

Publication Publication Date Title
WO2018142878A1 (ja) ３次元モーション取得装置、及び３次元モーション取得方法
US10690755B2 (en) Solid-state imaging device having increased distance measurement accuracy and increased distance measurement range
WO2017169754A1 (ja) 固体撮像装置、及び電子機器
KR101508410B1 (ko) 거리 화상 센서, 및 촬상 신호를 비행시간법에 의해 생성하는 방법
US10453879B2 (en) Solid-state imaging device, imaging system, and movable object
CN111466029A (zh) 用于计算机视觉应用的全局快门像素电路和方法
US20120188420A1 (en) Imaging systems with array cameras for depth sensing
US20140198183A1 (en) Sensing pixel and image sensor including same
WO2009147862A1 (ja) 撮像装置
US8462247B2 (en) Single gate pixel and operation method of single gate pixel
US20180167562A1 (en) Solid-state imaging device
CN111508981A (zh) 成像装置
CN108291969A (zh) 具有共享像素读出电路系统的成像传感器
KR20130137651A (ko) 동일 프레임에 동일한 감광면에서 게이트-제어된 광과 비-게이트-제어된 광을 캡처하기 위한 방법 및 시스템
JP6254048B2 (ja) 半導体装置
JP6975908B2 (ja) 撮像システム及び撮像方法
CN112888958A (zh) 测距装置、摄像头以及测距装置的驱动调整方法
JP6887126B2 (ja) ３次元モーション取得装置、及び３次元モーション取得方法
US20220321862A1 (en) Pixel structure, image sensor device and system with pixel structure, and method of operating the pixel structure
JP2015026677A (ja) 固体撮像装置
JP6420450B2 (ja) 半導体装置
KR20210064687A (ko) 이미지 센서
TWI837107B (zh) 像素結構、具像素結構之影像感測器裝置和系統、及操作該像素結構之方法
JP6700687B2 (ja) 光電変換デバイス、測距装置および情報処理システム
US20210333404A1 (en) Imaging system with time-of-flight sensing

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018525626

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18748002

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018748002

Country of ref document: EP