WO2017150391A1 - 撮像装置及び測距システム - Google Patents

撮像装置及び測距システム Download PDF

Info

Publication number
WO2017150391A1
WO2017150391A1 PCT/JP2017/007216 JP2017007216W WO2017150391A1 WO 2017150391 A1 WO2017150391 A1 WO 2017150391A1 JP 2017007216 W JP2017007216 W JP 2017007216W WO 2017150391 A1 WO2017150391 A1 WO 2017150391A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
electric field
electrode
pair
pixels
Prior art date
Application number
PCT/JP2017/007216
Other languages
English (en)
French (fr)
Inventor
邦彦 泉原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/747,229 priority Critical patent/US10690753B2/en
Priority to CN201780002501.5A priority patent/CN107851656B/zh
Publication of WO2017150391A1 publication Critical patent/WO2017150391A1/ja
Priority to US16/907,555 priority patent/US11480658B2/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • G01S7/4914Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Definitions

  • the present disclosure relates to an imaging apparatus and a ranging system.
  • Patent Document 1 describes a ToF sensor that generates an electric field using a pair of electrodes.
  • Patent Document 1 has a problem that power consumption increases when an electric field is generated using a pair of electrodes in each of a plurality of pixels included in the ToF sensor.
  • the electric field is biased, and it is difficult to generate the electric field uniformly in the pixel region.
  • a pair of electric field application electrodes and a pair of charge extraction electrodes provided in each of a plurality of pixels, and the pair of electric field application electrodes of the first pixel at the time of pixel combination.
  • a voltage is applied between one of the first electrodes and one second electrode of the pair of electric field application electrodes of the second pixel, and the first pixel and the second pixel.
  • a light projecting device that projects light toward an object
  • an imaging device that receives light reflected by the object
  • a control device that controls the light projecting device and the imaging device.
  • the imaging device includes a pair of electric field application electrodes and a pair of charge extraction electrodes provided in each of a plurality of pixels, and the pair of electric fields of the first pixel when the pixels are combined.
  • a voltage is applied between one first electrode of the application electrodes and one second electrode of the pair of electric field application electrodes of the second pixel, and the first pixel and the And a voltage application unit that generates an electric field so as to straddle the second pixel.
  • FIG. 1 is a schematic cross-sectional view illustrating a ToF sensor having a CAPD structure, which is an imaging apparatus 1000 according to an embodiment of the present disclosure. It is a schematic diagram which shows both the schematic sectional drawing shown in FIG. 1, and the top view which looked at the ToF sensor from the upper side. It is a top view which shows the example which couple
  • FIG. 6 is a plan view illustrating pixel combination according to an embodiment of the present disclosure. It is a top view which shows the variation of the arrangement
  • FIG. 10 is a schematic diagram illustrating an example in which a switch is provided to generate an oblique electric field similar to that in FIG. 9 when pixels are combined.
  • excitation is performed by applying voltage to a pair of electric field application electrodes in a plurality of pixel regions and taking out charges from the pair of charge extraction electrodes. A current value corresponding to the generated charge can be acquired. At this time, by performing pixel coupling, the number of electric field application electrodes for applying a voltage decreases, so that power consumption can be reduced.
  • FIG. 1 is a schematic cross-sectional view illustrating a ToF sensor 1000 having a CAPD structure, which is an imaging apparatus according to an embodiment of the present disclosure.
  • the base layer of the ToF sensor 1000 is composed of the silicon epitaxial layer 10.
  • the power supply 90 generates an electric field 105 for moving the electrons 70 excited by the light 60.
  • the power supply 100 generates a voltage for taking out the charges of the excited electrons.
  • the electrode Mix 0 is connected to the P-type diffusion layer 20
  • the electrode Mix 1 is connected to the P-type diffusion layer 30.
  • the electrode Collector 0 is connected to the N-type diffusion layer 40
  • the electrode Collector 1 is connected to the N-type diffusion layer 50.
  • FIG. 2 is a schematic diagram showing both the schematic cross-sectional view shown in FIG. 1 and the plan view of the ToF sensor 1000 viewed from above.
  • each of the P-type diffusion layer 20, the P-type diffusion layer 30, the N-type diffusion layer 40, and the N-type diffusion layer 50 has a rectangular planar shape.
  • the technique of increasing the light receiving sensitivity by virtually increasing the light receiving area per pixel by collectively handling a plurality of adjacent pixels in the pixel array of the image sensor is referred to as pixel combination or pixel binning.
  • the light receiving sensitivity can be increased by performing pixel combination, and the distance measuring accuracy can be improved. Specifically, by performing pixel coupling, the area to which the voltage V1 is applied by the power supply 90 is expanded, and the area where the electrons 70 excited by the light 60 are present increases, so that the light receiving sensitivity can be increased. it can.
  • FIG. 3 is a plan view showing an example in which two pixels are combined in a case where pixel combination is performed using CAPD pixels.
  • a virtually large pixel can be configured by connecting corresponding electrodes to the pixel 110 and the pixel 120 adjacent to the right. More specifically, the electrode Mix0 is connected to the P-type diffusion layers 20 of the pixels 110 and 120, and the electrode Mix1 is connected to the P-type diffusion layers 30 of the pixels 110 and 120.
  • the electrode Collector0 is connected to the N-type diffusion layers 40 of the pixels 110 and 120, and the electrode Collector1 is connected to the N-type diffusion layers 50 of the pixels 110 and 120.
  • the P-type diffusion layer 20 the P-type diffusion layer 30, the N-type diffusion layer 40, and the N-type diffusion layer 50 are connected in the pixels 110 and 120, two pixels are combined. Can do.
  • CAPD CAPD
  • the principle of CAPD is to move electrons excited by light by an electric field. For this reason, it is possible to combine pixels by applying a voltage to only one pixel of adjacent pixels using a method different from FIG. In FIG. 4, a voltage is applied to the P-type diffusion layers 20 and 30 of the pixel 110 in the adjacent pixels 110 and 120, and a voltage is applied to the P-type diffusion layers 20 and 30 of the pixel 130 in the adjacent pixels 130 and 140.
  • the pixel can be enlarged by applying a voltage only to the pixel on one side.
  • no voltage is applied to the P-type diffusion layer 20 and the P-type diffusion 30 in the adjacent pixel 120 and the pixel 140, but the P-type diffusion layer 20 and the P-type diffusion layer 30 of the pixel 130.
  • the electric field 105 generated by the voltage applied from the electric field 105 can collect charges in the range of the equivalent pixel region 210. If the vertical and horizontal pitches of the pixels are the same as those in FIG. 3, the equivalent pixel region 210 has the same area as the two pixels 110 and 120 connected by the pixel combination described in FIG. In FIG.
  • a voltage may be applied to the electrodes Mix0 and Mix1 of one pixel 130 in order to generate an electric field in the equivalent pixel area 210 corresponding to two pixels.
  • the power consumption of FIG. 3 is higher than that of FIG. Will increase. Therefore, according to the configuration shown in FIG. 4, the current paths of the electrodes Mix0 and Mix1 that generate an electric field to collect charges in the same pixel region as in FIG. 3 are reduced from two to one. Power consumption can be reduced compared to pixel combination.
  • FIG. 5 is a plan view illustrating pixel combination according to this embodiment.
  • a voltage is applied to the two P-type diffusion layers 20a and 30a that are located at the opposite corners of the pixel region and are the farthest away from each other.
  • the electric field 105 is generated in an oblique direction to accumulate charges. In this way, efficient integration of charges can be performed by increasing the distance between the pair of P-type diffusion layers 20a and P-type diffusion layers 30b and applying the electric field 105 over a wide range.
  • the pair of P-type diffusion layers 20a and P-type diffusion layers 30a may not be diagonally positioned, and may be any pair of P-type diffusion layers.
  • the voltage V1 is applied to the P-type diffusion layers 20 and 30 of one of the two adjacent pixels (pixel 110 and pixel 130).
  • the electric field 105 is not generated, the electric field 105 is biased in the pixel region, and the electric field 105 cannot be made uniform in the pixel region.
  • the distance between the P-type diffusion layer 20a and the P-type diffusion layer 30a can be increased, and the electric field 105 can be applied over a wide range. Can be reduced.
  • the electric field 105 can be generated uniformly in the pixel region, electrons excited in the region can be collected efficiently.
  • FIG. 6A to 6C are plan views showing variations of the pixel arrangement.
  • FIG. 6A shows an arrangement in which the arrangement of adjacent pixels is shifted by half a pixel in the vertical direction of the figure. According to the arrangement shown in FIG. 6A, the area of a region that can contribute to the collection of electric charges when the electric field 105 is generated can be increased. Further, according to the configuration shown in FIG. 6A, since the electric fields 105 of adjacent pixels are separated from each other, occurrence of crosstalk can be suppressed. Also in this case, the pixels may be vertically long, square or horizontally long.
  • FIG. 6B is a schematic diagram showing an example in which pixels are arranged in a grid pattern.
  • the electric field 105 of an arbitrary pixel repels the electric field 105 of an adjacent pixel and the electric field does not spread to the surroundings, the area of a region that can contribute to charge collection cannot be increased. Therefore, the region where the arrangement shown in FIG. 6A can contribute to charge collection can be expanded compared to the arrangement shown in FIG. 6B.
  • FIG. 6C is a schematic diagram illustrating a case where pixel combination is performed in the arrangement example of FIG. 6A. As shown in FIG. 6C, pixel coupling is possible by applying a voltage from the P-type diffusion layer 20 and the P-type diffusion layer 30 every other column.
  • FIG. 5 shows an example in which a region of 1 pixel in the vertical direction and a region of 2 pixels in the horizontal direction (1 ⁇ 2 pixel region) are combined
  • a pixel region composed of a plurality of arbitrary pixels can be combined.
  • FIG. 7 is a schematic diagram illustrating an example in which a region of 2 pixels in the vertical direction and a region of 2 pixels in the horizontal direction (2 ⁇ 2 pixel regions) are combined.
  • a voltage is applied between the P-type diffusion layer 20b of the pixel 110 and the P-type diffusion layer 30b of the pixel 140 shown in FIG.
  • FIG. 8 is a schematic diagram for explaining pixel driving.
  • a pixel that is driven by applying a voltage to the P-type diffusion layers 20 and 30 and a pixel that is not driven without applying a voltage to the P-type diffusion layers 20 and 30 are generated.
  • the ToF sensor 1000 is configured to have a feature for dividing the drive system into a plurality of parts.
  • the power source 90 a is connected to the P-type diffusion layer 20 and the P-type diffusion layer 30 of the pixels 110 and 130.
  • the power supply 90 b is connected to the P-type diffusion layer 20 and the P-type diffusion layer 30 of the pixels 120 and 140.
  • the voltage V1 is applied to the electrodes Mix0a and Mix1a connected to the P-type diffusion layers 20 and 30 of the pixels 110 and 130, respectively, by driving the power supply 90a.
  • the voltage V1 is applied to the electrodes Mix0b and Mix1a connected to the P-type diffusion layers 20 and 30 of the pixels 110 and 130, respectively, by driving the power supply 90a.
  • no voltage is applied to the electrodes Mix0b and Mix1b connected to the P-type diffusion layers 20 and 30 of the pixels 120 and 130, respectively.
  • an electric field 105 is generated between the P-type diffusion layer 20 and the P-type diffusion layer 30 of the pixel 110, and an electric field 105 is generated between the P-type diffusion layer 20 and the P-type diffusion layer 30 of the pixel 130.
  • the pixels are combined in the same manner as in FIG.
  • the voltage V1 is applied to the electrodes Mix0a and Mix1a by driving the power supply 90a, and the voltage V1 is also applied to the electrodes Mix0b and Mix1b by driving the power supply 90b. Apply. In this way, all the pixels can be driven by giving the same drive signal to all the pixels when all the pixels are driven without pixel combination.
  • the driven electrodes Mix0a and Mix1a are separated from the non-driven electrodes Mix0b and Mix1b, thereby setting a pixel that is driven by applying a voltage and a pixel that is not driven by not applying a voltage. Can do.
  • FIG. 9 is a schematic diagram for explaining pixel driving, and is a schematic diagram showing a configuration in the case of driving an electrode located at a diagonal of two adjacent pixels.
  • the electrode Mix0a of the power supply 90a is connected to the P-type diffusion layer 20c of each of the pixel 110 and the pixel 130.
  • the electrode Mix1a of the power supply 90a is connected to the P-type diffusion layer 30c of each of the pixel 120 and the pixel 140.
  • the electrode Mix0b of the power supply 90b is connected to the P-type diffusion layers 20 of the pixels 120 and 140, and the electrode Mix1b of the power supply 90b is connected to the P-type diffusion layers 30 of the pixels 110 and 130. Yes.
  • the voltage V1 is applied to the electrode Mix0a connected to the pixels 110 and 130 and the electrode Mix1a connected to the pixels 120 and 140 by driving the power supply 90a. Further, at the time of pixel combination, the voltage V1 is not applied to the electrode Mix0b connected to the pixels 120 and 140, the electrode Mix1b connected to the pixel 110, and the pixel 130 by not driving the power supply 90b. Therefore, at the time of pixel combination, as shown in FIG.
  • the voltage V1 is applied between the P-type diffusion layer 20c of the pixel 110 and the P-type diffusion layer 30c of the pixel 120, and the P-type diffusion layer 20c of the pixel 130 Since the voltage V ⁇ b> 1 is applied between the P-type diffusion layer 30 c of the pixel 140, an oblique electric field 105 can be generated in the two adjacent pixels 110 and 120, and the two adjacent pixels 130 and 140 can be generated. An oblique electric field 105 can be generated.
  • the power supply 90a and the power supply 90b are driven to apply the voltage V1 to the electrode Mix0a and the electrode Mix1a, and apply the voltage V1 to the electrode Mix1b. In this way, all the pixels can be driven by giving the same drive signal to all the pixels when all the pixels are driven without pixel combination.
  • FIG. 10 is a schematic diagram illustrating an example in which switches 160, 162, 164, and 166 are provided in order to generate an electric field 105 in an oblique direction similar to FIG.
  • the power supply 90 is driven with the switches 160, 162, 164, and 166 turned off, so that the P-type diffusion layer 20d of the pixel 110 and the P-type of the pixel 120 are driven.
  • the voltage V1 is applied to the diffusion layer 30d, the P-type diffusion layer 20d of the pixel 130, and the P-type diffusion layer 30d of the pixel 140d.
  • all the switches 160, 162, 164, and 166 are turned on, and the voltage V1 is applied from the power supply 90 to the P-type diffusion layer 20 and the P-type diffusion layer 30 of all pixels.
  • Pixel 110, pixel 120, pixel 130, and pixel 140 are all driven.
  • the switches 160, 162, 164, and 166 can be configured by, for example, field effect transistors (MOSFETs).
  • FIG. 11 is a schematic diagram illustrating a configuration of a ranging system 2000 including a ToF sensor 1000 as an imaging apparatus according to the present embodiment.
  • the ranging system 2000 includes a ToF sensor 1000, an infrared light projector 1100 that projects infrared light onto an object 1300, a ToF sensor 1000, and an infrared light projector 1100.
  • a control device 2000 for controlling. Infrared light 1110 is projected from the infrared light projector 1100 toward the object 1300, and the light 60 reflected from the object 1300 enters the ToF sensor 1000, whereby the light 60 is detected.
  • the control device 1200 synchronizes the infrared light projector 1100 and the imaging device 1000, and the time when the infrared light projector 1100 projects the infrared light 1110 and the time when the ToF sensor 1000 receives the light 60 are displayed. get. Then, the control device 1200 measures the distance to the object 130 based on the time (Time of Flight) from the time when the infrared light 1110 is projected to the time when the ToF sensor 1000 receives the light 60.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be any kind of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor).
  • FIG. 12 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 7610 as a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 13 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
  • FIG. 13 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto.
  • the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or a wireless LAN (Wi-Fi). (Also referred to as (registered trademark)) and other wireless communication protocols such as Bluetooth (registered trademark) may be implemented.
  • GSM Global System of Mobile communications
  • WiMAX Wireless LAN
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution-A
  • Wi-Fi wireless LAN
  • Bluetooth registered trademark
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point. May be.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile) via a connection terminal (and a cable if necessary). Wired connection such as High-definition Link) may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
  • In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • the distance measuring unit 2000 is configured, for example, as the imaging unit 7410 shown in FIG.
  • the vehicle outside information detection unit 7400 detects the distance to the object 130 outside the vehicle measured by the distance measuring unit 2000 as vehicle outside information.
  • the distance measuring unit 2000 is configured as a driver state detection unit 7510 shown in FIG. 12, for example.
  • the in-vehicle information detection unit 7500 detects the distance to the in-vehicle object 130 measured by the ranging unit 2000 as in-vehicle information.
  • An example of the in-vehicle object 130 is a driver (driver) such as an automobile.
  • the in-vehicle information detection unit 7500 can detect driver information.
  • a pair of electric field application electrodes and a pair of charge extraction electrodes provided in each of the plurality of pixels; At the time of pixel combination, one first electrode of the pair of electric field application electrodes of the first pixel and one second electrode of the pair of electric field application electrodes of the second pixel A voltage application unit that applies a voltage between the first pixel and the second pixel to generate an electric field across the first pixel and the second pixel;
  • An imaging apparatus comprising: (2) In each of the plurality of pixels, the pair of electric field applying electrodes are arranged apart from each other in the first direction, The first pixel and the second pixel are arranged adjacent to each other in a second direction orthogonal to the first direction, The imaging device according to (1), wherein the first electrode and the second electrode are located in a diagonal direction of a region including the first pixel and the second pixel.
  • the first pixel and the second pixel are included in four pixels arranged in a region of two vertical pixels and two horizontal pixels, The first pixel and the second pixel are located in a diagonal direction of the four-pixel region; The first electrode and the second electrode are arranged in the diagonal direction of the region of the four pixels among the pair of electric field applying electrodes included in each of the first pixel and the second pixel.
  • the imaging device according to (1) wherein the imaging device is a distant electrode.
  • the voltage application unit applies a voltage that is inverted at a predetermined frequency between the first electrode and the second electrode.
  • the imaging device further including a second voltage application unit that applies a voltage to the other fourth electrode.
  • the voltage application unit includes a power source that applies a voltage between the pair of electric field application electrodes of the plurality of pixels at the time of all-pixel driving without performing pixel combination;
  • the switch according to (4) further including: a switch that separates a part of the connection between the power source and the pair of electric field application electrodes at the time of pixel combination and applies a voltage between the first electrode and the second electrode.
  • the imaging device according to any one of (6) to (6).
  • a light projecting device that projects light toward an object;
  • An imaging device that receives light reflected by the object;
  • a control device for controlling the light projecting device and the imaging device,
  • the imaging device A pair of electric field application electrodes and a pair of charge extraction electrodes provided in each of the plurality of pixels;
  • At the time of pixel combination one first electrode of the pair of electric field application electrodes of the first pixel and one second electrode of the pair of electric field application electrodes of the second pixel
  • a voltage application unit that applies a voltage between the first pixel and the second pixel to generate an electric field across the first pixel and the second pixel;
  • a ranging system comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】複数の画素の一部のみで電界を生成する間引き処理を行う際に、電界を均一に生じさせる。 【解決手段】複数の画素のそれぞれに設けられた1対の電界印加用電極及び1対の電荷取出用電極と、画素結合時に、第1の画素の前記1対の電界印加用電極のうちの一方の第1電極と、第2の画素の前記一対の電界印加用電極のうちの一方の第2電極との間に電圧を印加し、前記第1の画素と前記第2の画素を跨ぐように電界を生じさせる電圧印加部と、を備える、撮像装置が提供される。

Description

撮像装置及び測距システム
 本開示は、撮像装置及び測距システムに関する。
 近時においては、対象物までの距離を測定するセンサーとして、ToF(Time Of Flight)センサー等が用いられている。例えば下記の特許文献1には、1対の電極を用いて電界を生成するToFセンサーが記載されている。
特開2011-86904号公報
 しかしながら、特許文献1に記載された技術では、ToFセンサーが備える複数の画素のそれぞれにおいて、1対の電極を用いて電界を生成すると、消費電力が増大する問題がある。これに対し、複数の画素の一部のみで電界を生成する間引き処理を行うと、電界に偏りが生じ、画素領域内で電界を均一に生成することは困難である。
 そこで、複数の画素の一部のみで電界を生成する間引き処理を行う際に、電界を均一に生じさせることが求められていた。
 本開示によれば、複数の画素のそれぞれに設けられた1対の電界印加用電極及び1対の電荷取出用電極と、画素結合時に、第1の画素の前記1対の電界印加用電極のうちの一方の第1電極と、第2の画素の前記1対の電界印加用電極のうちの一方の第2電極との間に電圧を印加し、前記第1の画素と前記第2の画素を跨ぐように電界を生じさせる電圧印加部と、を備える、撮像装置が提供される。
 また、本開示によれば、光を対象物に向けて投光する投光装置と、前記対象物で反射した光を受光する撮像装置と、前記投光装置及び前記撮像装置を制御する制御装置と、を備え、前記撮像装置は、複数の画素のそれぞれに設けられた1対の電界印加用電極及び1対の電荷取出用電極と、画素結合時に、第1の画素の前記1対の電界印加用電極のうちの一方の第1電極と、第2の画素の前記1対の電界印加用電極のうちの一方の第2電極との間に電圧を印加し、前記第1の画素と前記第2の画素を跨ぐように電界を生じさせる電圧印加部と、を備える、測距システムが提供される。
 本開示によれば、複数の画素の一部のみで電界を生成する間引き処理を行う際に、電界を均一に生じさせることが可能となる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る撮像装置1000であって、CAPD構造のToFセンサーを示す概略断面図である。 図1に示した概略断面図と、上側からToFセンサーを見た平面図を共に示す模式図である。 CAPD画素で画素結合を行う場合について、2画素を結合する例を示す平面図である。 隣接する2つの画素のうちの一方の画素のP型拡散層に電圧を印加した例を示す平面図である。 本開示の一実施形態に係る画素結合を示す平面図である。 画素の配列のバリエーションを示す平面図である。 画素の配列のバリエーションを示す平面図である。 画素の配列のバリエーションを示す平面図である。 縦方向に2画素、横方向に2画素の領域(2×2の画素領域)を画素結合した例を示す模式図である。 画素の駆動を説明するための模式図である。 画素の駆動を説明するための模式図であって、隣接する2つの画素の対角に位置する電極を駆動する場合の構成を示す模式図である。 画素結合時に図9と同様の斜め方向の電界を生じさせるためにスイッチを設けた例を示す模式図である。 本実施形態に係る撮像装置を含む測距システムの構成を示す模式図である。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 撮像部及び車外情報検出部の設置位置の例を示す模式図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.前提となる技術
 2.本実施形態に係る画素結合の例
 3.画素の駆動について
 4.本実施形態に係る測距システムの構成例
 5.応用例
 1.前提となる技術
 CAPD構造のToFセンサーにおいて画素結合を行う場合、複数の画素領域内の一対の電界印可用電極に電圧を印可し、一対の電荷取出用電極から電荷を取り出すことで、光により励起された電荷に応じた電流値を取得することができる。この際、画素結合を行うことで、電圧を印可する電界印可用電極が減少するため、消費電力を削減することができる。
 図1は、本開示の一実施形態に係る撮像装置であって、CAPD構造のToFセンサー1000を示す概略断面図である。ToFセンサー1000のベースとなる層は、シリコンのエピタキシャル層10から構成されている。図1に示すように、ToFセンサー1000に光60が入射すると電子70が励起される。電源90は、光60により励起された電子70を移動させるための電界105を生じさせる。また、電源100は、励起した電子の電荷を取り出すための電圧を発生させる。電源90の両端の2つの電極のうち、電極Mix0はP型拡散層20に接続され、電極Mix1はP型拡散層30に接続されている。また、電源100の両端の2つの電極のうち、電極Collector0はN型拡散層40に接続され、電極Collector1はN型拡散層50に接続されている。
 電源90により電圧V1を印加することで、エピタキシャル層10に電界105が発生し、電子70が電界105により電極Collector0および電極Mix0の近傍に移動する。電極Collector0および電極Mix0の近傍に移動した電子80は、電源100により電圧V2が印加されたN型拡散層40に引き込まれ、電流I0が発生する。電源90の極性を周波数f(Hz)で交互に入れ替えることで、測距に必要な復調効果を得ることができる。図1の状態から電源90の極性が反転すると、電子70が電界105により電極Collector1および電極Mix1の近傍に移動する。電極Collector1および電極Mix1の近傍に移動した電子は、電源100により電圧V2が印加されたN型拡散層50に引き込まれ、電流I1が発生する。
 図2は、図1に示した概略断面図と、上側からToFセンサー1000を見た平面図を共に示す模式図である。図2に示すように、一例として、P型拡散層20、P型拡散層30、N型拡散層40、N型拡散層50は、いずれも矩形の平面形状をしている。
 イメージセンサーの画素アレイのうち、隣り合う複数の画素をまとめて扱うことにより、1画素あたりの受光面積を仮想的に大きくして受光感度を上げる技術を、画素結合またはピクセルビニングと称する。ToFセンサー1000を用いた測距システムにおいても、画素結合を行うことで受光感度を上げることができ、測距精度を向上させることができる。具体的には、画素結合を行うことで、電源90により電圧V1を印加された領域が拡大し、光60により励起される電子70が存在する面積が増加するため、受光感度を増大することができる。
 従って、ToFセンサー1000を用いたシステムでは、対象物に赤外光などの光を投光し、対象物から光を受光して、位相差により対象物までの距離を測定する。この際、画素結合を行うことでより多くの電荷を効率良く集めることができる。
 図3は、CAPD画素で画素結合を行う場合について、2画素を結合する例を示す平面図である。図3では、画素110とその右に隣接する画素120をそれぞれ対応する電極を接続することで、仮想的に大きな画素を構成することができる。より詳細には、電極Mix0は画素110、画素120のそれぞれのP型拡散層20に接続され、電極Mix1は画素110、画素120のそれぞれのP型拡散層30に接続されている。また、電極Collector0は画素110、画素120のそれぞれのN型拡散層40に接続され、電極Collector1は画素110、画素120のそれぞれのN型拡散層50に接続されている。図3に示す構成によれば、画素110と画素120でP型拡散層20、P型拡散層30、N型拡散層40、N型拡散層50が連結されるため、2画素を結合することができる。
 また、CAPDの原理は、光により励起された電子を電界によって移動させるものである。このため、図3とは異なり手法を用い、隣接する画素において片側の画素のみに電圧を印加することで、画素を結合することができる。図4は、隣接する画素110、画素120において画素110のP型拡散層20,30に電圧を印加し、隣接する画素130、画素140において画素130のP型拡散層20,30に電圧を印加した例を示す平面図である。
 図4に示したように、片側の画素のみに電圧を印加することで画素を拡大することができる。この場合、画素130に着目すると、隣接する画素120および画素140ではP型拡散層20、P型拡散30に電圧が印可されていないが、画素130のP型拡散層20、P型拡散層30から印可した電圧により発生する電界105により、等価的画素領域210の範囲の電荷を集めることができる。画素の縦横のピッチを図3と同様にすれば、等価的画素領域210は、図3で説明した画素結合により結合された2つの画素110及び画素120と面積が同じである。図4では、2つの画素に相当する等価的画素領域210に電界を生じさせるために、1つの画素130の電極Mix0、Mix1に電圧を印加すれば良い。一方、図3では、2つの画素に相当する領域に電界を生じさせるために2つの画素110,120の電極Mix0、Mix1に電圧を印加するため、図4に比べて図3の方が消費電力は増加する。従って、図4に示す構成によれば、図3と同じ画素領域の電荷を集めるために電界を生じさせる電極Mix0、Mix1の電流の経路が2つから1つに減ることになり、図3による画素結合より消費電力を低下することができる。
 図4において、P型拡散層20,30に電圧を印加しない画素120、画素140については、N型拡散層40,50には電圧を印加しなくても良い。一方、画素120、画素140のN型拡散層40,50に任意の電位を与えてもよい。例えば、画素120、画素140のN型拡散層40,50にエピタキシャル層10と同じ電位を与えると、画素110,130のN型拡散層40,50に励起された電子70が電界105によって集まりやすくなる。なお、図4では、縦長の画素を例に挙げて説明したが、正方形の画素又は横長の画素であっても良い。
 一方、画素結合を行わずに全ての画素110、画素120、画素130、画素140のP型拡散層20、P型拡散層30に電圧を印加する場合、消費電力は増加するが、解像度を高めることができる。従って、解像度が必要な場合は全画素を駆動し、受光感度を上げる場合は画素結合を行うことが望ましい。全画素を駆動するか、画素結合を行うかは、ToFセンサー1000の使用環境、もしくは光を投光する対象物の状況又は性質等により決定することができる。
 2.本実施形態に係る画素結合の例
 図5は、本実施形態に係る画素結合を示す平面図である。図5では、結合する画素110及び画素120において、画素領域の対角に位置する最も距離が離れた2つのP型拡散層20a及びP型拡散層30aに電圧を印可し、画素の配列方向に対して斜め方向に電界105を発生させて電荷を集積する。このように、1対のP型拡散層20aとP型拡散層30bとの間の距離を長くとり、広い範囲に電界105を与えることで、効率のよい電荷の集積を行うことができる。一対のP型拡散層20a、P型拡散層30aは対角に位置していなくても良く、任意の一対のP型拡散層であってもよい。
 図4に示した構成では、隣接する2つの画素のうちの一方の画素(画素110及び画素130)のP型拡散層20,30に電圧V1を印加するため、P型拡散層20,30に電圧V1が印加されない画素120及び画素140では電界105が生じず、画素領域内で電界105に偏りが生じ、画素領域内で電界105を均一にすることができない。一方、図5に示す本実施形態では、P型拡散層20aとP型拡散層30aとの間の距離を長くとり、広い範囲に電界105を与えることができるため、抵抗値が大きくなり消費電力を少なくすることができる。さらに、画素領域内で均一に電界105を生じさせることができるので、領域内で励起された電子を効率よく収集できる。
 図6A~図6Cは、画素の配列のバリエーションを示す平面図である。図6Aは、隣接画素の配列を図の縦方向に半画素分だけずらした配列を示している。図6Aに示す配列によれば、電界105を生じさせた際に電荷の収集に貢献できる領域の面積を増大することができる。また、図6Aに示す構成によれば、隣接画素の電界105同士が離れているためクロストークの発生を抑えることができる。この場合も画素は縦長でも正方形でも横長であってもよい。
 図6Bは、画素を碁盤目状の配列にした例を示す模式図である。図6Bに示す構成によれば、任意の画素の電界105は隣接画素の電界105と反発し合い、電界が周囲に広がらないため、電荷の収集に貢献できる領域の面積を拡大することはできない。従って、図6Bに示す配列よりも図6Aに示す配列の方が電荷の収集に貢献できる領域を拡大することができる。
 図6Cは、図6Aの配置例で画素結合を行った場合を示す模式図である。図6Cに示すように、1列置きにP型拡散層20、P型拡散層30から電圧を印可することで、画素結合が可能となる。
 図5では、縦方向に1画素、横方向に2画素の領域(1×2の画素領域)を画素結合した例を示したが、任意の複数の画素からなる画素領域を結合することもできる。図7は、縦方向に2画素、横方向に2画素の領域(2×2の画素領域)を画素結合した例を示す模式図である。この場合、図7に示す画素110のP型拡散層20bと画素140のP型拡散層30bとの間に電圧を印加し、電界105を生じさせる。これにより、縦2画素、横2画素の4画素の領域を画素結合することができる。
 3.画素の駆動について
 図8は、画素の駆動を説明するための模式図である。画素結合時には、P型拡散層20,30に電圧を印加して駆動する画素と、P型拡散層20,30に電圧を印加せずに駆動しない画素が生じる。このため、ToFセンサー1000は、駆動系を複数に分けるための特徴を有する構成となる。図8に示すように、電源90aは、画素110,130のP型拡散層20、P型拡散層30と接続されている。一方、電源90bは、画素120,140のP型拡散層20、P型拡散層30と接続されている。画素結合時には、電源90aを駆動することで、画素110,130のP型拡散層20,30とそれぞれ接続された電極Mix0a,Mix1aには電圧V1を印加する。一方、電源90bを駆動しないことで、画素120,130のP型拡散層20,30とそれぞれ接続された電極Mix0b,Mix1bには電圧を印加しない。これにより、画素110のP型拡散層20とP型拡散層30との間に電界105が生じ、また、画素130のP型拡散層20とP型拡散層30との間に電界105が生じ、図4と同様に画素が結合される。
 また、図8において、画素結合を行わない場合は、電源90aを駆動することで電極Mix0a,Mix1aには電圧V1を印加し、且つ、電源90bを駆動することで電極Mix0b,Mix1bにも電圧V1を印加する。このように、画素結合を行わない全画素駆動時には同じ駆動信号を全画素に与えることで、全画素を駆動することができる。
 以上のように、画素結合時には、駆動する電極Mix0a,Mix1aと駆動しない電極Mix0b,Mix1bを分けることで、電圧を印加して駆動する画素と、電圧を印加しないことによって駆動しない画素を設定することができる。
 図9は、画素の駆動を説明するための模式図であって、隣接する2つの画素の対角に位置する電極を駆動する場合の構成を示す模式図である。図9に示すように、電源90aの電極Mix0aは、画素110と画素130のそれぞれのP型拡散層20cと接続されている。また、電源90aの電極Mix1aは、画素120と画素140のそれぞれのP型拡散層30cと接続されている。また、電源90bの電極Mix0bは、画素120、画素140のそれぞれのP型拡散層20と接続され、電源90bの電極Mix1bは、画素110と画素130のそれぞれのP型拡散層30と接続されている。画素結合時には、電源90aを駆動することで、画素110,130と接続された電極Mix0a、及び画素120,140と接続された電極Mix1aに電圧V1を印加する。また、画素結合時には、電源90bを駆動しないことで、画素120,140と接続された電極Mix0b、画素110、画素130と接続された電極Mix1bには電圧V1が印加されない。従って、画素結合時には、図9中に示すように、画素110のP型拡散層20cと画素120のP型拡散層30cとの間に電圧V1が印加され、画素130のP型拡散層20cと画素140のP型拡散層30cとの間に電圧V1が印加されるため、隣接する2つの画素110,120に斜め方向の電界105を生じさせることができ、隣接する2つの画素130,140に斜め方向の電界105を生じさせることができる。
 また、図9において、画素結合を行わない場合は、電源90aと電源90bを共に駆動することで、電極Mix0a、電極Mix1aには電圧V1を印加し、電極Mix1bにも電圧V1を印加する。このように、画素結合を行わない全画素駆動時には同じ駆動信号を全画素に与えることで、全画素を駆動することができる。
 図10は、電極Mix0を画素110、画素120、画素130、画素140のP型拡散層20と接続し、電極Mix1を画素110、画素120、画素130、画素140のP型拡散層30と接続し、画素結合時に図9と同様の斜め方向の電界105を生じさせるためにスイッチ160,162,164,166を設けた例を示す模式図である。画素結合を行う場合は、図10に示すように、スイッチ160,162,164,166をオフにした状態で電源90を駆動することで、画素110のP型拡散層20d、画素120のP型拡散層30d、画素130のP型拡散層20d、画素140dのP型拡散層30dに電圧V1が印加される。また、画素結合を行わない場合は、全てのスイッチ160,162,164,166がオンとされ、電源90から全画素のP型拡散層20、P型拡散層30に電圧V1を印加することで、画素110、画素120、画素130、画素140の全てが駆動される。なお、スイッチ160,162,164,166は、例えば電界効果型トランジスタ(MOSFET)等により構成することができる。
 4.本実施形態に係る測距システムの構成例
 図11は、本実施形態に係る撮像装置としてのToFセンサー1000を含む測距システム2000の構成を示す模式図である。図11に示すように、測距システム2000は、ToFセンサー1000と、対象物1300に赤外光を投光する赤外光投光装置1100と、ToFセンサー1000及び赤外光投光装置1100を制御する制御装置2000とを有して構成される。赤外光投光装置1100から対象物1300に向けて赤外光1110が投光され、対象物1300から反射した光60がToFセンサー1000に入射することで、光60が検出される。制御装置1200は、赤外光投光装置1100と撮像装置1000を同期させ、赤外光投光装置1100が赤外光1110を投光した時刻と、ToFセンサー1000が光60を受光した時刻を取得する。そして、制御装置1200は、赤外光1110を投光した時刻からToFセンサー1000が光60を受光した時刻までの時間(Time of Flight)に基づいて対象物130までの距離を測定する。
 5.応用例
 本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図12は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図12に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
 各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図12では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
 駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
 駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
 ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
 車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
 環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
 ここで、図13は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図13には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
 車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
 図12に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
 また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
 車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
 統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
 記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
 汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
 専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
 測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
 ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
 車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
 車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
 統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
 マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
 音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図12の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
 なお、図12に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
 なお、本実施形態に係る測距ユニット2000は、例えば図12に示した撮像部7410として構成される。車外情報検出ユニット7400は、測距ユニット2000が測定した車外の対象物130までの距離を車外情報として検出する。
 また、本実施形態に係る測距ユニット2000は、例えば図12に示した運転者状態検出部7510として構成される。車内情報検出ユニット7500は、測距ユニット2000が測定した車内の対象物130までの距離を車内情報として検出する。車内の対象物130として、例えば自動車などの運転者(ドライバー)が挙げられ、この場合、車内情報検出ユニット7500はドライバーの情報を検出することができる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1) 複数の画素のそれぞれに設けられた1対の電界印加用電極及び1対の電荷取出用電極と、
 画素結合時に、第1の画素の前記1対の電界印加用電極のうちの一方の第1電極と、第2の画素の前記1対の電界印加用電極のうちの一方の第2電極との間に電圧を印加し、前記第1の画素と前記第2の画素を跨ぐように電界を生じさせる電圧印加部と、
 を備える、撮像装置。
(2) 前記複数の画素のそれぞれにおいて、前記1対の電界印加用電極は第1の方向に離間して配置され、
 前記第1の画素と前記第2の画素は前記第1の方向と直交する第2の方向に隣り合って配置され、
 前記第1電極と前記第2電極は前記第1の画素と前記第2の画素を含む領域の対角方向に位置する、前記(1)に記載の撮像装置。
(3) 前記第1の画素及び前記第2の画素は、縦2画素、横2画素の領域に配置された4画素に含まれ、
 前記第1の画素と前記第2の画素は前記4画素の領域の対角の方向に位置し、
 前記第1電極と前記第2電極は、前記第1の画素及び前記第2の画素のそれぞれに含まれる前記1対の電界印加用電極のうち、前記4画素の領域の対角の方向に最も離れた電極である、前記(1)に記載の撮像装置。
(4) 前記電圧印加部は、前記第1電極と前記第2電極との間に所定の周波数で反転する電圧を印加する、前記(1)~(3)のいずれかに記載の撮像装置。
(5) 画素結合を行わない場合に、前記第1の画素の前記1対の電界印加用電極のうちの他方の第3電極と、前記第2の画素の前記1対の電界印加用電極のうちの他方の第4電極に電圧を印加する第2の電圧印加部を備える、前記(4)に記載の撮像装置。
(6) 前記電圧印加部は、画素結合を行わない全画素駆動時に、前記複数の画素の前記1対の電界印加用電極の間に電圧を印加する電源と、
 画素結合時に前記電源と前記一対の電界印加用電極との接続の一部を分離して前記第1電極及び前記第2電極間に電圧を印加するスイッチと、を含む、前記(4)に記載の撮像装置。
(7) 受光した光により励起された電荷を、前記1対の電界印加用電極に印加された電圧により移動させ、前記1対の電荷取出用電極に印加された電圧により取り出す、前記(1)~(6)のいずれかに記載の撮像装置。
(8) 光を対象物に向けて投光する投光装置と、
 前記対象物で反射した光を受光する撮像装置と、
 前記投光装置及び前記撮像装置を制御する制御装置と、を備え、
 前記撮像装置は、
 複数の画素のそれぞれに設けられた1対の電界印加用電極及び1対の電荷取出用電極と、
 画素結合時に、第1の画素の前記1対の電界印加用電極のうちの一方の第1電極と、第2の画素の前記1対の電界印加用電極のうちの一方の第2電極との間に電圧を印加し、前記第1の画素と前記第2の画素を跨ぐように電界を生じさせる電圧印加部と、
 を備える、測距システム。
 20,30  P型拡散層
 40,50  N型拡散層
 90,90a,90b  電源
 110,120,130,140  画素
 160,162,164,166  スイッチ
 1000  撮像装置
 1100  赤外光投光装置
 1200  制御装置
 2000  測距システム

Claims (8)

  1.  複数の画素のそれぞれに設けられた1対の電界印加用電極及び1対の電荷取出用電極と、
     画素結合時に、第1の画素の前記1対の電界印加用電極のうちの一方の第1電極と、第2の画素の前記1対の電界印加用電極のうちの一方の第2電極との間に電圧を印加し、前記第1の画素と前記第2の画素を跨ぐように電界を生じさせる電圧印加部と、
     を備える、撮像装置。
  2.  前記複数の画素のそれぞれにおいて、前記1対の電界印加用電極は第1の方向に離間して配置され、
     前記第1の画素と前記第2の画素は前記第1の方向と直交する第2の方向に隣り合って配置され、
     前記第1電極と前記第2電極は前記第1の画素と前記第2の画素を含む領域の対角方向に位置する、請求項1に記載の撮像装置。
  3.  前記第1の画素及び前記第2の画素は、縦2画素、横2画素の領域に配置された4画素に含まれ、
     前記第1の画素と前記第2の画素は前記4画素の領域の対角の方向に位置し、
     前記第1電極と前記第2電極は、前記第1の画素及び前記第2の画素のそれぞれに含まれる前記1対の電界印加用電極のうち、前記4画素の領域の対角の方向に最も離れた電極である、請求項1に記載の撮像装置。
  4.  前記電圧印加部は、前記第1電極と前記第2電極との間に所定の周波数で反転する電圧を印加する、請求項1に記載の撮像装置。
  5.  画素結合を行わない場合に、前記第1の画素の前記1対の電界印加用電極のうちの他方の第3電極と、前記第2の画素の前記1対の電界印加用電極のうちの他方の第4電極に電圧を印加する第2の電圧印加部を備える、請求項4に記載の撮像装置。
  6.  前記電圧印加部は、画素結合を行わない全画素駆動時に、前記複数の画素の前記1対の電界印加用電極の間に電圧を印加する電源と、
     画素結合時に前記電源と前記1対の電界印加用電極との接続の一部を分離して前記第1電極及び前記第2電極間に電圧を印加するスイッチと、を含む、請求項4に記載の撮像装置。
  7.  受光した光により励起された電荷を、前記1対の電界印加用電極に印加された電圧により移動させ、前記1対の電荷取出用電極に印加された電圧により取り出す、請求項1に記載の撮像装置。
  8.  光を対象物に向けて投光する投光装置と、
     前記対象物で反射した光を受光する撮像装置と、
     前記投光装置及び前記撮像装置を制御する制御装置と、を備え、
     前記撮像装置は、
     複数の画素のそれぞれに設けられた1対の電界印加用電極及び1対の電荷取出用電極と、
     画素結合時に、第1の画素の前記1対の電界印加用電極のうちの一方の第1電極と、第2の画素の前記1対の電界印加用電極のうちの一方の第2電極との間に電圧を印加し、前記第1の画素と前記第2の画素を跨ぐように電界を生じさせる電圧印加部と、
     を備える、測距システム。
PCT/JP2017/007216 2016-03-04 2017-02-24 撮像装置及び測距システム WO2017150391A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/747,229 US10690753B2 (en) 2016-03-04 2017-02-24 Imaging apparatus and distance measurement system
CN201780002501.5A CN107851656B (zh) 2016-03-04 2017-02-24 摄像装置和测距系统
US16/907,555 US11480658B2 (en) 2016-03-04 2020-06-22 Imaging apparatus and distance measurement system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662303506P 2016-03-04 2016-03-04
US62/303,506 2016-03-04

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/747,229 A-371-Of-International US10690753B2 (en) 2016-03-04 2017-02-24 Imaging apparatus and distance measurement system
US16/907,555 Continuation US11480658B2 (en) 2016-03-04 2020-06-22 Imaging apparatus and distance measurement system

Publications (1)

Publication Number Publication Date
WO2017150391A1 true WO2017150391A1 (ja) 2017-09-08

Family

ID=59743793

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/007216 WO2017150391A1 (ja) 2016-03-04 2017-02-24 撮像装置及び測距システム

Country Status (3)

Country Link
US (2) US10690753B2 (ja)
CN (1) CN107851656B (ja)
WO (1) WO2017150391A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019035369A1 (ja) * 2017-08-15 2019-02-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその駆動方法
WO2019044569A1 (ja) * 2017-08-30 2019-03-07 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像装置
WO2019065291A1 (ja) * 2017-09-28 2019-04-04 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像装置
JPWO2020017342A1 (ja) * 2018-07-18 2021-08-12 ソニーセミコンダクタソリューションズ株式会社 受光素子および測距モジュール
WO2021186958A1 (ja) * 2020-03-17 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 受光素子および制御方法
JP7426347B2 (ja) 2019-02-01 2024-02-01 ソニーセミコンダクタソリューションズ株式会社 受光素子、固体撮像装置及び測距装置
US12123974B2 (en) 2018-07-18 2024-10-22 Sony Semiconductor Solutions Corporation Light-receiving element and distance-measuring module

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107851656B (zh) 2016-03-04 2022-12-16 索尼公司 摄像装置和测距系统
US11506766B2 (en) * 2017-07-27 2022-11-22 Maxell, Ltd. Image-capturing device, image-capturing apparatus and method of acquiring distance image
EP3518418A1 (en) * 2018-01-30 2019-07-31 Vrije Universiteit Brussel Electronic mixer
KR102709669B1 (ko) * 2019-07-01 2024-09-26 에스케이하이닉스 주식회사 픽셀 및 이를 포함하는 이미지 센서
KR20220043463A (ko) 2020-09-29 2022-04-05 에스케이하이닉스 주식회사 이미지 센싱 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050051730A1 (en) * 2003-09-02 2005-03-10 Maarten Kuijk Detector for electromagnetic radiation assisted by majority current
US20110063614A1 (en) * 2008-01-17 2011-03-17 Vrije Universiteit Brussel Photospectrometer
JP2011086904A (ja) * 2009-10-14 2011-04-28 Optrima Nv フォトニックミキサ、その使用およびシステム
JP2015510259A (ja) * 2013-01-10 2015-04-02 ソフトキネティック センサー エヌブイ カラー不可視光センサ、例えば、irセンサ、すなわち、マルチスペクトルセンサ
WO2015104307A1 (en) * 2014-01-13 2015-07-16 Softkinetic Sensors Nv A method for driving a time-of-flight system
WO2015197685A1 (en) * 2014-06-27 2015-12-30 Softkinetic Sensors Nv Majority current assisted radiation detector device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101448152B1 (ko) * 2008-03-26 2014-10-07 삼성전자주식회사 수직 포토게이트를 구비한 거리측정 센서 및 그를 구비한입체 컬러 이미지 센서
WO2011068106A1 (en) * 2009-12-04 2011-06-09 Semiconductor Energy Laboratory Co., Ltd. Display device and electronic device including the same
JP5616099B2 (ja) * 2010-04-01 2014-10-29 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
JP5467388B2 (ja) * 2010-04-06 2014-04-09 ソニー株式会社 照明装置および表示装置
US9214492B2 (en) * 2012-01-10 2015-12-15 Softkinetic Sensors N.V. Multispectral sensor
US9516248B2 (en) * 2013-03-15 2016-12-06 Microsoft Technology Licensing, Llc Photosensor having enhanced sensitivity
JP5874670B2 (ja) * 2013-03-28 2016-03-02 ソニー株式会社 撮像装置および撮像表示システム
KR102252336B1 (ko) * 2013-06-13 2021-05-14 바스프 에스이 광학 검출기 및 그의 제조 방법
JP6476138B2 (ja) * 2014-02-07 2019-02-27 国立大学法人静岡大学 電荷変調素子及び固体撮像装置
CN107851656B (zh) 2016-03-04 2022-12-16 索尼公司 摄像装置和测距系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050051730A1 (en) * 2003-09-02 2005-03-10 Maarten Kuijk Detector for electromagnetic radiation assisted by majority current
US20110063614A1 (en) * 2008-01-17 2011-03-17 Vrije Universiteit Brussel Photospectrometer
JP2011086904A (ja) * 2009-10-14 2011-04-28 Optrima Nv フォトニックミキサ、その使用およびシステム
JP2015510259A (ja) * 2013-01-10 2015-04-02 ソフトキネティック センサー エヌブイ カラー不可視光センサ、例えば、irセンサ、すなわち、マルチスペクトルセンサ
WO2015104307A1 (en) * 2014-01-13 2015-07-16 Softkinetic Sensors Nv A method for driving a time-of-flight system
WO2015197685A1 (en) * 2014-06-27 2015-12-30 Softkinetic Sensors Nv Majority current assisted radiation detector device

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11582407B2 (en) 2017-08-15 2023-02-14 Sony Semiconductor Solutions Corporation Solid-state imaging apparatus and driving method thereof
US10750104B2 (en) 2017-08-15 2020-08-18 Sony Semiconductor Solutions Corporation Solid-state imaging apparatus and driving method thereof
WO2019035369A1 (ja) * 2017-08-15 2019-02-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその駆動方法
US11115609B2 (en) 2017-08-15 2021-09-07 Sony Semiconductor Solutions Corporation Solid-state imaging apparatus and driving method thereof
WO2019044569A1 (ja) * 2017-08-30 2019-03-07 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像装置
KR102061467B1 (ko) 2017-08-30 2019-12-31 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 소자 및 촬상 장치
US10636831B2 (en) 2017-08-30 2020-04-28 Sony Semiconductor Solutions Corporation Imaging element and imaging apparatus
WO2019065291A1 (ja) * 2017-09-28 2019-04-04 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像装置
JPWO2019065291A1 (ja) * 2017-09-28 2020-09-10 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像装置
US10840284B2 (en) 2017-09-28 2020-11-17 Sony Semiconductor Solutions Corporation Imaging element with a first and second converging portion for converging light between a first and second signal extraction portion of adjacent pixels
JP7326154B2 (ja) 2017-09-28 2023-08-15 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像装置
JPWO2020017342A1 (ja) * 2018-07-18 2021-08-12 ソニーセミコンダクタソリューションズ株式会社 受光素子および測距モジュール
JP7297751B2 (ja) 2018-07-18 2023-06-26 ソニーセミコンダクタソリューションズ株式会社 受光素子および測距モジュール
US12123974B2 (en) 2018-07-18 2024-10-22 Sony Semiconductor Solutions Corporation Light-receiving element and distance-measuring module
JP7426347B2 (ja) 2019-02-01 2024-02-01 ソニーセミコンダクタソリューションズ株式会社 受光素子、固体撮像装置及び測距装置
WO2021186958A1 (ja) * 2020-03-17 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 受光素子および制御方法

Also Published As

Publication number Publication date
US10690753B2 (en) 2020-06-23
CN107851656B (zh) 2022-12-16
US20180372846A1 (en) 2018-12-27
CN107851656A (zh) 2018-03-27
US11480658B2 (en) 2022-10-25
US20200319313A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
US11480658B2 (en) Imaging apparatus and distance measurement system
US10992860B2 (en) Dynamic seam adjustment of image overlap zones from multi-camera source images
US10864855B2 (en) Imaging control apparatus, method for controlling imaging control apparatus, and mobile body
US11076141B2 (en) Image processing device, image processing method, and vehicle
WO2017057043A1 (ja) 画像処理装置、画像処理方法、およびプログラム
US10877288B2 (en) Imaging device and imaging method
WO2020100569A1 (ja) 制御装置、制御方法及びセンサ制御システム
JPWO2018034209A1 (ja) 撮像装置と撮像方法
US20190385006A1 (en) Information processing apparatus, information processing method, program and imaging apparatus
US11585898B2 (en) Signal processing device, signal processing method, and program
US20200094687A1 (en) Supplemental battery system
WO2018070175A1 (ja) 通信装置、および通信システム
WO2018051810A1 (ja) 画像処理装置および方法、並びに画像処理システム
WO2020153182A1 (ja) 光検出装置及び光検出装置の駆動方法、並びに、測距装置
JP2019036862A (ja) サーバ装置、記録方法、およびプログラム、並びに情報処理装置
WO2022249734A1 (ja) 撮像装置および電子機器
WO2018159304A1 (ja) 送信装置および通信システム
WO2018051621A1 (ja) 通信装置、および通信システム
WO2023248346A1 (ja) 撮像装置
WO2022270110A1 (ja) 撮像装置および電子機器
JP2019036823A (ja) 通信装置、および通信システム、ならびに通信方法
WO2019167578A1 (ja) 通信装置、および通信システム
JP2024073899A (ja) 撮像素子
WO2018051616A1 (ja) 通信装置、および通信システム
TW202240475A (zh) 資訊處理裝置、資訊處理系統、資訊處理方法及記錄媒體

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17759857

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17759857

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP