WO2022190867A1 - 撮像装置および測距システム - Google Patents

撮像装置および測距システム Download PDF

Info

Publication number
WO2022190867A1
WO2022190867A1 PCT/JP2022/007398 JP2022007398W WO2022190867A1 WO 2022190867 A1 WO2022190867 A1 WO 2022190867A1 JP 2022007398 W JP2022007398 W JP 2022007398W WO 2022190867 A1 WO2022190867 A1 WO 2022190867A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
pixel array
pixel
semiconductor substrate
imaging device
Prior art date
Application number
PCT/JP2022/007398
Other languages
English (en)
French (fr)
Inventor
秀晃 富樫
香織 瀧本
雅博 瀬上
慶 中川
信宏 河合
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社, ソニーグループ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to EP22766828.2A priority Critical patent/EP4307378A1/en
Priority to DE112022001551.9T priority patent/DE112022001551T5/de
Priority to JP2023505277A priority patent/JPWO2022190867A1/ja
Priority to KR1020237029303A priority patent/KR20230156694A/ko
Priority to CN202280019409.0A priority patent/CN116941040A/zh
Priority to US18/546,684 priority patent/US20240145496A1/en
Publication of WO2022190867A1 publication Critical patent/WO2022190867A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14649—Infrared imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14665—Imagers using a photoconductor layer
    • H01L27/14669—Infrared imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/17—Colour separation based on photon absorption depth, e.g. full colour resolution obtained simultaneously at each pixel location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • the present disclosure relates to imaging devices and ranging systems.
  • an imaging device that stacks a pixel array that captures a visible light image and a pixel array that captures an infrared light image.
  • an imaging device there is one that performs imaging control of a visible light image using information of an infrared light image (see, for example, Patent Document 1).
  • the present disclosure proposes an imaging device and a ranging system that can effectively use visible light image information.
  • an imaging device has a semiconductor substrate, a first pixel array, a second pixel array, and a controller.
  • the first pixel array is provided on the semiconductor substrate, has a laminated structure in which a first electrode, a photoelectric conversion layer, and a second electrode are laminated in order, and emits light in a first wavelength region including a visible light region.
  • the first light-receiving pixels to be converted are arranged two-dimensionally.
  • a second pixel array is provided in the semiconductor substrate at a position overlapping with the first light receiving pixels in a thickness direction of the semiconductor substrate, and photoelectrically converts light in a second wavelength region including an infrared light region.
  • Light-receiving pixels are arranged two-dimensionally.
  • the control unit drives and controls the second pixel array based on the signals photoelectrically converted by the first pixel array.
  • FIG. 1 is an explanatory diagram showing a configuration example of a ranging system according to the present disclosure
  • FIG. It is an explanatory view showing an example of composition of an imaging device concerning this indication.
  • FIG. 2 is a cross-sectional explanatory diagram of a pixel array according to the present disclosure
  • 1 is a circuit diagram showing an example of a first readout circuit according to the present disclosure
  • FIG. 4 is an explanatory diagram showing an example arrangement of pixels in a plan view according to the present disclosure
  • FIG. 4 is an explanatory diagram showing an example arrangement of pixels in a plan view according to the present disclosure
  • FIG. 4 is an explanatory diagram showing an example arrangement of pixels in a plan view according to the present disclosure
  • FIG. 4 is an explanatory diagram showing an example arrangement of pixels in a plan view according to the present disclosure
  • FIG. 4 is an explanatory diagram showing an example arrangement of pixels in a plan view according to the present disclosure
  • FIG. 4 is an explanatory diagram showing an example arrangement of pixels in a
  • FIG. 4 is an explanatory diagram showing an example arrangement of pixels in a plan view according to the present disclosure
  • FIG. 4 is an explanatory diagram showing an operation example of an imaging device according to the present disclosure
  • 4 is a flowchart showing an example of processing executed by an imaging device according to the present disclosure
  • 7 is a flowchart showing a modified example of processing executed by an imaging device according to the present disclosure
  • FIG. 11 is an explanatory diagram showing a configuration example of a ranging system according to a modification of the present disclosure
  • FIG. 11 is a flowchart showing an example of processing executed by an imaging device according to a modification of the present disclosure
  • FIG. 1 is an explanatory diagram showing a configuration example of a ranging system according to the present disclosure.
  • the distance measurement system 100 shown in FIG. 1 captures an infrared light image (hereinafter sometimes referred to as a “distance image”) of a subject irradiated with infrared light, and the light flight time (Time This is a system that realizes a d (direct) TOF sensor that measures the distance to an object based on Of Tlight (TOF).
  • the ranging system 100 may be a system that implements i (indirect) ToF.
  • the ranging system 100 includes a light source 101, an imaging optical system 102, an imaging device 1, an ISP (Image Signal Processor) 103, an input device 104, a display device 105, and a data storage unit 106.
  • ISP Image Signal Processor
  • a light source 101 is an infrared light laser that emits infrared light toward a subject to be distance-measured.
  • the light source 101 is driven and controlled by the ISP 103, and emits infrared light while blinking at a predetermined high frequency at high speed.
  • the imaging optical system 102 includes a lens or the like that forms an image of the infrared light reflected by the subject on the light receiving unit of the imaging device 1 .
  • the imaging device 1 is a device that captures a distance image, which is an infrared light image of a subject, and outputs image data of the distance image to the ISP 103 .
  • the imaging device 1 can capture not only a distance image but also a visible light image. When capturing a visible light image, the imaging device 1 outputs image data of the visible light image to the ISP 103 as necessary.
  • the ISP 103 drives and controls the light source 101, and measures the distance to the subject based on the light flight time of the infrared light from the image data of the distance image input from the imaging device 1 and the phase shift information from the input light. , the measurement result and the distance image are output to the display device 105 and the data storage unit 106 . Further, when the image data of the visible light image is input from the imaging device 1, the ISP 103 outputs the image data of the visible light image to the display device 105 and the data storage unit 106 as necessary. Furthermore, ISP 103 can output colored three-dimensional information obtained by synthesizing distance information and RGB information to display device 105 and data storage unit 106 as needed.
  • the display device 105 is, for example, a liquid crystal display, and displays the distance measurement result measured by the ISP 103, an infrared light image, or a visible light image.
  • the data storage unit 106 is, for example, a memory, and stores the distance measurement result measured by the ISP 103, the image data of the infrared light image, or the image data of the visible light image.
  • the input device 104 receives user operations for performing various settings of the ranging system 100 and user operations for causing the ranging system 100 to perform ranging, and outputs signals corresponding to the user operations to the ISP 103 .
  • the imaging device 1 also includes a pixel array 10 , an AD (Analog to Digital) converter 20 , and a data processor 30 . Note that FIG. 1 shows part of the components of the imaging apparatus 1 . A specific configuration example of the imaging device 1 will be described later with reference to FIG.
  • the pixel array 10 photoelectrically converts the incident light from the imaging optical system 102 into a range image pixel signal and a visible light image pixel signal, and outputs the pixel signals to the AD conversion unit 20 .
  • the AD conversion unit 20 AD-converts the pixel signals of the distance image and the visible light image and outputs them to the data processing unit 30 .
  • the data processing unit 30 performs various types of image processing and image analysis on the image data of the range image and the visible light image, and outputs the image data after image processing and image analysis to the ISP 103 .
  • the distance measuring system 100 is an iToF sensor, for example, it is necessary to calculate a distance image (distance data) from four (times) phase data.
  • phase data for four times are once stored in a memory, and then calculated to create one distance image (distance data).
  • the data storage unit 106 for example, flash memory
  • a memory unit for example, memory such as SRAM (Static Random Access Memory) for temporarily storing phase data.
  • SRAM is a memory in which information can be written and read at high speed, so it is suitable for distance calculation processing that must be performed at high speed. Such a memory should be able to store information only when the power is on.
  • Ranging system 100 uses the memory built into ISP 103 for temporary storage of phase data in the case of an iToF sensor.
  • the distance measurement system 100 needs to operate the light source 101 and the pixel array 10 that captures the distance image at high frequencies, and consumes more power than a general visible light sensor. . Therefore, the ranging system 100 effectively utilizes visible light image data in the imaging device 1 to reduce power consumption.
  • the imaging device 1 first captures a visible light image that consumes relatively little power for imaging, and does not capture a range image until a moving object is detected in the visible light image. After that, when the imaging device 1 detects a moving object in the visible light image, the imaging device 1 causes the light source 101 to emit light, captures a distance image that consumes relatively large power for imaging, and performs distance measurement. Thereby, the ranging system 100 can appropriately reduce power consumption.
  • the imaging device 1 first captures a visible light image that consumes relatively little power for imaging, and does not capture a range image until a moving object is detected in the visible light image.
  • the imaging device 1 causes the light source 101 to emit light, captures a distance image that consumes relatively large power for imaging, and performs distance measurement.
  • the ranging system 100 can appropriately reduce power consumption.
  • FIG. 2 is an explanatory diagram showing a configuration example of an imaging device according to the present disclosure.
  • the imaging device 1 includes a pixel array 10, a global control circuit 41, a first row control circuit 42, a second row control circuit 43, a first readout circuit 21, and a first data processing circuit. It includes a section 22 , a second readout circuit 23 , and a second data processing section 24 .
  • Global control circuit 41, first row control circuit 42, and second row control circuit 43 are included in control unit 40 shown in FIG.
  • the pixel array 10 includes a first pixel array 11 and a second pixel array 12 .
  • first pixels a plurality of first light-receiving pixels (hereinafter referred to as "first pixels”) 13 corresponding to each pixel of the visible light image are arranged two-dimensionally (in a matrix).
  • second pixels a plurality of second light-receiving pixels (hereinafter referred to as "second pixels") 14 corresponding to each pixel of the infrared light image are arranged two-dimensionally (in a matrix).
  • the first pixel 13 photoelectrically converts light in the first wavelength range including the visible light range into signal charges according to the amount of received light.
  • the first pixel 13 photoelectrically converts red light, green light, and blue light.
  • the second pixel 14 photoelectrically converts light in the second wavelength range including the infrared light range.
  • the second pixels 14 photoelectrically convert infrared light into signal charges corresponding to the amount of received light.
  • the first pixel array 11 is laminated on the second pixel array 12 .
  • the first pixel array 11 photoelectrically converts incident visible light to capture a visible light image.
  • the second pixel array 12 photoelectrically converts the infrared light transmitted through the first pixel array to capture an infrared light image.
  • the imaging device 1 can capture a visible light image and an infrared light image with one pixel array 10 .
  • the global control circuit 41 controls the first row control circuit 42 and the ranging pulse generator 50 based on the control signal from the ISP 103 .
  • the first row control circuit 42 drives and controls the first pixel array 11 to capture a visible light image.
  • the first pixel array 11 photoelectrically converts visible light into signal charges and accumulates them.
  • the first readout circuit 21 reads out a signal corresponding to the signal charge from the first pixel array 11 and outputs it to the first data processing section 22 .
  • the first data processing unit 22 AD-converts the signal input from the first reading circuit 21 to acquire image data of a visible light image, and performs predetermined image processing and image analysis on the image data.
  • the first data processing unit 22 outputs image data after image processing and image analysis to the ISP 103 as necessary.
  • the first data processing unit 22 outputs the result of image analysis to the second row control circuit 43 to operate the second row control circuit 43 .
  • image analysis the first data processing unit 22 determines, for example, whether the subject in the visible light image is moving or not, and operates the second row control circuit 43 only when the subject is moving.
  • the first data processing unit 22 detects the changed first pixels 13 from the image data captured by the first pixel array 11 .
  • the first pixel 13 having a change here means, for example, the first pixel 13 in which the difference between the signal charge amount accumulated in the image data of the previous frame and the signal charge amount accumulated in the image data of the current frame exceeds a threshold value. is.
  • the second row control circuit 43 starts driving the second pixel array 12 when the first data processing unit 22 detects the changed first pixels 13 . Thereby, the imaging device 1 can appropriately reduce the power consumption required for driving the second pixel array 12 .
  • the first data processing unit 22 may be configured to control the second readout circuit 23 so as to read out signals only from the second pixels 14 corresponding to the changing first pixels 13 . Thereby, the imaging device 1 can also reduce the power consumption of the second readout circuit 23 .
  • the first data processing unit 22 can cause the second row control circuit 43 to drive only the second pixels 14 corresponding to the first pixels 13 having a change in the first pixel array 11 .
  • the imaging device 1 can further reduce power consumption required for driving the second pixel array 12 .
  • the first data processing unit 22 sets a threshold for the amount of change in the first pixel array 11 instead of the binary value of whether the subject is moving or not, and sets the first threshold when the amount of change due to the movement of the subject exceeds the threshold. It is also possible to drive only the second pixels corresponding to the pixels 13 by the second row control circuit 43 . Thereby, the imaging device 1 can minimize the number of second pixels 14 to be driven.
  • the first data processing section 22 may be configured so that the operating frequency of the second row control circuit 43 can be changed according to changes in the first pixel array 11 .
  • the first data processing unit 22 increases the operating frequency of the second row control circuit 43 when the change in the first pixel array 11 (moving speed of the object) is large.
  • the imaging device 1 can capture a clear image of a subject moving at a high speed using the second pixel array.
  • the second row control circuit 43 drives and controls the second pixel array 12 to capture an infrared light image.
  • the second pixel array 12 photoelectrically converts infrared light into signal charges and accumulates them.
  • the second readout circuit 23 reads a signal corresponding to the signal charge from the second pixel array 12 and outputs it to the second data processing section 24 .
  • the second data processing unit 24 AD-converts the signal input from the second reading circuit 23 to obtain image data of a distance image, which is an infrared light image, and performs predetermined image processing on the image data. Output to ISP 103 .
  • the range of the second pixels 14 to be driven may be determined by the control unit 40 (second row control circuit 43), by a dedicated determination circuit, or by the ISP 103. good too.
  • the second row control circuit 43, determination circuit, or ISP 103 acquires the image data of the visible light image from the first data processing unit 22, and detects the first pixels 13 with changes from the image data. Then, the second row control circuit 43, the determination circuit, or the ISP 103 determines the range of the second pixels 14 arranged at the position overlapping the detected first pixels 13 as the range of the second pixels 14 to be driven.
  • the distance measurement system 100 cannot calculate the distance from one (time) distance image. It is also possible to calculate the distance to the subject from a plurality of distance images stored internally.
  • FIG. 3 is a cross-sectional explanatory diagram of a pixel array according to the present disclosure.
  • FIG. 3 schematically shows a cross section of the pixel array 10 corresponding to one second pixel 14 .
  • the positive direction of the Z-axis in the orthogonal coordinate system shown in FIG. 3 is referred to as "up”
  • the negative direction of the Z-axis is referred to as "down” for convenience.
  • the pixel array 10 includes a so-called longitudinal spectral imaging element having a structure in which the second pixels 14 and the first pixels 13 are stacked in the Z-axis direction, which is the thickness direction.
  • the pixel array 10 includes an intermediate layer 60 provided between the second pixels 14 and the first pixels 13, and a multilayer wiring layer 61 provided on the opposite side of the first pixels 13 as viewed from the second pixels 14. Prepare.
  • a sealing film 62 is arranged on the side opposite to the intermediate layer 60 when viewed from the first pixels 13 .
  • the first pixel 13 is an indirect TOF (hereinafter referred to as "iTOF") sensor that acquires a distance image (distance information) by TOF.
  • the first pixel 13 has a semiconductor substrate 66 , a photoelectric conversion region 67 , a fixed charge layer 68 , a pair of gate electrodes 69A and 69B, floating diffusions 70A and 70B, and a through electrode 71 .
  • the semiconductor substrate 66 is, for example, an n-type silicon substrate, and has a P-well in a predetermined internal region.
  • a lower surface of the semiconductor substrate 66 faces the multilayer wiring layer 61 .
  • the upper surface of the semiconductor substrate 66 faces the intermediate layer 60 and has a fine uneven structure. As a result, the upper surface of the semiconductor substrate 66 appropriately scatters the incident infrared light, thereby increasing the optical path length.
  • the semiconductor substrate 66 may also have a fine uneven structure formed on the bottom surface.
  • the photoelectric conversion region 67 is a photoelectric conversion element composed of a PIN (Positive Intrinsic Negative) type photodiode.
  • the photoelectric conversion region 67 mainly receives light having wavelengths in the infrared region (infrared light) among the light incident on the pixel array 10, photoelectrically converts the light into signal charges according to the amount of received light, and accumulates the signal charges.
  • the fixed charge layer 68 is provided so as to cover the top surface and side surfaces of the semiconductor substrate 66 .
  • the fixed charge layer 68 contains negative fixed charges that suppress the generation of dark current due to the interface state of the upper surface of the semiconductor substrate 66 that is the light receiving surface.
  • the fixed charge layer 68 forms a hole accumulation layer in the vicinity of the upper surface of the semiconductor substrate 66, and suppresses generation of electrons from the upper surface of the semiconductor substrate 66 by the hole accumulation layer.
  • the fixed charge layer 68 also extends between the inter-pixel area light shielding wall 72 and the photoelectric conversion area 67 .
  • the gate electrodes 69A and 69B extend from the lower surface of the semiconductor substrate 66 to a position reaching the photoelectric conversion region 67.
  • the gate electrodes 69A, 69B transfer the signal charge accumulated in the photoelectric conversion region 67 to the floating diffusions 70A, 70B when a predetermined voltage is applied.
  • the floating diffusions 70A and 70B are floating diffusion regions that temporarily hold the signal charges transferred from the photoelectric conversion region 67.
  • the signal charges held in the floating diffusions 70A and 70B are read out as pixel signals by the second readout circuit 23 (see FIG. 2).
  • a wiring 74 is provided inside an insulating layer 73 in the multilayer wiring layer 61 .
  • the insulating layer 73 is made of, for example, silicon oxide.
  • the wiring 74 is made of metal such as copper or gold, for example.
  • a first readout circuit 21 and a second readout circuit 23 are also provided inside the insulating layer 73 .
  • the intermediate layer 60 has an optical filter 75 embedded in the insulating layer 73 and an inter-pixel area light shielding film 76 .
  • the optical filter 75 is made of, for example, an organic material, and mainly selectively transmits light with frequencies in the infrared region.
  • the inter-pixel region light shielding film 76 reduces color mixture between adjacent pixels.
  • the first pixel 13 has a first electrode 77, a semiconductor layer 78, a photoelectric conversion layer 79, and a second electrode 80, which are stacked in order from a position closer to the photoelectric conversion region 67. Furthermore, the first pixel 13 has a charge storage electrode 82 provided below the semiconductor layer 78 so as to face the semiconductor layer 78 with the insulating film 81 interposed therebetween.
  • the charge storage electrode 82 and the first electrode 77 are separated from each other, and are provided on the same layer, for example.
  • the first electrode 77 is connected to the upper end of the through electrode 71, for example.
  • the first electrode 77, the second electrode 80, and the charge storage electrode 82 are formed of, for example, a light-transmitting conductive film such as ITO (indium tin oxide) or IZO (indium zinc oxide containing indium). .
  • the photoelectric conversion layer 79 converts light energy into electrical energy, and is formed by including two or more kinds of organic materials that function as p-type semiconductors and n-type semiconductors, for example.
  • a p-type semiconductor functions as an electron donor (donor).
  • the n-type semiconductor functions as an electron acceptor.
  • the photoelectric conversion layer 79 has a bulk heterojunction structure.
  • a bulk heterojunction structure is a p/n junction formed by mixing a p-type semiconductor and an n-type semiconductor.
  • the photoelectric conversion layer 79 separates incident light into electrons and holes at the p/n junction.
  • the charge storage electrode 82 forms a capacitor together with the insulating film 81 and the semiconductor layer 78, and the signal charge generated in the photoelectric conversion layer 79 is transferred to the region of the semiconductor layer 78 facing the charge storage electrode 82 via the insulating film 81. accumulate.
  • the charge storage electrode 82 is provided at a position corresponding to each color filter 63 and on-chip lens 65 .
  • excitons thus generated move to the interface between the electron donor and the electron acceptor that constitute the photoelectric conversion layer 79 and are separated into electrons and holes.
  • the electrons and holes generated here move to the second electrode 80 or the semiconductor layer 78 and are accumulated due to the difference in carrier concentration and the internal electric field due to the potential difference between the first electrode 77 and the second electrode 80 .
  • the first electrode 77 is set at a positive potential and the second electrode 80 is set at a negative potential.
  • holes generated in the photoelectric conversion layer 79 move to the second electrode 80 side. Electrons generated in the photoelectric conversion layer 79 are attracted to the charge storage electrode 82 and stored in the region of the semiconductor layer 78 corresponding to the charge storage electrode 82 via the insulating film 81 .
  • the electrons accumulated in the region of the semiconductor layer 78 corresponding to the charge storage electrode 82 via the insulating film 81 are read as follows.
  • the potential V1 is applied to the first electrode 77 and the potential V2 is applied to the charge storage electrode 82 .
  • the potential V1 is set higher than the potential V2.
  • the electrons accumulated in the region of the semiconductor layer 78 corresponding to the charge accumulation electrode 82 via the insulating film 81 are transferred to the first electrode 77 and read out.
  • the semiconductor layer 78 is provided below the photoelectric conversion layer 79, and charges (e.g., electrons) are accumulated in regions of the semiconductor layer 78 corresponding to the charge accumulation electrodes 82 via the insulating film 81.
  • charges e.g., electrons
  • the following effects are obtained. Compared to the case where charges (for example, electrons) are accumulated in the photoelectric conversion layer 79 without providing the semiconductor layer 78, recombination of holes and electrons during charge accumulation is prevented, and the accumulated charges (for example, electrons) to the first electrode 77 can be increased.
  • reading electrons has been described here, reading of holes may be performed. When reading holes, the relationship between the potentials V1, V2 and V3 described above is reversed.
  • FIG. 4 is a circuit diagram illustrating an example of a first readout circuit according to the present disclosure.
  • the first readout circuit 21 has, for example, a floating diffusion FD, a reset transistor RST, an amplification transistor AMP, and a selection transistor SEL.
  • a floating diffusion FD is connected between the first electrode 77 and the amplification transistor AMP.
  • the floating diffusion FD converts the signal charge transferred by the first electrode 77 into a voltage signal and outputs the voltage signal to the amplification transistor AMP.
  • the reset transistor RST is connected between the floating diffusion FD and the power supply.
  • a drive signal is applied to the gate electrode of the reset transistor RST to turn on the reset transistor RST, the potential of the floating diffusion FD is reset to the level of the power supply.
  • the amplification transistor AMP has a gate electrode connected to the floating diffusion FD and a drain electrode connected to a power supply.
  • a source electrode of the amplification transistor AMP is connected to the vertical signal line via the selection transistor SEL.
  • the selection transistor SEL is connected between the source electrode of the amplification transistor AMP and the vertical signal line.
  • a drive signal is applied to the gate electrode of the selection transistor SEL, and when the selection transistor SEL is turned on, the pixel signal output from the amplification transistor AMP is output to the AD conversion section 20 via SEL and the vertical signal line.
  • the AD conversion section 20 AD-converts the pixel signal based on the control signal input from the control section 40 and outputs the result to the data processing section 30 .
  • FIG. 5 to 8 are explanatory diagrams showing layout examples of pixels according to the present disclosure in plan view.
  • a plurality of on-chip lenses 65 are arranged two-dimensionally (in rows and columns).
  • a plurality of color filters 63 are two-dimensionally (in rows and columns) arranged in a layer below the layer where the on-chip lens 65 is arranged, as shown in FIG.
  • the color filter 63 includes a filter R selectively transmitting red light, a filter G selectively transmitting green light, and a filter G selectively transmitting blue light.
  • Each color filter 63 (one filter R, G, B) is provided at a position corresponding to one on-chip lens 65 .
  • the corresponding positions here are, for example, positions that overlap each other in the Z-axis direction.
  • the filters R, G, and B are arranged, for example, according to a color arrangement method called Bayer arrangement. Note that the arrangement of the filters R, G, and B is not limited to the Bayer arrangement.
  • each color filter 63 is indicated by a dashed line in order to clarify the positional relationship between each charge storage electrode 82 and each color filter 63 .
  • Each charge storage electrode 82 is provided at a position corresponding to one filter R, G, B, respectively. The corresponding positions here are, for example, positions that overlap each other in the Z-axis direction.
  • the plurality of photoelectric conversion regions 67 in the second pixel array 12 are arranged in two layers below the layer in which the charge storage electrodes 82 in the first pixel array 11 are arranged. Arranged in a dimension (matrix). A plurality of through electrodes 71 are provided around each photoelectric conversion region 67 .
  • each color filter 63 is indicated by a broken line, and each on-chip lens 65 is indicated by a dotted line. showing.
  • Each photoelectric conversion region 67 is provided at a position corresponding to 16 on-chip lenses 65 and 16 color filters 63 arranged in a 4 ⁇ 4 matrix. The corresponding positions here are, for example, positions that overlap each other in the Z-axis direction.
  • one photoelectric conversion region 67 is provided for 16 on-chip lenses 65 and 16 color filters 63, but this is just an example.
  • the pixel array 10 may be provided with one photoelectric conversion region 67 for four on-chip lenses 65 and 16 color filters 63, and one on-chip lens 65 and 16 color filters 63 may be provided.
  • one photoelectric conversion region 67 may be provided.
  • FIG. 9 is an explanatory diagram showing an operation example of the imaging device according to the present disclosure.
  • the imaging apparatus 1 first performs first pixel control by the control unit 40 (step S1), and drives the first pixel array 11 (step S2).
  • the first pixel array 11 photoelectrically converts incident light into signal charges by the first pixels 13 and accumulates the signal charges.
  • the imaging device 1 reads out pixel signals corresponding to the signal charges from the first pixel array 11 by the first readout circuit 21 (step S3), and AD-converts the pixel signals by the first data processing unit 22 .
  • the first data processing unit 22 outputs the AD-converted pixel signal (image data of the visible light image) as necessary (step S4).
  • the imaging device 1 evaluates the visible light image by the first data processing unit 22 (step S5).
  • the first data processing unit 22 detects the first pixels 13 that have changed in the visible image.
  • the first data processing unit 22 detects the first pixels 13 in which the difference between the signal charge amount accumulated in the image data of the previous frame and the signal charge amount accumulated in the image data of the current frame exceeds a threshold.
  • the threshold is set by the ISP 103, for example (step S6).
  • the first data processing unit 22 outputs the detection result of the changed first pixel 13 to the second row control circuit 43 and the ISP 103 .
  • the ISP 103 When the ISP 103 detects the changed first pixel 13, the ISP 103 performs sensor control (step S7) and drives the light source 101 (step S8). As a result, the light source 101 emits light while blinking at a high frequency to irradiate the subject 110 with infrared light. As described above, in the distance measuring system 100, the light source 101 emits light only after the first pixel 13 having a change is detected. Therefore, the power consumption of the light source 101 can be reduced compared to the case where the light source 101 emits light all the time. .
  • the ISP 103 causes the light source 101 to emit light at a relatively low luminance before the first pixel 13 with a change is detected, and when the first pixel 13 with a change is detected, the light emission intensity of the light source 101 is increased. It can also be raised to emit light with high brightness.
  • the imaging device 1 performs second pixel control by the second row control circuit 43 (step S9), and drives the second pixel array 12 (step S10).
  • the second pixel array 12 photoelectrically converts the incident infrared light transmitted through the first pixel array 11 into signal charges by the second pixels 14, and accumulates the signal charges.
  • the second row control circuit 43 drives the second pixel array 12 only after the first pixel 13 with a change is detected. Power consumption of the array 12 can be reduced.
  • the second row control circuit 43 can drive all the second pixels 14, but can also selectively drive the second pixels 14 corresponding to the first pixels 13 that have changed.
  • the second row control circuit 43 can reduce power consumption by selectively driving the second pixels 14 corresponding to the changed first pixels 13 .
  • the second row control circuit 43 changes the drive frequency of the second pixels 14 corresponding to the first pixels 13 when the amount of change in the first pixels 13 that have changed is large, for example, when the amount of change exceeds the threshold value. It can be higher than normal.
  • the imaging device 1 reads pixel signals corresponding to the signal charges from the second pixel array 12 by the second readout circuit 23 (step S11), AD-converts the pixel signals by the second data processing unit 24, and after the AD conversion pixel signals (image data of an infrared light image) are output (step S12).
  • the second data processing unit 24 reads pixel signals from all the second pixels 14, AD-converts only the pixel signals of the second pixels 14 corresponding to the first pixels 13 with changes, and converts the pixel signals after the AD conversion. (image data of an infrared light image) can be output. Thereby, the imaging device 1 can reduce the power consumption required for AD conversion.
  • the second data processing unit 24 reads pixel signals only from the pixel signals of the second pixels 14 corresponding to the first pixels 13 with change, AD-converts the read pixel signals, and converts the pixel signals after the AD conversion. (image data of an infrared light image) can be output. As a result, the imaging device 1 can reduce power consumption required for reading pixel signals.
  • the imaging device 1 effectively uses the information of the visible light image, and drives and controls the second pixel array 12 based on the signals photoelectrically converted by the first pixel array 11. Therefore, the light source 101 and the imaging device 1 to reduce power consumption.
  • FIG. 10 is a flowchart illustrating an example of processing executed by an imaging device according to the present disclosure.
  • the image capturing apparatus 1 performs various settings, drives the first pixel array 11 under image capturing conditions based on the external light conditions, and captures a visible light image as a first image (step S101).
  • the imaging device 1 photoelectrically converts visible light by the first pixel array 11 and accumulates signal charges (step S102). Subsequently, the imaging device 1 reads signal charges (signals) from the first pixel array 11 and AD-converts the signals (step S103). Subsequently, the imaging device 1 outputs a first image that is a visible light image. At this time, the imaging device 1 can also thin out and output the first pixels 13 from the first pixel array 11 .
  • the imaging device 1 analyzes the information of the first image and determines imaging conditions for the second image, which is an infrared light image (step S105). Specifically, the imaging device 1 detects the first pixel 13 with a change, and determines the coordinates (X1, Y1 to X2, Y2) of the scanning range of the second pixel 14 .
  • the scanning range determined at this time may be a single pixel, an aggregated area of a plurality of pixels, or a combination thereof.
  • the imaging device 1 detects the position of the subject's face in the visible light image by the first data processing unit 22, It is also possible to determine only a portion of the image as the scanning range. In addition, since the position of the subject may change over time, the imaging device 1 can appropriately track the position of the subject in the visible light image and set a larger scanning range. .
  • the imaging device 1 performs various settings, drives the second pixel array 12 under imaging conditions based on the external light conditions, and captures an infrared light image (step S106). After that, the imaging device 1 photoelectrically converts the infrared light by the second pixel array 12 and accumulates signal charges (step S107).
  • the imaging device 1 reads signal charges (signals) from the second pixels 14 and AD-converts the signals (step S108). Subsequently, the imaging device 1 outputs the signals of the first pixels 13 and/or the second pixels 14 corresponding to the scanning range (X1, Y1 to X2, Y2) to the ISP 103 (step S109), and ends the process.
  • FIG. 11 is a flowchart illustrating a modification of processing executed by an imaging device according to the present disclosure. As shown in FIG. 11, in the process according to the modification, the processes of steps S208 and S209 are different from the processes of steps S108 and S109 shown in FIG. Since the processing of steps S101 to S107 shown in FIG. 11 is the same as the processing of S101 to S107 shown in FIG. 10, redundant description will be omitted here.
  • the imaging device 1 accumulates signal charges (signals) by the second pixels 14 (step S107), and then scans the scanning range (X1, Y1 to X2, Y2) determined in step S105.
  • the signal of the second pixel 14 is read out and AD-converted (step S208).
  • the imaging device 1 outputs the signal of the first pixel 13 and/or the second pixel 14 to the ISP 103 (step S209), and ends the process.
  • FIG. 12 is an explanatory diagram showing a configuration example of a ranging system according to a modification of the present disclosure.
  • the distance measuring system 100a according to the modification differs from the distance measuring system 100 shown in FIG. It is similar to the ranging system 100 shown. Therefore, the driving control of the light source 101 by the control unit 40a will be described here, and redundant description of other configurations will be omitted.
  • the control unit 40a controls the distance measurement pulse generation unit 50. As a result, the light emission intensity of the light source 101 is raised above normal, or the operating frequency of the light source 101 is raised above normal.
  • the control unit 40 a also adjusts the drive frequency of the second pixel array 12 in accordance with the change in the operating frequency of the light source 101 .
  • the control unit 40a when the image analysis by the first data processing unit 22 reveals that the subject of the visible light image is a face and the face is located closer to the imaging optical system 102 than the preset location, the control unit 40a , the emission intensity of the light source 101 is made lower than usual.
  • control unit 40a can irradiate the subject with appropriate infrared light according to the moving speed of the subject and the distance to the subject. Therefore, the second pixel array 12 can capture an appropriate infrared light image for distance measurement.
  • FIG. 13 is a flowchart illustrating an example of processing executed by an imaging device according to a modification of the present disclosure
  • steps S305 to S310 differs from the processing of steps S105 to S109 shown in FIG. Since the processing of steps S101 to S104 shown in FIG. 13 is the same as the processing of steps S101 to S104 shown in FIG. 10, redundant description will be omitted here.
  • the imaging device 1a causes the first pixel array 11 to accumulate signal charges (signals) (step S104), then analyzes the information of the first image to obtain the infrared light image. 2 Determine the imaging conditions for the images.
  • the imaging device 1a detects the first pixels 13 with changes, and determines the coordinates (X1, Y1 to X2, Y2) of the scanning range of the second pixels 14. Further, the imaging device 1a determines the emission intensity and emission time (operating frequency) of the light source 101 (step S305). After that, the imaging device 1a causes the light source 101 to emit light with the determined emission intensity and emission time (operating frequency) (step S306).
  • the imaging device 1a opens the gate of the second pixel 14 at a timing corresponding to the determined light emitting time (operating frequency) (step S307), closes the gate of the second pixel 14 (step S308), Infrared light received by the second pixels 14 is photoelectrically converted to accumulate charges.
  • the imaging device 1a reads the signals of the pixels corresponding to the scanning range (X1, Y1 to X2, Y2) and AD-converts them (step S309). Subsequently, the imaging device 1a outputs the signal of the first pixel 13 and/or the second pixel 14 to the ISP 103 (step S310), and ends the process.
  • the imaging device may omit the optical filter 75 shown in FIG. If the optical filter 75 is not provided, both the first pixel array 11 and the second pixel array 12 will capture visible light images.
  • the thickness of the photoelectric conversion layer 79 is made thinner than the thickness shown in FIG. 3, the light receiving sensitivity of the first pixel array 11 is lowered.
  • the imaging device captures a low-sensitivity first image with the first pixel array 11, captures a second image with a higher sensitivity than the first image with the second pixel array 12, and captures a second image.
  • 1 image and the 2nd image are output to ISP103.
  • the ISP 103 can generate an HDR image by HDR (High Dynamic Range) synthesis of the first image and the second image.
  • the imaging device can capture a low-sensitivity image and a high-sensitivity image having the same number of pixels. Further, if a filter that transmits infrared light is added to the imaging optical system 102, it becomes possible to generate an infrared light HDR image.
  • the imaging apparatus can effectively use the information of the visible light image and appropriately reduce the power consumption by performing the same control as described above by the control units 40 and 40a.
  • the imaging device 1 has a semiconductor substrate 66 , a first pixel array 11 , a second pixel array 12 and a control section 40 .
  • the first pixel array 11 is provided on a semiconductor substrate 66, has a laminated structure in which a first electrode 77, a photoelectric conversion layer 79, and a second electrode 80 are laminated in order, and has a first wavelength region including a visible light region. are arranged two-dimensionally.
  • the second pixel array 12 is provided in the semiconductor substrate 66 at a position overlapping the first light receiving pixels 13 in the thickness direction of the semiconductor substrate 66, and photoelectrically converts light in a second wavelength region including an infrared light region. Two light-receiving pixels 14 are arranged two-dimensionally.
  • the control unit 40 drives and controls the second pixel array 12 based on the signals photoelectrically converted by the first pixel array 11 . Thereby, the imaging device 1 can effectively use the information of the visible light image.
  • the imaging device 1 includes a data processing unit 30 that detects the first pixels 13 with changes from the image data captured by the first pixel array 11 .
  • the control unit 40 outputs a signal photoelectrically converted by the second light-receiving pixel 14 corresponding to the first pixel 13 having a change detected by the data processing unit 30 .
  • the imaging device 1 outputs only the second light-receiving pixels 14 corresponding to the ROI (Region Of Interest) region of interest in the visible image, so that the power consumption required for outputting information can be appropriately reduced. can.
  • ROI Region Of Interest
  • the control unit 40 outputs the signal read from the second light-receiving pixel 14 corresponding to the first pixel 13 with a change among all the signals read from the second pixel array 12 .
  • the imaging device 1 outputs only the second light-receiving pixels 14 corresponding to the ROI region of interest in the visible image, so power consumption required for outputting information can be appropriately reduced.
  • the control unit 40 reads out and outputs photoelectrically converted signals from the second light receiving pixels 14 corresponding to the first pixels 13 with change.
  • the imaging device 1 reads and outputs only the second light receiving pixels 14 corresponding to the ROI region of interest in the visible image from the second pixel array 12, thereby appropriately reducing power consumption required for reading information. can do.
  • the control unit 40 starts driving the second pixel array 12 when the data processing unit 30 detects the changed first pixels 13 .
  • the imaging device 1 does not drive the second pixel array 12 until the changed first pixels 13 are detected, so that the power consumption of the second pixel array 12 can be reduced.
  • the control unit 40 thins out some of the first light-receiving pixels 13 to output photoelectrically converted signals from the first pixel array 11 .
  • the imaging device 1 can reduce power consumption required for outputting signals photoelectrically converted by the first pixel array 11 .
  • the imaging device 1 has a semiconductor substrate 66 , a first pixel array 11 , a second pixel array 12 and a control section 40 .
  • the first pixel array 11 is provided on a semiconductor substrate 66, has a laminated structure in which a first electrode 77, a photoelectric conversion layer 79, and a second electrode 80 are laminated in order, and has a first wavelength region including a visible light region. are arranged two-dimensionally.
  • the second pixel array 12 is provided at a position overlapping the first light receiving pixels 13 in the thickness direction of the semiconductor substrate 66 in the semiconductor substrate 66 , and has a light receiving sensitivity different from that of the first light receiving pixels 13 .
  • the second light-receiving pixels 14 that photoelectrically convert the light in the first wavelength band that has passed through are arranged two-dimensionally.
  • the control unit 40 drives and controls the second pixel array 12 based on the signals photoelectrically converted by the first pixel array 11 . Thereby, the imaging device 1 can capture a high-sensitivity image and a low-sensitivity image with one pixel array 10 .
  • the imaging device 1 has a semiconductor substrate 66 , a first pixel array 11 , a second pixel array 12 and a control section 40 .
  • the first pixel array 11 is provided on a semiconductor substrate 66, has a laminated structure in which a first electrode 77, a photoelectric conversion layer 79, and a second electrode 80 are laminated in order, and has a first wavelength region including a visible light region. are arranged two-dimensionally.
  • the second pixel array 12 is provided on the same plane as the first pixel array 11, and the second light receiving pixels 14 that photoelectrically convert light in the second wavelength region including the infrared light region are arranged two-dimensionally.
  • the control unit 40 drives and controls the second pixel array 12 based on the signals photoelectrically converted by the first pixel array 11 .
  • the imaging device 1 can effectively use the information of the visible light image even when the first pixel array 11 and the second pixel array 12 are arranged on the same plane.
  • the ranging system 100a includes a light source 101 and an imaging device 1a.
  • a light source 101 emits infrared light.
  • the imaging device 1a captures an image of a subject irradiated with infrared light, and measures the distance to the subject based on the captured image.
  • the imaging device 1a has a semiconductor substrate 66, a first pixel array 11, a second pixel array 12, and a controller 40a.
  • the first pixel array 11 is provided on a semiconductor substrate 66, has a laminated structure in which a first electrode 77, a photoelectric conversion layer 79, and a second electrode 80 are laminated in order, and has a first wavelength region including a visible light region. are arranged two-dimensionally.
  • the second pixel array 12 is provided in the semiconductor substrate 66 at a position overlapping the first light receiving pixels 13 in the thickness direction of the semiconductor substrate 66, and photoelectrically converts light in a second wavelength region including an infrared light region.
  • Two light-receiving pixels 14 are arranged two-dimensionally.
  • the control unit 40 a drives and controls the second pixel array 12 and the light source 101 based on the signals photoelectrically converted by the first pixel array 11 , and controls the distance to the subject based on the signals photoelectrically converted by the second light receiving pixels 14 . Measure distance.
  • the distance measurement system 100a can improve the distance measurement accuracy by effectively using the information of the visible light image and appropriately driving and controlling the light source 101 .
  • the present technology can also take the following configuration.
  • a semiconductor substrate A first light-receiving pixel that is provided on the semiconductor substrate, has a laminated structure in which a first electrode, a photoelectric conversion layer, and a second electrode are laminated in order, and photoelectrically converts light in a first wavelength region including a visible light region.
  • a first pixel array in which are arranged two-dimensionally;
  • a second light-receiving pixel provided in the semiconductor substrate at a position overlapping with the first light-receiving pixel in the thickness direction of the semiconductor substrate and photoelectrically converting light in a second wavelength region including an infrared light region two-dimensionally.
  • a second array of pixels a second array of pixels; and a controller that drives and controls the second pixel array based on signals photoelectrically converted by the first pixel array.
  • a data processing unit that detects the first light-receiving pixels having a change from the image data captured by the first pixel array
  • the control unit The imaging device according to (1), wherein a signal photoelectrically converted by the second light-receiving pixel corresponding to the changed first light-receiving pixel is output.
  • the control unit The imaging device according to (2), wherein among all signals read from the second pixel array, signals read from the second light-receiving pixels corresponding to the changed first light-receiving pixels are output.
  • the signals photoelectrically converted by the second pixel array are read out and output.
  • a first light-receiving pixel that is provided on the semiconductor substrate has a laminated structure in which a first electrode, a photoelectric conversion layer, and a second electrode are laminated in order, and photoelectrically converts light in a first wavelength region including a visible light region.
  • a first pixel array in which are arranged two-dimensionally; provided in the semiconductor substrate at a position overlapping with the first light-receiving pixels in the thickness direction of the semiconductor substrate; a second pixel array in which second light-receiving pixels that photoelectrically convert light in the area are arranged two-dimensionally; and a controller that drives and controls the second pixel array based on signals photoelectrically converted by the first pixel array.
  • a first light-receiving pixel that is provided on the semiconductor substrate has a laminated structure in which a first electrode, a photoelectric conversion layer, and a second electrode are laminated in order, and photoelectrically converts light in a first wavelength region including a visible light region.
  • a first pixel array in which are arranged two-dimensionally;
  • a second pixel array provided on the same plane as the first pixel array, in which second light-receiving pixels photoelectrically converting light in a second wavelength region including an infrared light region are arranged two-dimensionally; and a controller that drives and controls the second pixel array based on signals photoelectrically converted by the first pixel array.
  • a light source that emits infrared light
  • an imaging device that captures an image of a subject irradiated with the infrared light and measures the distance to the subject based on the captured image
  • the imaging device is a semiconductor substrate
  • a first light-receiving pixel that is provided on the semiconductor substrate, has a laminated structure in which a first electrode, a photoelectric conversion layer, and a second electrode are laminated in order, and photoelectrically converts light in a first wavelength region including a visible light region.
  • a ranging system comprising a controller and .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

撮像装置（１）は、半導体基板（６６）と、第１画素アレイ（１１）と、第２画素アレイ（１２）と、制御部（４０）とを有する。第１画素アレイ（１１）は、半導体基板（６６）上に設けられ、第１電極（７７）、光電変換層（７９）、および第２電極（８０）が順に積層された積層構造を有し、可視光域を含む第１波長域の光を光電変換する第１受光画素（１３）が２次元に配列される。第２画素アレイ（１２）は、半導体基板（６６）内のうち半導体基板（６６）の厚さ方向において第１受光画素（１３）と重なる位置に設けられ、赤外光域を含む第２波長域の光を光電変換する第２受光画素（１４）が２次元に配列される。制御部（４０）は、第１画素アレイ（１１）によって光電変換された信号に基づいて、第２画素アレイ（１２）を駆動制御する。

Description

撮像装置および測距システム
　本開示は、撮像装置および測距システムに関する。
　可視光画像を撮像する画素アレイと、赤外光画像を撮像する画素アレイとを積層した撮像装置がある。かかる撮像装置として、赤外光画像の情報を用いて、可視光画像の撮像制御を行うものがある（例えば、特許文献１参照）。
特開２０１８－１４２８３８号公報
　しかしながら、上記の従来技術では、可視光画像の情報が有効利用されていなかった。
　そこで、本開示では、可視光画像の情報を有効利用することができる撮像装置および測距システムを提案する。
　本開示によれば、撮像装置が提供される。撮像装置は、半導体基板と、第１画素アレイと、第２画素アレイと、制御部とを有する。第１画素アレイは、前記半導体基板上に設けられ、第１電極、光電変換層、および第２電極が順に積層された積層構造を有し、可視光域を含む第１波長域の光を光電変換する第１受光画素が２次元に配列される。第２画素アレイは、前記半導体基板内のうち前記半導体基板の厚さ方向において前記第１受光画素と重なる位置に設けられ、赤外光域を含む第２波長域の光を光電変換する第２受光画素が２次元に配列される。制御部は、前記第１画素アレイによって光電変換された信号に基づいて、前記第２画素アレイを駆動制御する。
本開示に係る測距システムの構成例を示す説明図である。 本開示に係る撮像装置の構成例を示す説明図である。 本開示に係る画素アレイの断面説明図である。 本開示に係る第１読み出し回路の一例を示す回路図である。 本開示に係る画素の平面視による配置例を示す説明図である。 本開示に係る画素の平面視による配置例を示す説明図である。 本開示に係る画素の平面視による配置例を示す説明図である。 本開示に係る画素の平面視による配置例を示す説明図である。 本開示に係る撮像装置の動作例を示す説明図である。 本開示に係る撮像装置が実行する処理の一例を示すフローチャートである。 本開示に係る撮像装置が実行する処理の変形例を示すフローチャートである。 本開示の変形例に係る測距システムの構成例を示す説明図である。 本開示の変形例に係るの撮像装置が実行する処理の一例を示すフローチャートである。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
［１．測距システムの構成例］
　図１は、本開示に係る測距システムの構成例を示す説明図である。図１に示す測距システム１００は、例えば、赤外光が照射された被写体の赤外光画像（以下、「距離画像」と称する場合がある）を撮像し、距離画像から光飛行時間（Time　Of　Tlight：ＴＯＦ）に基づいて被写体までの距離を計測するｄ（direct）ＴＯＦセンサを実現するシステムである。測距システム１００は、ｉ（indirect）ＴｏＦを実現するシステムであってもよい。
　測距システム１００は、光源１０１と、撮像光学系１０２と、撮像装置１と、ＩＳＰ（Image　Signal　Processor）１０３と、入力装置１０４と、表示装置１０５と、データ保存部１０６とを備える。
　光源１０１は、測距対象となる被写体へ向けて赤外光を照射する赤外光レーザである。光源１０１は、ＩＳＰ１０３によって駆動制御され、所定の高周波数で高速に点滅しながら赤外光を照射する。撮像光学系１０２は、被写体によって反射される赤外光を撮像装置１の受光部に結像させるレンズ等を含む。
　撮像装置１は、被写体の赤外光画像である距離画像を撮像し、距離画像の画像データをＩＳＰ１０３へ出力する装置である。撮像装置１は、距離画像だけでなく可視光画像も撮像することができる。撮像装置１は、可視光画像を撮像した場合、必要に応じて可視光画像の画像データをＩＳＰ１０３へ出力する。
　ＩＳＰ１０３は、光源１０１の駆動制御を行い、撮像装置１から入力される距離画像の画像データから赤外光の光飛行時間や、入力光との位相ずれ情報に基づいて被写体までの距離を計測し、計測結果および距離画像を表示装置１０５およびデータ保存部１０６へ出力する。また、ＩＳＰ１０３は、撮像装置１から可視光画像の画像データが入力される場合、必要に応じて可視光画像の画像データを表示装置１０５およびデータ保存部１０６へ出力する。さらに、ＩＳＰ１０３は、必要に応じて、距離情報とＲＧＢ情報とを合成した、着色された三次元情報を表示装置１０５およびデータ保存部１０６へ出力することもできる。
　表示装置１０５は、例えば、液晶ディスプレイであり、ＩＳＰ１０３によって計測された測距結果、赤外光画像、または可視光画像を表示する。データ保存部１０６は、例えば、メモリであり、ＩＳＰ１０３によって計測された測距結果、赤外光画像の画像データ、または可視光画像の画像データを保存する。
　入力装置１０４は、測距システム１００の各種設定を行うためのユーザ操作、および測距システム１００によって測距を行わせるためのユーザ操作を受け付け、ユーザ操作に応じた信号をＩＳＰ１０３へ出力する。
　また、撮像装置１は、画素アレイ１０と、ＡＤ（Analog　to　Digital）変換部２０と、データ処理部３０とを備える。なお、図１には、撮像装置１の構成要素の一部を示している。撮像装置１の具体的な構成例については、図２を参照して後述する。
　画素アレイ１０は、撮像光学系１０２から入射する光を距離画像の画素信号と、可視光画像の画素信号とに光電変換してＡＤ変換部２０へ出力する。ＡＤ変換部２０は、距離画像および可視光画像の画素信号をＡＤ変換してデータ処理部３０へ出力する。データ処理部３０は、距離画像および可視光画像の画像データに対して各種画像処理および画像解析を行い、画像処理および画像解析後の画像データをＩＳＰ１０３へ出力する。
　ここで、測距システム１００がｉＴｏＦセンサの場合、例えば、４枚（回）の位相データから距離画像（距離データ）を算出する必要がある。つまり、４回分の位相データをメモリに一旦蓄積し、その後、演算して１枚の距離画像（距離データ）を作成する。この場合、データ保存部１０６（例えば、フラッシュメモリ）とは別に、位相データを一時記憶するメモリ部（例えば、ＳＲＡＭ（Static　Random　Access　Memory等のメモリ）を設置しておく必要がある。
　ＳＲＡＭは、高速で情報の書き込みや読み出しが可能なメモリであるため、高速に行う必要がある距離算出処理に適している。かかるメモリは、電源がＯＮの時にだけ情報を記憶できていればよい。測距システム１００は、ｉＴｏＦセンサの場合、ＩＳＰ１０３に内蔵されているメモリを位相データの一時記憶に使用する。
　かかる測距システム１００は、測距精度を向上させるために、光源１０１および距離画像を撮像する画素アレイ１０を高周波で動作させる必要があり、一般的な可視光センサと比較して消費電力が大きい。そこで、測距システム１００は、撮像装置１内において、可視光画像のデータを有効利用して消費電力を低減する。
　具体的には、撮像装置１は、まず、撮像に要する消費電力が比較的小さい可視光画像を撮像し、可視光画像において移動体を検出するまでは距離画像を撮像しない。その後、撮像装置１は、可視光画像内において移動体を検出した場合に、光源１０１を発光させ、撮像に要する消費電力が比較的大きい距離画像を撮像して測距を行う。これにより、測距システム１００は、消費電力を適切に低減することができる。次に、かかる撮像装置１の構成例について説明する。
［２．撮像装置の構成例］
　図２は、本開示に係る撮像装置の構成例を示す説明図である。図２に示すように、撮像装置１は、画素アレイ１０と、グローバル制御回路４１と、第１行制御回路４２と、第２行制御回路４３と、第１読み出し回路２１と、第１データ処理部２２と、第２読み出し回路２３と、第２データ処理部２４とを備える。グローバル制御回路４１、第１行制御回路４２、および第２行制御回路４３は、図１に示す制御部４０に含まれる。
　画素アレイ１０は、第１画素アレイ１１と、第２画素アレイ１２とを備える。第１画素アレイ１１には、可視光画像の各画素に対応する複数の第１受光画素（以下、「第１画素」と記載する）１３が２次元（行列状）に配列される。第２画素アレイ１２には、赤外光画像の各画素に対応する複数の第２受光画素（以下「第２画素」と記載する）１４が２次元（行列状）に配列される。
　第１画素１３は、可視光域を含む第１波長域の光を受光量に応じた信号電荷に光電変換する。ここでは、第１画素１３は、赤色光、緑色光、および青色光を光電変換する。第２画素１４は、赤外光域を含む第２波長域の光を光電変換する。ここでは、第２画素１４は、赤外光を受光量に応じた信号電荷に光電変換する。
　第１画素アレイ１１は、第２画素アレイ１２上に積層される。第１画素アレイ１１は、入射する可視光を光電変換して可視光画像を撮像する。第２画素アレイ１２は、第１画素アレイを透過した赤外光を光電変換して赤外光画像を撮像する。これにより、撮像装置１は、１つの画素アレイ１０によって、可視光画像と赤外光画像とを撮像することができる。
　グローバル制御回路４１は、ＩＳＰ１０３からの制御信号を基にして第１行制御回路４２と、測距用パルス生成部５０とを制御する。第１行制御回路４２は、第１画素アレイ１１を駆動制御して可視光画像の撮像を行わせる。第１画素アレイ１１は、可視光を信号電荷に光電変換して蓄積する。第１読み出し回路２１は、第１画素アレイ１１から信号電荷に応じた信号を読み出して、第１データ処理部２２へ出力する。
　第１データ処理部２２は、第１読み出し回路２１から入力される信号をＡＤ変換して可視光画像の画像データを取得し、画像データに対して所定の画像処理および画像解析を行う。第１データ処理部２２は、必要に応じて画像処理および画像解析後の画像データをＩＳＰ１０３へ出力する。
　また、第１データ処理部２２は、画像解析の結果を第２行制御回路４３へ出力して第２行制御回路４３を動作させる。ここで、第１データ処理部２２は、画像解析として、例えば、可視光画像内の被写体が動いているか動いていないかを判定し、動いている場合にのみ、第２行制御回路４３を動作させる。
　つまり、第１データ処理部２２は、第１画素アレイ１１によって撮像された画像データから変化のある第１画素１３を検出する。ここでの変化のある第１画素１３とは、例えば、前フレームの画像データで蓄積した信号電荷量と、今フレームの画像データで蓄積した信号電荷量との差が閾値を超える第１画素１３である。
　そして、第２行制御回路４３は、第１データ処理部２２によって変化のある第１画素１３が検出された場合に、第２画素アレイ１２の駆動を開始する。これにより、撮像装置１は、第２画素アレイ１２の駆動に要する消費電力を適切に低減することができる。
　また、第１データ処理部２２は、変化している第１画素１３に対応する第２画素１４に限って信号を読み出すように、第２読み出し回路２３を制御するように構成されてもよい。これにより、撮像装置１は、第２読み出し回路２３の消費電力も低減することができる。
　また、第１データ処理部２２は、第１画素アレイ１１において変化のある第１画素１３に対応する第２画素１４のみを第２行制御回路４３によって駆動させることもできる。これにより、撮像装置１は、第２画素アレイ１２の駆動に要する消費電力をさらに低減することができる。
　また、第１データ処理部２２は、被写体が動いているか動いていないかの２値ではなく、第１画素アレイ１１における変化量に閾値を設け、被写体の動きによる変化量が閾値を超える第１画素１３に対応する第２画素のみを第２行制御回路４３によって駆動させることもできる。これにより、撮像装置１は、駆動させる第２画素１４の数を必要最小限に抑えることができる。
　また、第１データ処理部２２は、第２行制御回路４３の動作周波数を第１画素アレイ１１における変化に応じて変えられるように構成されてもよい。例えば、第１データ処理部２２は、第１画素アレイ１１における変化（被写体の移動速度）が大きければ、第２行制御回路４３の動作周波数を上げる。これにより、撮像装置１は、移動速度が大きい被写体の鮮明な画像を第２画素アレイによって撮像することができる。
　第２行制御回路４３は、第１データ処理部２２によって、被写体が動いていると判定された場合に、第２画素アレイ１２を駆動制御して赤外光画像の撮像を行わせる。第２画素アレイ１２は、赤外光を信号電荷に光電変換して蓄積する。第２読み出し回路２３は、第２画素アレイ１２から信号電荷に応じた信号を読み出して、第２データ処理部２４へ出力する。
　第２データ処理部２４は、第２読み出し回路２３から入力される信号をＡＤ変換して赤外光画像である距離画像の画像データを取得し、画像データに対して所定の画像処理を行ってＩＳＰ１０３へ出力する。
　なお、第２画素アレイ１２において駆動させる第２画素１４の範囲を決定するのは、第１データ処理部２２に限定されるものではない。例えば、駆動させる第２画素１４の範囲を決定するのは、制御部４０（第２行制御回路４３）であってもよく、専用に設置される判断回路であってもよく、ＩＳＰ１０３であってもよい。
　この場合、第２行制御回路４３、判断回路、またはＩＳＰ１０３は、第１データ処理部２２から可視光画像の画像データを取得し、画像データから変化のある第１画素１３を検出する。そして、第２行制御回路４３、判断回路、またはＩＳＰ１０３は、検出した第１画素１３と重なる位置に配置された第２画素１４の範囲を駆動させる第２画素１４の範囲として決定する。
　また、測距システム１００は、ｉＴｏＦセンサの場合、１枚(回)の距離画像から距離が算出できないので、上記したように、例えば、ＩＳＰ１０３内部のメモリに距離画像を保存しておき、ＩＳＰ１０３の内部に保存された複数枚の距離画像から被写体までの距離を算出することも可能である。
［３．画素アレイの断面構造］
　次に、図３を参照し、本開示に係る画素アレイの断面構造について説明する。図３は、本開示に係る画素アレイの断面説明図である。図３には、一つの第２画素１４に対応する部分の画素アレイ１０の断面を模式的に示している。なお、ここでは、図３に示す直交座標系におけるＺ軸の正方向を便宜上「上」、Ｚ軸の負方向を便宜上「下」として説明する。
　図２に示すように、画素アレイ１０は、第２画素１４と第１画素１３とが厚さ方向であるＺ軸方向において積層された構造を有する所謂縦方向分光型の撮像素子を備える。画素アレイ１０は、第２画素１４と第１画素１３との間に設けられた中間層６０と、第２画素１４から見て第１画素１３とは反対側に設けられた多層配線層６１とを備える。
　さらに、画素アレイ１０は、第１画素１３から見て中間層６０とは反対側に、封止膜６２と、カラーフィルタ６３と、平坦化膜６４と、オンチップレンズ６５とが第１画素１３に近い位置から順にＺ軸の正方向に沿って積層される。
　第１画素１３は、ＴＯＦにより、距離画像（距離情報）を取得する間接ＴＯＦ（以下、「ｉＴＯＦ」と記載する）センサである。第１画素１３は、半導体基板６６と、光電変換領域６７と、固定電荷層６８と、一対のゲート電極６９Ａ，６９Ｂと、フローティングディフュージョン７０Ａ，７０Ｂと、貫通電極７１とを有する。
　半導体基板６６は、例えば、ｎ型のシリコン基板であり、内部の所定領域にＰウェルを有する。半導体基板６６の下面は、多層配線層６１と対向している。半導体基板６６の上面は、中間層６０と対向しており、微細な凹凸構造が形成される。これにより、半導体基板６６の上面は、入射する赤外光を適切に散乱させて光路長を拡大するという効果を奏する。なお、半導体基板６６は、下面にも微細な凹凸構造が形成されてもよい。
　光電変換領域６７は、ＰＩＮ（Positive　Intirinsic　Negative）型のフォトダイオードによって構成される光電変換素子である。光電変換領域６７は、画素アレイ１０に入射する光のうち、主に赤外光域の波長の光（赤外光）を受光し、受光量に応じた信号電荷に光電変換して蓄積する。
　固定電荷層６８は、半導体基板６６の上面および側面を被覆するように設けられる。固定電荷層６８は、半導体基板６６の受光面となる上面の界面準位に起因する暗電流の発生を抑制する負の固定電荷を含んでいる。
　固定電荷層６８は、半導体基板６６の上面近傍にホール蓄積層を形成し、ホール蓄積層によって半導体基板６６上面からの電子の発生を抑制する。固定電荷層６８は、画素間領域遮光壁７２と光電変換領域６７との間にも延在する。
　ゲート電極６９Ａ，６９Ｂは、半導体基板６６の下面から光電変換領域６７に達する位置まで延在する。ゲート電極６９Ａ，６９Ｂは、所定の電圧が印加される場合に、光電変換領域６７に蓄積された信号電荷をフローティングディフュージョン７０Ａ，７０Ｂへ転送する。
　フローティングディフュージョン７０Ａ，７０Ｂは、光電変換領域６７から転送される信号電荷を一時的に保持する浮遊拡散領域である。フローティングディフュージョン７０Ａ，７０Ｂに保持された信号電荷は、第２読み出し回路２３（図２参照）によって画素信号として読み出される。
　多層配線層６１は、絶縁層７３の内部に配線７４が設けられる。絶縁層７３は、例えば、酸化シリコンなどによって形成される。配線７４は、例えば、銅または金などの金属によって形成される。また、絶縁層７３の内部には、第１読み出し回路２１および第２読み出し回路２３（図２参照）なども設けられる。
　中間層６０は、絶縁層７３に埋設された光学フィルタ７５と、画素間領域遮光膜７６とを有する。光学フィルタ７５は、例えば、有機材料によって形成され、主として赤外光域の周波数の光を選択的に透過する。画素間領域遮光膜７６は、隣接画素間の混色を低減する。
　第１画素１３は、光電変換領域６７に近い位置から順に積層された第１電極７７と、半導体層７８と、光電変換層７９と、第２電極８０とを有する。さらに、第１画素１３は、半導体層７８の下方に、絶縁膜８１を介して半導体層７８と対向するように設けられた電荷蓄積電極８２を有する。
　電荷蓄積電極８２および第１電極７７は、互いに離間されており、例えば、同一階層に設けられる。第１電極７７は、例えば、貫通電極７１の上端に接続される。第１電極７７、第２電極８０、および電荷蓄積電極８２は、例えば、ＩＴＯ（インジウム錫酸化物）やＩＺＯ（インジウム添加のインジウム亜鉛酸化物）などの光透過性を有する導電膜によって形成される。
　光電変換層７９は、光エネルギーを電気エネルギーに変換するものであり、例えば、ｐ型半導体およびｎ型半導体として機能する有機材料を２種類以上含んで形成される。ｐ型半導体は、電子供与体（ドナー）として機能する。ｎ型半導体は、電子受容体（アクセプタ）として機能する。光電変換層７９は、バルクヘテロ接合構造を有する。バルクヘテロ接合構造は、ｐ型半導体とｎ型半導体とが混ざり合うことで形成されたｐ／ｎ接合面である。光電変換層７９は、入射した光をｐ／ｎ接合面において電子と正孔とに分離する。
　光電変換層７９の上層には、可視光（赤色光（Ｒ），緑色光（Ｇ），青色光（Ｂ））を透過させるカラーフィルタ６３が設けられている。このため、光電変換層７９は、入射する可視光を光電変換する。
　電荷蓄積電極８２は、絶縁膜８１および半導体層７８とともにキャパシタを形成し、光電変換層７９において発生する信号電荷を半導体層７８のうち、絶縁膜８１を介して電荷蓄積電極８２に対向する領域に蓄積する。本実施形態では、電荷蓄積電極８２は、各カラーフィルタ６３およびオンチップレンズ６５のぞれぞれに対応する位置に設けられる。
　第１画素１３では、第２電極８０側から入射した光は、光電変換層７９で吸収される。これによって生じた励起子（電子－正孔対）は、光電変換層７９を構成する電子供与体と電子受容体との界面に移動し、電子と正孔とに分離する。ここで発生した電子および正孔は、キャリアの濃度差や、第１電極７７と第２電極８０との電位差による内部電界によって、第２電極８０または半導体層７８に移動して蓄積される。
　例えば、第１電極７７を正の電位とし、第２電極８０を負の電位とする。この場合、光電変換層７９において発生した正孔は、第２電極８０側に移動する。光電変換層７９において発生した電子は、電荷蓄積電極８２に引き付けられ、半導体層７８のうち、絶縁膜８１を介して電荷蓄積電極８２に対応する領域に蓄積される。
　半導体層７８のうち、絶縁膜８１を介して電荷蓄積電極８２に対応する領域に蓄積される電子は、次のようにして読み出される。例えば、第１電極７７に電位Ｖ１を印加し、電荷蓄積電極８２に電位Ｖ２を印加する。このとき、電位Ｖ２よりも電位Ｖ１を高くする。これにより、半導体層７８のうち、絶縁膜８１を介して電荷蓄積電極８２に対応する領域に蓄積されていた電子は、第１電極７７へ転送されて読み出される。
　このように、光電変換層７９の下層に半導体層７８を設け、半導体層７８のうち、絶縁膜８１を介して電荷蓄積電極８２に対応した領域に電荷（例えば、電子）を蓄積することにより、以下の効果が得られる。半導体層７８を設けずに、光電変換層７９に電荷（例えば、電子）を蓄積する場合と比較して、電荷蓄積時の正孔と電子との再結合が防止され、蓄積した電荷（例えば、電子）の第１電極７７への転送効率を増加させることができる。ここでは、電子の読み出しを行う場合について説明したが、正孔の読み出しを行うようにしてもよい。正孔を読み出す場合は、上記した説明での電位Ｖ１，Ｖ２，Ｖ３の高低関係が逆になる。
［４．第１読み出し回路］
　図４は、本開示に係る第１読み出し回路の一例を示す回路図である。第１読み出し回路２１は、例えば、フローティングデュージョンＦＤと、リセットトランジスタＲＳＴと、増幅トランジスタＡＭＰと、選択トランジスタＳＥＬとを有する。フローティングディフュージョンＦＤは、第１電極７７と増幅トランジスタＡＭＰとの間に接続されている。フローティングディフュージョンＦＤは、第１電極７７により転送される信号電荷を電圧信号に変換して、増幅トランジスタＡＭＰに出力する。
　リセットトランジスタＲＳＴは、フローティングディフュージョンＦＤと電源との間に接続される。リセットトランジスタＲＳＴのゲート電極に駆動信号が印加され、リセットトランジスタＲＳＴがオンになると、フローティングディフュージョンＦＤの電位が電源のレベルにリセットされる。増幅トランジスタＡＭＰは、フローティングディフュージョンＦＤに接続されるゲート電極と、電源に接続されるドレイン電極とを有する。増幅トランジスタＡＭＰのソース電極は、選択トランジスタＳＥＬを介して垂直信号線に接続される。
　選択トランジスタＳＥＬは、増幅トランジスタＡＭＰのソース電極と、垂直信号線との間に接続される。選択トランジスタＳＥＬのゲート電極に駆動信号が印加され、選択トランジスタＳＥＬがオンになると、増幅トランジスタＡＭＰから出力される画素信号が、ＳＥＬおよび垂直信号線を介してＡＤ変換部２０に出力される。ＡＤ変換部２０は、制御部４０から入力される制御信号に基づき画素信号をＡＤ変換してデータ処理部３０に出力する。
［５．画素の配置例］
　次に、図５～図８を参照して、本開示に係る画素の平面視による配置例について説明する。図５～図８は、本開示に係る画素の平面視による配置例を示す説明図である。図５に示すように、画素アレイ１０の最上層には、複数のオンチップレンズ６５が２次元（行列状）に配置される。また、画素アレイ１０は、オンチップレンズ６５が配置される階層よりも下の階層に、図６に示すように、複数のカラーフィルタ６３が２次元（行列状）に配置される。
　カラーフィルタ６３は、赤色光を選択的に透過するフィルタＲと、緑色光を選択的に透過するフィルタＧと、青色光を選択的に透過させるフィルタＧとを含む。各カラーフィルタ６３（１つのフィルタＲ，Ｇ，Ｂ）は、それぞれ１つのオンチップレンズ６５に対応する位置に設けられる。
　ここでの対応する位置とは、例えば、Ｚ軸方向において互いに重なり合う位置のことである。各フィルタＲ，Ｇ，Ｂは、例えば、ベイヤ配列と呼ばれる色配置法にしたがって配置される。なお、各フィルタＲ，Ｇ，Ｂの配列はベイヤ配列に限定されるものではない。
　また、画素アレイ１０は、カラーフィルタ６３が配置される階層よりも下の階層に、図７に示すように、第１画素アレイ１１における複数の電荷蓄積電極８２が２次元（行列状）に配置される。なお、図７には、各電荷蓄積電極８２と各カラーフィルタ６３との位置関係を明確にするため、各カラーフィルタ６３を破線で示している。各電荷蓄積電極８２は、それぞれ１つの１つのフィルタＲ，Ｇ，Ｂに対応する位置に設けられる。ここでの対応する位置とは、例えば、Ｚ軸方向において互いに重なり合う位置のことである。
　また、画素アレイ１０は、第１画素アレイ１１における電荷蓄積電極８２が配置される階層よりも下の階層に、図８に示すように、第２画素アレイ１２における複数の光電変換領域６７が２次元（行列状）に配置される。各光電変換領域６７の周囲には、複数の貫通電極７１が設けられる。
　なお、図８には、各光電変換領域６７と、各オンチップレンズ６５および各カラーフィルタ６３との位置関係を明確にするため、各カラーフィルタ６３を破線で示し、オンチップレンズ６５を点線で示している。各光電変換領域６７は、縦横４×４の行列状に配列された１６個のオンチップレンズ６５および１６個のカラーフィルタ６３に対応する位置に設けられる。ここでの対応する位置とは、例えば、Ｚ軸方向において互いに重なり合う位置のことである。
　なお、ここでは、１６個のオンチップレンズ６５および１６個のカラーフィルタ６３に対して、１つの光電変換領域６７が設けられるとしたが、これは一例である。例えば、画素アレイ１０は、４個のオンチップレンズ６５および１６個のカラーフィルタ６３に対して１つの光電変換領域６７が設けられてもよく、１つのオンチップレンズ６５および１６個のカラーフィルタ６３に対して１つの光電変換領域６７が設けられてもよい。
［６．撮像装置の動作例］
　次に、図９を参照し、本開示に係る撮像装置の動作例について説明する。図９は、本開示に係る撮像装置の動作例を示す説明図である。図９に示すように、撮像装置１は、まず、制御部４０によって第１画素制御を行い（ステップＳ１）、第１画素アレイ１１を駆動する（ステップＳ２）。これにより、第１画素アレイ１１は、第１画素１３によって入射光を信号電荷に光電変換し、信号電荷を蓄積する。
　その後、撮像装置１は、第１読み出し回路２１によって第１画素アレイ１１から信号電荷に応じた画素信号を読み出し（ステップＳ３）、第１データ処理部２２によって画素信号をＡＤ変換する。第１データ処理部２２は、必要に応じてＡＤ変換後の画素信号（可視光画像の画像データ）を出力する（ステップＳ４）。
　また、撮像装置１は、第１データ処理部２２によって可視光画像を評価する（ステップＳ５）。このとき、第１データ処理部２２は、可視画像において変化のあった第１画素１３を検出する。例えば、第１データ処理部２２は、前フレームの画像データで蓄積した信号電荷量と、今フレームの画像データで蓄積した信号電荷量との差が閾値を超える第１画素１３を検出する。なお、閾値は、例えば、ＩＳＰ１０３によって設定される（ステップＳ６）。第１データ処理部２２は、変化のある第１画素１３の検出結果を第２行制御回路４３およびＩＳＰ１０３に出力する。
　ＩＳＰ１０３は、変化のある第１画素１３が検出されると、センサ制御を行い（ステップＳ７）、光源１０１を駆動する（ステップＳ８）。これにより、光源１０１が高周波で点滅しながら発光して被写体１１０に対して赤外光を照射する。このように、測距システム１００では、変化のある第１画素１３が検出されて初めて光源１０１を発光させるので、光源１０１を常時発光させる場合に比べて光源１０１の消費電力を低減することができる。
　なお、ＩＳＰ１０３は、変化のある第１画素１３が検出される前から光源１０１を比較的低輝度で発光させておき、変化のある第１画素１３が検出されると、光源１０１の発光強度を上げて高輝度で発光させることもできる。
　一方、撮像装置１は、第２行制御回路４３によって第２画素制御を行い（ステップＳ９）、第２画素アレイ１２を駆動する（ステップＳ１０）。これにより、第２画素アレイ１２は、第１画素アレイ１１を透過して入射する赤外光を第２画素１４によって信号電荷に光電変換し、信号電荷を蓄積する。このように、第２行制御回路４３は、変化のある第１画素１３が検出されて初めて第２画素アレイ１２を駆動するので、第２画素アレイ１２を常時駆動する場合に比べて第２画素アレイ１２の消費電力を低減することができる。
　このとき、第２行制御回路４３は、全ての第２画素１４を駆動することもできるが、変化のあった第１画素１３に対応する第２画素１４を選択的に駆動することもできる。第２行制御回路４３は、変化のあった第１画素１３に対応する第２画素１４を選択的に駆動することによって、消費電力を低減することができる。
　また、第２行制御回路４３は、変化のあった第１画素１３の変化量が大きく、例えば、変化量が閾値を超える場合に、第１画素１３に対応する第２画素１４の駆動周波数を通常よりも高めることもできる。
　その後、撮像装置１は、第２読み出し回路２３によって第２画素アレイ１２から信号電荷に応じた画素信号を読み出し（ステップＳ１１）、第２データ処理部２４によって画素信号をＡＤ変換し、ＡＤ変換後の画素信号（赤外光画像の画像データ）を出力する（ステップＳ１２）。
　第２データ処理部２４は、全ての第２画素１４から画素信号を読み出し、変化のある第１画素１３に対応する第２画素１４の画素信号に限ってＡＤ変換し、ＡＤ変換後の画素信号（赤外光画像の画像データ）を出力することができる。これにより、撮像装置１は、ＡＤ変換に要する消費電力を低減することができる。
　また、第２データ処理部２４は、変化のある第１画素１３に対応する第２画素１４の画素信号に限って画素信号を読み出し、読み出した画素信号をＡＤ変換し、ＡＤ変換後の画素信号（赤外光画像の画像データ）を出力することができる。これにより、撮像装置１は、画素信号の読み出しに要する消費電力を低減することができる。
　このように、撮像装置１は、可視光画像の情報を有効利用し、第１画素アレイ１１によって光電変換された信号に基づいて、第２画素アレイ１２を駆動制御するので、光源１０１および撮像装置１の消費電力を低減する。
［７．制御部が実行する処理］
　次に、図１０を参照して、本開示に係る撮像装置が実行する処理の一例について説明する。図１０は、本開示に係る撮像装置が実行する処理の一例を示すフローチャートである。図１０に示すように、撮像装置１は、各種設定を行い、外光条件に基づく撮像条件で第１画素アレイ１１を駆動して第１画像となる可視光画像を撮像する（ステップＳ１０１）。
　その後、撮像装置１は、第１画素アレイ１１によって可視光を光電変換して信号電荷を蓄積する（ステップＳ１０２）。続いて、撮像装置１は、第１画素アレイ１１から信号電荷（信号）を読み出し、信号をＡＤ変換する（ステップＳ１０３）。続いて、撮像装置１は、可視光画像である第１画像を出力する。このとき、撮像装置１は、第１画素アレイ１１から第１画素１３を間引いて出力することもできる。
　その後、撮像装置１は、第１画像の情報を分析し、赤外光画像である第２画像の撮像条件を決定する（ステップＳ１０５）。具体的には、撮像装置１は、変化のある第１画素１３を検出し、第２画素１４の走査範囲の座標（Ｘ１，Ｙ１～Ｘ２，Ｙ２）を決定する。このとき決定する走査範囲は、単一画素であってもよく、複数画素の集合領域であってもよく、これらの組合せであってもよい。
　また、第１データ処理部２２が、例えば、顔認証機能を備える場合、撮像装置１は、第１データ処理部２２によって可視光画像内の被写体の顔の位置を検出し、顔における認証にとって重要な箇所のみを走査範囲として決定することもできる。また、被写体の位置が時間の経過に伴って変化することがあるため、撮像装置１は、可視光画像における被写体の位置を適切に追跡したり、走査範囲を大きめに設定したりすることもできる。
　続いて、撮像装置１は、各種設定を行い、外光条件に基づく撮像条件で第２画素アレイ１２を駆動して赤外光画像を撮像する（ステップＳ１０６）。その後、撮像装置１は、第２画素アレイ１２によって赤外光を光電変換して信号電荷を蓄積する（ステップＳ１０７）。
　その後、撮像装置１は、第２画素１４から信号電荷（信号）を読み出し、信号をＡＤ変換する（ステップＳ１０８）。続いて、撮像装置１は、走査範囲（Ｘ１，Ｙ１～Ｘ２，Ｙ２）に対応する第１画素１３および／または第２画素１４の信号をＩＳＰ１０３へ出力し（ステップＳ１０９）、処理を終了する。
［８．制御部が実行する処理の変形例］
　次に、図１１を参照して、本開示に係る撮像装置が実行する処理の変形例について説明する。図１１は、本開示に係る撮像装置が実行する処理の変形例を示すフローチャートである。図１１に示すように、変形例に係る処理は、ステップＳ２０８，Ｓ２０９の処理が図１０に示すステップＳ１０８，Ｓ１０９の処理とは異なる。図１１に示すステップＳ１０１～Ｓ１０７の処理は、図１０に示すＳ１０１～Ｓ１０７の処理と同一であるため、ここでは、重複する説明を省略する。
　図１１に示すように、撮像装置１は、第２画素１４によって信号電荷（信号）を蓄積させ（ステップＳ１０７）、その後、ステップＳ１０５で決定した走査範囲（Ｘ１，Ｙ１～Ｘ２，Ｙ２）に対応する第２画素１４の信号を読み出し、ＡＤ変換する（ステップＳ２０８）。続いて、撮像装置１は、第１画素１３および／または第２画素１４の信号をＩＳＰ１０３へ出力し（ステップＳ２０９）、処理を終了する。
［９．変形例に係る測距システムの構成例］
　次に、変形例に係る測距システムについて説明する。図１２は、本開示の変形例に係る測距システムの構成例を示す説明図である。
　図１２に示すように、変形例に係る測距システム１００ａは、制御部４０ａが光源１０１の駆動制御まで行う点が図１に示す測距システム１００とは異なり、他の構成は、図１に示す測距システム１００と同様である。このため、ここでは、制御部４０ａによる光源１０１の駆動制御について説明し、他の構成については重複する説明を省略する。
　制御部４０ａは、第１データ処理部２２による画像解析の結果、可視光画像の被写体が閾値を超える移動速度で移動するような激しい動きをしている場合、測距用パルス生成部５０を制御して、光源１０１の発光強度を通常よりも高めたり、光源１０１の動作周波数を通常よりも高めたりする。また、制御部４０ａは、光源１０１の動作周波数の変更に合わせて、第２画素アレイ１２の駆動周波数も調整する。
　また、制御部４０ａは、例えば、第１データ処理部２２による画像解析の結果、可視光画像の被写体が顔であり、顔が予め設定される場所よりも撮像光学系１０２に近い場所にある場合、光源１０１の発光強度を通常よりも低くする。
　これにより、制御部４０ａは、被写体の移動速度および被写体までの距離に応じて、適切な赤外光を被写体に照射することができる。したがって、第２画素アレイ１２は、測距用の適切な赤外光画像を撮像することができる。
［１０．変形例に係る制御部が実行する処理］
　次に、図１３を参照して、本開示の変形例に係るの撮像装置が実行する処理の一例について説明する。図１３は、本開示の変形例に係るの撮像装置が実行する処理の一例を示すフローチャートである。
　図１３に示すように、変形例に係るの撮像装置が実行する処理は、ステップＳ３０５～Ｓ３１０の処理が図１０に示すステップＳ１０５～１０９の処理とは異なる。図１３に示すステップＳ１０１～Ｓ１０４の処理は、図１０に示すステップＳ１０１～Ｓ１０４の処理と同一であるため、ここでは、重複する説明を省略する。
　図１３に示すように、撮像装置１ａは、第１画素アレイ１１によって信号電荷（信号）を蓄積させ（ステップＳ１０４）、続いて、第１画像の情報を分析し、赤外光画像となる第２画像の撮像条件を決定する。
　このとき、撮像装置１ａは、変化のある第１画素１３を検出し、第２画素１４の走査範囲の座標（Ｘ１，Ｙ１～Ｘ２，Ｙ２）を決定する。さらに、撮像装置１ａは、光源１０１の発光強度および発光時間（動作周波数）を決定する（ステップＳ３０５）。その後、撮像装置１ａは、決定した発光強度および発光時間（動作周波数）で光源１０１を発光させる（ステップＳ３０６）。
　続いて、撮像装置１ａは、決定した発光時間（動作周波数）に応じたタイミングで第２画素１４のゲートをオープンさせ（ステップＳ３０７）、第２画素１４のゲートをクローズさせて（ステップＳ３０８）、第２画素１４によって受光する赤外光を光電変換して電荷を蓄積する。
　その後、撮像装置１ａは、走査範囲（Ｘ１，Ｙ１～Ｘ２，Ｙ２）に対応する画素の信号を読み出し、ＡＤ変換する（ステップＳ３０９）。続いて、撮像装置１ａは、第１画素１３および／または第２画素１４の信号をＩＳＰ１０３へ出力し（ステップＳ３１０）、処理を終了する。
[１１．他の実施形態]
　上述した実施形態は一例であり、種々の変形が可能である。例えば、本開示に係る撮像装置は、図３に示す光学フィルタ７５を省略してもよい。光学フィルタ７５が設けられない場合、第１画素アレイ１１および第２画素アレイ１２は、共に可視光画像を撮像することになる。ここで、例えば、光電変換層７９の厚さを図３に示す厚さよりも薄くすれば、第１画素アレイ１１の受光感度が低下する。
　かかる性質を利用して、撮像装置は、第１画素アレイ１１によって低感度の第１画像を撮像し、第２画素アレイ１２によって第１画像よりも高感度の第２画像を撮像して、第１画像および第２画像をＩＳＰ１０３へ出力する。これにより、ＩＳＰ１０３は、第１画像と第２画像とをＨＤＲ（High　Dynamic　Range）合成することによって、ＨＤＲ画像を生成することができる。
　なお、この構成の場合、１つの電荷蓄積電極８２に対して１つの光電変換領域６７を設けることが望ましい。これにより、撮像装置は、同じ画素数の低感度画像と高感度画像とを撮像することができる。また、撮像光学系１０２に赤外光を透過させるフィルタを追加すれば、赤外光ＨＤＲ画像を生成することも可能になる。
　また、上述した実施形態では、第２画素アレイ１２上に第１画素アレイ１１が積層される場合について説明したが、第１画素アレイ１１および第２画素アレイ１２は、同一平面上に設けられてもよい。この場合にも、撮像装置は、制御部４０，４０ａによって上述した制御と同様の制御を行うことにより、可視光画像の情報を有効利用して、消費電力を適切に低減することができる。
［１２．効果］
　撮像装置１は、半導体基板６６と、第１画素アレイ１１と、第２画素アレイ１２と、制御部４０とを有する。第１画素アレイ１１は、半導体基板６６上に設けられ、第１電極７７、光電変換層７９、および第２電極８０が順に積層された積層構造を有し、可視光域を含む第１波長域の光を光電変換する第１受光画素１３が２次元に配列される。第２画素アレイ１２は、半導体基板６６内のうち半導体基板６６の厚さ方向において第１受光画素１３と重なる位置に設けられ、赤外光域を含む第２波長域の光を光電変換する第２受光画素１４が２次元に配列される。制御部４０は、第１画素アレイ１１によって光電変換された信号に基づいて、第２画素アレイ１２を駆動制御する。これにより、撮像装置１は、可視光画像の情報を有効利用することができる。
　撮像装置１は、第１画素アレイ１１によって撮像された画像データから変化のある第１画素１３を検出するデータ処理部３０を備える。制御部４０は、データ処理部３０によって検出される変化のある第１画素１３に対応する第２受光画素１４によって光電変換された信号を出力させる。これにより、撮像装置１は、可視画像において注目すべきＲＯＩ（Region　Of　Interest）領域に対応する第２受光画素１４に限って出力するので、情報の出力に要する消費電力を適切に低減することができる。
　制御部４０は、第２画素アレイ１２から読み出される全ての信号のうち、変化のある第１画素１３に対応する第２受光画素１４から読み出された信号を出力させる。これにより、撮像装置１は、可視画像において注目すべきＲＯＩ領域に対応する第２受光画素１４に限って出力するので、情報の出力に要する消費電力を適切に低減することができる。
　制御部４０は、第２画素アレイ１２によって光電変換された信号のうち、変化のある第１画素１３に対応する第２受光画素１４から光電変換された信号を読み出して出力させる。これにより、撮像装置１は、可視画像において注目すべきＲＯＩ領域に対応する第２受光画素１４に限って第２画素アレイ１２から読み出して出力するので、情報の読み出しに要する消費電力を適切に低減することができる。
　制御部４０は、データ処理部３０によって、変化のある第１画素１３が検出された場合に、第２画素アレイ１２の駆動を開始する。これにより、撮像装置１は、変化のある第１画素１３が検出されるまで、第２画素アレイ１２を駆動させないので、第２画素アレイ１２の消費電力を低減することができる。
　制御部４０は、一部の第１受光画素１３を間引いて第１画素アレイ１１から光電変換された信号を出力させる。これにより、撮像装置１は、第１画素アレイ１１によって光電変換された信号の出力に要する消費電力を低減することができる。
　撮像装置１は、半導体基板６６と、第１画素アレイ１１と、第２画素アレイ１２と、制御部４０とを有する。第１画素アレイ１１は、半導体基板６６上に設けられ、第１電極７７、光電変換層７９、および第２電極８０が順に積層された積層構造を有し、可視光域を含む第１波長域の光を光電変換する第１受光画素１３が２次元に配列される。第２画素アレイ１２は、半導体基板６６内のうち半導体基板６６の厚さ方向において第１受光画素１３と重なる位置に設けられ、第１受光画素１３とは受光感度が異なり、第１画素アレイ１１を透過した第１波長域の光を光電変換する第２受光画素１４が２次元に配列される。制御部４０は、第１画素アレイ１１によって光電変換された信号に基づいて、第２画素アレイ１２を駆動制御する。これにより、撮像装置１は、１つの画素アレイ１０によって高感度画像と低感度画像とを撮像することができる。　
　撮像装置１は、半導体基板６６と、第１画素アレイ１１と、第２画素アレイ１２と、制御部４０とを有する。第１画素アレイ１１は、半導体基板６６上に設けられ、第１電極７７、光電変換層７９、および第２電極８０が順に積層された積層構造を有し、可視光域を含む第１波長域の光を光電変換する第１受光画素１３が２次元に配列される。第２画素アレイ１２は、第１画素アレイ１１と同一平面上に設けられ、赤外光域を含む第２波長域の光を光電変換する第２受光画素１４が２次元に配列される。制御部４０は、第１画素アレイ１１によって光電変換された信号に基づいて、第２画素アレイ１２を駆動制御する。これにより、撮像装置１は、第１画素アレイ１１および第２画素アレイ１２が同一平面上に配置される場合にも、可視光画像の情報を有効利用することができる。
　測距システム１００ａは、光源１０１と、撮像装置１ａとを含む。光源１０１は、赤外光を発する。撮像装置１ａは、赤外光が照射された被写体を撮像し、撮像画像に基づいて被写体までの距離を計測する。撮像装置１ａは、半導体基板６６と、第１画素アレイ１１と、第２画素アレイ１２と、制御部４０ａとを有する。第１画素アレイ１１は、半導体基板６６上に設けられ、第１電極７７、光電変換層７９、および第２電極８０が順に積層された積層構造を有し、可視光域を含む第１波長域の光を光電変換する第１受光画素１３が２次元に配列される。第２画素アレイ１２は、半導体基板６６内のうち半導体基板６６の厚さ方向において第１受光画素１３と重なる位置に設けられ、赤外光域を含む第２波長域の光を光電変換する第２受光画素１４が２次元に配列される。制御部４０ａは、第１画素アレイ１１によって光電変換された信号に基づいて、第２画素アレイ１２および光源１０１を駆動制御し、第２受光画素１４によって光電変換された信号に基づいて被写体までの距離を計測する。これにより、測距システム１００ａは、可視光画像の情報を有効利用し、光源１０１を適切に駆動制御することによって、測距精度を向上させることができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　半導体基板と、
　前記半導体基板上に設けられ、第１電極、光電変換層、および第２電極が順に積層された積層構造を有し、可視光域を含む第１波長域の光を光電変換する第１受光画素が２次元に配列される第１画素アレイと、
　前記半導体基板内のうち前記半導体基板の厚さ方向において前記第１受光画素と重なる位置に設けられ、赤外光域を含む第２波長域の光を光電変換する第２受光画素が２次元に配列される第２画素アレイと、
　前記第１画素アレイによって光電変換された信号に基づいて、前記第２画素アレイを駆動制御する制御部と
　を有する撮像装置。
（２）
　前記第１画素アレイによって撮像された画像データから変化のある前記第１受光画素を検出するデータ処理部
　を備え、
　前記制御部は、
　前記変化のある前記第１受光画素に対応する前記第２受光画素によって光電変換された信号を出力させる
　前記（１）に記載の撮像装置。
（３）
　前記制御部は、
　前記第２画素アレイから読み出される全ての信号のうち、前記変化のある前記第１受光画素に対応する前記第２受光画素から読み出された信号を出力させる
　前記（２）に記載の撮像装置。
（４）
　前記第２画素アレイによって光電変換された信号のうち、前記変化のある前記第１受光画素に対応する前記第２受光画素から光電変換された信号を読み出して出力させる
　前記（２）に記載の撮像装置。
（５）
　前記制御部は、
　前記データ処理部によって、前記変化のある前記第１受光画素が検出された場合に、前記第２画素アレイの駆動を開始する
　前記（２）～（４）のいずれか一つに記載の撮像素子。
（６）
　前記制御部は、
　一部の前記第１受光画素を間引いて前記第１画素アレイから光電変換された信号を出力させる
　前記（１）～（５）のいずれか一つに記載の撮像装置。
（７）
　半導体基板と、
　前記半導体基板上に設けられ、第１電極、光電変換層、および第２電極が順に積層された積層構造を有し、可視光域を含む第１波長域の光を光電変換する第１受光画素が２次元に配列される第１画素アレイと、
　前記半導体基板内のうち前記半導体基板の厚さ方向において前記第１受光画素と重なる位置に設けられ、前記第１受光画素とは受光感度が異なり、前記第１画素アレイを透過した前記第１波長域の光を光電変換する第２受光画素が２次元に配列される第２画素アレイと、
　前記第１画素アレイによって光電変換された信号に基づいて、前記第２画素アレイを駆動制御する制御部と
　を有する撮像装置。
（８）
　半導体基板と、
　前記半導体基板上に設けられ、第１電極、光電変換層、および第２電極が順に積層された積層構造を有し、可視光域を含む第１波長域の光を光電変換する第１受光画素が２次元に配列される第１画素アレイと、
　前記第１画素アレイと同一平面上に設けられ、赤外光域を含む第２波長域の光を光電変換する第２受光画素が２次元に配列される第２画素アレイと、
　前記第１画素アレイによって光電変換された信号に基づいて、前記第２画素アレイを駆動制御する制御部と
　を有する撮像装置。
（９）
　赤外光を発する光源と、
　前記赤外光が照射された被写体を撮像し、撮像画像に基づいて前記被写体までの距離を計測する撮像装置と
　を含み、
　前記撮像装置は、
　半導体基板と、
　前記半導体基板上に設けられ、第１電極、光電変換層、および第２電極が順に積層された積層構造を有し、可視光域を含む第１波長域の光を光電変換する第１受光画素が２次元に配列される第１画素アレイと、
　前記半導体基板内のうち前記半導体基板の厚さ方向において前記第１受光画素と重なる位置に設けられ、赤外光域を含む第２波長域の光を光電変換する第２受光画素が２次元に配列される第２画素アレイと、
　前記第１画素アレイによって光電変換された信号に基づいて、前記第２画素アレイおよび前記光源を駆動制御し、前記第２受光画素によって光電変換された信号に基づいて前記被写体までの距離を計測する制御部と
　を有する測距システム。
　１００，１００ａ　測距システム
　１，１ａ　撮像装置
　１０　画素アレイ
　１１　第１画素アレイ
　１２　第２画素アレイ
　１３　第１画素
　１４　第２画素
　２０　ＡＤ変換部
　２１　第１読み出し回路
　２２　第１データ処理部
　２３　第２読み出し回路
　２４　第２データ処理部
　３０　データ処理部
　４０　制御部
　４１　グローバル制御回路
　４２　第１行制御回路
　４３　第２行制御回路
　５０　測距用パルス生成部
　６３　カラーフィルタ
　６５　オンチップレンズ
　６６　半導体基板
　６７　光電変換領域
　７５　光学フィルタ
　７７　第１電極
　７８　半導体層
　７９　光電変換層
　８０　第２電極
　８１　絶縁膜
　８２　電荷蓄積電極
　１０１　光源
　１０２　撮像光学系
　１０３　ＩＳＰ
　１０４　入力装置
　１０５　表示装置
　１０６　データ保存部

Claims (9)

  1. 　半導体基板と、
    　前記半導体基板上に設けられ、第１電極、光電変換層、および第２電極が順に積層された積層構造を有し、可視光域を含む第１波長域の光を光電変換する第１受光画素が２次元に配列される第１画素アレイと、
    　前記半導体基板内のうち前記半導体基板の厚さ方向において前記第１受光画素と重なる位置に設けられ、赤外光域を含む第２波長域の光を光電変換する第２受光画素が２次元に配列される第２画素アレイと、
    　前記第１画素アレイによって光電変換された信号に基づいて、前記第２画素アレイを駆動制御する制御部と
    　を有する撮像装置。
  2. 　前記第１画素アレイによって撮像された画像データから変化のある前記第１受光画素を検出するデータ処理部
    　を備え、
    　前記制御部は、
    　前記データ処理部によって検出される前記変化のある前記第１受光画素に対応する前記第２受光画素によって光電変換された信号を出力させる
    　請求項１に記載の撮像装置。
  3. 　前記制御部は、
    　前記第２画素アレイから読み出される全ての信号のうち、前記変化のある前記第１受光画素に対応する前記第２受光画素から読み出された信号を出力させる
    　請求項２に記載の撮像装置。
  4. 　前記制御部は、
    　前記第２画素アレイによって光電変換された信号のうち、前記変化のある前記第１受光画素に対応する前記第２受光画素から光電変換された信号を読み出して出力させる
    　請求項２に記載の撮像装置。
  5. 　前記制御部は、
    　前記データ処理部によって、前記変化のある前記第１受光画素が検出された場合に、前記第２画素アレイの駆動を開始する
    　請求項２に記載の撮像装置。
  6. 　前記制御部は、
    　一部の前記第１受光画素を間引いて前記第１画素アレイから光電変換された信号を出力させる
    　請求項１に記載の撮像装置。
  7. 　半導体基板と、
    　前記半導体基板上に設けられ、第１電極、光電変換層、および第２電極が順に積層された積層構造を有し、可視光域を含む第１波長域の光を光電変換する第１受光画素が２次元に配列される第１画素アレイと、
    　前記半導体基板内のうち前記半導体基板の厚さ方向において前記第１受光画素と重なる位置に設けられ、前記第１受光画素とは受光感度が異なり、前記第１画素アレイを透過した前記第１波長域の光を光電変換する第２受光画素が２次元に配列される第２画素アレイと、
    　前記第１画素アレイによって光電変換された信号に基づいて、前記第２画素アレイを駆動制御する制御部と
    　を有する撮像装置。
  8. 　半導体基板と、
    　前記半導体基板上に設けられ、第１電極、光電変換層、および第２電極が順に積層された積層構造を有し、可視光域を含む第１波長域の光を光電変換する第１受光画素が２次元に配列される第１画素アレイと、
    　前記第１画素アレイと同一平面上に設けられ、赤外光域を含む第２波長域の光を光電変換する第２受光画素が２次元に配列される第２画素アレイと、
    　前記第１画素アレイによって光電変換された信号に基づいて、前記第２画素アレイを駆動制御する制御部と
    　を有する撮像装置。
  9. 　赤外光を発する光源と、
    　前記赤外光が照射された被写体を撮像し、撮像画像に基づいて前記被写体までの距離を計測する撮像装置と
    　を含み、
    　前記撮像装置は、
    　半導体基板と、
    　前記半導体基板上に設けられ、第１電極、光電変換層、および第２電極が順に積層された積層構造を有し、可視光域を含む第１波長域の光を光電変換する第１受光画素が２次元に配列される第１画素アレイと、
    　前記半導体基板内のうち前記半導体基板の厚さ方向において前記第１受光画素と重なる位置に設けられ、赤外光域を含む第２波長域の光を光電変換する第２受光画素が２次元に配列される第２画素アレイと、
    　前記第１画素アレイによって光電変換された信号に基づいて、前記第２画素アレイおよび前記光源を駆動制御し、前記第２受光画素によって光電変換された信号に基づいて前記被写体までの距離を計測する制御部と
    　を有する測距システム。
PCT/JP2022/007398 2021-03-12 2022-02-22 撮像装置および測距システム WO2022190867A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP22766828.2A EP4307378A1 (en) 2021-03-12 2022-02-22 Imaging device and ranging system
DE112022001551.9T DE112022001551T5 (de) 2021-03-12 2022-02-22 Abbildungsvorrichtung und Entfernungsmesssystem
JP2023505277A JPWO2022190867A1 (ja) 2021-03-12 2022-02-22
KR1020237029303A KR20230156694A (ko) 2021-03-12 2022-02-22 촬상 장치 및 측거 시스템
CN202280019409.0A CN116941040A (zh) 2021-03-12 2022-02-22 成像设备和测距系统
US18/546,684 US20240145496A1 (en) 2021-03-12 2022-02-22 Imaging device and ranging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-040358 2021-03-12
JP2021040358 2021-03-12

Publications (1)

Publication Number Publication Date
WO2022190867A1 true WO2022190867A1 (ja) 2022-09-15

Family

ID=83227724

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007398 WO2022190867A1 (ja) 2021-03-12 2022-02-22 撮像装置および測距システム

Country Status (8)

Country Link
US (1) US20240145496A1 (ja)
EP (1) EP4307378A1 (ja)
JP (1) JPWO2022190867A1 (ja)
KR (1) KR20230156694A (ja)
CN (1) CN116941040A (ja)
DE (1) DE112022001551T5 (ja)
TW (1) TW202245464A (ja)
WO (1) WO2022190867A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015050331A (ja) * 2013-09-02 2015-03-16 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器
JP2016005189A (ja) * 2014-06-18 2016-01-12 オリンパス株式会社 撮像素子、撮像装置
JP2018136123A (ja) * 2015-06-24 2018-08-30 株式会社村田製作所 距離センサ及びユーザインタフェース装置
JP2018142838A (ja) 2017-02-27 2018-09-13 日本放送協会 撮像素子、撮像装置及び撮影装置
JP2021022875A (ja) * 2019-07-29 2021-02-18 キヤノン株式会社 光電変換装置、光電変換システム、および移動体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015050331A (ja) * 2013-09-02 2015-03-16 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器
JP2016005189A (ja) * 2014-06-18 2016-01-12 オリンパス株式会社 撮像素子、撮像装置
JP2018136123A (ja) * 2015-06-24 2018-08-30 株式会社村田製作所 距離センサ及びユーザインタフェース装置
JP2018142838A (ja) 2017-02-27 2018-09-13 日本放送協会 撮像素子、撮像装置及び撮影装置
JP2021022875A (ja) * 2019-07-29 2021-02-18 キヤノン株式会社 光電変換装置、光電変換システム、および移動体

Also Published As

Publication number Publication date
CN116941040A (zh) 2023-10-24
KR20230156694A (ko) 2023-11-14
JPWO2022190867A1 (ja) 2022-09-15
TW202245464A (zh) 2022-11-16
EP4307378A1 (en) 2024-01-17
US20240145496A1 (en) 2024-05-02
DE112022001551T5 (de) 2024-01-18

Similar Documents

Publication Publication Date Title
US10903279B2 (en) Solid state image sensor pixel electrode below a photoelectric conversion film
US11411034B2 (en) Solid-state imaging device and electronic apparatus
JP5651976B2 (ja) 固体撮像素子およびその製造方法、並びに電子機器
US8294880B2 (en) Distance measuring sensor including double transfer gate and three dimensional color image sensor including the distance measuring sensor
US7741689B2 (en) Photoelectric conversion layer-stacked solid-state imaging element
US10536659B2 (en) Solid-state image capturing element, manufacturing method therefor, and electronic device
US7498624B2 (en) Solid-state imaging device
JP2002134729A (ja) 固体撮像装置及びその駆動方法
WO2018105334A1 (ja) 固体撮像素子及び電子機器
US11594568B2 (en) Image sensor and electronic device
US20090294815A1 (en) Solid state imaging device including a semiconductor substrate on which a plurality of pixel cells have been formed
WO2015198876A1 (ja) 撮像素子、電子機器
WO2022190867A1 (ja) 撮像装置および測距システム
JP2020027937A (ja) 固体撮像装置、固体撮像装置の製造方法、および電子機器
US20230420482A1 (en) Light receiving element and electronic apparatus
US10804303B2 (en) Image sensors comprising an organic photo-detector, a photo-detector array and dual floating diffusion nodes and electronic devices including the same
US20240178254A1 (en) Light-receiving element and electronic apparatus
US20240162271A1 (en) Image sensor arrangement, image sensor device and method for operating an image sensor arrangement
US20240192054A1 (en) Light detection apparatus and electronic device
JP2011204991A (ja) 固体撮像素子およびその製造方法、並びに電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22766828

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023505277

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18546684

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280019409.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 112022001551

Country of ref document: DE

Ref document number: 2022766828

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022766828

Country of ref document: EP

Effective date: 20231012