WO2021246311A1 - 撮像装置および電子機器 - Google Patents
撮像装置および電子機器 Download PDFInfo
- Publication number
- WO2021246311A1 WO2021246311A1 PCT/JP2021/020398 JP2021020398W WO2021246311A1 WO 2021246311 A1 WO2021246311 A1 WO 2021246311A1 JP 2021020398 W JP2021020398 W JP 2021020398W WO 2021246311 A1 WO2021246311 A1 WO 2021246311A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixel
- control
- control line
- charge
- row
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 80
- 238000006243 chemical reaction Methods 0.000 claims abstract description 83
- 239000011159 matrix material Substances 0.000 claims abstract description 9
- 230000003287 optical effect Effects 0.000 claims description 29
- 238000012546 transfer Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 49
- 230000004048 modification Effects 0.000 description 44
- 238000012986 modification Methods 0.000 description 44
- 238000012545 processing Methods 0.000 description 37
- 238000001514 detection method Methods 0.000 description 33
- 238000000034 method Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 24
- 230000000875 corresponding effect Effects 0.000 description 18
- 238000009792 diffusion process Methods 0.000 description 13
- 238000007667 floating Methods 0.000 description 12
- 230000001276 controlling effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 230000002596 correlated effect Effects 0.000 description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- XEKOWRVHYACXOJ-UHFFFAOYSA-N Ethyl acetate Chemical compound CCOC(C)=O XEKOWRVHYACXOJ-UHFFFAOYSA-N 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 235000019439 ethyl acetate Nutrition 0.000 description 2
- 230000005669 field effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14623—Optical shielding
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/767—Horizontal readout lines, multiplexers or registers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
Definitions
- This disclosure relates to an image pickup device and an electronic device.
- the global shutter method (hereinafter referred to as GS method) is known as one of the imaging methods in a pixel array in which pixels including light receiving elements are arranged in a matrix arrangement.
- the GS method guarantees the simultaneous exposure in the pixel array, and several configurations have been proposed.
- a light receiving element has a memory area for temporarily storing the electric charge generated by exposure, and by using the memory area, simultaneous synchronization of exposure start and end times throughout the pixel array can be achieved.
- the possible configurations are known.
- a pixel for obtaining a main captured image (referred to as a main pixel) and a pixel for realizing a function different from the main pixel (referred to as a sub pixel) are provided.
- a configuration for mixed loading has been proposed.
- the functions realized by the sub-pixels include an AF function using the image pickup result of the sub-pixels and a live view function of outputting the image captured by the sub-pixels as a moving image and assisting the image pickup by the main pixel.
- a main pixel and a sub pixel are mixedly mounted on a pixel row
- the sub pixel is required to be able to be exposed and read at a timing independent of the main pixel.
- the main pixel and the sub pixel can be controlled at independent timings, the number of control lines for each pixel row increases, which may increase wiring defects and make it difficult to miniaturize the pixels.
- the image pickup apparatus includes a photoelectric conversion element, and has a plurality of pixels arranged in a matrix arrangement and a plurality of pixels arranged in each row of the array for controlling each pixel aligned in the row direction.
- a plurality of control line groups including the control lines of the above, and a plurality of read lines arranged in each column for transferring pixel signals read from each pixel aligned in the column direction in the array.
- the pixels are from the first control line group including the first number of control lines among the plurality of control lines included in the control line group in each pixel aligned in the row direction of at least one row in each row of the array.
- FIG. 1 is a block diagram showing a configuration of an example of an electronic device commonly applicable to each embodiment.
- the electronic device 1 includes an optical system 2, an overall control unit 3, an image sensor 4, an image processing unit 5, a memory 6, a storage unit 7, a display unit 8, and an interface (I / F). ) Section 9 and an input device 10.
- the electronic device 1 a digital still camera, a digital video camera, a mobile phone with an image pickup function, a smartphone, or the like can be applied. Further, as the electronic device 1, it is also possible to apply a surveillance camera, an in-vehicle camera, a medical camera, or the like.
- the image pickup element 4 includes, for example, a pixel array having a plurality of pixels arranged in a matrix-like arrangement, each including a photoelectric conversion element.
- the photoelectric conversion element converts the received light into electric charges by photoelectric conversion.
- the image pickup element 4 generates image data based on a drive circuit for driving the plurality of pixels, a pixel circuit for reading a pixel signal based on the charge generated by the photoelectric conversion element from each of the plurality of pixels, and the read pixel signal. Including a signal processing circuit.
- the optical system 2 includes a main lens formed by combining one or a plurality of lenses and a mechanism for driving the main lens, and image light (incident light) from a subject is transmitted to an image pickup element 4 via the main lens. An image is formed on the light receiving surface of the lens. Further, the optical system 2 includes an autofocus (AF) mechanism that adjusts the focus according to a control signal, and a zoom mechanism that changes the zoom ratio according to the control signal. Further, the electronic device 1 may have the optical system 2 detachable so that it can be replaced with another optical system 2.
- AF autofocus
- the electronic device 1 may have the optical system 2 detachable so that it can be replaced with another optical system 2.
- the image processing unit 5 executes predetermined image processing on the image data output from the image sensor 4.
- the image processing unit 5 is connected to a memory 6 such as a frame memory, and writes the image data output from the image pickup device 4 to the memory 6.
- the image processing unit 5 executes predetermined image processing on the image data written in the memory 6, and writes the image-processed image data in the memory 6 again.
- the storage unit 7 is a non-volatile memory such as a flash memory or a hard disk drive, and stores the image data output from the image processing unit 5 non-volatilely.
- the display unit 8 includes a display device such as an LCD (Liquid Crystal Display) and a drive circuit for driving the display device, and can display an image based on the image data output by the image processing unit 5.
- the I / F unit 9 is an interface for transmitting the image data output from the image processing unit 5 to the outside. As the I / F unit 9, for example, USB (Universal Serial Bus) can be applied. Not limited to this, the I / F unit 9 may be an interface that can be connected to the network by wired communication or wireless communication.
- the input device 10 includes an operator for accepting user input and the like. If the electronic device 1 is, for example, a digital still camera, a digital video camera, a mobile phone or a smartphone having an image pickup function, the input device 10 has a shutter button for instructing an image pickup by the image pickup element 4 or a function of the shutter button. It can include controls to achieve it.
- the overall control unit 3 includes a processor such as a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory), and uses the RAM as a work memory according to a program stored in advance in the ROM. , Control the overall operation of this electronic device 1.
- the overall control unit 3 can control the operation of the electronic device 1 according to the user input received by the input device 10. Further, the overall control unit 3 can control the AF mechanism in the optical system 2 based on the image processing result of the image processing unit 5.
- FIG. 2 is a block diagram showing a basic configuration example of the image pickup device 4 that can be applied in common to each embodiment.
- the image pickup element 4 includes a pixel array unit 11, a vertical scanning unit 12, an AD (Analog to Digital) conversion unit 13, a pixel signal line 16, a vertical signal line 17, an output unit 18, and an element.
- a control unit 19 and a signal processing unit 120 are included.
- the pixel array unit 11 includes a plurality of pixels 110 each having a photoelectric conversion element that performs photoelectric conversion with respect to the received light.
- a photodiode can be used as the photoelectric conversion element.
- the plurality of pixels 110 are arranged in a matrix (two-dimensional lattice shape) in the horizontal direction (row direction) and the vertical direction (column direction).
- the arrangement of the pixels 110 in the row direction is called a line.
- One frame of image (image data) is formed by the pixel signals read from a predetermined number of lines in the pixel array unit 11. For example, when one frame image is formed by 3000 pixels ⁇ 2000 lines, the pixel array unit 11 includes at least 2000 lines including at least 3000 pixels 110.
- the pixel signal line 16 is connected to each row and column of each pixel 110, and the vertical signal line 17 is connected to each column.
- the pixel signal line 16 is configured as a control line group including a plurality of control lines for supplying a control signal for driving each pixel 110 aligned in the row direction.
- the end portion of the pixel signal line 16 that is not connected to the pixel array portion 11 is connected to the vertical scanning portion 12.
- the vertical scanning unit 12 transmits a control signal such as a drive pulse when reading a pixel signal from the pixel 110 to the pixel array unit 11 via the pixel signal line 16 according to the control of the element control unit 19 described later.
- the end portion of the vertical signal line 17 that is not connected to the pixel array unit 11 is connected to the AD conversion unit 13.
- the pixel signal read from the pixels is transmitted to the AD conversion unit 13 via the vertical signal line 17.
- the control of reading out the pixel signal from the pixel will be described schematically.
- the pixel signal is read from the pixel by transferring the charge accumulated in the photoelectric conversion element by exposure to the floating diffusion layer (FD; Floating Diffusion) and converting the transferred charge in the floating diffusion layer into a voltage.
- the voltage at which the charge is converted in the floating diffusion layer is output to the vertical signal line 17 via the amplifier.
- the floating diffusion layer and the vertical signal line 17 are connected according to the selection signal supplied via the pixel signal line 16. Further, the floating diffusion layer is connected to the supply line of the power supply voltage VDD or the black level voltage in a short period of time according to the reset pulse supplied via the pixel signal line 16 to reset the floating diffusion layer. A voltage (referred to as voltage P) at the reset level of the stray diffusion layer is output to the vertical signal line 17.
- the transfer pulse supplied via the pixel signal line 16 turns the photoelectric conversion element and the floating diffusion layer into an on (closed) state, and transfers the electric charge accumulated in the photoelectric conversion element to the floating diffusion layer.
- a voltage (referred to as voltage Q) corresponding to the amount of electric charge of the floating diffusion layer is output to the vertical signal line 17.
- the AD conversion unit 13 includes an AD converter 1300 provided for each vertical signal line 17, a reference signal generation unit 14, and a horizontal scanning unit 15.
- the AD converter 1300 is a column AD converter that performs AD conversion processing on each column of the pixel array unit 11.
- the AD converter 1300 performs AD conversion processing on the pixel signal supplied from the pixel 110 via the vertical signal line 17, and 2 for correlated double sampling (CDS: Correlated Double Sampling) processing for noise reduction. Generates two digital values (values corresponding to voltage P and voltage Q, respectively). Specific examples of the configuration and processing of the AD converter 1300 will be described later.
- the AD converter 1300 supplies the two generated digital values to the signal processing unit 120.
- the signal processing unit 120 performs CDS processing based on the two digital values supplied from the AD converter 1300, and generates a pixel signal (pixel data) as a digital signal.
- the pixel data generated by the signal processing unit 120 is output to the outside of the image pickup device 4.
- the image data output from the signal processing unit 120 is supplied to, for example, the image processing unit 5, and is sequentially stored in, for example, the memory 6 which is a frame buffer.
- the memory 6 which is a frame buffer.
- the reference signal generation unit 14 generates a lamp signal RAMP used by each AD converter 1300 to convert a pixel signal into two digital values based on the ADC control signal input from the element control unit 19.
- the lamp signal RAMP is a signal whose level (voltage value) decreases with a constant slope with respect to time, or a signal whose level decreases stepwise.
- the reference signal generation unit 14 supplies the generated lamp signal RAMP to each AD converter 1300.
- the reference signal generation unit 14 is configured by using, for example, a DA (Digital to Analog) conversion circuit or the like.
- the horizontal scanning unit 15 performs selective scanning in which the AD converters 1300 are selected in a predetermined order, so that each digital value temporarily held by each AD converter 1300 is performed. Are sequentially output to the signal processing unit 120.
- the horizontal scanning unit 15 is configured by using, for example, a shift register or an address decoder.
- the element control unit 19 performs drive control of the vertical scanning unit 12, the AD conversion unit 13, the reference signal generation unit 14, the horizontal scanning unit 15, and the like.
- the element control unit 19 generates various drive signals that serve as a reference for the operation of the vertical scanning unit 12, the AD conversion unit 13, the reference signal generation unit 14, and the horizontal scanning unit 15.
- the vertical scanning unit 12 attaches to each pixel 110 via the pixel signal line 16 based on the vertical synchronization signal or the external trigger signal supplied from the outside (for example, the overall control unit 3) and the horizontal synchronization signal. Generate a control signal to supply.
- the element control unit 19 supplies the generated control signal to the vertical scanning unit 12.
- the vertical scanning unit 12 Based on the control signal supplied from the element control unit 19, the vertical scanning unit 12 transmits various control signals including a drive pulse to the pixel signal line 16 of the selected pixel row of the pixel array unit 11 for each pixel. It is supplied to 110, and a pixel signal is output from each pixel 110 to a vertical signal line 17.
- the pixel signal line 16 includes a group of control lines formed by a plurality of control lines that supply control signals to each pixel 110.
- the vertical scanning unit 12 is configured by using, for example, a shift register, an address decoder, or the like.
- the image sensor 4 configured in this way is a column AD type CMOS (Complementary Metal Oxide Semiconductor) image sensor in which an AD converter 1300 is arranged for each column.
- CMOS Complementary Metal Oxide Semiconductor
- FIG. 3 is a circuit diagram showing an example configuration of a pixel 110GS as a first pixel corresponding to the above-mentioned pixel 110, which is applicable to each embodiment.
- the pixel 110 shown in FIG. 3 is a pixel having a configuration corresponding to the global shutter method (GS method).
- GS pixels pixels having a configuration corresponding to this GS method will be appropriately referred to as GS pixels.
- the pixel 110GS which is a GS pixel, includes a photodiode 20 (hereinafter, PD20) as a photoelectric conversion element, six transistors 21, 22, 24, 25, 31 and 32, and a storage 30 (hereinafter, MEM30). ) And.
- PD20 photodiode 20
- MEM30 storage 30
- each transistor 21, 22, 24, 25, 31 and 32 uses, for example, an N-channel MOS (Metal Oxide Semiconductor) type field effect transistor. That is, each of the transistors 21, 22, 24, 25, 31 and 32 is turned on at the high level of the voltage applied to the gate and turned off at the low level.
- MOS Metal Oxide Semiconductor
- EtOAc EtOAc transistor
- the anode of the PD 20 is connected to, for example, the ground potential, and the cathode is connected to the source of the transistor 31 and the drain of the transistor 32.
- the power supply Vdd of the transistor 31 is connected to the drain, and the on / off state of the transistor 31 is controlled by the control signal OFG supplied from the pixel signal line 16 (not shown) to the gate.
- One end of the MEM 30 and the drain of the transistor 21 are connected to the source of the transistor 32, and the on / off state of the transistor 32 is controlled by the control signal TX supplied from the pixel signal line 16 to the gate.
- the other end of the MEM 30 is connected to, for example, a ground potential.
- the source of the transistor 21 is connected to the source of the transistor 22 and the gate of the transistor 24.
- the power supply Vdd of the transistor 22 is connected to the drain, and the on / off state of the transistor 22 is controlled by the control signal RST supplied from the pixel signal line 16 to the gate.
- a floating diffusion layer 23 (hereinafter referred to as FD23) is formed at a connection point between the source of the transistor 21 and the source of the transistor 22.
- the power supply Vdd is connected to the drain of the transistor 24, and the drain of the transistor 25 is connected to the source.
- the transistor 24 functions as an amplifier that amplifies the signal input to the gate and outputs it from the source.
- the source of the transistor 25 is connected to the vertical signal line VSL, and the on / off state of the transistor 25 is controlled by the control signal SEL supplied from the pixel signal line 16 to the gate.
- the pixel 110GS is driven by five control signals of control signals OFG, TX, TG, RST, and SEL, the number of control lines required for driving is five.
- FIG. 4 is a schematic diagram schematically showing a cross section of the pixel 110GS applicable to each embodiment in a direction perpendicular to the light receiving surface.
- the configuration of the pixel circuit for driving the PD 20 is omitted.
- the PD 20 and the MEM 30 are arranged, and a light-shielding portion 211 is provided to prevent the incident light from leaking to the adjacent pixel. Further, a light-shielding portion 220 for preventing the incident light from irradiating the MEM 30 is provided on the MEM 30. In the pixel 110GS, the portion of the light receiving surface excluding the region of the MEM 30 becomes an opening into which the light involved in the photoelectric conversion in the PD 20 is incident.
- An optical filter 212 and, for example, a lens 213 using an on-chip lens are provided on the incident side of the pixel 110GS.
- a filter that transmits light in a predetermined wavelength band within the visible light wavelength band can be applied.
- a color filter hereinafter, referred to as an R filter, a G filter, and a B filter, respectively
- a full-color captured image can be obtained by appropriately providing an R filter, a G filter, and a B filter for each pixel 110GS in the pixel array unit 11 based on, for example, a Bayer array.
- FIG. 5 is an example sequence chart showing control in the pixel 110GS applicable to each embodiment.
- Each control is shown.
- each control signal OFG, TX, SEL, RST and TG is generated row by row by the vertical scanning unit 12 under the control of the element control unit 19, and each pixel 110 aligned in the row direction from the pixel signal line 16 of each row. Is supplied to.
- the transistor 31 is turned on is the control signal OFG is a high level at time t 20. Since the other control signals TX, SEL, RST and TG are set to low level, the cathode of the PD 20 is connected to the power supply Vdd via the transistor 31, and the PD 20 is reset.
- the control signal OFG is set to a high level at the same time in all the rows i to n, and the PD 20 is collectively reset in all the pixels 110GS included in the pixel array unit 11 (step S10). ).
- each PD20 is reset by the batch reset in step S10 and the control signal OFG is set to a low level, exposure is started all at once in all the pixels 110GS included in the pixel array unit 11, and each PD20 is incident by exposure. The charge obtained by photoelectrically converting the emitted light is accumulated.
- control signals TG and RST are set to high levels, and the transistors 21 and 22 are turned on, respectively.
- one end of the MEM 30 is connected to the power supply Vdd via the transistors 21 and 22, and the MEM 30 is reset.
- the control signals TG and RST are set to high levels at the same time in all the rows i to n, and the MEM 30 is collectively reset in all the pixels 110GS included in the pixel array unit 11 (step S11). ..
- control signal TX is set to high level and the transistor 32 is turned on. As a result, the exposure is completed and the electric charge of the PD 20 is transferred to the MEM 30.
- the control signal TX is set to a high level at the same time in all the rows i to n, and the charge of the PD 20 is collectively transferred to the MEM 30 in all the pixels 110GS included in the pixel array unit 11 (step). S12).
- the operation from the time t 23 is an operation that is sequentially executed in each row of the pixel array unit 11.
- the control signal RST is set to a high level and the transistor 22 is turned on at time t 23.
- the FD 23 is connected to the power supply Vdd via the transistor 22, and the FD 23 is reset.
- the control signal SEL is set to a high level.
- the reset level voltage of the FD 23 is supplied to the vertical signal line VSL via the transistors 24 and 25.
- the control signal TG is set to a high level and the transistor 21 is turned on.
- the control signal SEL is maintained at a high level.
- the electric charge stored in the MEM 30 is transferred to the FD 23. Since the control signal SEL is set to a high level and the transistor 25 is turned on, the charge transferred to the FD 23 is converted into a voltage and transferred as a pixel signal to the vertical signal line VSL via the transistors 24 and 25. ..
- the control signal SEL is set to a low level at a time t 25 when a predetermined time has elapsed from the time t 24 , and the transistor 25 is turned off.
- control signals RST and SEL are set to high level at this time t 23 and the control signal SEL is set to low level at time t 25 is performed according to the timing when the control signal SEL is set to low level. It is executed sequentially. That is, the reading of the pixel signal from each pixel 110GS is executed row-sequentially (step S13).
- control signals SEL and RST are performed in the (i + 1) row adjacent to the i-th row at the time t 26 immediately after or at the same time as the time t 25 when the control signal SEL is set to the low level in the i-th row. Is set to a high level, the control signal TG is set to a low level after a predetermined time has elapsed, and the control signal SEL is set to a low level after a predetermined time has elapsed.
- This operation is repeatedly executed in row sequence, and in the nth row, the control signal SEL is high immediately after the time when the control signal SEL is set to the low level in the adjacent (n-1) row or at the same time t 27. It is considered to be a level.
- the electric charge accumulated in the PD 20 by exposure is temporarily transferred to and stored in the MEM 30 (step S12), and then the path between the MEM 30 and the PD 20 is cut off.
- the electric charge stored in the MEM 30 is transferred to the FD 23. Therefore, in the pixel array unit 11, it is possible to perform exposure in all rows at once. In this way, by using the pixel 110GS, which is a GS pixel, the simultaneity is guaranteed for the imaging of each row in the pixel array unit 11.
- FIG. 6 is a circuit diagram showing an example configuration of a pixel 110RS as a second pixel corresponding to the above-mentioned pixel 110, which is applicable to each embodiment.
- the pixel 110RS shown in FIG. 6 is a pixel having a configuration corresponding to the rolling shutter method (hereinafter referred to as RS method).
- RS method pixels having a configuration corresponding to this RS method will be appropriately referred to as RS pixels.
- the pixel 110RS which is an RS pixel, has a configuration in which the MEM30 and the transistors 31 and 32 are removed from the configuration of the pixel 110GS described with reference to FIG. That is, the pixel 110RS includes a PD 20 and four transistors 21, 22, 24 and 25, which are EtOAc transistors, respectively. It was
- the anode of the PD 20 is connected to, for example, the ground potential, and the cathode is connected to the drain of the transistor 21.
- the source of the transistor 21 is connected to the source of the transistor 22 and the gate of the transistor 24.
- the power supply Vdd of the transistor 22 is connected to the drain, and the on / off state of the transistor 22 is controlled by the control signal RST supplied from the pixel signal line 16 to the gate.
- the FD 23 is formed at the connection point between the source of the transistor 21 and the source of the transistor 22.
- the power supply Vdd is connected to the drain of the transistor 24, and the drain of the transistor 25 is connected to the source.
- the source of the transistor 25 is connected to the vertical signal line VSL, and the on / off state of the transistor 25 is controlled by the control signal SEL supplied from the pixel signal line 16 to the gate.
- the number of control lines required for driving is three, which is two less than the pixel 110GS described above.
- FIG. 7 is a schematic diagram schematically showing a cross section of the pixel 110RS applicable to each embodiment in a direction perpendicular to the light receiving surface.
- the pixel 110RS has a structure in which the MEM 30 is removed from the pixel 110GS described with reference to FIG. In FIG. 7, the configuration of the pixel circuit for driving the PD 20 is omitted.
- the pixel 110GS is provided with a PD 20 and a light-shielding portion 211 for preventing incident light from leaking to adjacent pixels.
- An optical filter 212 and a lens 213 are provided on the incident side of the pixel 110RS.
- the optical filter 212 for example, the color filters described above, that is, the R, G, and B filters can be applied.
- the optical filter 212 provided on the pixel 110RS is not limited to the color filter. Although the details will be described later, an optical filter for realizing a function different from that of the pixel 110GS can be provided for the pixel 110RS.
- an optical filter an IR (Infrared) filter that transmits light having a wavelength in the infrared region, a colorless (clear) optical filter that transmits light in the wavelength region over the entire visible light wavelength band, and the like can be considered.
- the pixel 110RS does not have a MEM 30, the entire surface of the light receiving surface is an opening into which the light involved in the photoelectric conversion in the PD 20 is incident. Therefore, the pixel 110RS can have higher sensitivity than the pixel 110GS in which the area of the opening is limited by the MEM 30.
- FIG. 8 is an example sequence chart showing control in the pixel 110RS, which can be applied to each embodiment.
- the i-th row (row (i)), the (i + 1) th row (row (i + 1)), ..., The n-th row (row (n)) in the pixel array unit 11 )) Controls are shown respectively.
- each control signal SEL, RST, and TG is generated row by row by the vertical scanning unit 12 under the control of the element control unit 19, and is supplied from the pixel signal line 16 of each row to each pixel 110 aligned in the row direction. ..
- the sequence chart shown in FIG. 8 is obtained by removing the control related to the control signals OFG and TX from the sequence chart of FIG. 5 described above. That is, at time t 10, control signal TG and RST is set to the high level, respectively, the transistors 21 and 22 are respectively turned on. As a result, the cathode of the PD 20 is connected to the power supply Vdd via the transistors 21 and 22, and the PD 20 is reset. When the control signals RST and TG are set to low levels, exposure is started (shutter operation, step S20).
- the control signal RST is set to a high level and the transistor 22 is turned on at a time t 11 after a predetermined time has elapsed from the time t 10.
- the FD 23 is connected to the power supply Vdd via the transistor 22, and the FD 23 is reset. Further, at time t 11, control signal SEL is at high level. As a result, the reset level voltage of the FD 23 is supplied to the vertical signal line VSL via the transistors 24 and 25.
- the control signal TG is set to a high level and the transistor 21 is turned on. Exposure is terminated at this time t 12. Further, the control signal SEL is maintained at a high level. As a result, the electric charge accumulated in the PD 20 by the exposure is transferred to the FD 23. Since the control signal SEL is set to a high level and the transistor 25 is turned on, the charge transferred to the FD 23 is converted into a voltage and transferred as a pixel signal to the vertical signal line VSL via the transistors 24 and 25. (Read operation, step S21).
- Control signal SEL is at time t 13 a predetermined time has elapsed from the time t 12 to the low level, the transistor 25 is turned off.
- the above-mentioned operation from the operation at time t 10 to the operation at time t 13 is executed row-sequentially according to the timing at which the control signal SEL is set to the low level. That is, in each pixel 110GR, the operations from the exposure (step S20) to the reading of the pixel signal (step S21) are executed row-sequentially. Therefore, when the pixel 110RS, which is an RS pixel, is used, the synchronism regarding the imaging of each row in the pixel array unit 11 is not guaranteed.
- the RS pixel has a simpler circuit configuration than the GS pixel.
- the timing of the start and end of exposure differs for each pixel row that is accessed in sequence, which causes focal plane distortion when a fast-moving subject is imaged.
- the GS pixel has a configuration in which the simultaneous exposure is guaranteed.
- the MEM30 and PD20 have a pinned-photodiode configuration, the dark current during the holding of the charge signal can be reduced, and the PD20 and MEM30 can be completely reset / transferred. It is commonly used because it is possible.
- the GS pixel has a larger number of elements than the RS pixel, and the area of the opening of the PD 20 is smaller. Further, in order to suppress light leakage (PLS: parasitic light sensitivity) to the MEM 30 between the batch transfer of charges from the PD 20 to the MEM 30 and the sequential reading of pixels, the light-shielding unit 220 for shielding the MEM 30 is shielded. It is necessary to provide. The light shielding by the light shielding unit 220 limits a part of the light incident on the PD 20. Therefore, the sensitivity / Qs of the GS pixel is generally lower than that of the RS pixel.
- PLS parasitic light sensitivity
- control lines for supplying control signals for controlling GS pixels is larger than that of RS pixels, and it is difficult to reduce the yield due to an increase in wiring defects (short / open) and to miniaturize the pixels. It is also a factor to make.
- a GS pixel as the main pixel because simultaneousness is required for imaging of the main function (for example, imaging of a still image).
- the imaging of the sub function it is required that the sub pixel to be imaged can be exposed and read out at a timing independent of the main pixel.
- the functions of the sub pixels unlike the main pixel, the functions of the sub pixels often do not require simultaneity. Therefore, if the sub-pixels have the same configuration as the main pixels, the above-mentioned disadvantages of the GS pixels will be suffered.
- two types of pixels are mixedly mounted as the pixels 110 constituting the pixel array of the pixel array unit 11.
- one is called a main pixel and the other is called a sub pixel.
- the main pixel realizes the main function in which the pixel array unit 11 is used in the electronic device on which the pixel array unit 11 is mounted, and is used, for example, to acquire a high-quality captured image.
- the sub-pixel is used, for example, to perform imaging to assist the function of the main pixel.
- the pixel 110GS which is a GS pixel
- the pixel 110RS which is an RS pixel
- the sub-pixels are optimized according to the required characteristics, and the pixel circuit and process conditions (impla condition, layer configuration of optical filter / on-chip lens, etc.) may be different from those of the main pixel.
- a control line capable of sharing a function among a plurality of control lines included in the pixel signal line 16 is designated as a main pixel and a sub pixel. To be common with.
- FIG. 9 is a schematic diagram showing an example of an arrangement in the pixel array unit 11 of the main pixel (pixel 110GS) and the sub pixel (pixel 110RS) applicable to the first embodiment.
- the horizontal direction is the row direction and the vertical direction is the column direction
- the pixel array unit 11 is assumed to have pixels arranged in a matrix array of m columns ⁇ n rows.
- the upper end of the pixel array unit 11 is the first row
- the lower end is the nth row
- each column has the left end as the first column and the right end as the mth column.
- low (x) indicates the xth row
- col (x) indicates the xth column.
- the density in the pixel array unit 11 of the sub-pixels is determined according to the resolution of the captured image required for imaging by the sub-pixels.
- the resolution required for the image captured by the sub image is low, there may be a pixel row in which only the main pixel is arranged and a pixel row in which the main pixel and the sub pixel are mixedly mounted.
- the pixel 110RS which is a sub-pixel, is arranged every predetermined row from the first row (first row, fifth row, ..., (n-1) row), and in each row, the third column. It is arranged at predetermined intervals from (3rd column, 8th column, 13th column, ..., (m-1) column).
- Pixels 110GS which are the main pixels, are arranged at other positions. That is, the sub-pixels are thinned out and arranged at predetermined intervals in the pixel array unit 11.
- FIG. 10 is an example circuit diagram showing a configuration example of the pixel signal line 16 according to the first embodiment.
- the pixel signal line 16 is configured as a control line group including a plurality of control lines 160 OFG , 160 TX , 160 TG_m , 160 TG_s , 160 RST, and 160 SEL.
- control lines 160 OFG , 160 TX, and 160 TG_m supply control signals OFG, TX, and TG for the pixel 110GS, which is the main pixel, respectively.
- the gates of transistors 31, 32 and 21 in pixel 110GS are connected to control lines 160 OFG , 160 TX and 160 TG_m, respectively.
- the control line 160 TG_s supplies a control signal TG for the pixel 110RS which is a sub pixel.
- the gate of the transistor 21 in the pixel 110RS is connected to the control line 160 TG_s.
- control lines 160 RST and 160 SEL commonly supply the control signals RST and SEL to the pixel 110GS and the pixel 110RS, respectively.
- the gate of the transistor 22 in the pixel 110GS and the gate of the transistor 22 in the pixel 110RS are commonly connected to the control line 160 RST.
- the gate of the transistor 25 in the pixel 110GS and the gate of the transistor 25 in the pixel 110RS are commonly connected to the control line 160 SEL.
- FIG. 11 is a schematic diagram showing an example of the operation of the image pickup device 4 according to the first embodiment.
- the horizontal axis represents time and the vertical axis represents the row of the pixel array unit 11.
- the upper end of the vertical axis is the first row (row (1)) in the pixel array unit 11.
- the operation shown in FIG. 11 is executed, for example, by the control of the element control unit 19 in the image pickup element 4 according to the instruction from the overall control unit 3.
- the shutter operation in the sub-pixel (pixel 110RS) (exposure) begins. For example, between from t 30 exposure of the first row time to time t 31, is performed, the read is performed at time t 31.
- the exposure of the pixels 110RS is executed by thinning out predetermined lines, and the exposure start and end, and the reading are executed in line order.
- the exposure and readout of all the pixel rows included in the pixel array unit 11 are performed. That is, at time t 32 , PD 20 is collectively reset in all pixels 110GS included in the pixel array unit 11 (step S10 in FIG. 5), and at time t 33 after a predetermined time of time t 32, MEM 30 is collectively reset. It is reset and the charges of the PD 20 are collectively transferred to the MEM 30 (see steps S11 and S12 in FIG. 5). Further, at time t 33 , reading from each pixel 110GS is executed row-sequentially (see step S13 in FIG. 5).
- each control signal OFG, TX is on the control lines 160 OFG , 160 TX and 160 TG_m among the control lines related to the pixel 110GS which is the main pixel.
- TG are in the low state, respectively. Therefore, the exposure and the reading process are not executed in each pixel 110GS, and the pixel signal is selectively read and output from the pixel 110RS.
- the control signal TG is set to the low state on the control line 160 TG_s among the control lines related to the pixel 110RS which is the sub pixel. Therefore, the exposure and the reading process are not executed in each pixel 110RS, and the pixel signal is selectively read and output from the pixel 110GS.
- the control lines 160 RST and 160 SEL are shared by the pixel 110 GS and the pixel 110 RS, and the control signals RST and SEL are commonly supplied to the pixel 110 GS and the pixel 110 RS by the control lines 160 RST and 160 SEL.
- the transistor 21 of the other pixel is turned off, so that the control signals RST and SEL indicate the state of the electric charge accumulated in the PD20 or MEM30 of the other pixel. Do not destroy. Therefore, the control lines 160 RST and 160 SEL that supply the control signals RST and SEL can be shared by the pixels 110GS and 110RS.
- the transistor 21 is in the off state, the transistors 22 and 25 are separated from the MEM 30 or PD 20. Therefore, the states of the control signals RST and SEL do not affect the state of the electric charge accumulated in the MEM 30 or PD 20.
- the state of the control signals RST and SEL is the state of the pixel 110GS or the pixel 110RS after the charge accumulated in the MEM 30 or PD 20 is transferred. Does not affect reading from.
- a control signal for controlling one of the pixel 110GS or the pixel 110RS is used except for the period from when the transistor 21 is turned on to when the electric charge is discharged from the MEM 30 or PD 20. It can be said that RST and SEL do not affect the other.
- FIG. 12A and 12B are schematic views for explaining the correspondence between FIG. 11 and the sequence charts of FIGS. 5 and 8 described above.
- FIG. 12A corresponds to the sequence chart of FIG. 5 described above.
- the batch reset of the PD 20 at time t 32 in FIG. 11 is executed at the same timing in each row as the operation of step S10.
- the batch transfer of the charge of the PD 20 to the MEM 30 at time t 33 is executed at the same timing in each row as the operations of steps S11 and S12.
- the read operation executed row-sequentially from the time t 33 is executed as the operation of step S13 at a timing that does not overlap for each row.
- FIG. 12B corresponds to the sequence of FIG. 8 described above.
- the sub-pixel pixel 110RS
- the exposure started at time t 20 in the first row is executed in row sequence at a timing that does not overlap with each row as the operation of step S20.
- the read operation starting from the time t 31 is executed row-sequentially as the operation of step S21 at a timing that does not overlap line by line.
- control lines 160 OFG , 160 TX , 160 TG_m , 160 RST and 160 SEL are required.
- pixel 110RS which is an RS pixel
- three control lines of control lines 160 TG_s , 160 RST and 160 SEL are required.
- the control lines 160RST and SEL can be shared by the pixels 110GS and the pixels 110RS. Therefore, the number of lines in which the pixel 110GS and the pixel 110RS are mixed is less than the total number of control lines for driving the pixel 110GS and the pixel 110RS, respectively, and the six control lines 160 OFG , 160 TX , 160 TG_m , All you have to do is provide 160 TG_s, 160 RST and 160 SEL.
- FIG. 13 is an example circuit diagram showing a configuration example of the pixel signal line 16 when the pixel 110GS, which is a GS pixel, is applied to each of the main pixel and the sub pixel according to the existing technology.
- the main pixel is a pixel 110GS and the sub pixel is a pixel 110GS', and the main pixel and the sub pixel are distinguished. Further, it is assumed that the pixel 110GS and the pixel 110GS'have the same configuration.
- control signals RST and SEL can be shared as described above, while the control signals OFG, TX and TG are the pixels GS110 and 110GS. 'Need to supply each. Therefore, in this case, as shown in FIG. 13, the pixel signal line 16, control line 160 OFG_m for pixel 110GS, and 160 TX_m and 160 TG_m, control line 160 OFG_s for pixel 110GS ', and 160 TX_s and 160 TG_s, The control lines 160 RST and 160 SEL that can be shared by the pixels 110GS and 110GS'are included, for a total of eight control lines. This is more than the number of control lines of 6 when the pixels 110GS and the pixels 110RS are mixedly mounted on one line according to the first embodiment.
- one of the main pixel and the sub pixel to be mixedly mounted is a GS pixel and the other is an RS pixel.
- the first modification of the first embodiment is an example of using a sub-pixel as a pixel for AF control.
- the image plane phase difference method is used for AF control and the sub-pixels are used as pixels (image plane phase difference pixels) for performing AF control by the image plane phase difference method will be described.
- a pixel having a light-shielding portion for example, a region on the left half of the light-receiving surface of the pixel and a region on the right-side 1/2 of the light-receiving surface of another PD20 are shielded from light.
- a pair of a pixel having a light-shielding portion and a pixel having a light-shielding portion is set, and distance measurement is performed based on the phase difference of the light received by the two pixels.
- the simultaneouseity within the frame of the captured image is not important, so RS pixels can be used. Further, the RS pixel is suitable for use in the AF control because the area of the opening to which the light involved in the photoelectric conversion in the PD 20 is incident is larger than that of the GS pixel and high sensitivity can be easily obtained.
- FIG. 15A and 15B are schematic views showing an example of a pixel in which a half region of a light receiving surface is shielded by a light-shielding portion, which is applicable to the first modification of the first embodiment.
- the pixel 110RS which is an RS pixel
- the pixel 110RS ZL the pixel 110RS whose left side 1/2 is shaded
- the pixel 110RS whose right side 1/2 is shaded is a pixel. It will be described as shown in FIG. 15B as 110RS ZR.
- section (a) is a top view of pixels 110RS ZL and 110RS ZR as viewed from the incident direction of light
- section (b) is for the light receiving surfaces of pixels 110RS ZL and 110RS ZR, respectively.
- the pixel 110RS ZL has the left half region of the opening as a left shading pixel shaded by, for example, the metal shading portion 230L
- the pixel 110RS ZR has the right half region of the opening.
- it is a right light-shielding pixel that is light-shielded by a light-shielding portion 230R made of metal.
- FIG. 16 is a schematic diagram showing an example of arrangement of pixels 110RS ZL and 110RS ZR as image plane retardation pixels in the pixel array unit 11 applicable to the first modification of the first embodiment. Since the meaning of each part in the figure is the same as that in FIG. 9 described above, the description thereof is omitted here.
- the pixel 110RS ZR which is a right light-shielding pixel
- the pixel 110RS ZL which is a left light-shielding pixel
- the fourth column which is one pixel.
- circuits of the pixels 110RS ZL and 110RS ZR the circuits described with reference to FIG. 6 can be applied as they are, and thus the description thereof will be omitted here.
- FIG. 17 is a schematic diagram showing an example of the operation of the image pickup device 4 according to the first modification of the first embodiment. Since the meaning of each part in the figure is the same as that in FIG. 11 described above, the description thereof is omitted here. Further, the operation shown in FIG. 17 is executed by the control of the element control unit 19 in the image pickup element 4, for example, according to the instruction from the overall control unit 3.
- the pixels 110RS ZL and 110RS ZR are exposed for a long time from the start of exposure (time t 40 ) to the start of reading (time t 42) in the first row, for example, in order to improve the sensitivity. There is.
- the PD 20 is collectively reset in the pixel 110GS, which is the main pixel, during the exposure period from time t 40 to time t 42.
- the control signal TG is set to a low level and the transistor 21 is turned off during the exposure period. Therefore, the PD 20 is separated from the transistors 22 and 25 that are turned on by the control signals RST and SEL, and the batch reset operation of the PD 20 in the pixel 110GS at time t 41 exposes the pixels 110RS ZL and 110RS ZR . Does not affect operation.
- the read operation is executed in the pixels 110RS ZL and 110RS ZR during the period from the start of the exposure by the batch reset operation of the PD 20 at the time t 41 to the end of the exposure at the time t 43.
- Control signals RST and SEL are set to high level.
- the control signal TG is set to a low level and the transistor 21 is turned off during the exposure period. Therefore, the PD 20 is separated from the side of the transistors 22 and 25 that are turned on by the control signals RST and SEL, and the reading operation of the pixels 110RS ZL and 110RS ZR starting from the time t 42 is the exposure operation of the pixel 110GS. Does not affect.
- RS pixel having an area of an opening in which light involved in photoelectric conversion in the PD 20 is incident is larger than the GS pixel as the image plane phase difference pixel, it is possible to detect the phase difference with higher sensitivity. Therefore, AF control can be executed with higher accuracy.
- a colorless optical filter as the optical filter 212 for the pixels 110RS ZL and 110RS ZR, it is possible to further improve the detection sensitivity.
- the AF control method using sub-pixels is not limited to the above-mentioned image plane phase difference method.
- contrast AF which performs AF control based on the contrast of the captured image
- Contrast AF searches for the distance in focus while changing the distance between the image pickup element 4 and the focus lens in the optical system 2 based on the captured image. It was
- the sub pixel (RS pixel) is used as an image plane phase difference pixel. It is an example used as.
- the sub-pixel used as the image plane phase difference pixel is configured to include two photoelectric conversion elements in one pixel.
- a pixel including two photoelectric conversion elements is appropriately referred to as a 2PD pixel.
- the RS pixel to which the configuration of the 2PD pixel is applied will be described as the pixel 110RS 2PD.
- FIG. 18 is a schematic diagram showing the configuration of an example of the pixel 110RS 2PD applicable to the second modification of the first embodiment.
- section (a) is a top view of the pixel 110RS 2PD as viewed from the incident direction of light
- section (b) is a cross-sectional view schematically showing a cross section in a direction perpendicular to the light receiving surface of the pixel 110RS 2PD. be.
- the pixel 110RS 2PD is separated into a left side portion and a right side portion of the pixel by a light shielding portion 214, and PD20L is provided on the left side portion and PD20R is provided on the right side portion, respectively. ..
- the left 1/2 of the light receiving surface in the left side portion and the right side 1/2 of the light receiving surface in the right side portion are shielded by, for example, metal shading portions 240L and 240R, respectively, the left side portion is the left shading pixel, and the right side portion is Functions as a right light-shielding pixel.
- lenses 213L and 213R are provided on the left side portion and the right side portion, respectively.
- the light incident on the pixel 110RS 2PD is incident on the PD 20L and 20R, respectively, through the lenses 213L and 213R and the openings provided by the light-shielding portions 214L and 214R.
- the distance to the subject is obtained based on the phase difference of each pixel signal by each of PD20L and 20R. That is, the 2PD pixel can realize the function of combining the above-mentioned left light-shielding pixel and right light-shielding pixel by itself.
- FIG. 19 is a schematic diagram showing an example of arrangement of RS pixels as 2PD pixels in a pixel array, which is applicable to the second modification of the first embodiment.
- the pixels 110RS 2PD are arranged in the second row, the fourth column, and the (m-1) column of the second row in the pixel array unit 11, respectively.
- the density of the image plane phase difference pixels is higher than that of the case of using the left light-shielding pixel and the right light-shielding pixel. Can be increased.
- FIG. 20 is a circuit diagram showing a configuration of an example of the pixel 110RS 2PD according to the second modification of the first embodiment.
- pixel 110RS2PD includes two PDs, PD20L and PD20R.
- the PD 20L and 20R are connected to the FD 23 via the transistors 21L and 21R, respectively.
- the on / off states of the transistors 21L and 21R are controlled by the control signals TGL and TGR, respectively.
- TGL and TGR By exclusively controlling the on / off states of the transistors 21L and 21R by the control signals TGL and TGR, it is possible to independently execute the exposure and readout by the PD20L and the exposure and readout by the PD20R. Will be done.
- control signals TGL and TGR are signals for exclusive control
- the control line for supplying the control signal TGL and the control line for supplying the control signal TGR are not shared. Therefore, the number of control lines included in the pixel signal line 16 in the pixel line in which the pixel 110GS and the pixel 110RS 2PD are mixedly mounted is, for example, one more than the number described with reference to FIG.
- the operations described with reference to FIG. 11 can be applied.
- the operation from the start of the exposure at the time t 30 in FIG. 11 to the reading at the time t 31 is executed twice, once for the PD 20L and once for the PD 20R.
- the third modification of the first embodiment is an example in which a sub-pixel (RS pixel) is used for motion detection.
- RS pixel sub-pixel
- the image processing unit 5 sets a region of interest (ROI: Region Of Interest) with respect to the captured image output from the image sensor 4, and moves in the region of interest as sub-pixels. It is detected using the pixel signal of the above, and the detection result is notified to the whole control unit 3.
- the overall control unit 3 causes the image sensor 4 to switch the image pickup from the image pickup using the sub pixel to the image pickup using the main pixel.
- the image sensor 4 switches the image pickup from the image pickup using the sub pixel to the image pickup using the main pixel (GS pixel).
- FIG. 21 is a schematic diagram showing an example of the operation of the image pickup device 4 according to the third modification of the first embodiment.
- the operation shown in FIG. 21 is executed, for example, by the control of the element control unit 19 in the image pickup element 4 according to the instruction from the overall control unit 3.
- the arrangement described with reference to FIG. 9 can be applied, and thus the description thereof is omitted here.
- the sub-pixels are arranged at a density that allows motion detection. Further, since the pixel 110RS described with reference to FIGS. 6 to 8 can be applied to the sub pixel and the pixel 110GS described with reference to FIGS. 3 to 5 can be applied to the main pixel as they are, the description thereof is omitted here.
- section (a) schematically shows an image pickup region 300 in which an image pickup is performed by the image pickup device 4 and an attention region 301 set in the image pickup region 300.
- the region of interest 301 is set as an region in the captured image of one frame in the image processing unit 5, for example, according to the instruction of the overall control unit 3.
- FIG. 21 shows an example in which the subject image 310 is included in the imaging region 300.
- section (b) is a schematic diagram showing an example of operation in the image pickup device 4 according to the third modification of the first embodiment. Since the meaning of each part in the figure is the same as that in FIG. 11 described above, the description thereof is omitted here. Further, in the following, the exposure and readout operations executed in sequence from the first row will be described as represented by the operations in the first row.
- the pixel 110RS is exposed during the period from time t 50 to t 51 , and the reading is executed at the time t 51 when the exposure is completed.
- the exposure is performed during the period t 52 to t 53 corresponding to the timing when the reading of the first row is completed, and the reading is executed at the time t 54 when the exposure is completed.
- This exposure and readout operation is repeated at predetermined time intervals.
- the time interval in which this operation is repeated may be, for example, a frame rate such as 30 fps (frame per second) or 60 fps, or an interval of several seconds.
- section as (a) in a period of time t 50 ⁇ t 51, the object image 310 is included in the external region of interest 301 in the imaging region 300, the next time t 52 ⁇ t 53 During the period, the subject image 310 hangs on the region of interest 301.
- the image processing unit 5 can track the same subject image 310 in each image pickup by pattern matching, image recognition processing, or the like.
- the overall control unit 3 instructs the image pickup device 4 to switch the image pickup operation from the image pickup operation using the pixel 110RS to the image pickup operation using the pixel 110GS.
- the element control unit 19 executes a batch reset of the PD 20 at time t 54 to start exposure by the pixel 110GS at a time t 54, a batch reset of the MEM 30 at a time t 55 , and a batch reset from the PD 20 to the MEM 30 in accordance with this instruction.
- running the batch transfer of charge, that the pixel 110GS at time t 55 the reading of transmission signal, the row is sequentially executed.
- the overall control unit 3 switches the imaging operation from the imaging operation using the pixel 110GS to the imaging operation using the pixel 110RS.
- the exposure is performed during the period from time t 56 to t 57 , and the reading is executed at the time t 57 when the exposure is completed.
- the pixel 110RS which can be made more sensitive than the pixel 110GS, is used for imaging for motion detection. Therefore, it is possible to execute the motioner detection with higher accuracy. Further, the pixels 110RS for performing motion detection are arranged by being thinned out in a predetermined manner in the pixel array unit 11. Therefore, the load of motion detection processing in the image processing unit 5 can be suppressed, and high speed and low power consumption can be achieved.
- the subject image 310 is applied to the region of interest 301, so that the image pickup operation is switched from the image pickup operation using the pixel 110RS to the image pickup operation using the pixel 110GS. .. Further, when the reading of the pixel 110GS is completed, the imaging operation is switched from the imaging operation using the pixel 110GS to the imaging operation using the pixel 110RS. Therefore, the control signals RST and SEL supplied to one of the pixels 110GS and 110RS via the control lines 160 RST and 160 SEL shared by the pixels 110GS and 110RS affect the operation of the other pixel. No.
- the fourth modification of the first embodiment is an example in which a sub-pixel (RS pixel) is used for capturing a moving image for displaying on the display unit 8.
- the moving image captured by the sub-pixels is a so-called live view image used as an aid in capturing an image captured by the main pixel (for example, a still image).
- FIG. 22 is a schematic diagram showing an example of the operation of the image pickup device 4 according to the fourth modification of the first embodiment.
- the operation shown in FIG. 22 is executed by the control of the element control unit 19 in the image pickup element 4, for example, according to the instruction from the overall control unit 3. Since the meaning of each part in the figure is the same as that in FIG. 11 described above, the description thereof is omitted here. Further, in the following, the exposure and readout operations executed in sequence from the first row will be described as represented by the operations in the first row.
- the arrangement described with reference to FIG. 9 can be applied, and thus the description thereof is omitted here.
- the sub-pixels are arranged on the display unit 8 at a density that can be used as an auxiliary for capturing a still image. Further, since the pixel 110RS described with reference to FIGS. 6 to 8 can be applied to the sub pixel and the pixel 110GS described with reference to FIGS. 3 to 5 can be applied to the main pixel as they are, the description thereof is omitted here.
- imaging by the pixel 110RS which is a sub-pixel, is continuously executed.
- the exposure of the pixel 110RS is performed in the period of time t 62 ⁇ t 63, reading is performed in the time t 63.
- a moving image for one frame is acquired.
- time reading in t 63 ends, is performed during the exposure time t 66 ⁇ t 67 pixels 110RS, it is read executed at time t 67 is the moving image of the next frame are acquired.
- exposure and readout by the pixel 110RS are repeatedly executed at predetermined time intervals (for example, frame time intervals).
- the operation by the pixel 110GS which is the main pixel, is executed at a timing corresponding to, for example, a shutter operation by the user.
- the overall control unit 3 instructs the image pickup device 4 to perform imaging by the pixel 110GS, for example, in response to a shutter operation by the user.
- the element control unit 19 executes a batch reset of the PD 20 at time t 61 to start exposure by the pixel 110GS, a batch reset of the MEM 30 at time t 64 , and a batch reset from PD 20 to MEM 30.
- the charge is collectively transferred, and at time t 65 , the transmission signal is read out from the pixel 110GS in a row-sequential manner.
- This series of operations by the pixel 110GS is executed in parallel with the imaging operation by the pixel 110RS.
- the timing at which the control signals RST and SEL are set to a high level by the operation of the pixel 110RS is set to a high level by the control signal TG in the read operation of the pixel 110GS, and the transistor 21 is turned on. Therefore, for example, the read timing of the pixel 110GS or the operation of the pixel 110RS can be adjusted so as not to be included in the period until the charge is discharged from the MEM 30.
- the moving image used for the live view is generated from the pixel signals of the pixels 110RS arranged by being thinned out in the pixel array unit 11. Therefore, it is possible to increase the processing speed and reduce the power consumption.
- the second embodiment is an example of sharing the FD23 with pixels (pixels 110GS or pixels 110GS and pixels 110RS) arranged in adjacent rows.
- FIG. 23 is an example circuit diagram showing a configuration example of a pixel signal line according to a second embodiment.
- the circuit 1100GS (a) and the circuit 1100RS share a transistor 22, an FD 23, a transistor 24, and a transistor 25.
- the circuit 1100GS (a) is arranged in the ath row and includes the PD20a, the transistor 21a, the MEM30, the transistor 31 and the transistor 32, and further includes the transistor 22, the FD23, the transistor 24 and the transistor 25 in the main pixel.
- a certain pixel 110GS is formed.
- the circuit 1100RS is arranged in the same column as the circuit 1100GS (a) in the bth row adjacent to the ath row. Similar to the circuit 1100GS, the circuit 1100RS includes the PD 20b and the transistor 21b, and further includes the transistor 22, the FD 23, the transistor 24, and the transistor 25 to form the pixel 110RS which is a sub pixel.
- circuit 1100GS (b) arranged in the b-th row has the same configuration as the circuit 1100GS (a), and the transistor 22, the FD23, the transistor 24 and the transistor 25 are arranged adjacent to the pixel 1100GS (b). It is shared with the pixels 1100GS (a) arranged in the same row.
- the sub pixel and the main pixel are mixedly mounted in the b-th row.
- the pixel signal line 16 includes control lines 160 OFG and 160 TX that supply control signals OFG and TX that commonly control circuits 1100GS (a) and 1100GS (b) in line a.
- the pixel signal line 16 further includes a control line 160 TG_m (a) for supplying a control signal TG_a for controlling the circuit 1100GS (a) in the ath line and a control signal TG_b for controlling the circuit 1100GS (b) in the bth line.
- Includes a control line 160 TG_m (b) which supplies.
- the pixel signal line 16 includes a control line 160 TG_s for supplying a control signal TG for controlling the circuit 1100RS, and control lines 160 RST and 160 SEL for supplying the control signals RST and SEL to each circuit in common, respectively. That is, the pixel signal line 16 includes seven control lines.
- FIG. 24 is an example circuit diagram showing a configuration example of a pixel signal line when the configuration of a GS pixel is applied as a sub pixel in an example in which an FD 23 is shared by adjacent rows.
- the circuit 1100GS (b)' has the same configuration as the circuit 1100GS (a), and the transistor 22, FD23, transistor 24 and transistor 25 are arranged in the same row as the circuit 1100GS (b)' in the same row. It is shared with the circuit 1100GS (a) arranged in.
- the sub pixel and the main pixel are mixedly mounted in the b-th row.
- the circuit 1100GS (b)'as a sub pixel needs to be independently controllable with respect to the pixel 1100GS (b) as the main pixel in the same row. Therefore, in order to control the circuit 1100GS (b)', it is necessary to supply the control signal TG and further supply the control signals OFG and TX.
- the pixel signal line 16 in addition to the seven control lines described with reference to FIG. 23, the control signal and control line 160 OFG_s for supplying OFG, control line 160 TX_s for supplying a control signal TX And, two control lines will be further included.
- the pixel signal line 16 is compared with the case where the GS pixel configuration is applied as the sub pixel. It is possible to reduce the number of control lines included in.
- a charge-holding type pixel is applied to the GS pixel. That is, in the first embodiment and its respective modifications, and the GS pixel in the second embodiment, the electric charge accumulated in the PD 20 by exposure is temporarily accumulated in the MEM 30, and the electric charge accumulated in the MEM 30 is FD23. It was configured to be converted into a voltage and read out as a pixel signal.
- a voltage holding type pixel is applied as the GS pixel.
- the voltage-holding type pixel converts the charge accumulated in the PD 20 by exposure into a voltage by the FD 23, accumulates the pixel signal converted into the voltage, and reads it out at a predetermined timing.
- FIG. 25 is a circuit diagram showing a configuration of an example of a voltage holding type GS pixel applicable to the third embodiment.
- a configuration for holding a voltage is added to the position of the vertical signal line VSL in the configuration of the RS pixel (pixel 110RS) described with reference to FIG.
- the pixel 110GS (vd) includes a first voltage holding unit 40P and a second voltage holding unit 40D as a voltage holding configuration.
- the first voltage holding unit 40P (MEM (P)) holds the potential of the P phase (Pre-Charge phase), that is, the potential at the time of resetting the FD23.
- the second voltage holding unit 40D (MEM (D)) holds the potential of the D phase (Data phase), that is, the signal potential of the pixel signal.
- the holding potential of the first voltage holding unit 40P is read out via a vertical signal line VSL (not shown) by supplying a control signal SEL (P) to the gate of the transistor 41P to turn on the transistor 41P.
- the holding potential of the second voltage holding unit 40D is read out via the vertical signal line VSL by supplying the control signal SEL (D) to the gate of the transistor 41D to turn on the transistor 41P.
- the noise component can be removed by performing the correlated double sampling process (CDS: Correlated Double Sampling) in which the potential of the P phase is subtracted from the potential of the D phase. ..
- This voltage-holding type pixel 110GS (vd) requires more control signals than the charge-holding type pixel 110GS described above, and the number of control lines included in the pixel signal line 16 is also larger. Even in this case, by applying an RS pixel (for example, pixel 110RS) as a sub-pixel mixedly mounted in the same pixel row, the pixel signal line 16 is compared with the case where the pixel 110GS (vd) is applied to the sub-pixel. It is possible to reduce the number of control lines included.
- RS pixel for example, pixel 110RS
- the initialization of the FD 23 is executed according to the state of the control signal RST as described above. Further, the pixel 1100GS (vd) can share the FD23 with the pixel 1100RS arranged in the same column of the adjacent row as the pixel 1100GS (vd), as described with reference to FIG. 23.
- FIG. 26 is a diagram showing a first embodiment and each modification thereof, a second embodiment, and a usage example using the electronic device 1 according to the third embodiment.
- the above-mentioned electronic device 1 can be used in various cases where, for example, as shown below, light such as visible light, infrared light, ultraviolet light, and X-ray is sensed and recognition processing is performed based on the sensing result. ..
- -A device that captures images used for viewing, such as digital cameras and mobile devices with camera functions.
- in-vehicle sensors that photograph the front, rear, surroundings, inside of the vehicle, etc., surveillance cameras that monitor traveling vehicles and roads, inter-vehicle distance, etc.
- a device used for traffic such as a distance measuring sensor that measures the distance.
- -A device used for home appliances such as TVs, refrigerators, and air conditioners in order to take a picture of a user's gesture and operate the device according to the gesture.
- -Devices used for medical treatment and healthcare such as endoscopes and devices that perform angiography by receiving infrared light.
- -Devices used for security such as surveillance cameras for crime prevention and cameras for person authentication.
- -A device used for beauty such as a skin measuring device that photographs the skin and a microscope that photographs the scalp.
- -Devices used for sports such as action cameras and wearable cameras for sports applications.
- -Agricultural equipment such as cameras for monitoring the condition of fields and crops.
- the technology according to the present disclosure (6-2. Application example to mobile body)
- the technology according to the present disclosure can be applied to various products.
- the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
- FIG. 27 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
- the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
- the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
- a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
- the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
- the drive system control unit 12010 has a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
- the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
- the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
- the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
- the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
- the outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
- the image pickup unit 12031 is connected to the vehicle outside information detection unit 12030.
- the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
- the vehicle outside information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
- the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
- the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the image pickup unit 12031 may be visible light or invisible light such as infrared light.
- the in-vehicle information detection unit 12040 detects the in-vehicle information.
- a driver state detection unit 12041 that detects the state of the driver is connected to the in-vehicle information detection unit 12040.
- the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver has fallen asleep.
- the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
- a control command can be output to 12010.
- the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
- ADAS Advanced Driver Assistance System
- the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
- the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle outside information detection unit 12030.
- the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
- the audio image output unit 12052 transmits an output signal of at least one of audio and an image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
- an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
- the display unit 12062 may include, for example, at least one of an onboard display and a head-up display.
- FIG. 28 is a diagram showing an example of the installation position of the image pickup unit 12031.
- the vehicle 12100 has image pickup units 12101, 12102, 12103, 12104, 12105 as image pickup units 12031.
- the image pickup units 12101, 12102, 12103, 12104, 12105 are provided, for example, at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
- the image pickup unit 12101 provided in the front nose and the image pickup section 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
- the image pickup units 12102 and 12103 provided in the side mirror mainly acquire images of the side of the vehicle 12100.
- the image pickup unit 12104 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
- the images in front acquired by the image pickup units 12101 and 12105 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
- FIG. 28 shows an example of the shooting range of the imaging units 12101 to 12104.
- the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
- the imaging ranges 12112 and 12113 indicate the imaging range of the imaging units 12102 and 12103 provided on the side mirrors, respectively
- the imaging range 12114 indicates the imaging range.
- the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the image pickup units 12101 to 12104, a bird's-eye view image of the vehicle 12100 can be obtained.
- At least one of the image pickup units 12101 to 12104 may have a function of acquiring distance information.
- at least one of the image pickup units 12101 to 12104 may be a stereo camera including a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
- the microcomputer 12051 has a distance to each three-dimensional object within the image pickup range 12111 to 12114 based on the distance information obtained from the image pickup unit 12101 to 12104, and a temporal change of this distance (relative speed with respect to the vehicle 12100). By obtaining can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in advance in front of the preceding vehicle, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
- automatic braking control including follow-up stop control
- automatic acceleration control including follow-up start control
- the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, electric poles, and other three-dimensional objects based on the distance information obtained from the image pickup units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
- At least one of the image pickup units 12101 to 12104 may be an infrared camera that detects infrared rays.
- the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging unit 12101 to 12104.
- pedestrian recognition is, for example, a procedure for extracting feature points in an image captured by an image pickup unit 12101 to 12104 as an infrared camera, and pattern matching processing is performed on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
- the audio image output unit 12052 determines the square contour line for emphasizing the recognized pedestrian.
- the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
- the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
- the technique according to the present disclosure can be applied to the image pickup unit 12031 and the vehicle exterior information detection unit 12030 among the configurations described above.
- the yield of the product can be improved and the cost can be reduced.
- the present technology can also have the following configurations.
- a plurality of pixels each including a photoelectric conversion element, arranged in a matrix arrangement, and A control line group including a plurality of control lines for controlling each pixel aligned in the row direction, which is arranged in each row of the array.
- a plurality of read lines arranged in each column for transferring a pixel signal read from each pixel aligned in the column direction in the array, and Equipped with The plurality of pixels are From the first control line group including the first number of control lines among the plurality of control lines included in the control line group in each pixel aligned in the row direction of at least one row in each row of the array.
- the exposure start and exposure end of the first pixel are controlled by the control signal supplied from the first control line group at a collective timing in each row of the array.
- the exposure start and exposure end of the second pixel are controlled at different timings in each row of the array by the control signal supplied from the second control line group.
- the first pixel is A first storage unit that stores the electric charge generated by the photoelectric conversion element according to a control signal from the first control line included in the control line group, and A first charge-voltage conversion unit that converts the charge stored in the first storage unit into a voltage according to a control signal from a second control line included in the control line group.
- a first selection unit that outputs a pixel signal based on the voltage at which the charge is converted by the first charge-voltage conversion unit to the read-out line according to a control signal from the third control line included in the control line group.
- Have The second pixel is A second charge-voltage conversion unit that converts the charge generated by the photoelectric conversion element into a voltage according to a control signal from the fourth control line included in the control line group.
- a second selection unit that outputs a pixel signal based on the voltage at which the charge is converted by the second charge-voltage conversion unit to the readout line according to a control signal from the third control line included in the control line group.
- the first charge-voltage conversion unit and the second charge-voltage conversion unit are initialized by the control signal supplied from the same control line included in the control line group.
- the image pickup apparatus according to (1) or (2) above.
- the imaging device according to (3) above.
- the first pixel is A third charge-voltage conversion unit that converts the charge generated by the photoelectric conversion element into a voltage according to a control signal from the fifth control line included in the control line group.
- a second storage unit that stores a signal obtained by converting the charge into a voltage in the third charge-voltage conversion unit according to a control signal from a sixth control line included in the control line group.
- a third selection unit that reads the signal stored in the second storage unit as a pixel signal according to the control signal from the seventh control line included in the control line group and outputs the signal to the reading line.
- the second pixel is A second charge-voltage conversion unit that converts the charge generated by the photoelectric conversion element into a voltage according to a control signal from the eighth control line included in the control line group.
- a second selection unit that outputs a pixel signal based on the voltage at which the charge is converted by the second charge-voltage conversion unit to the readout line according to a control signal from the seventh control line included in the control line group.
- the third charge-voltage conversion unit and the second charge-voltage conversion unit are initialized by the control signal supplied from the same control line included in the control line group.
- the image pickup apparatus according to (1) or (2) above.
- (6) The third charge-voltage conversion unit of the first pixel corresponding to a predetermined row in the array, and In a row adjacent to the predetermined row in the array, the second charge-voltage conversion unit of the second pixel whose position corresponds to that of the first pixel is shared.
- the imaging device according to (5) above.
- the second pixel is A pixel in which a part of the light receiving surface on which light is incident on the photoelectric conversion element is shielded from light and a pixel in which the other part of the light receiving surface corresponding to the portion of the light receiving surface is shielded from light are included.
- the imaging device according to any one of (1) to (6).
- the second pixel is Includes two photoelectric conversion elements A part of the light receiving surface on which light is incident on one of the two photoelectric conversion elements is shielded from light. The other part of the light receiving surface on which light is incident on the other photoelectric conversion element with respect to the part corresponding to the part is shielded from light.
- the imaging device according to any one of (1) to (6).
- the imaging operation by the start and end of exposure by the second pixel and the transfer of the pixel signal corresponding to the charge generated by the exposure to the readout line is repeatedly executed at regular time intervals. At a predetermined timing, the imaging operation is switched to an imaging operation by the start and end of exposure by the first pixel and the transfer of the pixel signal according to the charge generated by the exposure to the readout line.
- the imaging device according to any one of (1) to (8).
- the first imaging operation by the start and end of exposure by the second pixel and the transfer of the pixel signal corresponding to the charge generated by the exposure to the readout line is repeatedly executed at regular time intervals.
- the second imaging operation by the start and end of exposure by the first pixel and the transfer of the pixel signal according to the charge generated by the exposure to the readout line at a predetermined timing is the first.
- the imaging device according to any one of (1) to (8) The fixed time interval is a frame interval for displaying a moving image by a pixel signal based on the second pixel.
- An optical filter that transmits light over the entire visible light wavelength band is arranged in the second pixel.
- An optical filter that transmits light in the infrared wavelength band is arranged in the second pixel.
- An optical filter that transmits light in a predetermined wavelength band used for full-color imaging is arranged in the second pixel.
- An optical filter that transmits light in a predetermined wavelength band used for full-color imaging is arranged in the first pixel.
- a plurality of read lines arranged in each column for transferring a pixel signal read from each pixel aligned in the column direction in the array, and Equipped with The plurality of pixels are From the first control line group including the first number of control lines among the plurality of control lines included in the control line group in each pixel aligned in the row direction of at least one row in each row of the array.
- Imaging unit including A storage unit that stores image data based on the pixel signal, Electronic equipment with.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
本開示に係る撮像装置は、それぞれ光電変換素子(20)を含み、行列状の配列で配置される複数の画素(110)と、配列の各行にそれぞれ配置される、行方向に整列する各画素を制御するための複数の制御線を含む制御線群(16)と、配列のうち列方向に整列する各画素から読み出された画素信号を転送するための、各列に配置される複数の読み出し線(VSL)と、を備え、複数の画素は、配列の各行のうち少なくとも1つの行の行方向に整列する各画素において、制御線群に含まれる複数の制御線のうち第1の数の制御線を含む第1の制御線群から供給される制御信号により制御される第1の画素(110GS)と、制御線群に含まれる複数の制御線のうち第1の数より少ない第2の数の制御線を含む第2の制御線群から供給される制御信号により制御される第2の画素(110RS)と、を含む。
Description
本開示は、撮像装置および電子機器に関する。
受光素子を含む画素を行列状の配列で配置した画素アレイにおける撮像方式の一つとしてグローバルシャッタ方式(以下、GS方式)が知られている。GS方式は、画素アレイにおける露光の同時性を保証するもので、幾つかの構成が提案されている。代表的な例として、例えば受光素子が露光により生成した電荷を一時的に蓄積するメモリ領域を有し、メモリ領域を利用することで、露光開始および終了時間の画素アレイの全体を通じた同時化を可能とした構成が知られている。
ところで、画素アレイに配置される画素に対して、主たる撮像画像を得るための画素(メイン画素と呼ぶ)と、メイン画素とは異なる機能を実現するための画素(サブ画素と呼ぶ)と、を混載させる構成が提案されている。サブ画素により実現される機能の例としては、サブ画素による撮像結果を用いたAF機能や、サブ画素による撮像画像を動画として出力しメイン画素による撮像の補助を行うライブビュー機能などが挙げられる。
画素アレイにおいて、画素行に対してメイン画素およびサブ画素を混載する場合、サブ画素は、メイン画素とは独立したタイミングで露光および読み出しが可能であることが求められる。しかしながら、メイン画素とサブ画素とを独立したタイミングで制御可能とした場合、画素行毎の制御線がより多くなり、配線不良の増加や、画素の微細化が困難となるおそれがある。
本開示は、画素行に対して異なる機能を実現する画素を混載する場合の構成を簡素化可能な撮像装置および電子機器を提供することを目的とする。
本開示に係る撮像装置は、それぞれ光電変換素子を含み、行列状の配列で配置される複数の画素と、配列の各行にそれぞれ配置される、行方向に整列する各画素を制御するための複数の制御線を含む制御線群と、配列のうち列方向に整列する各画素から読み出された画素信号を転送するための、各列に配置される複数の読み出し線と、を備え、複数の画素は、配列の各行のうち少なくとも1つの行の行方向に整列する各画素において、制御線群に含まれる複数の制御線のうち第1の数の制御線を含む第1の制御線群から供給される制御信号により制御される第1の画素と、制御線群に含まれる複数の制御線のうち第1の数より少ない第2の数の制御線を含む第2の制御線群から供給される制御信号により制御される第2の画素と、を含む。
以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
以下、本開示の実施形態について、下記の順序に従って説明する。
1.本開示の各実施形態に適用可能な技術
2.本開示の実施形態の概要
3.第1の実施形態
3-1.第1の実施形態の第1の変形例
3-2.第1の実施形態の第2の変形例
3-3.第1の実施形態の第3の変形例
3-4.第1の実施形態の第4の変形例
4.第2の実施形態
5.第3の実施形態
6.第4の実施形態
6-1.本開示の技術の適用例
6-2.移動体への適用例
1.本開示の各実施形態に適用可能な技術
2.本開示の実施形態の概要
3.第1の実施形態
3-1.第1の実施形態の第1の変形例
3-2.第1の実施形態の第2の変形例
3-3.第1の実施形態の第3の変形例
3-4.第1の実施形態の第4の変形例
4.第2の実施形態
5.第3の実施形態
6.第4の実施形態
6-1.本開示の技術の適用例
6-2.移動体への適用例
[1.本開示の各実施形態に適用可能な技術]
図1は、各実施形態に共通して適用可能な電子機器の一例の構成を示すブロック図である。図1において、電子機器1は、光学系2と、全体制御部3と、撮像素子4と、画像処理部5と、メモリ6と、記憶部7と、表示部8と、インタフェース(I/F)部9と、入力デバイス10と、を備える。
図1は、各実施形態に共通して適用可能な電子機器の一例の構成を示すブロック図である。図1において、電子機器1は、光学系2と、全体制御部3と、撮像素子4と、画像処理部5と、メモリ6と、記憶部7と、表示部8と、インタフェース(I/F)部9と、入力デバイス10と、を備える。
ここで、電子機器1としては、デジタルスチルカメラ、デジタルビデオカメラ、撮像機能付きの携帯電話やスマートフォンなどを適用することができる。また、電子機器1として、監視カメラや車載用カメラ、医療用のカメラなどを適用することも可能である。
撮像素子4は、それぞれ光電変換素子を含む、例えば行列状の配列で配置される複数の画素を有する画素アレイを含む。光電変換素子は、受光した光を光電変換にて電荷に変換する。撮像素子4は、この複数の画素を駆動する駆動回路と、複数の画素それぞれから光電変換素子により生成された電荷に基づく画素信号を読み出す画素回路と、読み出した画素信号に基づき画像データを生成する信号処理回路と、を含む。
光学系2は、1または複数枚のレンズの組み合わせによる主レンズと、主レンズを駆動するための機構と、を含み、被写体からの像光(入射光)を、主レンズを介して撮像素子4の受光面上に結像させる。また、光学系2は、制御信号に従いフォーカスを調整するオートフォーカス(AF)機構や、制御信号に従いズーム率を変更するズーム機構を備える。また、電子機器1は、光学系2を着脱可能とし、他の光学系2と交換できるようにしてもよい。
画像処理部5は、撮像素子4から出力された画像データに対して所定の画像処理を実行する。例えば、画像処理部5は、フレームメモリなどによるメモリ6が接続され、撮像素子4から出力された画像データをメモリ6に書き込む。画像処理部5は、メモリ6に書き込まれた画像データに対して所定の画像処理を実行し、画像処理された画像データを再びメモリ6に書き込む。
記憶部7は、例えばフラッシュメモリやハードディスクドライブなどの不揮発性のメモリであって、画像処理部5から出力された画像データを不揮発に記憶する。表示部8は、例えばLCD(Liquid Crystal Display)といった表示デバイスと、当該表示デバイスを駆動する駆動回路と、を含み、画像処理部5が出力された画像データに基づく画像を表示することができる。I/F部9は、画像処理部5から出力された画像データを外部に送信するためのインタフェースである。I/F部9としては、例えばUSB(Universal Serial Bus)を適用することができる。これに限らず、I/F部9は、有線通信または無線通信によりネットワークに接続可能なインタフェースであってもよい。
入力デバイス10は、ユーザ入力を受け付けるための操作子などを含む。電子機器1が例えばデジタルスチルカメラ、デジタルビデオカメラ、撮像機能付きの携帯電話やスマートフォンであれば、入力デバイス10は、撮像素子4による撮像を指示するためのシャッタボタン、あるいは、シャッタボタンの機能を実現するための操作子を含むことができる。
全体制御部3は、例えばCPU(Central Processing Unit)などのプロセッサと、ROM(Read Only Memory)およびRAM(Random Access Memory)を含み、ROMに予め記憶されたプログラムに従い、RAMをワークメモリとして用いて、この電子機器1の全体の動作を制御する。例えば、全体制御部3は、入力デバイス10に受け付けられたユーザ入力に応じて、電子機器1の動作を制御することができる。また、全体制御部3は、画像処理部5の画像処理結果に基づき、光学系2におけるAF機構を制御することができる。
図2は、各実施形態に共通して適用可能な撮像素子4の基本的な構成例を示すブロック図である。図2において、撮像素子4は、画素アレイ部11と、垂直走査部12と、AD(Analog to Digital)変換部13と、画素信号線16と、垂直信号線17と、出力部18と、素子制御部19と、信号処理部120と、を含む。
画素アレイ部11は、それぞれ受光した光に対して光電変換を行う光電変換素子を有する複数の画素110を含む。光電変換素子としては、フォトダイオードを用いることができる。画素アレイ部11において、複数の画素110は、水平方向(行方向)および垂直方向(列方向)に行列状(二次元格子状)に配列される。画素アレイ部11において、画素110の行方向の並びをラインと呼ぶ。この画素アレイ部11において所定数のラインから読み出された画素信号により、1フレームの画像(画像データ)が形成される。例えば、3000画素×2000ラインで1フレームの画像が形成される場合、画素アレイ部11は、少なくとも3000個の画素110が含まれるラインを、少なくとも2000ライン、含む。
また、画素アレイ部11には、各画素110の行および列に対し、行毎に画素信号線16が接続され、列毎に垂直信号線17が接続される。画素信号線16は、行方向に整列する各画素110を駆動する制御信号を供給するための複数の制御線を含む制御線群として構成される。
画素信号線16の画素アレイ部11と接続されない端部は、垂直走査部12に接続される。垂直走査部12は、後述する素子制御部19の制御に従い、画素110から画素信号を読み出す際の駆動パルスなどの制御信号を、画素信号線16を介して画素アレイ部11へ伝送する。垂直信号線17の画素アレイ部11と接続されない端部は、AD変換部13に接続される。画素から読み出された画素信号は、垂直信号線17を介してAD変換部13に伝送される。
画素からの画素信号の読み出し制御について、概略的に説明する。画素からの画素信号の読み出しは、露光により光電変換素子に蓄積された電荷を浮遊拡散層(FD;Floating Diffusion)に転送し、浮遊拡散層において転送された電荷を電圧に変換することで行う。浮遊拡散層において電荷が変換された電圧は、アンプを介して垂直信号線17に出力される。
より具体的には、画素110において、露光中は、光電変換素子と浮遊拡散層との間をオフ(開)状態として、光電変換素子において、光電変換により入射された光に応じて生成された電荷を蓄積させる。露光終了後、画素信号線16を介して供給される選択信号に応じて浮遊拡散層と垂直信号線17とを接続する。さらに、画素信号線16を介して供給されるリセットパルスに応じて浮遊拡散層を電源電圧VDDまたは黒レベル電圧の供給線と短期間において接続し、浮遊拡散層をリセットする。垂直信号線17には、浮遊拡散層のリセットレベルの電圧(電圧Pとする)が出力される。その後、画素信号線16を介して供給される転送パルスにより光電変換素子と浮遊拡散層との間をオン(閉)状態として、光電変換素子に蓄積された電荷を浮遊拡散層に転送する。垂直信号線17に対して、浮遊拡散層の電荷量に応じた電圧(電圧Qとする)が出力される。
AD変換部13は、垂直信号線17毎に設けられたAD変換器1300と、参照信号生成部14と、水平走査部15と、を含む。AD変換器1300は、画素アレイ部11の各列(カラム)に対してAD変換処理を行うカラムAD変換器である。AD変換器1300は、垂直信号線17を介して画素110から供給された画素信号に対してAD変換処理を施し、ノイズ低減を行う相関二重サンプリング(CDS:Correlated Double Sampling)処理のための2つのディジタル値(電圧Pおよび電圧Qにそれぞれ対応する値)を生成する。AD変換器1300の構成および処理の具体例については、後述する。
AD変換器1300は、生成した2つのディジタル値を信号処理部120に供給する。信号処理部120は、AD変換器1300から供給される2つのディジタル値に基づきCDS処理を行い、ディジタル信号による画素信号(画素データ)を生成する。信号処理部120により生成された画素データは、撮像素子4の外部に出力される。
信号処理部120から出力された画像データは、例えば画像処理部5に供給され、例えばフレームバッファであるメモリ6に順次記憶される。フレームバッファに1フレーム分の画素データが記憶されると、記憶された画素データが1フレームの画像データとしてフレームバッファから読み出される。
参照信号生成部14は、素子制御部19から入力されるADC制御信号に基づき、各AD変換器1300が画素信号を2つのディジタル値に変換するために用いるランプ信号RAMPを生成する。ランプ信号RAMPは、レベル(電圧値)が時間に対して一定の傾きで低下する信号、または、レベルが階段状に低下する信号である。参照信号生成部14は、生成したランプ信号RAMPを、各AD変換器1300に供給する。参照信号生成部14は、例えばDA(Digital to Analog)変換回路などを用いて構成される。
水平走査部15は、素子制御部19の制御の下、各AD変換器1300を所定の順番で選択する選択走査を行うことによって、各AD変換器1300が一時的に保持している各ディジタル値を信号処理部120へ順次出力させる。水平走査部15は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。
素子制御部19は、垂直走査部12、AD変換部13、参照信号生成部14および水平走査部15などの駆動制御を行う。素子制御部19は、垂直走査部12、AD変換部13、参照信号生成部14および水平走査部15の動作の基準となる各種の駆動信号を生成する。素子制御部19は、外部(例えば全体制御部3)から供給される垂直同期信号または外部トリガ信号と、水平同期信号とに基づき、垂直走査部12が画素信号線16を介して各画素110に供給するための制御信号を生成する。素子制御部19は、生成した制御信号を垂直走査部12に供給する。
垂直走査部12は、素子制御部19から供給される制御信号に基づき、画素アレイ部11の選択された画素行の画素信号線16に駆動パルスを含む各種の制御信号を、ライン毎に各画素110に供給し、各画素110から、画素信号を垂直信号線17に出力させる。なお、画素信号線16は、それぞれ制御信号を各画素110に供給する複数の制御線による制御線群を含む。垂直走査部12は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。
このように構成された撮像素子4は、AD変換器1300が列毎に配置されたカラムAD方式のCMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。
(グローバルシャッタ方式に対応する画素について)
図3は、各実施形態に適用可能な、上述した画素110に対応する、第1の画素としての画素110GSの一例の構成を示す回路図である。図3に示す画素110は、グローバルシャッタ方式(GS方式)に対応する構成を有する画素である。以下、このGS方式に対応する構成を有する画素を、適宜、GS画素と呼ぶ。
図3は、各実施形態に適用可能な、上述した画素110に対応する、第1の画素としての画素110GSの一例の構成を示す回路図である。図3に示す画素110は、グローバルシャッタ方式(GS方式)に対応する構成を有する画素である。以下、このGS方式に対応する構成を有する画素を、適宜、GS画素と呼ぶ。
図3において、GS画素である画素110GSは、光電変換素子としてのフォトダイオード20(以下、PD20)と、6個のトランジスタ21、22、24、25、31および32と、ストレージ30(以下、MEM30)とを含む。
なお、この例では、各トランジスタ21、22、24、25、31および32は、例えばNチャネルのMOS(Metal Oxide Semiconductor)型電界効果トランジスタを用いている。すなわち、各トランジスタ21、22、24、25、31および32は、ゲートに印加される電圧がハイ(High)レベルでオン状態とされ、ロー(Low)レベルでオフ状態とされる。以下、NチャネルのMOS型電界効果トランジスタを、NMOSトランジスタと呼ぶ。
PD20のアノードが例えば接地電位に接続され、カソードがトランジスタ31のソースとトランジスタ32のドレインとに接続される。トランジスタ31は、ドレインに電源Vddが接続され、ゲートに画素信号線16(図示しない)から供給される制御信号OFGによりオン/オフ状態が制御される。トランジスタ32は、ソースにMEM30の一端と、トランジスタ21のドレインとが接続され、ゲートに画素信号線16から供給される制御信号TXによりオン/オフ状態が制御される。MEM30の他端は、例えば接地電位に接続される。
トランジスタ21のソースがトランジスタ22のソースと、トランジスタ24のゲートとに接続される。トランジスタ22は、ドレインに電源Vddが接続され、ゲートに画素信号線16から供給される制御信号RSTによりオン/オフ状態が制御される。トランジスタ21のソースと、トランジスタ22のソースとの接続点に、浮遊拡散層23(以下、FD23)が形成される。
トランジスタ24のドレインに電源Vddが接続され、ソースにトランジスタ25のドレインが接続される。トランジスタ24は、ゲートに入力された信号を増幅してソースから出力するアンプとして機能する。トランジスタ25は、ソースが垂直信号線VSLに接続され、ゲートに画素信号線16から供給される制御信号SELによりオン/オフ状態が制御される。
ここで、画素110GSは、制御信号OFG、TX、TG、RSTおよびSELの5つの制御信号により駆動されるため、駆動に必要な制御線の本数は、5本となる。
図4は、各実施形態に適用可能な画素110GSの、受光面に対して垂直な方向における断面を概略的に示す模式図である。なお、図4において、PD20を駆動するための画素回路の構成は、省略されている。
画素110GSは、PD20とMEM30とが配置され、入射した光の隣接画素への漏れ込みを防ぐための遮光部211が設けられる。また、入射した光のMEM30への照射を防ぐための遮光部220がMEM30に対して設けられる。画素110GSでは、受光面においてこのMEM30の領域を除いた部分が、PD20における光電変換に関与する光が入射される開口部となる。
画素110GSの入射側に対し、光学フィルタ212と、例えばオンチップレンズによるレンズ213が設けられる。光学フィルタ212は、例えば可視光波長帯域内の所定の波長帯域の光を透過させるフィルタを適用できる。一例として、光学フィルタ212として、赤色、緑色および青色何れかの波長帯域の光を透過させるカラーフィルタ(以下、それぞれRフィルタ、Gフィルタ、Bフィルタと呼ぶ)を適用することができる。画素アレイ部11における各画素110GSに対し、Rフィルタ、GフィルタおよびBフィルタを例えばベイヤ(Bayer)配列に基づき適宜、設けることでフルカラーによる撮像画像を得ることが可能となる。
図5は、各実施形態に適用可能な、画素110GSにおける制御を示す一例のシーケンスチャートである。なお、図5では、それぞれ画素アレイ部11における画素行である第i行(row(i))、第(i+1)行(row(i+1))、…、第n行(row(n))の制御をそれぞれ示している。また、各制御信号OFG、TX、SEL、RSTおよびTGは、素子制御部19の制御に従い垂直走査部12により行毎に生成され、各行の画素信号線16から、行方向に整列する各画素110に供給される。
第i行~第n行において、時間t20で制御信号OFGがハイレベルとされてトランジスタ31がオン状態とされる。他の制御信号TX、SEL、RSTおよびTGがローレベルとされているため、PD20のカソードがトランジスタ31を介して電源Vddに接続され、PD20がリセットされる。ここで、制御信号OFGは、第i行~第n行の全ての行において同時にハイレベルとされ、画素アレイ部11に含まれる全ての画素110GSにおいて、PD20が一括してリセットされる(ステップS10)。
ステップS10の一括リセットにより各PD20がリセットされ、制御信号OFGがローレベルとされると、画素アレイ部11に含まれる全ての画素110GSで露光が一斉に開始され、各PD20において、露光により入射された光が光電変換された電荷が蓄積される。
時間t20から所定時間が経過後の時間t21で、制御信号TGおよびRSTがそれぞれハイレベルとされ、トランジスタ21および22がそれぞれオン状態とされる。これにより、MEM30の一端がトランジスタ21および22を介して電源Vddに接続され、MEM30がリセットされる。制御信号TGおよびRSTは、第i行~第n行の全ての行において同時にハイレベルとされ、画素アレイ部11に含まれる全ての画素110GSにおいて、MEM30が一括してリセットされる(ステップS11)。
制御信号TGおよびRSTがローレベルとされた後の時間t22で、制御信号TXがハイレベルとされ、トランジスタ32がオン状態とされる。これにより、露光が終了され、PD20の電荷がMEM30に転送される。制御信号TXは、第i行~第n行の全ての行において同時にハイレベルとされ、画素アレイ部11に含まれる全ての画素110GSにおいて、PD20の電荷がMEM30に一括して転送される(ステップS12)。
以降、時間t23からの動作は、画素アレイ部11の各行で順次に実行される動作となる。第i行を例に取ると、時間t23で制御信号RSTがハイレベルとされ、トランジスタ22がオン状態とされる。FD23がトランジスタ22を介して電源Vddに接続され、FD23がリセットされる。また、時間t23では、制御信号SELがハイレベルとされる。これにより、FD23のリセットレベルの電圧が、トランジスタ24および25を介して垂直信号線VSLに供給される。
時間t23から所定時間が経過した時間t24で、制御信号TGがハイレベルとされ、トランジスタ21がオン状態とされる。制御信号SELは、ハイレベルが維持される。これにより、MEM30に蓄積された電荷がFD23に転送される。制御信号SELがハイレベルとされトランジスタ25がオン状態とされているため、FD23に転送された電荷は、電圧に変換され、画素信号としてトランジスタ24および25を介して垂直信号線VSLに転送される。
制御信号SELは、時間t24から所定時間が経過した時間t25においてローレベルとされ、トランジスタ25がオフ状態とされる。
この時間t23において制御信号RSTおよびSELがそれぞれハイレベルとされ、時間t25で制御信号SELがローレベルとされるまでの動作は、制御信号SELがローレベルとされるタイミングに応じて、行順次に実行される。すなわち、各画素110GSからの画素信号の読み出しは、行順次に実行される(ステップS13)。
図5の例では、第i行において制御信号SELがローレベルとされた時間t25の直後あるいは同時の時間t26で、第i行に隣接する第(i+1)行において、制御信号SELおよびRSTがハイレベルとされ、その所定時間の経過後に制御信号TGがローレベルとされ、さらに所定時間の経過後に、制御信号SELがローレベルとされる。この動作が行順次で繰り返し実行され、第n行において、隣接する第(n-1)行において制御信号SELがローレベルとされた時間の直後あるいは同時の時間t27で、制御信号SELがハイレベルとされる。
このように、GS画素である画素110GSでは、露光によりPD20に蓄積された電荷を一時的にMEM30に転送、格納し(ステップS12)、その後、MEM30とPD20との間の経路を切断して、MEM30に格納された電荷をFD23に転送している。そのため、画素アレイ部11において、全行で一括して露光を行うことが可能となる。このように、GS画素である画素110GSを用いることで、画素アレイ部11における各行の撮像について、同時性が保証される。
(ローリングシャッタ方式に対応する画素について)
図6は、各実施形態に適用可能な、上述した画素110に対応する、第2の画素としての画素110RSの一例の構成を示す回路図である。図6に示す画素110RSは、ローリングシャッタ方式(以下、RS方式)に対応する構成を有する画素である。以下、このRS方式に対応する構成を有する画素を、適宜、RS画素と呼ぶ。
図6は、各実施形態に適用可能な、上述した画素110に対応する、第2の画素としての画素110RSの一例の構成を示す回路図である。図6に示す画素110RSは、ローリングシャッタ方式(以下、RS方式)に対応する構成を有する画素である。以下、このRS方式に対応する構成を有する画素を、適宜、RS画素と呼ぶ。
図6において、RS画素である画素110RSは、図3を用いて説明した画素110GSの構成からMEM30、ならびに、トランジスタ31および32を取り除いた構成を有する。すなわち、画素110RSは、PD20と、それぞれNMOSトランジスタである4個のトランジスタ21、22、24および25と、を含む。
PD20のアノードが例えば接地電位に接続され、カソードがトランジスタ21のドレインに接続される。トランジスタ21のソースがトランジスタ22のソースと、トランジスタ24のゲートとに接続される。トランジスタ22は、ドレインに電源Vddが接続され、ゲートに画素信号線16から供給される制御信号RSTによりオン/オフ状態が制御される。トランジスタ21のソースと、トランジスタ22のソースとの接続点に、FD23が形成される。トランジスタ24のドレインに電源Vddが接続され、ソースにトランジスタ25のドレインが接続される。トランジスタ25は、ソースが垂直信号線VSLに接続され、ゲートに画素信号線16から供給される制御信号SELによりオン/オフ状態が制御される。
ここで、画素110RSは、制御信号TG、RSTおよびSELの3つの制御信号により駆動されるため、駆動に必要な制御線の本数は、上述した画素110GSに対して2本少ない3本となる。
図7は、各実施形態に適用可能な画素110RSの、受光面に対して垂直な方向における断面を概略的に示す模式図である。画素110RSは、図4を用いて説明した画素110GSからMEM30を取り除いた構造を有する。なお、図7において、PD20を駆動するための画素回路の構成は、省略されている。
画素110GSは、PD20が配置され、入射した光の隣接画素への漏れ込みを防ぐための遮光部211が設けられる。画素110RSの入射側に対し、光学フィルタ212とレンズ213が設けられる。光学フィルタ212は、例えば上述したカラーフィルタすなわちR、GおよびBフィルタの各カラーフィルタを適用することができる。画素110RSに設けられる光学フィルタ212は、カラーフィルタに限られない。詳細は後述するが、画素110RSに対して、画素110GSとは異なる機能を実現させるための光学フィルタを設けることができる。このような光学フィルタとして、赤外領域の波長の光を透過させるIR(Infrared)フィルタや、可視光波長帯域の全域の波長領域の光を透過させる無色(クリア)の光学フィルタなどが考えられる。
画素110RSは、MEM30が無いため、受光面の全面が、PD20における光電変換に関与する光が入射される開口部となる。したがって、画素110RSは、MEM30により開口部の面積が制限される画素110GSと比較して、高感度とすることができる。
図8は、各実施形態に適用可能な、画素110RSにおける制御を示す一例のシーケンスチャートである。なお、図8では、上述の図5と同様に、画素アレイ部11における第i行(row(i))、第(i+1)行(row(i+1))、…、第n行(row(n))の制御をそれぞれ示している。また、各制御信号SEL、RSTおよびTGは、素子制御部19の制御に従い垂直走査部12により行毎に生成され、各行の画素信号線16から、行方向に整列する各画素110に供給される。
図8に示されるシーケンスチャートは、上述した図5のシーケンスチャートから制御信号OFGおよびTXに係る制御を除いたものとなる。すなわち、時間t10で、制御信号TGおよびRSTがそれぞれハイレベルとされ、トランジスタ21および22がそれぞれオン状態とされる。これにより、PD20のカソードがトランジスタ21および22を介して電源Vddに接続され、PD20がリセットされる。制御信号RSTおよびTGがそれぞれローレベルとされると、露光が開始される(シャッタ動作、ステップS20)。
時間t10から所定時間が経過後の時間t11で制御信号RSTがハイレベルとされ、トランジスタ22がオン状態とされる。FD23がトランジスタ22を介して電源Vddに接続され、FD23がリセットされる。また、時間t11では、制御信号SELがハイレベルとされる。これにより、FD23のリセットレベルの電圧が、トランジスタ24および25を介して垂直信号線VSLに供給される。
時間t11から所定時間が経過した時間t12で、制御信号TGがハイレベルとされ、トランジスタ21がオン状態とされる。この時間t12で露光が終了される。また、制御信号SELは、ハイレベルが維持される。これにより、露光によりPD20に蓄積された電荷がFD23に転送される。制御信号SELがハイレベルとされトランジスタ25がオン状態とされているため、FD23に転送された電荷は、電圧に変換され、画素信号としてトランジスタ24および25を介して垂直信号線VSLに転送される(読み出し動作、ステップS21)。
制御信号SELは、時間t12から所定時間が経過した時間t13においてローレベルとされ、トランジスタ25がオフ状態とされる。
上述の時間t10の動作から時間t13までの動作は、制御信号SELがローレベルとされるタイミングに応じて、行順次に実行される。すなわち、各画素110GRにおいて、露光(ステップS20)からの画素信号の読み出し(ステップS21)までの動作は、行順次に実行される。したがって、RS画素である画素110RSを用いた場合には、画素アレイ部11における各行の撮像に関する同時性は、保証されない。
[2.本開示の実施形態の概要]
RS画素は、図6に示したように、GS画素と比較して回路構成が簡素である。その一方で、露光開始および終了のタイミングが順次にアクセスする画素行毎に異なり、これにより高速移動の被写体を撮像した場合にフォーカルプレーン歪みが発生してしまう。
RS画素は、図6に示したように、GS画素と比較して回路構成が簡素である。その一方で、露光開始および終了のタイミングが順次にアクセスする画素行毎に異なり、これにより高速移動の被写体を撮像した場合にフォーカルプレーン歪みが発生してしまう。
これに対し、GS画素は、上述したように、露光の同時性が保証される構成となっている。図3~図5を用いて説明したGS画素の構成では、MEM30とPD20とがpinned-photodiode構成とされ、電荷信号の保持中の暗電流が小さくでき、またPD20およびMEM30の完全リセット/転送が可能であるため、一般的に用いられる。
一方で、GS画素は、RS画素と比較して素子数が多く、PD20の開口部の面積が小さくなる。また、PD20からMEM30への電荷の一括転送後から、画素の順次読み出しまでの間に、MEM30への光漏れ(PLS:parasitic light sensitivity)を抑制するために、MEM30を遮光するための遮光部220を設ける必要がある。この遮光部220による遮光により、PD20に対して入射される光の一部が制限されることになる。したがって、GS画素の感度/Qsは、一般的には、RS画素と比較して低いものとなる。また、GS画素を制御するための制御信号を供給するための制御線の本数は、RS画素と比較して多く、配線不良(ショート/オープン)の増加による歩留まり低下や、画素の微細化を困難にする要因にもなる。
また、撮像素子の多機能化も求められている。例えば、以下のようなユースケースが考えられる。
・像面位相差画素(後述する)と通常のGS画素とを画素行に混載させ、像面位相差が外通常のGS画素とをそれぞれ独立に読み出す。
・静止画像の撮像補助としての動画像(ライブビュー画像)の撮像において、画素を間引いて読み出す。
・像面位相差画素(後述する)と通常のGS画素とを画素行に混載させ、像面位相差が外通常のGS画素とをそれぞれ独立に読み出す。
・静止画像の撮像補助としての動画像(ライブビュー画像)の撮像において、画素を間引いて読み出す。
これらのユースケースでは、メイン機能の撮像(例えば静止画像の撮像)では同時性が求められるため、メイン画素としてGS画素を採用することが好ましい。一方、サブ機能の撮像では、当該撮像を行うサブ画素を、メイン画素と独立なタイミングで露光および読み出し可能であることが求められる。一方、メイン画素と異なり、サブ画素による機能は、同時性が不要のケースが多い。このため、サブ画素をメイン画素と同様の構成にすると、上述した、GS画素のデメリットを受けてしまうことになる。
そこで、本開示の各実施形態では、画素アレイ部11の画素配列を構成する画素110として、2種類の画素を混載させる。この2種類の画素のうち一方をメイン(main)画素、他方をサブ(sub)画素と呼ぶ。メイン画素は、当該画素アレイ部11が搭載される電子機器において、当該画素アレイ部11が使用される主たる機能を実現させるもので、例えば高品質の撮像画像を取得するために用いられる。サブ画素は、例えばメイン画素による機能を補助するための撮像を行うために用いられる。
本開示の各実施形態では、メイン画素としてGS画素である画素110GSを用い、サブ画素としてRS画素である画素110RSを用いる。サブ画素は、要求される特性に応じて最適化され、画素回路、プロセス条件(インプラ条件、光学フィルタ/オンチップレンズなどの層構成)がメイン画素と異なっていても良い。
本開示の各実施形態では、メイン画素とサブ画素とが混載される画素行において、画素信号線16に含まれる複数の制御線のうち、機能を共有可能な制御線を、メイン画素およびサブ画素とで共通化する。
[3.第1の実施形態]
次に、本開示の第1の実施形態について説明する。図9は、第1の実施形態に適用可能なメイン画素(画素110GS)およびサブ画素(画素110RS)の画素アレイ部11における配列の例を示す模式図である。
次に、本開示の第1の実施形態について説明する。図9は、第1の実施形態に適用可能なメイン画素(画素110GS)およびサブ画素(画素110RS)の画素アレイ部11における配列の例を示す模式図である。
図9において、水平方向が行方向、垂直方向が列方向とされ、画素アレイ部11は、m列×n行の行列状の配列で画素が配置されるものとしている。各行は、画素アレイ部11の上端が第1行、下端が第n行とされ、各列は、左端が第1列、右端が第m列とされている。また、row(x)は第x行を示し、col(x)は第x列を示している。
サブ画素の画素アレイ部11における密度は、サブ画素による撮像に対して要求される撮像画像の解像度に応じて決定される。サブ画像による撮像画像に要求される解像度が低い場合には、メイン画素のみが配置される画素行と、メイン画素とサブ画素とが混載される画素行と、が存在し得る。図9の例では、サブ画素である画素110RSは、第1行から所定行おきに配置され(第1行、第5行、…、第(n-1)行)、各行において、第3列から所定列おきに配置されている(第3列、第8列、第13列、…、第(m-1)列)。それ以外の位置には、メイン画素である画素110GSが配置される。すなわち、サブ画素は、画素アレイ部11において、所定間隔で間引きされて配置される。
図10は、第1の実施形態に係る画素信号線16の構成例を示す一例の回路図である。図10において、画素信号線16は、複数の制御線160OFG、160TX、160TG_m、160TG_s、160RSTおよび160SELを含む制御線群として構成される。
これらのうち、制御線160OFG、160TXおよび160TG_mは、それぞれメイン画素である画素110GSに対する制御信号OFG、TXおよびTGを供給する。画素110GSにおけるトランジスタ31、32および21のゲートが、それぞれ、制御線160OFG、160TXおよび160TG_mに接続される。また、制御線160TG_sは、サブ画素である画素110RSに対する制御信号TGを供給する。画素110RSにおけるトランジスタ21のゲートが制御線160TG_sに接続される。
一方、制御線160RSTおよび160SELは、それぞれ、画素110GSおよび画素110RSに対して共通に、制御信号RSTおよびSELをそれぞれ供給する。画素110GSにおけるトランジスタ22のゲートと、画素110RSにおけるトランジスタ22のゲートと、が制御線160RSTに共通に接続される。同様に、画素110GSにおけるトランジスタ25のゲートと、画素110RSにおけるトランジスタ25のゲートと、が制御線160SELに共通に接続される。
図11は、第1の実施形態に係る撮像素子4における動作の例を示す模式図である。図11において、横軸は時間を示し、縦軸は画素アレイ部11の行を示している。縦軸の上端が、画素アレイ部11における第1行(row(1))となる。図11に示す動作は、例えば、全体制御部3からの指示に従い、撮像素子4における素子制御部19の制御により実行される。
図11の例では、時間t30から、サブ画素(画素110RS)におけるシャッタ動作(露光)が開始される。例えば第1行の露光が時間t30から時間t31までの間、実行され、時間t31において読み出しが行われる。画素アレイ部11において、画素110RSの露光は、所定行を間引いて実行されると共に、露光開始および終了、ならびに、読み出しが行順次に実行される。
画素110RSが混載される各画素行の露光および読み出しの終了後に、画素アレイ部11に含まれる全ての画素行の露光および読み出しが行われている。すなわち、時間t32で、画素アレイ部11に含まれる全ての画素110GSにおいて、PD20が一括してリセットされ(図5のステップS10)、時間t32の所定時間後の時間t33で、MEM30が一括リセットされ、PD20の電荷がMEM30に一括して転送される(図5のステップS11、ステップS12参照)。さらに、時間t33において、各画素110GSからの読み出しが行順次に実行される(図5のステップS13参照)。
ここで、時間t30からの、サブ画素である画素110RSに対するアクセス時には、メイン画素である画素110GSに係る各制御線のうち制御線160OFG、160TXおよび160TG_mにおいて、各制御信号OFG、TXおよびTGがそれぞれロー状態とされている。そのため、各画素110GSでは露光や読み出し処理が実行されず、画素110RSから選択的に画素信号が読み出され出力される。
同様に、時間t32からの、メイン画素である画素110GSに対するアクセス時には、サブ画素である画素110RSに係る各制御線のうち制御線160TG_sにおいて、制御信号TGがロー状態とされている。そのため、各画素110RSでは露光や読み出し処理が実行されず、画素110GSから選択的に画素信号が読み出され出力される。
なお、制御線160RSTおよび160SELは、画素110GSと画素110RSとで共有され、制御信号RSTおよびSELは、これら制御線160RSTおよび160SELにより、画素110GSおよび画素110RSに対して共通に供給される。画素110GSおよび画素110RSの一方にアクセスした場合、他方の画素のトランジスタ21がオフ状態とされているため、制御信号RSTおよびSELは、当該他方の画素のPD20あるいはMEM30に蓄積される電荷の状態を破壊しない。そのため、制御信号RSTおよびSELを供給する制御線160RSTおよび160SELは、画素110GSおよび110RSで共有できる。
より具体的には、画素110GSあるいは画素110RSにおいて、トランジスタ21がオフ状態であれば、トランジスタ22および25は、MEM30あるいはPD20から切り離される。そのため、制御信号RSTおよびSELの状態がMEM30あるいはPD20に蓄積される電荷の状態に影響しない。一方、画素110GSあるいは画素110RSにおいて、トランジスタ21がオン状態であっても、MEM30あるいはPD20に蓄積された電荷が転送された後であれば、制御信号RSTおよびSELの状態が、画素110GSあるいは画素110RSからの読み出しに影響しない。
したがって、画素110GSあるいは画素110RSにおいて、トランジスタ21がオン状態とされてから、MEM30あるいはPD20から電荷が排出されるまでの期間以外であれば、画素110GSあるいは画素110RSの一方を制御するための制御信号RSTおよびSELが、他方に影響を与えることが無いといえる。
図12Aおよび図12Bは、図11と、上述した図5および図8のシーケンスチャートと、の対応関係を説明するための模式図である。図12Aは、上述した図5のシーケンスチャートに対応する。図11における、時間t32でのPD20の一括リセットは、ステップS10の動作として、各行において同一のタイミングで実行される。同様に、時間t33での、PD20の電荷のMEM30への一括転送は、ステップS11およびステップS12の動作として、それぞれ各行において同一のタイミングで実行される。さらに、図11において、時間t33から行順次に実行される読み出し動作は、ステップS13の動作として、行毎に重複しないタイミングで実行される。
図12Bは、上述した図8のシーケンスに対応する。なお、ここでは、サブ画素(画素110RS)は、k行毎に画素行に混載されるものとしている。図11において、第1行で時間t20にて開始される露光は、ステップS20の動作として、行毎に重複しないタイミングで、行順次に実行される。同様に、図11において、時間t31から開始される読み出し動作は、ステップS21の動作として、行毎に重複しないタイミングで、行順次に実行される。
上述したように、GS画素である画素110GSを駆動するためには、5本の制御線160OFG、160TX、160TG_m、160RSTおよび160SELが必要とされる。また、RS画素である画素110RSを駆動するためには、制御線160TG_s、160RSTおよび160SELの3本の制御線が必要とされる。
1つの行に画素110GSと画素110RSとを、それぞれ独立して制御可能に混載する場合、制御線160RSTおよびSELを画素110GSと画素110RSとで共有できる。そのため、当該画素110GSおよび画素110RSが混載される行は、これら画素110GSおよび画素110RSそれぞれを駆動するための制御線を合計した本数より少ない、6本の制御線160OFG、160TX、160TG_m、160TG_s、160RSTおよび160SELを設けるだけで済む。
ここで、メイン画素とサブ画素とを、それぞれGS画素により構成した場合について考える。図13は、既存技術に係る、メイン画素およびサブ画素それぞれにGS画素である画素110GSを適用した場合の画素信号線16の構成例を示す一例の回路図である。なお、図13では、メイン画素を画素110GSとし、サブ画素を画素110GS’として、メイン画素とサブ画素とを区別している。また、画素110GSと、画素110GS’は、同一の構成を有するものとする。
画素110GSと画素110GS’とを同一行に混載させ、さらにそれぞれ独立して制御する場合、上述の通り制御信号RSTおよびSELは共有できる一方で、制御信号OFG、TXおよびTGは、画素GS110および110GS’にそれぞれ供給する必要がある。したがって、この場合、図13に示されるように、画素信号線16は、画素110GSに対する制御線160OFG_m、160TX_mおよび160TG_mと、画素110GS’に対する制御線160OFG_s、160TX_sおよび160TG_sと、画素110GSおよび110GS’で共有可能な制御線160RSTおよび160SELと、の合計8の制御線を含むことになる。これは、第1の実施形態に係る、画素110GSと画素110RSとを1行に混載させた場合の制御線の本数6本より多い。
このように、第1の実施形態では、画素行にメイン画素およびサブ画素を混載させる場合に、混載させるメイン画素およびサブ画素のうち一方をGS画素とし、他方をRS画素としている。これにより、メイン画素およびサブ画素をそれぞれGS画素により構成する場合に比べて、画素信号線16に含まれる制御線の本数を削減することが可能となる。そのため、配線不良の増加による歩留まり低下を抑制することができ、画素の微細化も容易とすることができる。
(画素行にGS画素とRS画素とを混載させない構成例)
ここで、画素行にGS画素とRS画素とを混載させない場合の構成例について、図14を用いて説明する。図14の例では、画素行に対してGS画素である画素110GSのみを配置した例である。この場合、各画素110GSが独立して制御される必要が無いため、各制御信号OFG、TX、TG、RSTおよびSELが各画素110GSで共通とされる。そのため、画素信号線16は、各制御信号OFG、TX、TG、RSTおよびSELを供給するための5本の制御線160OFG、160TX、160TG、160RSTおよび160SELのみを含む。
ここで、画素行にGS画素とRS画素とを混載させない場合の構成例について、図14を用いて説明する。図14の例では、画素行に対してGS画素である画素110GSのみを配置した例である。この場合、各画素110GSが独立して制御される必要が無いため、各制御信号OFG、TX、TG、RSTおよびSELが各画素110GSで共通とされる。そのため、画素信号線16は、各制御信号OFG、TX、TG、RSTおよびSELを供給するための5本の制御線160OFG、160TX、160TG、160RSTおよび160SELのみを含む。
(3-1.第1の実施形態の第1の変形例)
次に、第1の実施形態の第1の変形例について説明する。第1の実施形態の第1の変形例は、サブ画素をAF制御のための画素として用いる例である。ここでは、AF制御として像面位相差方式を用い、サブ画素を像面位相差方式によるAF制御を行うための画素(像面位相差画素)として用いる場合について説明する。
次に、第1の実施形態の第1の変形例について説明する。第1の実施形態の第1の変形例は、サブ画素をAF制御のための画素として用いる例である。ここでは、AF制御として像面位相差方式を用い、サブ画素を像面位相差方式によるAF制御を行うための画素(像面位相差画素)として用いる場合について説明する。
像面位相差方式のAF制御は、複数の画素により受光された光の位相差に基づき測距を行い、測距結果に従いフォーカス制御を実行する。第1の実施形態の第1の変形例では、画素の受光面の例えば左側1/2の領域を遮光した遮光部を有する画素と、他のPD20の受光面の右側1/2の領域を遮光した遮光部を有する画素と、の2画素を組とし、この2画素に受光された光の位相差に基づき測距を行う。
像面位相差方式のAF制御では、撮像画像のフレーム内での同時性が重要ではないため、RS画素を用いることができる。また、RS画素は、GS画素と比較してPD20における光電変換に関与する光が入射される開口部の面積が大きく、高感度を容易に得られるため、当該AF制御に用いて好適である。
図15Aおよび図15Bは、第1の実施形態の第1の変形例に適用可能な、受光面の1/2の領域が遮光部により遮光された画素の例を示す模式図である。ここでは、RS画素である画素110RSを像面位相差画素として用い、左側1/2が遮光された画素110RSを画素110RSZLとして図15Aに示し、右側1/2が遮光された画素110RSを画素110RSZRとして図15Bに示して説明を行う。
図15Aおよび図15Bは、それぞれ、セクション(a)が、画素110RSZLおよび110RSZRを光の入射方向から見た上面図、セクション(b)が、画素110RSZLおよび110RSZRの受光面に対して垂直な方向における断面を概略的に示す断面図である。この例では、画素110RSZLは、開口部の左側1/2の領域が、例えばメタルによる遮光部230Lにより遮光された左遮光画素とされ、画素110RSZRは、開口部の右側1/2の領域が、例えばメタルによる遮光部230Rにより遮光された右遮光画素とされている。
図16は、第1の実施形態の第1の変形例に適用可能な、画素アレイ部11における、像面位相差画素としての画素110RSZLおよび110RSZRの配置の例を示す模式図である。図の各部の意味は、上述の図9と同様であるので、ここでの説明を省略する。
この例では、画素アレイ部11における第2行の第2列に右遮光画素である画素110RSZRが配置され、1画素分おいた第4列に左遮光画素である画素110RSZLが配置されている。このように、右遮光画素および左遮光画素の組を、画素行に対して所定の位置関係に従い複数組、配置する。右遮光画素および左遮光画素それぞれから読み出された各画素信号の位相差に基づき、被写体までの距離を求めることができる。
なお、画素110RSZLおよび110RSZRの回路は、図6を用いて説明した回路をそのまま適用できるので、ここでの説明を省略する。
図17は、第1の実施形態の第1の変形例に係る撮像素子4における動作の例を示す模式図である。図の各部の意味は、上述した図11と同様であるので、ここでの説明を省略する。また、図17に示す動作は、例えば、全体制御部3からの指示に従い、撮像素子4における素子制御部19の制御により実行される。
図17の例では、画素110RSZLおよび110RSZRは、例えば第1行に露光開始(時間t40)、から読み出し開始(時間t42)まで、長時間の露光を行い、感度の向上を図っている。
また、この例では、露光期間の時間t40から時間t42の間に、メイン画素である画素110GSにおいて、PD20の一括リセットが実行されている。このとき、画素110RSZLおよび110RSLRは、露光期間中は制御信号TGがローレベルとされてトランジスタ21がオフ状態となっている。そのため、PD20が制御信号RSTおよびSELによりオン状態とされるトランジスタ22および25の側と切り離されており、時間t41での画素110GSにおけるPD20の一括リセット動作は、画素110RSZLおよび110RSZRの露光動作に影響しない。
同様に、画素110GSにおいて、時間t41のPD20の一括リセット動作により露光が開始されてから、時間t43において露光が終了されるまでの期間に、画素110RSZLおよび110RSZRにおいて読み出し動作が実行され、制御信号RSTおよびSELがハイレベルとされる。この場合においても、画素110GSは、露光期間中は制御信号TGがローレベルとされてトランジスタ21がオフ状態となっている。そのため、PD20が制御信号RSTおよびSELによりオン状態とされるトランジスタ22および25の側と切り離されており、時間t42から開始される画素110RSZLおよび110RSZRの読み出し動作は、画素110GSの露光動作に影響しない。
ここで、像面位相差画素として、PD20における光電変換に関与する光が入射される開口部の面積がGS画素より大きいRS画素を用いることで、より高い感度で位相差を検出することが可能となり、より高精度でAF制御を実行できる。画素110RSZLおよび110RSZRに対し、光学フィルタ212として例えば無色の光学フィルタを用いることで、さらに検出感度を向上させることが可能である。
なお、サブ画素を用いて行うAF制御の方式は、上述の像面位相差方式に限定されない。例えば、撮像画像のコントラストに基づきAF制御を行うコントラストAFを、サブ画素を用いて行うことも可能である。コントラストAFは、撮像画像に基づき、撮像素子4と光学系2におけるピントレンズとの距離を変えながら、ピントの合う当該距離を探索するものである。
(3-2.第1の実施形態の第2の変形例)
次に、第1の実施形態の第2の変形例について説明する。第1の実施形態の第2の変形例は、上述の第1の変形例と同様に、AF制御として像面位相差方式を用う場合において、サブ画素(RS画素)を像面位相差画素として用いる例である。このとき、この第2の変形例では、像面位相差画素として用いるサブ画素を、1つの画素に2つの光電変換素子を含む構成としている。
次に、第1の実施形態の第2の変形例について説明する。第1の実施形態の第2の変形例は、上述の第1の変形例と同様に、AF制御として像面位相差方式を用う場合において、サブ画素(RS画素)を像面位相差画素として用いる例である。このとき、この第2の変形例では、像面位相差画素として用いるサブ画素を、1つの画素に2つの光電変換素子を含む構成としている。
以降、2つの光電変換素子を含む画素を、適宜、2PD画素と呼ぶ。また、2PD画素の構成が適用されたRS画素を、画素110RS2PDとして説明を行う。
図18は、第1の実施形態の第2の変形例に適用可能な画素110RS2PDの一例の構成を示す模式図である。図18において、セクション(a)が画素110RS2PDを光の入射方向から見た上面図、セクション(b)が画素110RS2PDの受光面に対して垂直な方向における断面を概略的に示す断面図である。
この例では、セクション(b)に示されるように、画素110RS2PDは、遮光部214により画素の左側部分と右側部分とに分離され、左側部分にPD20Lが、右側部分にPD20Rが、それぞれ設けられる。また、左側部分における受光面の左側1/2と、右側部分における受光面の右側1/2とが、それぞれ例えばメタルによる遮光部240Lおよび240Rにより遮光され、左側部分が左遮光画素、右側部分が右遮光画素として機能する。また、セクション(a)に示されるように、左側部分および右側部分に、それぞれレンズ213Lおよび213Rが設けられる。
画素110RS2PDに入射した光は、レンズ213Lおよび213Rと、遮光部214Lおよび214Rによる開口部を介して、PD20Lおよび20Rにそれぞれ入射される。PD20Lおよび20Rそれぞれによる各画素信号の位相差に基づき、被写体までの距離を求める。すなわち、2PD画素は、単体で、上述した左遮光画素および右遮光画素を併せた機能を実現できる。
図19は、第1の実施形態の第2の変形例に適用可能な、画素アレイにおける2PD画素としてのRS画素の配置の例を示す模式図である。図19の例では、画素アレイ部11における第2行の第2列、第4列、第(m-1)列にそれぞれ画素110RS2PDが配置されている。2PD画素の場合、上述のように、単体で左遮光画素および右遮光画素を併せた機能を実現できるため、左遮光画素および右遮光画素を用いる場合と比較して、像面位相差画素の密度を高くすることが可能である。
図20は、第1の実施形態の第2の変形例に係る画素110RS2PDの一例の構成を示す回路図である。図20に示されるように、画素110RS2PDは、PD20LおよびPD20Rの、2つのPDを含む。PD20Lおよび20Rは、それぞれ、トランジスタ21Lおよび21Rを介してFD23に接続される。トランジスタ21Lおよび21Rは、それぞれ制御信号TGLおよびTGRによりオン/オフ状態を制御される。制御信号TGLおよびTGRにより、トランジスタ21Lおよび21Rのオン/オフ状態を排他的に制御することで、PD20Lによる露光および読み出しと、PD20Rによる露光および読み出しと、をそれぞれ独立して実行させることが可能とされる。
なお、制御信号TGLおよびTGRは、排他的な制御を行う信号となるため、制御信号TGLを供給する制御線と、制御信号TGRを供給する制御線とは、共有されない。したがって、画素110GSと画素110RS2PDとが混載される画素行における画素信号線16に含まれる制御線の本数は、例えば図10を用いて説明した本数より1本、多くなる。
画素110RS2PDの露光および読み出しの動作は、図11を用いて説明した動作を適用できる。この場合においては、例えば、図11における時間t30の露光開始から、時間t31の読み出しまでの動作を、PD20Lに対してと、PD20Rに対してと、の2回、実行する。
(3-3.第1の実施形態の第3の変形例)
次に、第1の実施形態の第3の変形例について説明する。第1の実施形態の第3の変形例は、サブ画素(RS画素)を動き検出用に用いる例である。
次に、第1の実施形態の第3の変形例について説明する。第1の実施形態の第3の変形例は、サブ画素(RS画素)を動き検出用に用いる例である。
例えば、図1を参照し、画像処理部5は、撮像素子4から出力された撮像画像に対して、注目領域(ROI:Region Of Interest)を設定し、この注目領域内における動きを、サブ画素による画素信号を用いて検出し、検出結果を全体制御部3に通知する。全体制御部3は、通知された検出結果が動きが検出されたことを示している場合、撮像素子4に対して、撮像をサブ画素を用いた撮像から、メイン画素を用いた撮像に切り替えるよう指示を出す。撮像素子4は、この指示に応じて、撮像をサブ画素を用いた撮像からメイン画素(GS画素)を用いた撮像に切り替える。
図21は、第1の実施形態の第3の変形例に係る撮像素子4における動作の例を示す模式図である。図21に示す動作は、例えば、全体制御部3からの指示に従い、撮像素子4における素子制御部19の制御により実行される。
なお、画素アレイ部11に対するメイン画素およびサブ画素の配置は、例えば図9を用いて説明した配置を適用できるので、ここでの説明を省略する。なお、サブ画素は、動き検出可能な程度の密度で配置されるものとする。また、サブ画素は、図6~図8を用いて説明した画素110RSを、メイン画素は、図3~図5を用いて説明した画素110GSをそのまま適用できるので、ここでの説明を省略する。
図21において、セクション(a)は、撮像素子4において撮像がなされる撮像領域300と、撮像領域300内に設定された注目領域301と、を模式的に示している。注目領域301は、例えば全体制御部3の指示により、画像処理部5において、1フレームの撮像画像内の領域として設定される。また、図21では、撮像領域300に被写体像310が含まれている例が示されている。
図21において、セクション(b)は、第1の実施形態の第3の変形例に係る撮像素子4における動作の例を示す模式図である。図の各部の意味は、上述した図11と同様であるので、ここでの説明を省略する。また、以下において、第1行から行順次に実行される露光、読み出し動作を、第1行における動作で代表させて説明を行う。
図21の例では、例えば第1行において、画素110RSは、時間t50~t51の期間に露光が行われ、露光が終了した時間t51で読み出しが実行される。第1行の読み出しが完了したタイミングに対応する時間t52~t53の期間に露光が行われ、露光が終了した時間t54で読み出しが実行される。この、露光および読み出しの動作が、所定時間間隔で繰り返される。この動作が繰り返される時間間隔は、例えば30fps(frame per second)や60fpsといったフレームレートでもよいし、数秒間隔などでもよい。
この例では、セクション(a)に示されるように、時間t50~t51の期間において、撮像領域300における注目領域301の外部に被写体像310が含まれ、次の時間t52~t53の期間において、被写体像310が注目領域301に掛かっている。なお、画像処理部5は、パターンマッチングや画像認識処理などにより、同一の被写体像310を各撮像において追跡可能とされている。
例えば全体制御部3は、時間t50~t51において注目領域301の外部にあった被写体像310が、時間t51の後の時間t52~t53において注目領域301に掛かることで、当該被写体像310が注目領域301内に向けて動いていると判定する。全体制御部3は、この判定に基づき、撮像素子4に対して、撮像動作を、画素110RSを用いた撮像動作から、画素110GSを用いた撮像動作に切り替えるように指示を出す。
撮像素子4において、素子制御部19は、この指示に従い、時間t54でPD20の一括リセットを実行して画素110GSによる露光を開始し、時間t55でMEM30の一括リセット、および、PD20からMEM30への電荷の一括転送を実行し、時間t55で画素110GSからのが送信号の読出しを、行順次に実行する。全体制御部3は、全ての行において読み出しが終了すると、撮像動作を、画素110GSを用いた撮像動作から、画素110RSを用いた撮像動作へと切り替える。図21の例では、時間t56~t57の期間に露光が行われ、露光が終了した時間t57で読み出しが実行される。
第1の実施形態の第3の変形例では、動き検出を行うための撮像に、画素110GSと比較して高感度化が可能な画素110RSを用いている。そのため、動き家検出をより高精度に実行することが可能である。また、動き検出を行うための画素110RSは、画素アレイ部11において所定に間引きされて配置されている。そのため、画像処理部5における動き検出処理の負荷を抑えることができ、高速化および低消費電力化が可能となる。
なお、この第1の実施形態の第3の変形例では、被写体像310が注目領域301に掛かることにより、撮像動作が画素110RSを用いた撮像動作から、画素110GSを用いた撮像動作に切り替えられる。また、画素110GSの読み出しが終了すると、撮像動作が画素110GSを用いた撮像動作から、画素110RSを用いた撮像動作に切り替えられる。そのため、画素110GSおよび110RSで共有される制御線160RSTおよび160SELを介して画素110GSおよび画素110RSのうち一方の画素に供給される制御信号RSTおよびSELは、他方の画素の動作に影響を与えない。
(3-4.第1の実施形態の第4の変形例)
次に、第1の実施形態の第4の変形例について説明する。第1の実施形態の第4の変形例は、サブ画素(RS画素)を、表示部8に表示させるための動画像の撮像に用いる例である。この場合、サブ画素により撮像された動画像は、メイン画素による撮像画像(例えば静止画像)の撮像の補助として用いられる、所謂ライブビュー画像である。
次に、第1の実施形態の第4の変形例について説明する。第1の実施形態の第4の変形例は、サブ画素(RS画素)を、表示部8に表示させるための動画像の撮像に用いる例である。この場合、サブ画素により撮像された動画像は、メイン画素による撮像画像(例えば静止画像)の撮像の補助として用いられる、所謂ライブビュー画像である。
図22は、第1の実施形態の第4の変形例に係る撮像素子4における動作の例を示す模式図である。図22に示す動作は、例えば、全体制御部3からの指示に従い、撮像素子4における素子制御部19の制御により実行される。なお、図の各部の意味は、上述した図11と同様であるので、ここでの説明を省略する。また、以下において、第1行から行順次に実行される露光、読み出し動作を、第1行における動作で代表させて説明を行う。
なお、画素アレイ部11に対するメイン画素およびサブ画素の配置は、例えば図9を用いて説明した配置を適用できるので、ここでの説明を省略する。なお、サブ画素は、表示部8に静止画像の撮像補助として利用可能な程度の密度で配置されるものとする。また、サブ画素は、図6~図8を用いて説明した画素110RSを、メイン画素は、図3~図5を用いて説明した画素110GSをそのまま適用できるので、ここでの説明を省略する。
第1の実施形態の第4の変形例では、サブ画素である画素110RSによる撮像が、継続的に実行される。図22の例では、画素110RSの露光が時間t62~t63の期間に行われ、時間t63において読み出しが実行される。これにより、1フレーム分の動画像が取得される。時間t63における読み出しの終了後、画素110RSの露光が時間t66~t67の期間に行われ、時間t67において読み出しが実行されて次のフレームの動画像が取得される。以降、同様にして、画素110RSによる露光および読み出しが、所定の時間間隔(例えばフレーム時間間隔)で繰り返し実行される。
一方、メイン画素である画素110GSによる動作は、例えばユーザによるシャッタ操作に応じたタイミングで実行される。図22の例では、全体制御部3は、例えばユーザによるシャッタ操作に応じて、画素110GSによる撮像を実行するように、撮像素子4に指示する。撮像素子4において、素子制御部19は、この指示に従い、時間t61でPD20の一括リセットを実行して画素110GSによる露光を開始し、時間t64でMEM30の一括リセット、および、PD20からMEM30への電荷の一括転送を実行し、時間t65で画素110GSからのが送信号の読出しを、行順次に実行する。この一連の画素110GSによる動作が、画素110RSによる撮像動作と並行して実行される。
なお、素子制御部19は、画素110RSの動作により制御信号RSTおよびSELがハイレベルとされるタイミングが、画素110GSの読み出し動作における、制御信号TGがハイレベルとされトランジスタ21がオン状態とされてから、MEM30から電荷が排出されるまでの期間に含まれないように、例えば画素110GSの読み出しタイミング、あるいは、画素110RSの動作を調整することができる。
このように、第1の実施形態の第4の変形例では、画素アレイ部11において所定に間引きされて配置されている画素110RSの画素信号により、ライブビューに用いる動画像を生成している。そのため、処理の高速化や、低消費電力化が可能となる。
[4.第2の実施形態]
次に、本開示の第2の実施形態について説明する。第2の実施形態は、隣接する行に配置される画素(画素110GS同士、あるいは、画素110GSおよび画素110RS)との間で、FD23を共有する場合の例である。
次に、本開示の第2の実施形態について説明する。第2の実施形態は、隣接する行に配置される画素(画素110GS同士、あるいは、画素110GSおよび画素110RS)との間で、FD23を共有する場合の例である。
図23は、第2の実施形態に係る画素信号線の構成例を示す一例の回路図である。図23において、回路1100GS(a)および回路1100RSは、トランジスタ22、FD23、トランジスタ24およびトランジスタ25を共有する。
すなわち、回路1100GS(a)は、第a行に配置され、PD20a、トランジスタ21a、MEM30、トランジスタ31およびトランジスタ32を含み、さらにトランジスタ22、FD23、トランジスタ24およびトランジスタ25を含めることで、メイン画素である画素110GSを形成する。回路1100RSは、第a行に隣接する第b行の、当該回路1100GS(a)と同一の列に配置される。回路1100RSは、回路1100GSと同様に、PD20bおよびトランジスタ21bを含み、さらにトランジスタ22、FD23、トランジスタ24およびトランジスタ25を含めることで、サブ画素である画素110RSを形成する。
さらに、第b行に配置される回路1100GS(b)は、回路1100GS(a)と同等の構成を有し、トランジスタ22、FD23、トランジスタ24およびトランジスタ25を、当該画素1100GS(b)と隣接行の同一列に配置される画素1100GS(a)と共有する。
すなわち、この図23の例では、第b行において、サブ画素とメイン画素とが混載される。
この場合、画素信号線16は、第a行の回路1100GS(a)および1100GS(b)を共通に制御する制御信号OFGおよびTXを供給する制御線160OFGおよび160TXを含む。画素信号線16は、さらに、第a行の回路1100GS(a)を制御する制御信号TG_aを供給する制御線160TG_m(a)と、第b行の回路1100GS(b)を制御する制御信号TG_bを供給する制御線160TG_m(b)と、を含む。さらにまた、画素信号線16は、回路1100RSを制御する制御信号TGを供給する制御線160TG_sと、各回路に制御信号RSTおよびSELをそれぞれ共通に供給する制御線160RSTおよび160SELを含む。すなわち、画素信号線16は、7本の制御線を含む。
図24は、隣接する行でFD23を共有する例において、サブ画素としてGS画素の構成を適用した場合の画素信号線の構成例を示す一例の回路図である。図24において、回路1100GS(b)’は、回路1100GS(a)と同等の構成を有し、トランジスタ22、FD23、トランジスタ24およびトランジスタ25を、当該回路1100GS(b)’と隣接行の同一列に配置される回路1100GS(a)とで共有する。この図24の例でも、サブ画素とメイン画素とが第b行で混載される。
この場合、サブ画素としての回路1100GS(b)’は、同一行のメイン画素としての画素1100GS(b)に対して独立して制御可能である必要がある。そのため、回路1100GS(b)’を制御するために、制御信号TGを供給すると共に、制御信号OFGおよびTXをさらに供給する必要がある。したがって、画素信号線16は、図23を用いて説明した7本の制御線に加えて、制御信号OFGを供給するための制御線160OFG_sと、制御信号TXを供給するための制御線160TX_sと、の2本の制御線をさらに含むことになる。
このように、隣接する行でFD23を共有する場合であっても、サブ画素としてRS画素の構成を適用することで、サブ画素としてGS画素の構成を適用した場合に比べて、画素信号線16に含まれる制御線の本数を抑えることができる。
[5.第3の実施形態]
次に、本開示の第3の実施形態について説明する。上述した第1の実施形態およびその各変形例、ならびに、第2の実施形態では、GS画素に、電荷保持型の画素を適用していた。すなわち、第1の実施形態およびその各変形例、ならびに、第2の実施形態におけるGS画素は、露光によりPD20に蓄積された電荷をMEM30に一時的に蓄積し、MEM30に蓄積された電荷をFD23により電圧に変換して画素信号として読み出す構成とされていた。
次に、本開示の第3の実施形態について説明する。上述した第1の実施形態およびその各変形例、ならびに、第2の実施形態では、GS画素に、電荷保持型の画素を適用していた。すなわち、第1の実施形態およびその各変形例、ならびに、第2の実施形態におけるGS画素は、露光によりPD20に蓄積された電荷をMEM30に一時的に蓄積し、MEM30に蓄積された電荷をFD23により電圧に変換して画素信号として読み出す構成とされていた。
これはこの例に限定されず、本開示の第3の実施形態では、GS画素として、電圧保持型の画素を適用する。電圧保持型の画素は、露光によりPD20に蓄積された電荷をFD23により電圧に変換し、その電圧に変換された画素信号を蓄積して、所定のタイミングで読み出す。
図25は、第3の実施形態に適用可能な、電圧保持型のGS画素の一例の構成を示す回路図である。図25に示される構成は、図6を用いて説明したRS画素(画素110RS)の構成における垂直信号線VSLの位置に、電圧保持のための構成を付加したものとなっている。
図25において、画素110GS(vd)は、電圧保持の構成として、第1の電圧保持部40Pおよび第2の電圧保持部40Dを含む。第1の電圧保持部40P(MEM(P))は、P相(Pre-Charge phase)の電位、すなわちFD23のリセット時の電位を保持する。第2の電圧保持部40D(MEM(D))は、D相(Data phase)の電位、すなわち画素信号の信号電位を保持する。
第1の電圧保持部40Pの保持電位は、トランジスタ41Pのゲートに制御信号SEL(P)を供給して当該トランジスタ41Pをオン状態にすることにより、図示されない垂直信号線VSLを介して読み出される。第2の電圧保持部40Dの保持電位は、トランジスタ41Dのゲートに制御信号SEL(D)を供給して当該トランジスタ41Pをオン状態にすることにより、垂直信号線VSLを介して読み出される。相関2重サンプリング処理(CDS:Correlated Double Sampling)では、D相の電位からP相の電位を差し引く相関2重サンプリング処理(CDS:Correlated Double Sampling)を行うことで、ノイズ成分を除去することができる。
この電圧保持型の画素110GS(vd)は、上述した電荷保持型の画素110GSと比較して、必要な制御信号が多く、画素信号線16に含まれる制御線の本数も多くなる。この場合においても、同一の画素行に混載されるサブ画素としてRS画素(例えば画素110RS)を適用することで、サブ画素に画素110GS(vd)を適用する場合に比べて、画素信号線16に含まれる制御線の本数を少なく抑えることが可能である。
なお、この電圧保持型の画素1100GS(vd)においても、FD23の初期化は、上述と同様に、制御信号RSTの状態に応じて実行される。また、画素1100GS(vd)は、図23による説明と同様に、当該画素1100GS(vd)と隣接行の同一列に配置される画素1100RSと、FD23を共有することができる。
[6.第4の実施形態]
(6-1.本開示の技術の適用例)
次に、第4の実施形態として、本開示に係る、第1の実施形態およびその各変形例、第2の実施形態、ならびに、第3の実施形態に係る電子機器1の適用例について説明する。図26は、第1の実施形態およびその各変形例、第2の実施形態、ならびに、第3の実施形態に係る電子機器1を使用する使用例を示す図である。
(6-1.本開示の技術の適用例)
次に、第4の実施形態として、本開示に係る、第1の実施形態およびその各変形例、第2の実施形態、ならびに、第3の実施形態に係る電子機器1の適用例について説明する。図26は、第1の実施形態およびその各変形例、第2の実施形態、ならびに、第3の実施形態に係る電子機器1を使用する使用例を示す図である。
上述した電子機器1は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングしセンシング結果に基づき認識処理を行う様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
(6-2.移動体への適用例)
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図27は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図27に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図27の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図28は、撮像部12031の設置位置の例を示す図である。
図28では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図28には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031および車外情報検出ユニット12030に適用され得る。
このように、本開示に係る技術を撮像部12031および車外情報検出ユニット12030に適用することで、製品の歩留まりを向上させることができ、コストを削減可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
それぞれ光電変換素子を含み、行列状の配列で配置される複数の画素と、
前記配列の各行にそれぞれ配置される、行方向に整列する各画素を制御するための複数の制御線を含む制御線群と、
前記配列のうち列方向に整列する各画素から読み出された画素信号を転送するための、各列に配置される複数の読み出し線と、
を備え、
前記複数の画素は、
前記配列の各行のうち少なくとも1つの行の前記行方向に整列する各画素において、前記制御線群に含まれる複数の制御線のうち第1の数の制御線を含む第1の制御線群から供給される制御信号により制御される第1の画素と、
前記制御線群に含まれる複数の制御線のうち該第1の数より少ない第2の数の制御線を含む第2の制御線群から供給される制御信号により制御される第2の画素と、
を含む、
撮像装置。
(2)
前記第1の画素の露光開始および露光終了が、前記第1の制御線群から供給される前記制御信号により、前記配列の各行で一括したタイミングで制御され、
前記第2の画素の露光開始および露光終了が、前記第2の制御線群から供給される前記制御信号により、前記配列の各行で異なるタイミングで制御される、
前記(1)に記載の撮像装置。
(3)
前記第1の画素は、
前記光電変換素子により生成された電荷を前記制御線群に含まれる第1の制御線からの制御信号に従い蓄積する第1の蓄積部と、
前記第1の蓄積部に蓄積された前記電荷を前記制御線群に含まれる第2の制御線からの制御信号に従い電圧に変換する第1の電荷電圧変換部と、
前記第1の電荷電圧変換部で前記電荷が変換された電圧に基づく画素信号を前記制御線群に含まれる第3の制御線からの制御信号に従い前記読み出し線に出力する第1の選択部と、
を有し、
前記第2の画素は、
前記光電変換素子により生成された電荷を前記制御線群に含まれる第4の制御線からの制御信号に従い電圧に変換する第2の電荷電圧変換部と、
前記第2の電荷電圧変換部で前記電荷が変換された電圧に基づく画素信号を前記制御線群に含まれる前記第3の制御線からの制御信号に従い前記読み出し線に出力する第2の選択部と、
を有し、
前記第1の電荷電圧変換部と、前記第2の電荷電圧変換部と、が前記制御線群に含まれる同一の制御線から供給される前記制御信号により初期化される、
前記(1)または(2)に記載の撮像装置。
(4)
前記配列のうち所定行に対応する前記第1の画素の前記第1の電荷電圧変換部と、
前記配列のうち前記所定行に隣接する行において、該第1の画素と位置が対応する前記第2の画素の前記第2の電荷電圧変換部と、が共有される、
前記(3)に記載の撮像装置。
(5)
前記第1の画素は、
前記光電変換素子により生成された電荷を前記制御線群に含まれる第5の制御線からの制御信号に従い電圧に変換する第3の電荷電圧変換部と、
前記第3の電荷電圧変換部で前記電荷が電圧に変換された信号を前記制御線群に含まれる第6の制御線からの制御信号に従い蓄積する第2の蓄積部と、
前記第2の蓄積部に蓄積された前記信号を前記制御線群に含まれる第7の制御線からの制御信号に従い画素信号として読み出して前記読み出し線に出力する第3の選択部と、
を有し、
前記第2の画素は、
前記光電変換素子により生成された電荷を前記制御線群に含まれる第8の制御線からの制御信号に従い電圧に変換する第2の電荷電圧変換部と、
前記第2の電荷電圧変換部で前記電荷が変換された電圧に基づく画素信号を前記制御線群に含まれる前記第7の制御線からの制御信号に従い前記読み出し線に出力する第2の選択部と、
を有し、
前記第3の電荷電圧変換部と、前記第2の電荷電圧変換部と、が前記制御線群に含まれる同一の制御線から供給する前記制御信号により初期化される、
前記(1)または(2)に記載の撮像装置。
(6)
前記配列のうち所定行に対応する前記第1の画素の前記第3の電荷電圧変換部と、
前記配列のうち前記所定行に隣接する行において、該第1の画素と位置が対応する前記第2の画素の前記第2の電荷電圧変換部と、が共有される、
前記(5)に記載の撮像装置。
(7)
前記第2の画素は、
前記光電変換素子に光が入射される受光面の一部が遮光された画素と、前記受光面の該一部に対応する部分に対する他の一部が遮光された画素と、を含む、
前記(1)乃至(6)の何れかに記載の撮像装置。
(8)
前記第2の画素は、
2つの光電変換素子を含み、
前記2つの光電変換素子のうち一方の光電変換素子に光が入射される受光面の一部が遮光され、
他方の光電変換素子に光が入射される受光面の、前記一部に対応する部分に対する他の一部が遮光される、
前記(1)乃至(6)の何れかに記載の撮像装置。
(9)
前記第2の画素による露光開始および露光終了と、露光により生成された電荷に応じた画素信号の前記読み出し線への転送と、による撮像動作が一定時間間隔で繰り返し実行され、
所定のタイミングで、該撮像動作が前記第1の画素による露光開始および露光終了と、露光により生成された電荷に応じた画素信号の前記読み出し線への転送と、による撮像動作に切り替えられる、
前記(1)乃至(8)の何れかに記載の撮像装置。
(10)
前記第2の画素による露光開始および露光終了と、露光により生成された電荷に応じた画素信号の前記読み出し線への転送と、による第1の撮像動作が一定時間間隔で繰り返し実行され、
所定のタイミングで、前記第1の画素による露光開始および露光終了と、露光により生成された電荷に応じた画素信号の前記読み出し線への転送と、による第2の撮像動作が、前記第1の撮像動作と並行して実行される、
前記(1)乃至(8)の何れかに記載の撮像装置。
(11)
前記一定時間間隔は、前記第2の画素に基づく画素信号により動画表示を行うためのフレーム間隔である、
前記(10)に記載の撮像装置。
(12)
前記第2の画素は、可視光波長帯域の全域の光を透過させる光学フィルタが配置される、
前記(1)乃至(11)の何れかに記載の撮像装置。
(13)
前記第2の画素は、赤外波長帯域の光を透過させる光学フィルタが配置される、
前記(1)乃至(12)に記載の撮像装置。
(14)
前記第2の画素は、フルカラー撮像に用いる所定波長帯域の光を透過させる光学フィルタが配置される、
前記(1)乃至(13)に記載の撮像装置。
(15)
前記第1の画素は、フルカラー撮像に用いる所定波長帯域の光を透過させる光学フィルタが配置される、
前記(1)乃至(14)の何れかに記載の撮像装置。
(16)
それぞれ光電変換素子を含み、行列状の配列で配置される複数の画素と、
前記配列の各行にそれぞれ配置される、行方向に整列する各画素を制御するための複数の制御線を含む制御線群と、
前記配列のうち列方向に整列する各画素から読み出された画素信号を転送するための、各列に配置される複数の読み出し線と、
を備え、
前記複数の画素は、
前記配列の各行のうち少なくとも1つの行の前記行方向に整列する各画素において、前記制御線群に含まれる複数の制御線のうち第1の数の制御線を含む第1の制御線群から供給される制御信号により制御される第1の画素と、
前記制御線群に含まれる複数の制御線のうち該第1の数より少ない第2の数の制御線を含む第2の制御線群から供給される制御信号により制御される第2の画素と、
を含む撮像部と、
前記画素信号に基づく画像データを記憶する記憶部と、
を有する電子機器。
(1)
それぞれ光電変換素子を含み、行列状の配列で配置される複数の画素と、
前記配列の各行にそれぞれ配置される、行方向に整列する各画素を制御するための複数の制御線を含む制御線群と、
前記配列のうち列方向に整列する各画素から読み出された画素信号を転送するための、各列に配置される複数の読み出し線と、
を備え、
前記複数の画素は、
前記配列の各行のうち少なくとも1つの行の前記行方向に整列する各画素において、前記制御線群に含まれる複数の制御線のうち第1の数の制御線を含む第1の制御線群から供給される制御信号により制御される第1の画素と、
前記制御線群に含まれる複数の制御線のうち該第1の数より少ない第2の数の制御線を含む第2の制御線群から供給される制御信号により制御される第2の画素と、
を含む、
撮像装置。
(2)
前記第1の画素の露光開始および露光終了が、前記第1の制御線群から供給される前記制御信号により、前記配列の各行で一括したタイミングで制御され、
前記第2の画素の露光開始および露光終了が、前記第2の制御線群から供給される前記制御信号により、前記配列の各行で異なるタイミングで制御される、
前記(1)に記載の撮像装置。
(3)
前記第1の画素は、
前記光電変換素子により生成された電荷を前記制御線群に含まれる第1の制御線からの制御信号に従い蓄積する第1の蓄積部と、
前記第1の蓄積部に蓄積された前記電荷を前記制御線群に含まれる第2の制御線からの制御信号に従い電圧に変換する第1の電荷電圧変換部と、
前記第1の電荷電圧変換部で前記電荷が変換された電圧に基づく画素信号を前記制御線群に含まれる第3の制御線からの制御信号に従い前記読み出し線に出力する第1の選択部と、
を有し、
前記第2の画素は、
前記光電変換素子により生成された電荷を前記制御線群に含まれる第4の制御線からの制御信号に従い電圧に変換する第2の電荷電圧変換部と、
前記第2の電荷電圧変換部で前記電荷が変換された電圧に基づく画素信号を前記制御線群に含まれる前記第3の制御線からの制御信号に従い前記読み出し線に出力する第2の選択部と、
を有し、
前記第1の電荷電圧変換部と、前記第2の電荷電圧変換部と、が前記制御線群に含まれる同一の制御線から供給される前記制御信号により初期化される、
前記(1)または(2)に記載の撮像装置。
(4)
前記配列のうち所定行に対応する前記第1の画素の前記第1の電荷電圧変換部と、
前記配列のうち前記所定行に隣接する行において、該第1の画素と位置が対応する前記第2の画素の前記第2の電荷電圧変換部と、が共有される、
前記(3)に記載の撮像装置。
(5)
前記第1の画素は、
前記光電変換素子により生成された電荷を前記制御線群に含まれる第5の制御線からの制御信号に従い電圧に変換する第3の電荷電圧変換部と、
前記第3の電荷電圧変換部で前記電荷が電圧に変換された信号を前記制御線群に含まれる第6の制御線からの制御信号に従い蓄積する第2の蓄積部と、
前記第2の蓄積部に蓄積された前記信号を前記制御線群に含まれる第7の制御線からの制御信号に従い画素信号として読み出して前記読み出し線に出力する第3の選択部と、
を有し、
前記第2の画素は、
前記光電変換素子により生成された電荷を前記制御線群に含まれる第8の制御線からの制御信号に従い電圧に変換する第2の電荷電圧変換部と、
前記第2の電荷電圧変換部で前記電荷が変換された電圧に基づく画素信号を前記制御線群に含まれる前記第7の制御線からの制御信号に従い前記読み出し線に出力する第2の選択部と、
を有し、
前記第3の電荷電圧変換部と、前記第2の電荷電圧変換部と、が前記制御線群に含まれる同一の制御線から供給する前記制御信号により初期化される、
前記(1)または(2)に記載の撮像装置。
(6)
前記配列のうち所定行に対応する前記第1の画素の前記第3の電荷電圧変換部と、
前記配列のうち前記所定行に隣接する行において、該第1の画素と位置が対応する前記第2の画素の前記第2の電荷電圧変換部と、が共有される、
前記(5)に記載の撮像装置。
(7)
前記第2の画素は、
前記光電変換素子に光が入射される受光面の一部が遮光された画素と、前記受光面の該一部に対応する部分に対する他の一部が遮光された画素と、を含む、
前記(1)乃至(6)の何れかに記載の撮像装置。
(8)
前記第2の画素は、
2つの光電変換素子を含み、
前記2つの光電変換素子のうち一方の光電変換素子に光が入射される受光面の一部が遮光され、
他方の光電変換素子に光が入射される受光面の、前記一部に対応する部分に対する他の一部が遮光される、
前記(1)乃至(6)の何れかに記載の撮像装置。
(9)
前記第2の画素による露光開始および露光終了と、露光により生成された電荷に応じた画素信号の前記読み出し線への転送と、による撮像動作が一定時間間隔で繰り返し実行され、
所定のタイミングで、該撮像動作が前記第1の画素による露光開始および露光終了と、露光により生成された電荷に応じた画素信号の前記読み出し線への転送と、による撮像動作に切り替えられる、
前記(1)乃至(8)の何れかに記載の撮像装置。
(10)
前記第2の画素による露光開始および露光終了と、露光により生成された電荷に応じた画素信号の前記読み出し線への転送と、による第1の撮像動作が一定時間間隔で繰り返し実行され、
所定のタイミングで、前記第1の画素による露光開始および露光終了と、露光により生成された電荷に応じた画素信号の前記読み出し線への転送と、による第2の撮像動作が、前記第1の撮像動作と並行して実行される、
前記(1)乃至(8)の何れかに記載の撮像装置。
(11)
前記一定時間間隔は、前記第2の画素に基づく画素信号により動画表示を行うためのフレーム間隔である、
前記(10)に記載の撮像装置。
(12)
前記第2の画素は、可視光波長帯域の全域の光を透過させる光学フィルタが配置される、
前記(1)乃至(11)の何れかに記載の撮像装置。
(13)
前記第2の画素は、赤外波長帯域の光を透過させる光学フィルタが配置される、
前記(1)乃至(12)に記載の撮像装置。
(14)
前記第2の画素は、フルカラー撮像に用いる所定波長帯域の光を透過させる光学フィルタが配置される、
前記(1)乃至(13)に記載の撮像装置。
(15)
前記第1の画素は、フルカラー撮像に用いる所定波長帯域の光を透過させる光学フィルタが配置される、
前記(1)乃至(14)の何れかに記載の撮像装置。
(16)
それぞれ光電変換素子を含み、行列状の配列で配置される複数の画素と、
前記配列の各行にそれぞれ配置される、行方向に整列する各画素を制御するための複数の制御線を含む制御線群と、
前記配列のうち列方向に整列する各画素から読み出された画素信号を転送するための、各列に配置される複数の読み出し線と、
を備え、
前記複数の画素は、
前記配列の各行のうち少なくとも1つの行の前記行方向に整列する各画素において、前記制御線群に含まれる複数の制御線のうち第1の数の制御線を含む第1の制御線群から供給される制御信号により制御される第1の画素と、
前記制御線群に含まれる複数の制御線のうち該第1の数より少ない第2の数の制御線を含む第2の制御線群から供給される制御信号により制御される第2の画素と、
を含む撮像部と、
前記画素信号に基づく画像データを記憶する記憶部と、
を有する電子機器。
1 電子機器
3 全体制御部
4 撮像素子
5 画像処理部
7 記憶部
8 表示部
11 画素アレイ
16 画素信号線
19 素子制御部
20,20a,20b,20L,20R フォトダイオード
21,21a,21b,22,23,24,25,31,32 トランジスタ
30 MEM
110,110GS,110GS’,110GS(vd),110RS,110RS2PD,110RSZL,110RSZR 画素
160OFG,160OFG_m,160OFG_s,160TG_m,160TG_m(a),160TG_m(b),160TG_s,160TX,160TX_m,160TX_s,160RST,160SEL 制御線
212 光学フィルタ
300 撮像領域
301 注目領域
3 全体制御部
4 撮像素子
5 画像処理部
7 記憶部
8 表示部
11 画素アレイ
16 画素信号線
19 素子制御部
20,20a,20b,20L,20R フォトダイオード
21,21a,21b,22,23,24,25,31,32 トランジスタ
30 MEM
110,110GS,110GS’,110GS(vd),110RS,110RS2PD,110RSZL,110RSZR 画素
160OFG,160OFG_m,160OFG_s,160TG_m,160TG_m(a),160TG_m(b),160TG_s,160TX,160TX_m,160TX_s,160RST,160SEL 制御線
212 光学フィルタ
300 撮像領域
301 注目領域
Claims (16)
- それぞれ光電変換素子を含み、行列状の配列で配置される複数の画素と、
前記配列の各行にそれぞれ配置される、行方向に整列する各画素を制御するための複数の制御線を含む制御線群と、
前記配列のうち列方向に整列する各画素から読み出された画素信号を転送するための、各列に配置される複数の読み出し線と、
を備え、
前記複数の画素は、
前記配列の各行のうち少なくとも1つの行の前記行方向に整列する各画素において、前記制御線群に含まれる複数の制御線のうち第1の数の制御線を含む第1の制御線群から供給される制御信号により制御される第1の画素と、
前記制御線群に含まれる複数の制御線のうち該第1の数より少ない第2の数の制御線を含む第2の制御線群から供給される制御信号により制御される第2の画素と、
を含む、
撮像装置。 - 前記第1の画素の露光開始および露光終了が、前記第1の制御線群から供給される前記制御信号により、前記配列の各行で一括したタイミングで制御され、
前記第2の画素の露光開始および露光終了が、前記第2の制御線群から供給される前記制御信号により、前記配列の各行で異なるタイミングで制御される、
請求項1に記載の撮像装置。 - 前記第1の画素は、
前記光電変換素子により生成された電荷を前記制御線群に含まれる第1の制御線からの制御信号に従い蓄積する第1の蓄積部と、
前記第1の蓄積部に蓄積された前記電荷を前記制御線群に含まれる第2の制御線からの制御信号に従い電圧に変換する第1の電荷電圧変換部と、
前記第1の電荷電圧変換部で前記電荷が変換された電圧に基づく画素信号を前記制御線群に含まれる第3の制御線からの制御信号に従い前記読み出し線に出力する第1の選択部と、
を有し、
前記第2の画素は、
前記光電変換素子により生成された電荷を前記制御線群に含まれる第4の制御線からの制御信号に従い電圧に変換する第2の電荷電圧変換部と、
前記第2の電荷電圧変換部で前記電荷が変換された電圧に基づく画素信号を前記制御線群に含まれる前記第3の制御線からの制御信号に従い前記読み出し線に出力する第2の選択部と、
を有し、
前記第1の電荷電圧変換部と、前記第2の電荷電圧変換部と、が前記制御線群に含まれる同一の制御線から供給される前記制御信号により初期化される、
請求項1に記載の撮像装置。 - 前記配列のうち所定行に対応する前記第1の画素の前記第1の電荷電圧変換部と、
前記配列のうち前記所定行に隣接する行において、該第1の画素と位置が対応する前記第2の画素の前記第2の電荷電圧変換部と、が共有される、
請求項3に記載の撮像装置。 - 前記第1の画素は、
前記光電変換素子により生成された電荷を前記制御線群に含まれる第5の制御線からの制御信号に従い電圧に変換する第3の電荷電圧変換部と、
前記第3の電荷電圧変換部で前記電荷が電圧に変換された信号を前記制御線群に含まれる第6の制御線からの制御信号に従い蓄積する第2の蓄積部と、
前記第2の蓄積部に蓄積された前記信号を前記制御線群に含まれる第7の制御線からの制御信号に従い画素信号として読み出して前記読み出し線に出力する第3の選択部と、
を有し、
前記第2の画素は、
前記光電変換素子により生成された電荷を前記制御線群に含まれる第8の制御線からの制御信号に従い電圧に変換する第2の電荷電圧変換部と、
前記第2の電荷電圧変換部で前記電荷が変換された電圧に基づく画素信号を前記制御線群に含まれる前記第7の制御線からの制御信号に従い前記読み出し線に出力する第2の選択部と、
を有し、
前記第3の電荷電圧変換部と、前記第2の電荷電圧変換部と、が前記制御線群に含まれる同一の制御線から供給する前記制御信号により初期化される、
請求項1に記載の撮像装置。 - 前記配列のうち所定行に対応する前記第1の画素の前記第3の電荷電圧変換部と、
前記配列のうち前記所定行に隣接する行において、該第1の画素と位置が対応する前記第2の画素の前記第2の電荷電圧変換部と、が共有される、
請求項5に記載の撮像装置。 - 前記第2の画素は、
前記光電変換素子に光が入射される受光面の一部が遮光された画素と、前記受光面の該一部に対応する部分に対する他の一部が遮光された画素と、を含む、
請求項1に記載の撮像装置。 - 前記第2の画素は、
2つの光電変換素子を含み、
前記2つの光電変換素子のうち一方の光電変換素子に光が入射される受光面の一部が遮光され、
他方の光電変換素子に光が入射される受光面の、前記一部に対応する部分に対する他の一部が遮光される、
請求項1に記載の撮像装置。 - 前記第2の画素による露光開始および露光終了と、露光により生成された電荷に応じた画素信号の前記読み出し線への転送と、による撮像動作が一定時間間隔で繰り返し実行され、
所定のタイミングで、該撮像動作が前記第1の画素による露光開始および露光終了と、露光により生成された電荷に応じた画素信号の前記読み出し線への転送と、による撮像動作に切り替えられる、
請求項1に記載の撮像装置。 - 前記第2の画素による露光開始および露光終了と、露光により生成された電荷に応じた画素信号の前記読み出し線への転送と、による第1の撮像動作が一定時間間隔で繰り返し実行され、
所定のタイミングで、前記第1の画素による露光開始および露光終了と、露光により生成された電荷に応じた画素信号の前記読み出し線への転送と、による第2の撮像動作が、前記第1の撮像動作と並行して実行される、
請求項1に記載の撮像装置。 - 前記一定時間間隔は、前記第2の画素に基づく画素信号により動画表示を行うためのフレーム間隔である、
請求項10に記載の撮像装置。 - 前記第2の画素は、可視光波長帯域の全域の光を透過させる光学フィルタが配置される、
請求項1に記載の撮像装置。 - 前記第2の画素は、赤外波長帯域の光を透過させる光学フィルタが配置される、
請求項1に記載の撮像装置。 - 前記第2の画素は、フルカラー撮像に用いる所定波長帯域の光を透過させる光学フィルタが配置される、
請求項1に記載の撮像装置。 - 前記第1の画素は、フルカラー撮像に用いる所定波長帯域の光を透過させる光学フィルタが配置される、
請求項1に記載の撮像装置。 - それぞれ光電変換素子を含み、行列状の配列で配置される複数の画素と、
前記配列の各行にそれぞれ配置される、行方向に整列する各画素を制御するための複数の制御線を含む制御線群と、
前記配列のうち列方向に整列する各画素から読み出された画素信号を転送するための、各列に配置される複数の読み出し線と、
を備え、
前記複数の画素は、
前記配列の各行のうち少なくとも1つの行の前記行方向に整列する各画素において、前記制御線群に含まれる複数の制御線のうち第1の数の制御線を含む第1の制御線群から供給される制御信号により制御される第1の画素と、
前記制御線群に含まれる複数の制御線のうち該第1の数より少ない第2の数の制御線を含む第2の制御線群から供給される制御信号により制御される第2の画素と、
を含む撮像部と、
前記画素信号に基づく画像データを記憶する記憶部と、
を有する電子機器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/999,414 US12088942B2 (en) | 2020-06-05 | 2021-05-28 | Imaging device and electronic device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020098795 | 2020-06-05 | ||
JP2020-098795 | 2020-06-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021246311A1 true WO2021246311A1 (ja) | 2021-12-09 |
Family
ID=78831134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/020398 WO2021246311A1 (ja) | 2020-06-05 | 2021-05-28 | 撮像装置および電子機器 |
Country Status (2)
Country | Link |
---|---|
US (1) | US12088942B2 (ja) |
WO (1) | WO2021246311A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012238951A (ja) * | 2011-05-10 | 2012-12-06 | Nikon Corp | 撮像装置 |
JP2017118191A (ja) * | 2015-12-21 | 2017-06-29 | ソニー株式会社 | 撮像素子及びその駆動方法、並びに撮像装置 |
JP6508530B2 (ja) * | 2013-07-05 | 2019-05-08 | ソニー株式会社 | 固体撮像装置およびその駆動方法、並びに電子機器 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011074542A1 (ja) * | 2009-12-14 | 2011-06-23 | シャープ株式会社 | 画素アレイ基板、表示装置 |
US8723093B2 (en) * | 2011-01-10 | 2014-05-13 | Alexander Krymski | Image sensors and methods with shared control lines |
US8471310B2 (en) * | 2011-01-11 | 2013-06-25 | Aptina Imaging Corporation | Image sensor pixels with back-gate-modulated vertical transistor |
CN104221365B (zh) * | 2012-03-30 | 2018-11-06 | 株式会社尼康 | 拍摄元件、摄影方法及拍摄装置 |
US9961290B2 (en) * | 2014-07-17 | 2018-05-01 | Samsung Electronics Co., Ltd. | Image sensor including row drivers and image processing system having the image sensor |
JP6784609B2 (ja) * | 2017-02-24 | 2020-11-11 | キヤノン株式会社 | 光電変換装置、撮像システム及び移動体 |
CN107507566B (zh) * | 2017-10-13 | 2019-09-10 | 京东方科技集团股份有限公司 | 像素驱动电路、显示装置和驱动方法 |
-
2021
- 2021-05-28 US US17/999,414 patent/US12088942B2/en active Active
- 2021-05-28 WO PCT/JP2021/020398 patent/WO2021246311A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012238951A (ja) * | 2011-05-10 | 2012-12-06 | Nikon Corp | 撮像装置 |
JP6508530B2 (ja) * | 2013-07-05 | 2019-05-08 | ソニー株式会社 | 固体撮像装置およびその駆動方法、並びに電子機器 |
JP2017118191A (ja) * | 2015-12-21 | 2017-06-29 | ソニー株式会社 | 撮像素子及びその駆動方法、並びに撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US12088942B2 (en) | 2024-09-10 |
US20230239593A1 (en) | 2023-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7171199B2 (ja) | 固体撮像装置、及び電子機器 | |
JP7380180B2 (ja) | 固体撮像素子、撮像装置、撮像方法および撮像プログラム | |
TWI846754B (zh) | 固體攝像裝置、信號處理晶片、及電子機器 | |
JP7370413B2 (ja) | 固体撮像装置、及び電子機器 | |
WO2018216477A1 (ja) | 固体撮像素子および電子機器 | |
US20210218923A1 (en) | Solid-state imaging device and electronic device | |
US20230402475A1 (en) | Imaging apparatus and electronic device | |
WO2022019026A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム | |
WO2017163890A1 (ja) | 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器 | |
WO2022130888A1 (ja) | 撮像装置 | |
TW202103486A (zh) | 固態攝像裝置、電子機器及固態攝像裝置之控制方法 | |
WO2018139187A1 (ja) | 固体撮像装置およびその駆動方法、並びに電子機器 | |
JP7309713B2 (ja) | コンパレータ及び撮像装置 | |
WO2021246311A1 (ja) | 撮像装置および電子機器 | |
WO2020090459A1 (ja) | 固体撮像装置、及び電子機器 | |
WO2022019025A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム | |
WO2023074177A1 (ja) | 撮像装置 | |
JP2020017552A (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023243222A1 (ja) | 撮像装置 | |
WO2024135307A1 (ja) | 固体撮像装置 | |
WO2023105916A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023032252A1 (ja) | 固体撮像素子 | |
JP2023027618A (ja) | 撮像装置及び電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21817925 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21817925 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |