WO2018062560A1 - 撮像装置および撮像素子 - Google Patents

撮像装置および撮像素子 Download PDF

Info

Publication number
WO2018062560A1
WO2018062560A1 PCT/JP2017/035755 JP2017035755W WO2018062560A1 WO 2018062560 A1 WO2018062560 A1 WO 2018062560A1 JP 2017035755 W JP2017035755 W JP 2017035755W WO 2018062560 A1 WO2018062560 A1 WO 2018062560A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
unit
light
pixels
filter unit
Prior art date
Application number
PCT/JP2017/035755
Other languages
English (en)
French (fr)
Inventor
敦 駒井
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to US16/333,623 priority Critical patent/US11705468B2/en
Priority to JP2018542060A priority patent/JP7283079B2/ja
Priority to CN201780068660.5A priority patent/CN109983768B/zh
Publication of WO2018062560A1 publication Critical patent/WO2018062560A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements

Definitions

  • the present invention relates to an imaging device and an imaging element.
  • An imaging apparatus that calculates parameters for correcting color mixture of normal pixels based on signals from pixels in which all adjacent pixels are light-shielded pixels (Patent Document 1).
  • this imaging device cannot obtain an image signal from the position of the light-shielded pixel.
  • the imaging device includes a filter unit capable of switching between a light-blocking state for blocking light and a light-transmitting state, and photoelectrically converting the light transmitted through the filter unit to obtain electric charges.
  • An imaging device having a first pixel and a second pixel each having a photoelectric conversion unit to be generated and an output unit that outputs a signal based on the charge generated by the photoelectric conversion unit; and the first pixel Based on a signal output from the output unit of the first pixel when the filter unit of the second pixel is in a light shielding state and the filter unit of the second pixel is in a transmissive state.
  • the imaging apparatus includes a filter unit capable of switching between a light-blocking state for blocking light and a light-transmitting state, and photoelectrically converting the light transmitted through the filter unit to charge the light.
  • An imaging device having a first pixel and a second pixel each having a photoelectric conversion unit to be generated and an output unit that outputs a signal based on the charge generated by the photoelectric conversion unit; and the first pixel Based on a signal output from the output unit of the first pixel when the filter unit of the second pixel is in a light shielding state and the filter unit of the second pixel is in a transmissive state.
  • a correction unit that corrects the signal output from the output unit.
  • the imaging apparatus includes a filter unit that can switch between a light-blocking state for blocking light and a light-transmitting state, and photoelectrically converting the light transmitted through the filter unit to charge the light.
  • the imaging device includes a filter unit capable of switching between a light-blocking state for blocking light and a light-transmitting state, and photoelectrically converting the light transmitted through the filter unit to charge the light.
  • the imaging device includes a filter unit capable of switching between a light-blocking state for blocking light and a light-transmitting state, and photoelectrically converting the light transmitted through the filter unit to charge the light.
  • the image sensor includes a filter unit capable of switching between a light-blocking state for blocking light and a light-transmitting state, and photoelectrically converting the light transmitted through the filter unit to charge the light.
  • a plurality of pixels each having a photoelectric conversion unit to be generated and an output unit for outputting a signal based on the charge generated by the photoelectric conversion unit, and a pixel in which the filter unit is in a light shielding state among the plurality of pixels And a control unit that controls the position of the area to be included.
  • 3 is a flowchart illustrating an example of an operation of the imaging apparatus according to the first embodiment.
  • 6 is a flowchart illustrating an example of an operation of the imaging apparatus according to the second embodiment. It is a figure which shows an example of the state of the filter part of the image pick-up element which concerns on 2nd Embodiment. It is a figure which shows an example of the state of the filter part of the image pick-up element which concerns on the modification 2.
  • 14 is a diagram illustrating an example of a state of a filter unit of an image sensor according to Modification 3.
  • FIG. It is a figure which shows an example of the state of the filter part of the image pick-up element which concerns on the modification 4.
  • FIG. 1 is a block diagram illustrating a configuration of the imaging apparatus according to the first embodiment.
  • FIG. 1 shows a configuration example of an electronic camera 1 (hereinafter referred to as camera 1) which is an example of an imaging apparatus according to the first embodiment.
  • the camera 1 includes an imaging optical system (imaging optical system) 2, an imaging element 3, a control unit 4, a memory 5, a display unit 6, and an operation unit 7.
  • the photographing optical system 2 has a plurality of lenses and a diaphragm, and forms a subject image on the image sensor 3. Note that the photographic optical system 2 may be detachable from the camera 1.
  • the image sensor 3 is, for example, a CMOS image sensor or a CCD image sensor.
  • the image sensor 3 captures a subject image formed by the photographing optical system 2.
  • a plurality of pixels having a photoelectric conversion unit are arranged in the image sensor 3.
  • the photoelectric conversion unit is configured by, for example, a photodiode (PD).
  • PD photodiode
  • the memory 5 is a recording medium such as a memory card, for example. Image data and the like are recorded in the memory 5. Writing of data to the memory 5 and reading of data from the memory 5 are performed by the control unit 4.
  • the display unit 6 displays an image based on image data, information relating to shooting such as a shutter speed and an aperture value, a menu screen, and the like.
  • the operation unit 7 includes a release button, various setting switches, and the like, and outputs an operation signal corresponding to each operation to the control unit 4.
  • the control unit 4 includes a CPU, a ROM, a RAM, and the like, and controls each unit of the camera 1 based on a control program.
  • the control unit 4 includes a correction unit 4a, a storage unit 4b, and an image generation unit 4c.
  • the correction unit 4a calculates a dark current component and a color mixture correction coefficient based on the pixel signal output from each pixel of the image sensor 3. Further, the correction unit 4a performs correction processing on the pixel signal output from each pixel of the image sensor 3 based on the dark current component and the color mixture correction coefficient.
  • the storage unit 4b stores the dark current component and the color mixture correction coefficient calculated by the correction unit 4a. The processing performed by the correction unit 4a will be described in detail later.
  • the image generation unit 4c performs various types of image processing on the pixel signal corrected by the correction unit 4a to generate image data.
  • the image processing includes known image processing such as gradation conversion processing, interpolation processing, and contour enhancement processing.
  • FIG. 2 is a block diagram illustrating a partial configuration of the image sensor 3 according to the first embodiment.
  • FIG. 3 is a diagram for explaining the structure of the image sensor 3 according to the first embodiment.
  • FIG. 3A is a diagram illustrating an example of a cross-sectional structure of the image sensor 3
  • FIG. 3B is a plan view for explaining a layout example of the transparent electrode of the filter portion of the image sensor 3.
  • the image sensor 3 includes a plurality of pixels 10, a filter vertical drive unit 40, a filter horizontal drive unit 50, a filter control unit 60, a pixel vertical drive unit 70, and a column circuit unit 80. , A horizontal scanning unit 90, an output unit 100, and a system control unit 110.
  • the pixels 10 are arranged in a two-dimensional manner (for example, in the row direction and the column direction). In the example shown in FIG. 2, for simplification of description, the pixel 10 is illustrated with only 15 pixels in the horizontal direction ⁇ 12 pixels in the vertical direction, but the image sensor 3 may have, for example, several million pixels to several hundred million pixels, or It has more pixels.
  • the image pickup device 3 includes a semiconductor substrate 220, a wiring layer 210, a support substrate 200, a microlens 31, and a filter unit 35.
  • the image sensor 3 is configured as a back-illuminated image sensor.
  • the semiconductor substrate 220 is stacked on the support substrate 200 via the wiring layer 210.
  • the semiconductor substrate 220 is configured by a semiconductor substrate such as silicon, and the support substrate 200 is configured by a semiconductor substrate, a glass substrate, or the like.
  • the wiring layer 210 is a wiring layer including a conductor film (metal film) and an insulating film, and a plurality of wirings and vias are arranged. Copper, aluminum, or the like is used for the conductor film.
  • the insulating film is composed of an oxide film, a nitride film, or the like.
  • the light that has passed through the photographing optical system 2 is incident mainly in the positive direction of the Z axis. Also, as shown in the coordinate axes, the right direction on the paper orthogonal to the Z axis is the X axis plus direction, and the back of the paper orthogonal to the Z axis and the X axis is the Y axis plus direction.
  • the pixel 10 (pixels 10A to 10C in FIG. 3) includes a microlens 31, a filter unit 35, and a photoelectric conversion unit 32.
  • the microlens 31 condenses incident light on the photoelectric conversion unit 32.
  • the photoelectric conversion unit 32 photoelectrically converts incident light to generate charges.
  • the filter unit 35 includes electrochromic (hereinafter referred to as EC) layers 21, 22, and 23 and transparent electrodes 11, 12, 13, and 14 that are sequentially stacked from the microlens 31 side toward the semiconductor substrate 220 side. .
  • the EC layers 21 to 23 are formed using an electrochromic material such as a metal oxide.
  • the transparent electrodes 11 to 14 are made of, for example, ITO (indium tin oxide). Insulating films 33 are provided between the EC layer 21 and the transparent electrode 12, between the EC layer 22 and the transparent electrode 13, and between the EC layer 23 and the transparent electrode 14, respectively.
  • the filter unit 35 is provided with an electrolyte layer (electrolyte film) (not shown).
  • the transparent electrode 11 is arranged in the row direction so as to cover one surface of the plurality of EC layers 21 arranged in the first direction, that is, the X direction, that is, in the row direction. It arrange
  • the transparent electrode 12 and the transparent electrode 13 are disposed so as to cover one surface of the plurality of EC layers 22 and EC layers 23 disposed in the X direction.
  • the transparent electrode 14 is an electrode common to the three EC layers 21, 22, and 23 and is disposed on the other surface side of the EC layer 23. As clearly shown in FIG. 3B, the common transparent electrode 14 extends in the column direction along the plurality of EC layers 23 arranged in the Y direction, that is, the column direction, which is the second direction intersecting the X direction. It arrange
  • the transparent electrodes 11 to 13 and the common transparent electrode 14 are electrodes arranged in a matrix (mesh) with respect to the EC layers 21, 22, and 23.
  • the transparent electrodes 11 to 13 are connected to the filter vertical drive unit 40, and the common transparent electrode 14 is connected to the filter horizontal drive unit 50.
  • active matrix driving that performs drive control of the EC layers 21, 22, and 23 using matrix electrodes can be performed.
  • the EC layer 21 develops B (blue) by causing an oxidation-reduction reaction by supplying drive signals from the transparent electrode 11 and the common transparent electrode 14. Therefore, the EC layer 21 transmits light in a wavelength region corresponding to B (blue) among incident light by supplying the drive signal.
  • the EC layer 22 develops G (green) by causing an oxidation-reduction reaction by supplying drive signals from the transparent electrode 12 and the common transparent electrode 14. Therefore, the EC layer 22 transmits light in a wavelength region corresponding to G (green) among incident light by supplying the drive signal.
  • the EC layer 23 develops R (red) by causing an oxidation-reduction reaction by supplying drive signals from the transparent electrode 13 and the common transparent electrode 14.
  • the EC layer 23 transmits light in a wavelength region corresponding to R (red) among the incident light by supplying the drive signal.
  • the EC layers 21, 22, and 23 maintain the color development for a certain period of time, and when the reset signal is supplied, all wavelengths of incident light are supplied. It becomes a transparent (decolored) state that transmits the light of the area.
  • each of the plurality of filter portions 35 includes three layers, that is, an EC layer 21 that develops B (blue), an EC layer 22 that develops G (green), and an EC layer 23 that develops R (red). Consists of filters.
  • the three-layer EC transmission wavelength region is W (white).
  • the three-layer EC transmission wavelength region is BK (black).
  • the three-layer EC transmission wavelength ranges are B (blue) and G (green), respectively. , R (red).
  • the filter unit 35 has a wavelength range of W (white), BK (black), R (red), G (green), or B (blue) depending on the combination of the transmission wavelengths of the EC layers 21 to 23. It becomes possible to mainly transmit the light.
  • a pixel in which the three-layer EC transmission wavelength region of the filter unit 35 is B (blue) is referred to as a B pixel
  • a pixel in which the three-layer EC transmission wavelength region is G (green) is referred to as a G pixel
  • a pixel in which the three-layer EC transmission wavelength region is R (red) is referred to as an R pixel
  • a pixel in which the three-layer EC transmission wavelength region of the filter unit 35 is BK (black) is referred to as a light-shielded pixel because the BK pixel or the filter unit 35 blocks incident light.
  • the wavelength transmitted through the filter unit 35 is appropriately changed, and the light component of the wavelength is photoelectrically converted. If the filter unit 35 transmits all colors, the pixel 10 photoelectrically converts the W light component, and if the filter unit 35 absorbs all colors, the pixel 10 outputs a signal in a light-shielded state.
  • the filter control unit 60 sets (changes) the transmission wavelength of each filter unit 35 by controlling the signals input to the filter units 35 from the filter vertical drive unit 40 and the filter horizontal drive unit 50.
  • the filter vertical drive unit 40 selects a row of the plurality of filter units 35, that is, selects a predetermined transparent electrode among the plurality of transparent electrodes 11 to 13, and supplies a drive signal thereto.
  • the filter horizontal driving unit 50 selects a row of the plurality of filter units 35, that is, selects a predetermined common transparent electrode among the plurality of common transparent electrodes 14, and supplies a drive signal thereto. In this way, the EC layer for both the transparent electrodes 11 to 13 selected by the filter vertical driving unit 40 and the common transparent electrode 14 selected by the filter horizontal driving unit 50 is colored.
  • the filter horizontal drive unit 50 selects the common transparent electrode 14 at the right end of the three common transparent electrodes 14 and supplies a drive signal
  • the filter vertical drive unit 40 has nine filters.
  • the EC layer 21 located at the upper right end develops color.
  • the filter horizontal driving unit 50 selects the common transparent electrode 14 at the right end and supplies a driving signal
  • the filter vertical driving unit 40 selects the transparent electrode 12 at the upper end and supplies the driving signal, the EC layer 22 at the upper right end.
  • the filter horizontal drive unit 50 selects the common transparent electrode 14 at the right end and supplies a drive signal
  • the filter vertical drive unit 40 selects the transparent electrode 13 at the upper end and supplies the drive signal
  • the EC layer at the upper right end. 23 develops color.
  • the system control unit 110 controls the filter control unit 60, the pixel vertical drive unit 70, the column circuit unit 80, the horizontal scanning unit 90, and the output unit 100 based on a signal from the control unit 4 of the camera 1.
  • the pixel vertical drive unit 70 supplies control signals such as a signal TX, a signal RST, and a signal SEL, which will be described later, to each pixel 10 based on a signal from the system control unit 110 to control the operation of each pixel 10.
  • the column circuit unit 80 includes a plurality of analog / digital conversion units (AD conversion units), converts a signal input from each pixel 10 through a vertical signal line 30 described later into a digital signal, and performs conversion. Are output to the horizontal scanning unit 90.
  • the horizontal scanning unit 90 sequentially outputs the signals output from the column circuit unit 80 to the output unit 100.
  • the output unit 100 includes a signal processing unit (not shown), performs signal processing such as correlated double sampling and signal amount correction on the signal input from the horizontal scanning unit 90, and controls the control unit of the camera 1. 4 is output.
  • the output unit 100 includes an input / output circuit or the like corresponding to a high-speed interface such as LVDS or SLVS, and transmits a signal to the control unit 4 at high speed.
  • color mixing occurs when a light beam incident on a certain pixel enters a pixel in the vicinity of the pixel, or a charge generated by photoelectric conversion in a certain pixel leaks to a pixel in the vicinity of the pixel. Such color mixing will be described below with reference to FIG.
  • a part of the light transmitted through the filter unit 35 of the pixel 10 may leak to the photoelectric conversion unit 32 of the peripheral pixels of the pixel 10.
  • a broken line 61 schematically represents light that passes through the filter unit 35 of the pixel 10B and enters the photoelectric conversion unit 32 of the pixel 10C.
  • the photoelectric conversion unit 32 of the pixel 10C generates a charge based on the light transmitted through the filter unit 35 of the pixel 10B in addition to the charge based on the light transmitted through the filter unit 35 of the pixel 10C.
  • a broken line 62 shown in FIG. 3A schematically represents that a part of the charge generated by the photoelectric conversion unit 32 of the pixel 10B leaks to the photoelectric conversion unit 32 of the pixel 10C.
  • the pixel 10C generates a pixel signal based on the charge generated by the photoelectric conversion unit 32 of the pixel 10C and the charge generated by the photoelectric conversion unit 32 of the pixel 10B.
  • the control unit 4 of the camera 1 obtains a color mixture correction coefficient that is information indicating a ratio of signal leakage between neighboring pixels, and corrects the pixel signal using the color mixture correction coefficient. A noise component due to color mixture is removed from the pixel signal.
  • dark current is generated in the photoelectric conversion unit 32 (photodiode) provided in the imaging device 3.
  • a signal component resulting from dark current in the pixel signal becomes a noise component for the pixel signal. Therefore, as will be described in detail later, the control unit 4 of the camera 1 detects the dark current component by reading out the pixel signal of the light-shielded pixel from the image sensor 3. And the control part 4 removes the noise component by a dark current from a pixel signal by subtracting a dark current component from the pixel signal of the pixel used as correction
  • FIG. 4 is a circuit diagram showing a configuration example of the pixel 10 of the image sensor 3 according to the first embodiment.
  • the pixel 10 includes the photoelectric conversion unit 32 and the reading unit 20 described above.
  • the reading unit 20 includes a transfer unit 25, a reset unit 26, a floating diffusion (hereinafter referred to as FD) 27, an amplification unit 28, and a selection unit 29.
  • the pixel vertical drive unit 70 shown in FIG. 2 controls the operation of each pixel 10 by supplying control signals such as the signal TX, the signal RST, and the signal SEL to each pixel 10 as described above.
  • the transfer unit 25 is controlled by the signal TX and transfers the electric charge photoelectrically converted by the photoelectric conversion unit 32 to the floating diffusion 27. That is, the transfer unit 25 forms a charge transfer path between the photoelectric conversion unit 32 and the floating diffusion 27.
  • the floating diffusion 27 holds (accumulates) electric charges.
  • the amplifying unit 28 amplifies the signal based on the charge held in the floating diffusion 27 and outputs the amplified signal to the vertical signal line 30 via the selection unit 29.
  • the amplifying unit 28 includes a transistor M3 whose drain terminal, gate terminal, and source terminal are connected to the power supply VDD, the floating diffusion 27, and the selection unit 29, respectively.
  • the source terminal of the amplifying unit 28 is connected to the vertical signal line 30 via the selection unit 29.
  • the amplifying unit 28 functions as a part of the source follower circuit using a current source (not shown) as a load current source.
  • the reset unit 26 is controlled by the signal RST, resets the charge of the floating diffusion 27, and resets the potential of the floating diffusion 27 to a reset potential (reference potential).
  • the selection unit 29 is controlled by the signal SEL, and outputs a signal from the amplification unit 28 to the vertical signal line 30.
  • the transfer unit 25, the discharge unit 26, and the selection unit 29 are configured by, for example, a transistor M1, a transistor M2, and a transistor M4, respectively.
  • the imaging element 3 performs an imaging operation for acquiring a pixel signal used for generating image data (hereinafter referred to as main imaging) and acquires a pixel signal used for calculation of a dark current component and a color mixture correction coefficient.
  • the state of each filter unit 35 is switched when performing the imaging operation (hereinafter referred to as corrected imaging).
  • the filter control unit 60 controls the filter unit 35 of each pixel 10 so that the pixels 10 are arranged according to the Bayer array.
  • FIG. 5 is a diagram showing a transmission / light shielding state of incident light of the filter unit 35 of each pixel at the time of actual imaging, and FIG.
  • FIG. 6 is a transmission / shielding state of incident light of the filter unit 35 of each pixel at the time of correction imaging.
  • the filter control unit 60 controls the drive of the filter unit 35 at the time of actual imaging, and includes a pixel column in which the G pixels 10 and the B pixels 10 are alternately arranged in the row direction, Pixel columns in which G pixels 10 are alternately arranged in the row direction are alternately arranged in the column direction.
  • the filter control unit 60 when performing correction imaging, the filter control unit 60, as shown in FIG. 6, some pixels 10 become B pixels 10, G pixels 10, and R pixels 10, and the remaining pixels 10 are BK pixels 10.
  • the filter unit 35 of each pixel 10 is controlled so as to be a light-shielded pixel. In the example shown in FIGS. 5 and 6, only 32 pixels in the row direction ⁇ 16 pixels in the column direction are shown for the sake of simplicity.
  • an area 41 for calculating a color mixture correction coefficient for an adjacent pixel adjacent to the R pixel 10 an area 42 for calculating a color mixture correction coefficient for an adjacent pixel adjacent to the G pixel 10, and the G pixel 10
  • An area 43 for calculating a color mixture correction coefficient for adjacent pixels adjacent to the B pixel 10 and an area 44 for calculating a color mixture correction coefficient for an adjacent pixel adjacent to the B pixel 10 are scattered.
  • each of the regions 41 to 44 is composed of 9 pixels of 3 pixels ⁇ 3 pixels.
  • the region 41 has an R pixel 10 at the center position, and the surrounding eight pixels surrounding the R pixel 10 are BK pixels (light-shielding pixels) 10bk2.
  • each of the regions 42 and 43 has the G pixel 10 at the center position, and the surrounding eight pixels surrounding the G pixel 10 are the BK pixel 10bk2.
  • the region 44 has the B pixel 10 at the center position, and the surrounding eight pixels surrounding the B pixel 10 are the BK pixel 10bk2. Note that the pixel at the center position of the region 41 is the R pixel 10, but the position of the region 41 is determined so that the pixel at the center position becomes the R pixel even during imaging. The same applies to the other regions 42 to 44.
  • each of the areas 41 to 44 is determined as a range where the influence of the color mixture from the center pixel, that is, the influence of the crosstalk. Therefore, in the present embodiment, for example, the color mixture (crosstalk) from the R pixel 10 of the central pixel of the region 41 extends only to the surrounding eight pixels adjacent thereto. If the mixed color (crosstalk) extends to pixels outside the above eight surrounding pixels, the regions 41 to 44 are selected so as to include the pixels outside.
  • These four regions 41 to 44 are arranged adjacent to each other in the vertical and horizontal directions in FIG. That is, the region 42 and the region 44 are disposed adjacent to each other in the left-right direction (the row direction of the pixel array), and the region 41 and the region 43 are disposed adjacent to each other in the left-right direction. These areas 41 to 44 arranged adjacent to each other are distributed over the entire imaging surface of the imaging device 3 at substantially equal intervals in the vertical and horizontal directions.
  • the pixels 10 other than the regions 41 to 44 are all BK pixels 10, and the BK pixels 10 other than the regions 41 to 44 are pixels for measuring dark current.
  • the dark current measuring BK pixel 10bk1 is surrounded by a dotted-line rectangle in order to distinguish it from the BK pixels 10bk2 in the regions 41 to 44.
  • the image sensor 3 controls the filter unit 35 of each pixel 10 and arranges the BK pixel 10bk1 for dark current measurement as shown in FIG.
  • the dark current measurement BK pixel 10bk1 surrounded by the dotted square
  • incident light does not enter the photoelectric conversion unit 32 and is not affected by color mixture (crosstalk) from the central pixels in the regions 41 to 44. Therefore, a pixel signal corresponding to the dark current amount of the BK pixel 10bk1 is output.
  • the correction unit 4a calculates a dark current component based on the pixel signal of the dark current measurement BK pixel 10bk1 output from the image sensor 3.
  • the correction unit 4a associates the calculated dark current component with information related to the position of the BK pixel 10bk1, and stores the information in the storage unit 4b.
  • the imaging device 3 controls the filter unit 35 of each pixel 10 and arranges the R pixel 10, the G pixel 10, and the B pixel 10 in a Bayer array as shown in FIG.
  • the correction unit 4a corrects the pixel signal by subtracting the dark current component stored in the storage unit 4b from the pixel signal output from each pixel of the image sensor 3 during the main imaging.
  • the correction unit 4a performs the dark current measurement during the correction imaging.
  • the pixel signal is corrected with a dark current component calculated in advance using the pixel signal of the BK pixel 10bk1.
  • the correction unit 4a outputs the pixel signal of the pixel during the correction imaging.
  • the pixel signal is corrected with the dark current component calculated in advance using the pixel signal of the nearby BK pixel 10bk1 for dark current measurement.
  • the correction unit 4a outputs the pixel signal at the time of the correction imaging.
  • the pixel signal is corrected with the dark current component calculated in advance using the pixel signal of the nearby BK pixel 10bk1 for dark current measurement.
  • the image sensor 3 controls the filter unit 35 of each pixel 10 to arrange the pixels constituting the plurality of regions 41 to 44 and calculate the color mixture correction coefficient as shown in FIG. I do.
  • the color mixture crosstalk
  • the adjacent BK pixel 10bk2 outputs a pixel signal (noise signal) due to color mixture.
  • the correction unit 4a of the control unit 4 compares the pixel signal from the R pixel 10 with the pixel signal from the adjacent BK pixel 10bk2, thereby causing a pixel appearing in the adjacent BK pixel 10bk2 to the pixel signal R1 of the R pixel 10.
  • a ratio (r1 / R1) to the signal r1, that is, a color mixture correction coefficient is calculated for each adjacent BK pixel 10bk2.
  • the correction unit 4a compares the pixel signal from the R pixel 10 in the region 41 with the pixel signal from the BK pixel 10bk2 (a pixel shifted by one in the Y direction) located on the R pixel 10.
  • the color mixture correction coefficient relating to the signal component mixed in the BK pixel 10bk2 located above the R pixel 10 from the R pixel 10 is calculated.
  • the correction unit 4a includes a signal component mixed in the upper right BK pixel 10bk2 (one pixel in the X direction and one position shifted in the Y direction) from the R pixel 10, and the right BK pixel from the R pixel 10. 10bk2 (a pixel shifted by one in the X direction) and a signal component mixed in the lower right BK pixel 10bk2 (a pixel shifted by one in the X direction and by one in the -Y direction) from the R pixel 10 A color mixture correction coefficient for each of the mixed signal components is calculated.
  • the correction unit 4a also includes a signal component mixed in the BK pixel 10bk2 below the R pixel 10 (a pixel shifted by one in the ⁇ Y direction), and a lower left BK pixel 10bk2 (one in the ⁇ X direction from the R pixel 10). And a signal component mixed in a pixel shifted by one in the ⁇ Y direction), a signal component mixed in the left BK pixel 10bk2 (a pixel shifted by one in the ⁇ X direction) from the R pixel, and R A color mixture correction coefficient is calculated for each signal component mixed in the upper left BK pixel 10bk2 (one pixel in the ⁇ X direction and one position shifted in the Y direction) from the pixel 10.
  • the correction unit 4a obtains the combined eight color mixture correction coefficients for the R pixel 10 in the region 41 and the BK pixel 10bk2 positioned in the up / down / left / right and diagonal directions with respect to the R pixel 10.
  • the correction unit 4a subtracts the dark current component from the pixel signals of the pixels in the regions 41 to 44 before calculating the color mixture correction coefficient described above, and based on the pixel signal from which the dark current component has been removed, Calculation may be performed. For example, among the plurality of BK pixels 10bk1 for dark current measurement, the dark current component of the BK pixel 10bk1 that is closest to each of the pixels 10 in the regions 41 to 44 is used, and each of the pixels 10 in the regions 41 to 44 is used. The dark current component is subtracted from the pixel signal. As described above, the correction unit 4a can calculate the color mixture correction coefficient with high accuracy by calculating the color mixture correction coefficient using the pixel signal from which the dark current component is removed.
  • the correction unit 4a performs the same processing for the regions 42 to 44, thereby correcting the color mixture related to the color mixture from the G pixel 10 in the region 42, the G pixel 10 in the region 43, and the B pixel 10 in the region 44 to the adjacent pixels.
  • a coefficient can be calculated.
  • the correction unit 4a associates the calculated color mixture correction coefficient with the position information related to the position of the BK pixel 10bk2, and stores it in the storage unit 4b.
  • the correction unit 4a can calculate the color mixture correction coefficient with high accuracy by using the pixel signals of the BK pixels 10bk2 in the regions 41 to 44. As a result, the correction unit 4a can improve the accuracy of the correction process.
  • the correction unit 4a performs a correction process on the pixel signal at the time of main imaging using the color mixture correction coefficient stored in the storage unit 4b.
  • the correction unit 4a corrects the pixel signal of the correction target pixel using the color mixture correction coefficient related to the signal components mixed from the respective pixels located in the vertical, horizontal, and diagonal directions of the correction target pixel.
  • the correction unit 4a calculates a color mixture correction coefficient for correcting the pixel signal of the correction target pixel that is the correction target, based on the color mixture correction coefficient related to the BK pixel 10bk2 in the areas 41 to 44 stored in the storage unit 4b. calculate.
  • the correction unit 4a converts the color mixture correction coefficient for the signal component mixed into the R pixel from the G pixel located above the R pixel, from the B pixel at the upper right of the R pixel to the R pixel.
  • a color mixing correction coefficient for the mixed signal component and a color mixing correction coefficient for the signal component mixed in the R pixel from the right G pixel of the R pixel are calculated.
  • the correction unit 4a is a color mixing correction coefficient for a signal component mixed in the R pixel from the B pixel located at the lower right of the R pixel, and a color mixing correction for the signal component mixed in the R pixel from the G pixel below the R pixel.
  • the coefficient and the color mixture correction coefficient for the signal component mixed in the R pixel are calculated from the B pixel at the lower left of the R pixel.
  • the correction unit 4a also performs color mixing correction on a signal component mixed in the R pixel from the G pixel located to the left of the R pixel, and color mixing correction on a signal component mixed in the R pixel from the B pixel on the upper left of the R pixel. Each coefficient is calculated.
  • the correction unit 4a calculates the color mixture correction coefficient for the correction target pixel based on the color mixture correction coefficient for the BK pixel 10bk2 in the regions 41 to 44. For example, the correction unit 4a uses the color mixture correction coefficient calculated in advance for the BK pixel 10bk2 closest to the correction target pixel among the BK pixels 10bk2 in the regions 41 to 44 as the color mixture correction coefficient of the correction target pixel. The correction unit 4a uses an average value of the color mixture correction coefficients calculated in advance for the three BK pixels 10bk2 in the vicinity of the correction target pixel among the BK pixels 10bk2 in the regions 41 to 44 as the color mixture correction coefficient of the correction target pixel. May be.
  • the average value of the color mixture correction coefficients may be calculated by averaging the color mixture correction coefficients of the two BK pixels 10bk2, or may be calculated by averaging the color mixture correction coefficients of the four BK pixels 10bk2, and is used for the calculation.
  • the number of BK pixels 10bk2 is not particularly limited.
  • the correction unit 4a calculates a luminance value for each pixel, and among the BK pixels 10bk2 having a small difference from the luminance value of the correction target pixel, the color mixture correction of the BK pixel 10bk2 closest to the correction target pixel is performed.
  • the coefficient may be used as a color mixture correction coefficient of the correction target pixel.
  • the correction unit 4a may calculate the color mixture correction coefficient of the correction target pixel using the method described in Patent Document 1. For example, the correction unit 4a may calculate the color mixture correction coefficient using the linear interpolation method described in Patent Document 1.
  • the correction unit 4a multiplies the pixel signal of the adjacent pixel adjacent to the correction target pixel by the calculated color mixture correction coefficient of the correction target pixel to calculate a color mixture noise component in the pixel signal of the correction target pixel, and calculates the calculated color mixture
  • the noise component is subtracted from the pixel signal of the correction target pixel.
  • the correction unit 4a includes, in each pixel signal of the eight pixels adjacent to the correction target pixel, a color mixture correction coefficient related to a signal component mixed from each of the eight pixels into the correction target pixel. Are respectively obtained to obtain a noise component mixed into the R pixel from eight pixels.
  • the correction unit 4a can remove a noise component due to color mixing from the pixel signal of the correction target pixel by subtracting the calculated noise component from the adjacent pixel from the pixel signal of the correction target pixel.
  • a correction coefficient can be calculated. For this reason, the color mixture correction coefficient of the correction target pixel can be calculated with high accuracy, and the accuracy of the correction processing can be improved.
  • FIG. 7 is a flowchart showing an example of the operation of the imaging apparatus 1 according to the first embodiment. With reference to the flowchart of FIG. 7, FIG. 5, and FIG. The process shown in FIG. 7 is executed when, for example, the user operates the release button and gives an instruction for shooting.
  • step S100 the filter control unit 60 of the image sensor 3 controls the filter unit 35 of each pixel 10 to form a dark current measurement BK pixel 10bk1 and a plurality of regions 41 to 44 as shown in FIG. Pixels to be generated.
  • This step S100 does not need to be performed every time before main imaging, which will be described later, for example, is performed every time the camera 1 is turned on.
  • step S110 the control unit 4 causes the image sensor 3 to perform correction imaging, and reads a pixel signal from each pixel 10 in FIG.
  • step S120 the correction unit 4a of the control unit 4 calculates a dark current component based on the pixel signal of the BK pixel 10bk1 for dark current measurement output from the image sensor 3.
  • step S130 the correction unit 4a associates the calculated dark current component with information related to the position of the BK pixel 10bk1, and stores the information in the storage unit 4b.
  • step S140 the correction unit 4a calculates a color mixture correction coefficient related to the BK pixel 10bk2 adjacent to the center pixel based on the pixel signal of each pixel 10 in the regions 41 to 44.
  • step S150 the correction unit 4a associates the calculated color mixing correction coefficient with the pixel using the color mixing correction coefficient, and stores the color mixing correction coefficient and the position information of the corresponding pixel in the storage unit 4b.
  • the control unit 4 performs the processing from step 100 to step 150 when the focal length of the imaging optical system 2, the lens of the imaging optical system 2, the aperture value, the shutter time, the transmission wavelength of the filter unit 35, and the like are changed. And the dark current component and the color mixture correction coefficient may be acquired again. Further, the control unit 4 may acquire the dark current component and the color mixture correction coefficient by executing the processing from step 100 to step 150 before shipping the product.
  • step S160 the filter control unit 60 of the image sensor 3 controls the filter unit 35 to generate the R pixel 10, the G pixel 10, and the B pixel 10 according to the Bayer array as shown in FIG.
  • step S ⁇ b> 170 the control unit 4 causes the image sensor 3 to perform main imaging.
  • step S180 the correction unit 4a corrects the pixel signal of each pixel 10 generated by the main imaging using the dark current component and the color mixture correction coefficient stored in the storage unit 4b. Thereby, the correction
  • step S190 the image generation unit 4c generates image data based on the pixel signal corrected by the correction unit 4a.
  • the camera 1 has a filter unit 35 that can switch between a light blocking state that blocks incident light and a transmission state that selectively transmits light of a predetermined wavelength of the incident light, and light that has passed through the filter unit 35.
  • a first pixel and a second pixel each having a photoelectric conversion unit 32 that photoelectrically converts the signal to generate a charge, and an output unit (readout unit 20) that outputs a signal based on the charge generated by the photoelectric conversion unit 32 And a signal output from the output unit of the first pixel when the filter unit 35 of the first pixel is in a light-shielding state and the filter unit 35 of the second pixel is in a transmissive state.
  • a correction unit 4a that corrects a signal output from the output unit of the first pixel when the pixel filter unit 35 is in a transmissive state.
  • the camera 1 according to the present embodiment corrects a pixel signal generated with a pixel 10 in a transmissive state using a color mixture correction coefficient calculated with a certain pixel 10 in a light-shielded state. For this reason, more strict correction can be performed and the accuracy of correction processing can be improved.
  • a high-quality image (data) can be generated by using the corrected pixel signal.
  • the pixel 10 has a filter unit 35 that can switch between a light blocking state that blocks incident light and a transmission state that selectively transmits light of a predetermined wavelength of the incident light.
  • the color mixing correction coefficient and the dark current component are calculated by setting each pixel 10 in a light-shielded state, and each pixel 10 can be set in a transmissive state when imaging a subject image. For this reason, it is not necessary to provide a light-shielding pixel for acquiring the color mixture correction coefficient and the dark current component during the main imaging, and it is possible to prevent a defective pixel from being generated during the main imaging.
  • a pixel signal for generating image data can be acquired from each pixel, a high-quality image (data) can be generated.
  • the filter unit 35 capable of changing the transmission wavelength is provided for each pixel 10. Therefore, the control unit 4 can arrange the dark current measurement BK pixel 10bk1 and the regions 41 to 44 for calculating the color mixture correction coefficient at desired positions. Also, as shown in FIG. 6, by arranging the dark current measurement pixels and the regions 41 to 44 in the entire imaging region, it is possible to accurately acquire the dark current component and the color mixture correction coefficient for each pixel. It becomes possible.
  • FIG. 8 is a flowchart illustrating an example of the operation of the imaging apparatus 1 according to the second embodiment. An example of the operation of the imaging apparatus 1 will be described with reference to the flowchart of FIG. In the figure, the same or corresponding parts as those in the first embodiment are denoted by the same reference numerals, and differences will mainly be described.
  • step S200 the filter control unit 60 of the image sensor 3 controls the filter unit 35 of each pixel 10 as shown in FIG. 6 in the same manner as in the first embodiment, and BK for dark current measurement is performed. A pixel 10bk1 and pixels constituting the plurality of regions 41 to 44 are generated.
  • step S ⁇ b> 210 the control unit 4 causes the image sensor 3 to perform correction imaging, and reads a pixel signal from each pixel 10 of the image sensor 3.
  • step S220 the correction unit 4a of the control unit 4 calculates a dark current component based on the pixel signal of the dark current measurement BK pixel 10bk1 output from the imaging device 3.
  • step S230 the correction unit 4a associates the calculated dark current component with information related to the position of the dark current measurement BK pixel 10bk1, and stores the information in the storage unit 4b.
  • step S240 the correction unit 4a calculates a color mixture correction coefficient related to the BK pixel 10bk2 adjacent to the center pixel based on the pixel signal of each pixel 10 in the regions 41 to 44.
  • step S250 the correction unit 4a associates the calculated color mixture correction coefficient with the position information of the BK pixel 10bk2, and stores it in the storage unit 4b.
  • step S260 the correction unit 4a determines whether or not there is a pixel for which the dark current component is not calculated.
  • the correction unit 4a proceeds to step S270 when the dark current components of all the pixels are calculated, and returns to step S200 when the dark current components of all the pixels are not calculated.
  • the filter control unit 60 of the imaging device 3 controls the filter unit 35 of each pixel 10 to change the position of the BK pixel 10. For example, as shown in FIG. 9, the filter control unit 60 arranges the regions 41 to 44 in a new region different from the previous one. 9, some of the pixels that were the BK pixels 10bk2 in the regions 41 to 44 in the case of FIG. 6 are changed to the central pixels in the regions 41 to 44. Accordingly, the correction unit 4a can calculate the dark current component in the dark current measurement BK pixel 10bk1 shown in FIG. 6 and the dark current component in the dark current measurement BK pixel 10bk1 shown in FIG. It becomes possible.
  • step S270 the filter control unit 60 of the image sensor 3 controls the filter unit 35, and the R pixel 10, the G pixel 10, and the B pixel as shown in FIG. 5 as in the case of the first embodiment. Pixels 10 are generated according to the Bayer array.
  • step S280 the control unit 4 causes the image sensor 3 to perform main imaging.
  • step S290 the correction unit 4a corrects the pixel signal of each pixel 10 generated by the main imaging using the dark current component and the color mixture correction coefficient of each pixel stored in the storage unit 4b. Thereby, the correction
  • step S300 the image generation unit 4c generates image data based on the pixel signal corrected by the correction unit 4a.
  • the imaging device 1 can acquire the dark current components of all the pixels by repeating the process of calculating the dark current component by changing the position of the BK pixel 10. Further, since the pixel signal of each pixel is corrected using the dark current component and the color mixture correction coefficient of each pixel provided in the image pickup device 3, it is possible to perform strict correction and improve the accuracy of the correction processing. it can. In addition, a high-quality image (data) can be generated by using the corrected pixel signal.
  • step S260 the correction unit 4a determines whether or not there is a pixel for which a color mixture correction coefficient has not been calculated.
  • the correction unit 4a proceeds to step S270 when the color mixture correction coefficient for all pixels is calculated, and returns to step S200 when the color mixture correction coefficient for all pixels is not calculated.
  • the filter control unit 60 controls the filter unit 35 of each pixel 10, and arranges the regions 41 to 44 in new regions different from the previous one, for example, as shown in FIG. .
  • the correction unit 4a can calculate the color mixture correction coefficient in the BK pixel 10bk2 in the regions 41 to 44 shown in FIG. 6 and the color mixture correction coefficient in the BK pixel 10bk2 in the regions 41 to 44 shown in FIG. It becomes possible. Further, the control unit 4 may acquire the dark current components of all the pixels and the color mixture correction coefficient of all the pixels by repeatedly executing the processing from step 200 to step 260.
  • a color mixing correction coefficient for calculating a noise component mixed into an adjacent pixel from a certain pixel and a color mixing correction coefficient for calculating a noise component mixed into the pixel from an adjacent pixel are respectively Can be obtained every time.
  • the control unit 4 executes the processing from step 200 to step 260 before product shipment to obtain the dark current components and color mixture correction coefficients of all pixels.
  • the control unit 4 performs the processing from step 200 to step 260 when the focal length of the imaging optical system 2, the lens of the imaging optical system 2, the aperture value, the shutter time, the transmission wavelength of the filter unit 35, and the like are changed. And the dark current component and the color mixture correction coefficient of all the pixels may be acquired again.
  • the control unit 4 executes the processing from step 200 to step 260 to again determine the dark current components and color mixture correction coefficients of all the pixels. You may make it acquire.
  • the dark current component and the color mixture correction coefficient may be calculated for some of the pixels 10.
  • a pixel for calculating a dark current component and a color mixture correction coefficient is selected by thinning out pixels in a specific row or column of all the pixels 10, and the dark current component and the color mixture correction coefficient are calculated for the selected pixel. May be.
  • the control unit 4 may control the filter unit 35 of each pixel 10 so that all the pixels 10 become the dark current measurement BK pixel 10bk1. Thereby, the control unit 4 can acquire a dark current component for each pixel of the image sensor 3. Note that the control unit 4 may generate only the regions 41 to 44 for calculating the color mixture correction coefficient and acquire only the color mixture correction coefficient.
  • the control unit 4 includes the filter unit 35 of each pixel 10 so that the dark current measurement BK pixel 10bk1 and the regions 41 to 44 are arranged only in a part of the imaging region. May be controlled. Thereby, the control unit 4 can calculate the dark current component and the color mixture correction coefficient and generate the image data by using the pixel signal of each pixel 10 generated at the time of imaging.
  • the image generation unit 4c interpolates the pixel signal of the BK pixel 10 used for calculating the dark current component and the color mixture correction coefficient by using the pixel signal of the peripheral pixels of the BK pixel 10 to obtain image data. Is generated.
  • the control unit 4 controls the filter unit 35 to repeat four R pixels, eight G pixels, and four B pixels as a basic unit of the Bayer array. It may be arranged.
  • the control unit 4 controls the filter unit 35 of each pixel 10 as shown in FIG. 11B to acquire the dark current component and the color mixture correction coefficient.
  • the control unit 4 calculates a dark current component and a color mixture correction coefficient for every four BK pixels 10 of 2 pixels ⁇ 2 pixels.
  • the control unit 4 may change the transmission wavelength range of the filter unit 35 of each pixel 10 according to the zoom magnification of the electronic zoom function of the camera 1.
  • FIG. 12A shows a pixel signal readout region 120A and an arrangement pattern of R, G, B, and BK pixels when the electronic zoom has a relatively low magnification.
  • FIG. 12B shows a pixel signal readout region 120B and an arrangement pattern of R, G, B, and BK pixels when the electronic zoom has a relatively high magnification.
  • the image generation unit 4c of the control unit 4 generates image data based on the pixel signal output from each pixel 10 in the readout region 120 (120A, 120B).
  • the pixel 10 in the readout area 120 becomes an effective pixel
  • the readout area 120 becomes an effective pixel area.
  • the control unit 4 controls the filter unit 35 to switch the pixel 10 outside the readout region to the BK pixel 10.
  • the photoelectric conversion operation is not performed in the BK pixel 10 outside the readout region.
  • the filter unit 35 includes three filters: an EC layer that develops R (red), an EC layer that develops G (green), and an EC layer that develops B (blue).
  • the filter unit 35 may be configured by three filters: an EC layer that develops Mg (magenta), an EC layer that develops Ye (yellow), and an EC layer that develops Cy (cyan).
  • the filter unit 35 may be a variable filter using liquid crystal.
  • the filter unit 35 includes a filter that transmits the first wavelength, a filter that transmits the second wavelength that is longer than the first wavelength, and a filter that transmits the third wavelength that is longer than the second wavelength.
  • a combination of a color filter and a filter that can switch between a transmission state that transmits light and a light-blocking state that blocks light may be used.
  • the filter unit 35 is a combination of a color filter (RGB or MgYeCy color filter) that transmits light in different wavelength regions and a variable filter (liquid crystal filter or MEMS shutter) that can be changed to a transmission state or a light-shielding state.
  • a color filter RGB or MgYeCy color filter
  • a variable filter liquid crystal filter or MEMS shutter
  • Modification 7 The imaging device 3 described in the above-described embodiment and modification is applied to a camera, a smartphone, a tablet, a camera built in a PC, an in-vehicle camera, a camera mounted on an unmanned aircraft (such as a drone or a radio control machine), and the like. Also good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Electrochromic Elements, Electrophoresis, Or Variable Reflection Or Absorption Elements (AREA)

Abstract

撮像装置は、光を遮光する遮光状態と光を透過する透過状態とを切換え可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とをそれぞれ有する第１の画素及び第２の画素と、を有する撮像素子と、前記第１の画素の前記フィルタ部が遮光状態であり、前記第２の画素の前記フィルタ部が透過状態であるときに前記第１の画素の前記出力部から出力された信号に基づいて、前記第１の画素の前記フィルタ部が透過状態であるときに前記第１の画素の前記出力部から出力された信号を補正する補正部と、を備える。

Description

撮像装置および撮像素子
　本発明は、撮像装置および撮像素子に関する。
　隣接する全画素が遮光画素である画素の信号に基づいて、通常画素の混色を補正するためのパラメータを算出する撮像装置が知られている（特許文献１）。しかし、この撮像装置は、遮光画素の位置からは画像信号が得られない。
日本国特開２０１１－６６８０１号公報
　本発明の第１の態様によると、撮像装置は、光を遮光する遮光状態と光を透過する透過状態とを切換え可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とをそれぞれ有する第１の画素及び第２の画素と、を有する撮像素子と、前記第１の画素の前記フィルタ部が遮光状態であり、前記第２の画素の前記フィルタ部が透過状態であるときに前記第１の画素の前記出力部から出力された信号に基づいて、前記第１の画素の前記フィルタ部が透過状態であるときに前記第１の画素の前記出力部から出力された信号を補正する補正部と、を備える。
　本発明の第２の態様によると、撮像装置は、光を遮光する遮光状態と光を透過する透過状態とを切換え可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とをそれぞれ有する第１の画素及び第２の画素と、を有する撮像素子と、前記第１の画素の前記フィルタ部が遮光状態であり、前記第２の画素の前記フィルタ部が透過状態であるときに前記第１の画素の前記出力部から出力された信号に基づいて、前記第２の画素の前記出力部から出力された信号を補正する補正部と、を備える。
　本発明の第３の態様によると、撮像装置は、光を遮光する遮光状態と光を透過する透過状態とを切換え可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とをそれぞれ有する複数の画素を有する撮像素子と、複数の前記画素のうち、前記フィルタ部が前記遮光状態である画素を含む領域の位置を制御する制御部と、を備える。
　本発明の第４の態様によると、撮像素子は、光を遮光する遮光状態と光を透過する透過状態とを切換え可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とをそれぞれ有する第１の画素及び第２の画素と、前記第１の画素の前記フィルタ部が遮光状態であり、前記第２の画素の前記フィルタ部が透過状態であるときに前記第１の画素の前記出力部から出力された信号に基づいて、前記第１の画素の前記フィルタ部が透過状態であるときに前記第１の画素の前記出力部から出力された信号を補正する補正部と、を備える。
　本発明の第５の態様によると、撮像素子は、光を遮光する遮光状態と光を透過する透過状態とを切換え可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とをそれぞれ有する第１の画素及び第２の画素と、前記第１の画素の前記フィルタ部が遮光状態であり、前記第２の画素の前記フィルタ部が透過状態であるときに前記第１の画素の前記出力部から出力された信号に基づいて、前記第２の画素の前記出力部から出力された信号を補正する補正部と、を備える。
　本発明の第６の態様によると、撮像素子は、光を遮光する遮光状態と光を透過する透過状態とを切換え可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とをそれぞれ有する複数の画素と、複数の前記画素のうち、前記フィルタ部が遮光状態である画素を含む領域の位置を制御する制御部と、を備える。
第１の実施の形態に係る撮像装置の構成を示すブロック図である。 第１の実施の形態に係る撮像素子の一部の構成を示すブロック図である。 第１の実施の形態に係る撮像素子の構造を説明するための図である。 第１の実施の形態に係る撮像素子の画素の構成を示す回路図である。 第１の実施の形態に係る撮像素子のフィルタ部の状態の一例を示す図である。 第１の実施の形態に係る撮像素子のフィルタ部の状態の別の例を示す図である。 第１の実施の形態に係る撮像装置の動作の一例を示したフローチャートである。 第２の実施の形態に係る撮像装置の動作の一例を示したフローチャートである。 第２の実施の形態に係る撮像素子のフィルタ部の状態の一例を示す図である。 変形例２に係る撮像素子のフィルタ部の状態の一例を示す図である。 変形例３に係る撮像素子のフィルタ部の状態の一例を示す図である。 変形例４に係る撮像素子のフィルタ部の状態の一例を示す図である。
（第１の実施の形態）
　図１は、第１の実施の形態に係る撮像装置の構成を示すブロック図である。図１では、第１の実施の形態に係る撮像装置の一例である電子カメラ１（以下、カメラ１と称する）の構成例を示す。カメラ１は、撮像光学系（結像光学系）２、撮像素子３、制御部４、メモリ５、表示部６、および操作部７を備える。撮影光学系２は、複数のレンズおよび絞りを有し、撮像素子３に被写体像を結像する。なお、撮影光学系２は、カメラ１から着脱可能にしてもよい。
　撮像素子３は、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサである。撮像素子３は、撮影光学系２により形成された被写体像を撮像する。撮像素子３には、光電変換部を有する複数の画素が配置される。光電変換部は、例えばフォトダイオード（ＰＤ）によって構成される。撮像素子３は、受光量に応じた信号を生成し、生成した信号を制御部４に出力する。
　メモリ５は、例えば、メモリカード等の記録媒体である。メモリ５には、画像データ等が記録される。メモリ５へのデータの書き込みや、メモリ５からのデータの読み出しは、制御部４によって行われる。表示部６は、画像データに基づく画像、シャッター速度や絞り値等の撮影に関する情報、およびメニュー画面等を表示する。操作部７は、レリーズボタン、各種設定スイッチ等を含み、それぞれの操作に応じた操作信号を制御部４へ出力する。
　制御部４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成され、制御プログラムに基づきカメラ１の各部を制御する。また、制御部４は、補正部４ａと、記憶部４ｂと、画像生成部４ｃとを有する。補正部４ａは、詳細は後述するが、撮像素子３の各画素から出力された画素信号に基づいて、暗電流成分および混色補正係数を算出する。また、補正部４ａは、暗電流成分および混色補正係数に基づいて、撮像素子３の各画素から出力された画素信号に対して補正処理を行う。記憶部４ｂには、補正部４ａにより算出された暗電流成分および混色補正係数が記憶される。補正部４ａが行う処理については、後で詳しく述べる。
　画像生成部４ｃは、補正部４ａにより補正された画素信号に対して各種の画像処理を施し、画像データを生成する。画像処理には、階調変換処理、補間処理、輪郭強調処理等の公知の画像処理が含まれる。
　図２および図３を参照して、第１の実施の形態に係る撮像素子３の構成について説明する。図２は、第１の実施の形態に係る撮像素子３の一部の構成を示すブロック図である。図３は、第１の実施の形態に係る撮像素子３の構造を説明するための図である。図３（ａ）は、撮像素子３の断面構造の一例を示す図であり、図３（ｂ）は、撮像素子３のフィルタ部の透明電極のレイアウト例を説明するための平面図である。
　図２に示すように、撮像素子３は、複数の画素１０と、フィルタ垂直駆動部４０と、フィルタ水平駆動部５０と、フィルタ制御部６０と、画素垂直駆動部７０と、カラム回路部８０と、水平走査部９０と、出力部１００と、システム制御部１１０とを備える。撮像素子３では、画素１０が二次元状（例えば、行方向および列方向）に配置される。図２に示す例では、説明を簡略化するために、画素１０は水平方向１５画素×垂直方向１２画素のみ図示しているが、撮像素子３は、例えば数百万画素～数億画素、又はそれ以上の画素を有する。
　図３（ａ）に示すように、撮像素子３は、半導体基板２２０と、配線層２１０と、支持基板２００と、マイクロレンズ３１と、フィルタ部３５とを備える。図３（ａ）に示す例では、撮像素子３は、裏面照射型の撮像素子として構成されている。半導体基板２２０は、配線層２１０を介して支持基板２００に積層される。半導体基板２２０は、シリコン等の半導体基板により構成され、支持基板２００は、半導体基板やガラス基板等により構成される。配線層２１０は、導体膜（金属膜）および絶縁膜を含む配線層であり、複数の配線やビアなどが配置される。導体膜には、銅、アルミニウム等が用いられる。絶縁膜は、酸化膜や窒化膜などで構成される。撮影光学系２を通過した光は、主にＺ軸プラス方向へ向かって入射する。また、座標軸に示すように、Ｚ軸に直交する紙面右方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面奥方向をＹ軸プラス方向とする。
　画素１０（図３においては画素１０Ａ～１０Ｃ）は、マイクロレンズ３１と、フィルタ部３５と、光電変換部３２とを含んで構成される。マイクロレンズ３１は、入射した光を光電変換部３２に集光する。光電変換部３２は、入射した光を光電変換して電荷を生成する。
　フィルタ部３５は、マイクロレンズ３１側から半導体基板２２０側に向かって順次積層されたエレクトロクロミック（以下、ＥＣと称する）層２１、２２、２３と、透明電極１１、１２、１３、１４とを有する。ＥＣ層２１～２３は、金属酸化物等のエレクトロクロミック材料を用いて形成される。透明電極１１～１４は、例えばＩＴＯ（酸化インジウムスズ）等により形成される。ＥＣ層２１と透明電極１２との間、ＥＣ層２２と透明電極１３との間、及びＥＣ層２３と透明電極１４との間には、絶縁膜３３がそれぞれ設けられる。また、フィルタ部３５には、不図示の電解質層（電解質膜）が設けられる。
　透明電極１１は、図３（ｂ）に明示したように、第１の方向であるＸ方向に、即ち行方向に配列された複数のＥＣ層２１の一方の面を覆うように、行方向に配列された複数のＥＣ層毎に、配置される。図２に示した例では、画素１０の配列は、１２行であるので、透明電極１１は、１２本並置されている。透明電極１２及び透明電極１３は、透明電極１１と同様に、Ｘ方向に配置された複数のＥＣ層２２及びＥＣ層２３の一方の面を覆うように配置される。
　透明電極１４は、３つのＥＣ層２１、２２、２３に共通の電極で、ＥＣ層２３の他方の面側に配置される。共通透明電極１４は、図３（ｂ）に明示したように、Ｘ方向と交差する第２の方向であるＹ方向、即ち列方向に配列された複数のＥＣ層２３に沿って、列方向に配列された複数のＥＣ層毎に、配置される。図２に示した例では、画素１０の配列は、１５列であるので、共通透明電極１４は、１５本並置されている。
　透明電極１１～１３および共通透明電極１４は、ＥＣ層２１、２２、２３に対してマトリクス状（網目状）に配置される電極となる。透明電極１１～１３は、フィルタ垂直駆動部４０に接続され、共通透明電極１４は、フィルタ水平駆動部５０に接続される。これにより、本実施の形態では、マトリクス状の電極を用いてＥＣ層２１、２２、２３の駆動制御を行うアクティブマトリクス駆動を行うことができる。
　ＥＣ層２１は、透明電極１１と共通透明電極１４とによる駆動信号の供給によって酸化還元反応を生じることによりＢ（青）を発色する。従って、ＥＣ層２１は、駆動信号の供給によって、入射光のうち、Ｂ（青）に対応する波長域の光を透過させる。ＥＣ層２２は、透明電極１２と共通透明電極１４とによる駆動信号の供給によって酸化還元反応を生じることによりＧ（緑）を発色する。従って、ＥＣ層２２は、駆動信号の供給によって、入射光のうち、Ｇ（緑）に対応する波長域の光を透過させる。ＥＣ層２３は、透明電極１３と共通透明電極１４とによる駆動信号の供給によって酸化還元反応を生じることによりＲ（赤）を発色する。従って、ＥＣ層２３は、駆動信号の供給によって、入射光のうち、Ｒ（赤）に対応する波長域の光を透過させる。ＥＣ層２１、２２、２３は、上述の駆動信号の供給を停止した場合は、一定時間の間は上記の発色が持続され、リセット信号を供給した場合は、入射する光のうちの全ての波長域の光を透過する透明（消色）の状態になる。
　上述のように、複数のフィルタ部３５の各々は、Ｂ（青）を発色するＥＣ層２１、Ｇ（緑）を発色するＥＣ層２２、およびＲ（赤）を発色するＥＣ層２３の３つのフィルタにより構成される。３つのＥＣ層２１、２２、２３のいずれにも、駆動信号が供給されていない状態では、３層ＥＣ透過波長域は、Ｗ（白）となる。３つのＥＣ層２１、２２、２３の全てに駆動信号を供給すると、３層ＥＣ透過波長域は、ＢＫ（黒）となる。同様に、ＥＣ層２１のみに、ＥＣ層２２のみに、及びＥＣ層２３のみに、それぞれ駆動信号を供給した場合には、３層ＥＣ透過波長域は、それぞれＢ（青）、Ｇ（緑）、Ｒ（赤）になる。
　これにより、フィルタ部３５は、ＥＣ層２１～２３の透過波長の組み合わせにより、Ｗ（白）、ＢＫ（黒）、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかの波長域の光を主に透過させることが可能となる。
　以下の説明において、フィルタ部３５の３層ＥＣ透過波長域がＢ（青）になった画素をＢ画素と称し、３層ＥＣ透過波長域がＧ（緑）になった画素をＧ画素と称し、３層ＥＣ透過波長域がＲ（赤）になった画素をＲ画素と称する。また、フィルタ部３５の３層ＥＣ透過波長域がＢＫ（黒）になった画素を、ＢＫ画素、又はフィルタ部３５が入射光を遮光するので遮光画素と称する。
　このように各画素１０は、フィルタ部３５を透過する波長が適宜変更され、その波長の光成分を光電変換する。また、フィルタ部３５が全色透過するなら、画素１０はＷの光成分を光電変換し、フィルタ部３５が全色吸収するなら、画素１０は遮光された状態の信号を出力する。
　図２において、フィルタ制御部６０は、フィルタ垂直駆動部４０およびフィルタ水平駆動部５０から各フィルタ部３５に入力される信号を制御することにより、各フィルタ部３５の透過波長を設定（変更）する。フィルタ垂直駆動部４０は、複数のフィルタ部３５の行を選択して、即ち、複数の透明電極１１～１３のうちの所定の透明電極を選択してそれに駆動信号を供給する。フィルタ水平駆動部５０は、複数のフィルタ部３５の列を選択して、即ち、複数の共通透明電極１４のうちの所定の共通透明電極を選択してそれに駆動信号を供給する。こうして、フィルタ垂直駆動部４０によって選択された透明電極１１～１３とフィルタ水平駆動部５０によって選択された共通透明電極１４との両方に関するＥＣ層が発色する。
　例えば、図３（ｂ）において、フィルタ水平駆動部５０が３本の共通透明電極１４のうちの右端の共通透明電極１４を選択して駆動信号を供給し、フィルタ垂直駆動部４０が９本の透明電極１１～１３のうち上端の透明電極１１を選択して駆動信号を供給すると右上端に位置するＥＣ層２１が発色する。また、フィルタ水平駆動部５０が右端の共通透明電極１４を選択して駆動信号を供給し、フィルタ垂直駆動部４０が上端の透明電極１２を選択して駆動信号を供給すると右上端のＥＣ層２２が発色する。また、フィルタ水平駆動部５０が右端の共通透明電極１４を選択して駆動信号を供給し、フィルタ垂直駆動部４０が上端の透明電極１３を選択して駆動信号を供給すると、右上端のＥＣ層２３が発色する。
　図２において、システム制御部１１０は、カメラ１の制御部４からの信号に基づいて、フィルタ制御部６０、画素垂直駆動部７０、カラム回路部８０、水平走査部９０、および出力部１００を制御する。画素垂直駆動部７０は、システム制御部１１０からの信号に基づいて、後述する信号ＴＸ、信号ＲＳＴ、信号ＳＥＬなどの制御信号を各画素１０に供給して、各画素１０の動作を制御する。
　カラム回路部８０は、複数のアナログ／デジタル変換部（ＡＤ変換部）を含んで構成され、各画素１０から後述する垂直信号線３０を介して入力された信号をデジタル信号に変換し、変換後のデジタル信号を水平走査部９０に出力する。水平走査部９０は、カラム回路部８０から出力された信号を、出力部１００に順次出力する。出力部１００は、不図示の信号処理部を有し、水平走査部９０から入力された信号に対して相関二重サンプリングや信号量を補正する処理等の信号処理を行い、カメラ１の制御部４に出力する。出力部１００は、ＬＶＤＳやＳＬＶＳ等の高速インタフェースに対応した入出力回路等を有し、信号を制御部４に高速に伝送する。
　次に、撮像素子３における互いに近傍の画素の間に生じる混色、即ちクロストークについて説明する。混色は、或る画素に入射した光束がその画素の近傍の画素に入り込むこと、又は、或る画素で光電変換により発生した電荷がその画素の近傍の画素に漏れ出ることなどで発生する。このような混色について、図３（ａ）を用いて以下に説明する。
　撮像素子３では、画素１０のフィルタ部３５を透過した光の一部が、その画素１０の周辺画素の光電変換部３２に漏れる場合が生じる。図３（ａ）において、破線６１は、画素１０Ｂのフィルタ部３５を透過して画素１０Ｃの光電変換部３２に入射する光を模式的に表している。画素１０Ｃの光電変換部３２は、画素１０Ｃのフィルタ部３５を透過した光に基づく電荷に加えて、画素１０Ｂのフィルタ部３５を透過した光に基づく電荷を生成することになる。
　図３（ａ）に示す破線６２は、画素１０Ｂの光電変換部３２により生成された電荷の一部が、画素１０Ｃの光電変換部３２に漏れることを模式的に表している。画素１０Ｃは、画素１０Ｃの光電変換部３２により生成された電荷と、画素１０Ｂの光電変換部３２により生成された電荷とに基づく画素信号を生成することになる。
　このように、撮像素子３では、画素信号には、近傍画素の間で混色によるノイズ成分が混入する。そこで、詳細は後述するが、カメラ１の制御部４は、近傍画素間で信号が漏れる割合を示す情報である混色補正係数を求めて、混色補正係数を用いて画素信号を補正することによって、画素信号から混色によるノイズ成分を除去する。
　また、撮像素子３に設けられる光電変換部３２（フォトダイオード）では、暗電流が生じる。画素信号のうち暗電流に起因する信号成分は、画素信号にとってノイズ成分となる。そこで、詳細は後述するが、カメラ１の制御部４は、撮像素子３から遮光状態の画素の画素信号を読み出すことで、暗電流成分を検出する。そして、制御部４は、補正対象となる画素の画素信号から暗電流成分を減算することによって、画素信号から暗電流によるノイズ成分を除去する。
　図４は、第１の実施の形態に係る撮像素子３の画素１０の構成例を示す回路図である。画素１０は、上述した光電変換部３２と、読み出し部２０とを有する。読み出し部２０は、転送部２５と、リセット部２６と、フローティングディフュージョン（以下、ＦＤと称する）２７と、増幅部２８と、選択部２９とを有する。図２に示す画素垂直駆動部７０は、上述したように、信号ＴＸ、信号ＲＳＴ、信号ＳＥＬなどの制御信号を各画素１０に供給して、各画素１０の動作を制御する。
　転送部２５は、信号ＴＸにより制御され、光電変換部３２で光電変換された電荷をフローティングディフュージョン２７に転送する。すなわち、転送部２５は、光電変換部３２およびフローティングディフュージョン２７の間に電荷転送路を形成する。フローティングディフュージョン２７は電荷を保持（蓄積）する。増幅部２８は、フローティングディフュージョン２７に保持された電荷による信号を増幅し、選択部２９を介して垂直信号線３０に出力する。図２に示す例では、増幅部２８は、ドレイン端子、ゲート端子およびソース端子がそれぞれ、電源ＶＤＤ、フローティングディフュージョン２７および選択部２９に接続されるトランジスタＭ３により構成される。増幅部２８のソース端子は、選択部２９を介して垂直信号線３０に接続される。増幅部２８は、不図示の電流源を負荷電流源としてソースフォロワ回路の一部として機能する。
　リセット部２６は、信号ＲＳＴにより制御され、フローティングディフュージョン２７の電荷をリセットし、フローティングディフュージョン２７の電位をリセット電位（基準電位）にリセットする。選択部２９は、信号ＳＥＬにより制御され、増幅部２８からの信号を垂直信号線３０に出力する。転送部２５、排出部２６、および選択部２９は、例えば、それぞれトランジスタＭ１、トランジスタＭ２、トランジスタＭ４により構成される。
　撮像素子３は、画像データの生成に用いる画素信号を取得するための撮像動作（以下、本撮像と称する）を行う場合と、暗電流成分及び混色補正係数の算出に用いる画素信号を取得するための撮像動作（以下、補正撮像と称する）を行う場合とで、各フィルタ部３５の状態を切り換える。フィルタ制御部６０は、撮像素子３が本撮像を行う場合は、画素１０がベイヤー配列に従って配置されるように、各画素１０のフィルタ部３５を制御する。図５は、本撮像時の各画素のフィルタ部３５の入射光の透過・遮光状態を示す図であり、図６は、補正撮像時の各画素のフィルタ部３５の入射光の透過・遮光状態を示す図である。図５に示すように、フィルタ制御部６０は、本撮像時にはフィルタ部３５を駆動制御して、Ｇ画素１０とＢ画素１０とが行方向に交互に配置された画素列と、Ｒ画素１０とＧ画素１０とが行方向に交互に配置された画素列とを列方向に交互に並べる。
　一方、フィルタ制御部６０は、補正撮像を行う場合は、図６に示すように一部の画素１０がＢ画素１０、Ｇ画素１０、Ｒ画素１０となり、残りの画素１０がＢＫ画素１０、即ち遮光画素となるように、各画素１０のフィルタ部３５を制御する。なお、図５及び図６に示す例では、説明を簡略化するために、行方向３２画素×列方向１６画素のみ図示している。
　図６において、Ｒ画素１０に隣接する隣接画素に関する混色補正係数を算出するための領域４１と、Ｇ画素１０に隣接する隣接画素に関する混色補正係数を算出するための領域４２と、Ｇ画素１０に隣接する隣接画素に関する混色補正係数を算出するための領域４３と、Ｂ画素１０に隣接する隣接画素に関する混色補正係数を算出するための領域４４とが、散在している。本実施の形態では、領域４１～４４の各々は、３画素×３画素の９画素から構成される。領域４１は、その中心位置に、Ｒ画素１０を有し、このＲ画素１０を囲む周囲の８画素はＢＫ画素（遮光画素）１０ｂｋ２である。同様に、領域４２、４３の各々は、その中心位置に、Ｇ画素１０を有し、このＧ画素１０を囲む周囲の８画素はＢＫ画素１０ｂｋ２である。領域４４は、その中心位置に、Ｂ画素１０を有し、このＢ画素１０を囲む周囲の８画素はＢＫ画素１０ｂｋ２である。なお、領域４１の中心位置の画素はＲ画素１０であるが、これは、中心位置の画素が撮像時もＲ画素となるように、領域４１の位置が定められている。他の領域４２～４４も同様である。
　また、各領域４１～４４の大きさは、中心画素からの混色の影響、即ちクロストークの影響が及ぶ範囲として、定められている。従って、本実施の形態では、例えば、領域４１の中心画素のＲ画素１０からの混色（クロストーク）は、それに隣接する周囲の８画素にしか、及ばない。もし、混色（クロストーク）が上記の周囲８画素よりも外側の画素にまで及ぶ場合には、領域４１～４４は、その外側の画素を含むように選定される。
　これらの４つの領域４１～４４は、図６において、上下左右方向に互いに隣接配置されている。即ち、領域４２と領域４４とが互いに左右方向（画素配列の行方向）に隣接配置され、領域４１と領域４３とが互いに左右方向に隣接配置されている。これらの互いに隣接配置された領域４１～４４は、撮像素子３の撮像面全体に、上下左右方向に略等間隔で分散して配置されている。
　領域４１～４４以外の画素１０は、全てＢＫ画素１０であり、領域４１～４４以外のＢＫ画素１０は、暗電流測定用の画素である。この暗電流測定用のＢＫ画素１０ｂｋ１は、領域４１～４４内のＢＫ画素１０ｂｋ２と区別するために、点線の四角で囲まれている。
　次に、暗電流成分の算出及び撮像時の暗電流成分の補正について説明する。撮像素子３は、補正撮像を行う場合に、各画素１０のフィルタ部３５を制御して図６に示すように、暗電流測定用のＢＫ画素１０ｂｋ１を配置する。点線の四角で囲まれた暗電流測定用のＢＫ画素１０ｂｋ１は、入射光が光電変換部３２に入射せず、かつ、領域４１～４４の中心画素からの混色（クロストーク）の影響を受けないので、当該ＢＫ画素１０ｂｋ１の暗電流量に応じた画素信号を出力する。補正部４ａは、撮像素子３から出力された暗電流測定用のＢＫ画素１０ｂｋ１の画素信号に基づいて暗電流成分を算出する。補正部４ａは、算出した暗電流成分と、ＢＫ画素１０ｂｋ１の位置に関する情報とを対応付けて、記憶部４ｂに記憶させる。
　撮像素子３は、本撮像を行う場合に、各画素１０のフィルタ部３５を制御して図５に示すように、Ｒ画素１０、Ｇ画素１０、およびＢ画素１０をベイヤー配列で配置する。補正部４ａは、本撮像時に撮像素子３の各画素から出力された画素信号から、記憶部４ｂに記憶された暗電流成分を減算して、画素信号を補正する。補正部４ａは、本撮像時に取得した画素信号が補正撮像時に図６の暗電流測定用のＢＫ画素１０ｂｋ１であった画素から出力されたものである場合には、補正撮像時に当該暗電流測定用のＢＫ画素１０ｂｋ１の画素信号を用いて予め算出した暗電流成分で、画素信号を補正する。
　補正撮像時の図６の領域４１～４４内の中心画素は、暗電流量に応じた画素信号が生成されないため、中心画素の暗電流成分を予め算出することができない。そこで、補正部４ａは、本撮像時に取得した画素信号が補正撮像時に図６の領域４１～４４内の中心画素であった画素から出力されたものである場合には、補正撮像時に当該画素の近傍の暗電流測定用のＢＫ画素１０ｂｋ１の画素信号を用いて予め算出した暗電流成分で、画素信号を補正する。
　補正撮像時の図６の領域４１～４４内のＢＫ画素１０ｂｋ２は、暗電流量に応じた画素信号が生成されないため、ＢＫ画素１０ｂｋ２の暗電流成分を予め算出することができない。そこで、補正部４ａは、本撮像時の画素信号が補正撮像時に図６の領域４１～４４内のＢＫ画素１０ｂｋ２であった画素から出力されたものである場合には、補正撮像時に当該画素の近傍の暗電流測定用のＢＫ画素１０ｂｋ１の画素信号を用いて予め算出した暗電流成分で、画素信号を補正する。このように処理を行うことにより、補正部４ａは、補正対象となる画素の画素信号から暗電流によるノイズ成分を取り除くことができる。
　次に、混色補正係数の算出及び撮像時の混色のノイズ成分の除去について説明する。補正撮像を行う場合に、撮像素子３は、各画素１０のフィルタ部３５を制御して図６に示すように、複数の領域４１～４４を構成する画素を配置して、混色補正係数の算出を行う。例えば、領域４１の中心画素であるＲ画素１０からの混色（クロストーク）は、その中心画素に隣接する８つのＢＫ画素１０ｂｋ２に影響する。そして、隣接のＢＫ画素１０ｂｋ２は、混色による画素信号（ノイズ信号）を出力する。　
　制御部４の補正部４ａは、Ｒ画素１０からの画素信号と、隣接のＢＫ画素１０ｂｋ２からの画素信号とを比較することで、Ｒ画素１０の画素信号Ｒ１と隣接するＢＫ画素１０ｂｋ２に現れる画素信号ｒ１との比（ｒ１／Ｒ１）、すなわち混色補正係数を、隣接ＢＫ画素１０ｂｋ２毎に算出する。例えば、補正部４ａは、領域４１のＲ画素１０からの画素信号とＲ画素１０の上に位置するＢＫ画素１０ｂｋ２（Ｙ方向に一つずれた位置の画素）からの画素信号とを比較して、Ｒ画素１０からＲ画素１０の上に位置するＢＫ画素１０ｂｋ２に混入する信号成分に関する混色補正係数を算出する。
　同様にして、補正部４ａは、Ｒ画素１０から右上のＢＫ画素１０ｂｋ２（Ｘ方向に一つかつＹ方向に一つずれた位置の画素）に混入する信号成分、Ｒ画素１０から右のＢＫ画素１０ｂｋ２（Ｘ方向に一つずれた位置の画素）に混入する信号成分、およびＲ画素１０から右下のＢＫ画素１０ｂｋ２（Ｘ方向に一つかつ－Ｙ方向に一つずれた位置の画素）に混入する信号成分のそれぞれについての混色補正係数を算出する。また、補正部４ａは、Ｒ画素１０から下（－Ｙ方向に一つずれた位置の画素）のＢＫ画素１０ｂｋ２に混入する信号成分、Ｒ画素１０から左下のＢＫ画素１０ｂｋ２（－Ｘ方向に一つかつ－Ｙ方向に一つずれた位置の画素）に混入する信号成分、Ｒ画素１０から左のＢＫ画素１０ｂｋ２（－Ｘ方向に一つずれた位置の画素）に混入する信号成分、およびＲ画素１０から左上のＢＫ画素１０ｂｋ２（－Ｘ方向に一つかつＹ方向に一つずれた位置の画素）に混入する信号成分のそれぞれについての混色補正係数を算出する。これにより、補正部４ａは、領域４１のＲ画素１０と、Ｒ画素１０に対して上下左右および斜め方向に位置するＢＫ画素１０ｂｋ２とに関して合成８個の混色補正係数を取得する。
　なお、補正部４ａは、上述の混色補正係数の算出の前に領域４１～４４の画素の画素信号から暗電流成分を減算して、暗電流成分を除去した画素信号に基づき、混色補正係数の算出を行ってもよい。例えば、暗電流測定用の複数のＢＫ画素１０ｂｋ１のうち、領域４１～４４の画素１０の各々に最も近い位置のＢＫ画素１０ｂｋ１の暗電流成分を用いて、領域４１～４４の画素１０の各々の画素信号から暗電流成分を減算する。このように、補正部４ａは、暗電流成分が取り除かれた画素信号を用いて混色補正係数の算出を行うことによって、混色補正係数を精度良く算出することができる。
　また、補正部４ａは、領域４２～４４についても同様の処理を行うことで、領域４２のＧ画素１０、領域４３のＧ画素１０、領域４４のＢ画素１０から隣接画素への混色に関する混色補正係数を算出することができる。補正部４ａは、算出した混色補正係数と、ＢＫ画素１０ｂｋ２の位置に関する位置情報とを対応付けて、記憶部４ｂに記憶させる。
　また、図６に示すように、撮像素子３は、領域４１～４４に隣接する全ての画素が暗電流測定用のＢＫ画素１０ｂｋ１であるので、領域４１～４４のＢＫ画素１０ｂｋ２に隣接画素からの混色が生じることが抑制される。このため、補正部４ａは、領域４１～４４のＢＫ画素１０ｂｋ２の画素信号を用いることによって、混色補正係数を精度良く算出することができる。この結果、補正部４ａは、補正処理の精度を向上させることができる。
　次に、撮像時の混色によるノイズ成分の補正、即ち除去について説明する。補正部４ａは、本撮像時の画素信号に対して、記憶部４ｂに記憶された混色補正係数を用いて補正処理を行う。補正部４ａは、補正対象画素の上下左右および斜め方向に位置するそれぞれの画素から混入する信号成分に関する混色補正係数を用いて、補正対象画素の画素信号の補正を行う。この場合、補正部４ａは、記憶部４ｂに記憶された領域４１～４４のＢＫ画素１０ｂｋ２に関する混色補正係数に基づいて、補正対象である補正対象画素の画素信号を補正するための混色補正係数を算出する。
　補正対象画素がＲ画素の場合には、補正部４ａは、Ｒ画素の上に位置するＧ画素からＲ画素に混入する信号成分についての混色補正係数、Ｒ画素の右上のＢ画素からＲ画素に混入する信号成分についての混色補正係数、およびＲ画素の右のＧ画素からＲ画素に混入する信号成分についての混色補正係数をそれぞれ算出する。また、補正部４ａは、Ｒ画素の右下に位置するＢ画素からＲ画素に混入する信号成分についての混色補正係数、Ｒ画素の下のＧ画素からＲ画素に混入する信号成分についての混色補正係数、およびＲ画素の左下のＢ画素からＲ画素に混入する信号成分についての混色補正係数をそれぞれ算出する。また、補正部４ａは、Ｒ画素の左に位置するＧ画素からＲ画素に混入する信号成分についての混色補正係数、およびＲ画素の左上のＢ画素からＲ画素に混入する信号成分についての混色補正係数をそれぞれ算出する。
　補正部４ａは、領域４１～４４のＢＫ画素１０ｂｋ２に関する混色補正係数に基づいて、補正対象画素についての混色補正係数を算出する。例えば、補正部４ａは、領域４１～４４のＢＫ画素１０ｂｋ２のうち、補正対象画素に最も近い位置のＢＫ画素１０ｂｋ２について予め算出した混色補正係数を、補正対象画素の混色補正係数として用いる。
　なお、補正部４ａは、領域４１～４４のＢＫ画素１０ｂｋ２のうち、補正対象画素の近傍の３つのＢＫ画素１０ｂｋ２について予め算出した混色補正係数の平均値を、補正対象画素の混色補正係数として用いてもよい。混色補正係数の平均値は、２つのＢＫ画素１０ｂｋ２の混色補正係数を平均して算出してもよいし、４つのＢＫ画素１０ｂｋ２の混色補正係数を平均して算出してもよく、算出に用いるＢＫ画素１０ｂｋ２の数は、特に限定されない。また、補正部４ａは、各画素についての輝度値を算出しておき、補正対象画素の輝度値との差が小さいＢＫ画素１０ｂｋ２のうち、補正対象画素に最も近い位置のＢＫ画素１０ｂｋ２の混色補正係数を、補正対象画素の混色補正係数として用いてもよい。この場合、補正撮像時にＢＫ画素１０ｂｋ２の画素信号を用いて輝度値を求めることはできないため、輝度値を算出するための撮像動作を行って、ＢＫ画素１０ｂｋ２の輝度値を算出するようにする。なお、補正部４ａは、特許文献１に記載の方法を用いて、補正対象画素の混色補正係数を算出するようにしてもよい。例えば、補正部４ａは、特許文献１に記載の線形補間法を用いて、混色補正係数を算出するようにしてもよい。
　補正部４ａは、補正対象画素に隣接する隣接画素の画素信号に、算出した補正対象画素の混色補正係数を乗算して、補正対象画素の画素信号中の混色ノイズ成分を算出し、算出した混色ノイズ成分を補正対象画素の画素信号から減算する。補正対象画素がＲ画素の場合には、補正部４ａは、補正対象画素に隣接する８つの画素のそれぞれの画素信号に、８つの画素の各々から補正対象画素に混入する信号成分に関する混色補正係数をそれぞれ乗算して、８つの画素からＲ画素に混入するノイズ成分を求める。補正部４ａは、算出した隣接画素からのノイズ成分を、補正対象画素の画素信号から減算することで、補正対象画素の画素信号から混色によるノイズ成分を取り除くことができる。このように、本実施の形態では、補正撮像時に撮像素子３の全領域に渡って設けられる複数のＢＫ画素１０ｂｋ２に関する混色補正係数を用いて、補正対象となる補正対象画素を補正するための混色補正係数を算出することができる。このため、補正対象画素の混色補正係数を精度良く算出することができ、補正処理の精度を向上させることができる。
　図７は、第１の実施の形態に係る撮像装置１の動作の一例を示したフローチャートである。この図７のフローチャート、図５、および図６を参照して、撮像装置１の動作例について説明する。図７に示す処理は、例えばユーザによりレリーズボタンが操作されて撮影の指示が行われた場合に実行される。
　ステップＳ１００において、撮像素子３のフィルタ制御部６０は、各画素１０のフィルタ部３５を制御して図６に示すように、暗電流測定用のＢＫ画素１０ｂｋ１と、複数の領域４１～４４を構成する画素とを生成する。このステップＳ１００は、後述の本撮像前毎に行う必要はなく、例えばカメラ１の電源投入毎に行われる。
　ステップＳ１１０において、制御部４は、撮像素子３に補正撮像を行わせて、図６の各画素１０から画素信号を読み出す。ステップＳ１２０において、制御部４の補正部４ａは、撮像素子３から出力された暗電流測定用のＢＫ画素１０ｂｋ１の画素信号に基づいて暗電流成分を算出する。ステップＳ１３０において、補正部４ａは、算出した暗電流成分と、ＢＫ画素１０ｂｋ１の位置に関する情報とを対応付けて、記憶部４ｂに記憶させる。
　ステップＳ１４０において、補正部４ａは、領域４１～４４の各画素１０の画素信号に基づいて、中心画素に隣接するＢＫ画素１０ｂｋ２に関する混色補正係数を算出する。ステップＳ１５０において、補正部４ａは、算出した混色補正係数と当該混色補正係数を使用する画素とを対応付けて、混色補正係数と対応する画素の位置情報とを記憶部４ｂに記憶させる。なお、制御部４は、撮像光学系２の焦点距離、撮像光学系２のレンズ、絞り値、シャッター時間、フィルタ部３５の透過波長等が変更された場合に、ステップ１００からステップ１５０までの処理を実行して、暗電流成分および混色補正係数を再度、取得してもよい。また、制御部４は、製品出荷前にステップ１００からステップ１５０までの処理を実行して、暗電流成分および混色補正係数を取得するようにしてもよい。
　ステップＳ１６０において、撮像素子３のフィルタ制御部６０は、フィルタ部３５を制御して、図５に示すように、Ｒ画素１０、Ｇ画素１０、およびＢ画素１０をベイヤー配列に従うように生成する。ステップＳ１７０において、制御部４は、撮像素子３に本撮像を行わせる。
　ステップＳ１８０において、補正部４ａは、記憶部４ｂに記憶された暗電流成分および混色補正係数を用いて、本撮像によって生成された各画素１０の画素信号を補正する。これにより、補正部４ａは、画素信号から暗電流および混色によるノイズ成分を取り除くことができる。ステップＳ１９０において、画像生成部４ｃは、補正部４ａにより補正された画素信号に基づいて画像データを生成する。
　上述した実施の形態によれば、次の作用効果が得られる。
（１）カメラ１は、入射光を遮光する遮光状態と入射光のうちの所定の波長の光を選択的に透過する透過状態とを切換え可能なフィルタ部３５と、フィルタ部３５を透過した光を光電変換して電荷を生成する光電変換部３２と、光電変換部３２で生成された電荷に基づく信号を出力する出力部（読み出し部２０）とをそれぞれ有する第１の画素及び第２の画素と、第１の画素のフィルタ部３５が遮光状態にされて、第２の画素のフィルタ部３５が透過状態にされたときに第１の画素の出力部から出力された信号で、第１の画素のフィルタ部３５が透過状態にされたときに第１の画素の出力部から出力された信号を補正する補正部４ａと、を備える。本実施の形態によるカメラ１は、或る画素１０を遮光状態にして算出した混色補正係数を用いて、その画素１０を透過状態にして生成された画素信号を補正する。このため、より厳密な補正を行うことができ、補正処理の精度を向上させることができる。また、補正された画素信号を用いることによって、高品質な画像（データ）を生成することができる。
（２）本実施の形態によるカメラ１では、画素１０は、入射光を遮光する遮光状態と入射光のうちの所定の波長の光を選択的に透過する透過状態とを切換え可能なフィルタ部３５を有する。このため、各画素１０を遮光状態にして混色補正係数および暗電流成分を算出し、被写体像の撮像を行う場合は各画素１０を透過状態にすることができる。このため、本撮像時に混色補正係数および暗電流成分を取得するための遮光画素を設ける必要がなく、本撮像時に欠陥画素が生じることを防ぐことができる。また、各画素から画像データを生成するための画素信号を取得することができるため、高品質な画像（データ）を生成することができる。
（３）本実施の形態によるカメラ１では、画素１０毎に透過波長を変更可能なフィルタ部３５が設けられる。このため、制御部４は、暗電流測定用のＢＫ画素１０ｂｋ１および混色補正係数を算出するための領域４１～４４を、所望の位置に配置することができる。また、図６に示すように、撮像領域の全領域に暗電流測定用の画素および領域４１～４４を配置することにより、各画素についての暗電流成分、混色補正係数を正確に取得することが可能となる。
（第２の実施の形態）
　図面を参照して、第２の実施の形態に係る撮像装置を説明する。第２の実施の形態の撮像装置は、図１に示した撮像装置１の構成と同様の構成を有する。第２の実施の形態の撮像装置は、撮像素子３に設けられる全画素の暗電流成分を算出する。図８は、第２の実施の形態に係る撮像装置１の動作の一例を示したフローチャートである。この図８のフローチャートおよび図９等を参照して、撮像装置１の動作例について説明する。なお、図中、第１の実施の形態と同一もしくは相当部分には、同一の参照番号を付し、相違点を主に説明する。
　ステップＳ２００において、撮像素子３のフィルタ制御部６０は、第１の実施の形態の場合と同様に図６に示すように、各画素１０のフィルタ部３５を制御して、暗電流測定用のＢＫ画素１０ｂｋ１と、複数の領域４１～４４を構成する画素とを生成する。
　ステップＳ２１０において、制御部４は、撮像素子３に補正撮像を行わせて、撮像素子３の各画素１０から画素信号を読み出す。ステップＳ２２０において、制御部４の補正部４ａは、撮像素子３から出力された暗電流測定用のＢＫ画素１０ｂｋ１の画素信号に基づいて、暗電流成分を算出する。ステップＳ２３０において、補正部４ａは、算出した暗電流成分と、暗電流測定用のＢＫ画素１０ｂｋ１の位置に関する情報とを対応付けて、記憶部４ｂに記憶させる。
　ステップＳ２４０において、補正部４ａは、領域４１～４４の各画素１０の画素信号に基づいて、中心画素に隣接するＢＫ画素１０ｂｋ２に関する混色補正係数を算出する。ステップＳ２５０において、補正部４ａは、算出した混色補正係数と、当該ＢＫ画素１０ｂｋ２の位置情報とを対応付けて、記憶部４ｂに記憶させる。
　ステップＳ２６０において、補正部４ａは、暗電流成分を算出していない画素が無いか否かを判定する。補正部４ａは、全画素の暗電流成分を算出した場合は、ステップＳ２７０へ進み、全画素の暗電流成分を算出していない場合は、ステップＳ２００へ戻る。
　ステップＳ２００へ戻った場合は、撮像素子３のフィルタ制御部６０は、各画素１０のフィルタ部３５を制御してＢＫ画素１０の位置を変更する。例えば図９に示すように、フィルタ制御部６０は、それまでとは異なる新たな領域に、領域４１～４４を配置する。図９においては、図６の場合に領域４１～領域４４のＢＫ画素１０ｂｋ２であった画素のうちの一部の画素が、領域４１～領域４４の中心画素に変更されている。これにより、補正部４ａは、図６に示す暗電流測定用のＢＫ画素１０ｂｋ１における暗電流成分と、図９に示す暗電流測定用のＢＫ画素１０ｂｋ１における暗電流成分と、をそれぞれ算出することが可能となる。
　ステップＳ２７０において、撮像素子３のフィルタ制御部６０は、フィルタ部３５を制御して、第１の実施の形態の場合と同様に図５に示すように、Ｒ画素１０、Ｇ画素１０、およびＢ画素１０をベイヤー配列に従うように生成する。ステップＳ２８０において、制御部４は、撮像素子３に本撮像を行わせる。
　ステップＳ２９０において、補正部４ａは、記憶部４ｂに記憶された各画素の暗電流成分および混色補正係数を用いて、本撮像によって生成された各画素１０の画素信号を補正する。これにより、補正部４ａは、画素信号から暗電流および混色によるノイズ成分を取り除くことができる。ステップＳ３００において、画像生成部４ｃは、補正部４ａにより補正された画素信号に基づいて画像データを生成する。
　このように、本実施の形態による撮像装置１は、ＢＫ画素１０の位置を変更して暗電流成分を算出する処理を繰り返すことによって、全画素の暗電流成分を取得することができる。また、撮像素子３に設けられる各画素の暗電流成分および混色補正係数を用いて、各画素の画素信号を補正するため、厳密な補正を行うことができ、補正処理の精度を向上させることができる。また、補正された画素信号を用いることによって、高品質な画像（データ）を生成することができる。
　なお、上述した実施の形態では、全画素の暗電流成分を算出する例について説明したが、全画素の暗電流成分を算出する代わりに、全画素の混色補正係数を算出するようにしてもよい。この場合、ステップＳ２６０において、補正部４ａは、混色補正係数を算出していない画素が無いか否かを判定する。補正部４ａは、全画素の混色補正係数を算出した場合は、ステップＳ２７０へ進み、全画素の混色補正係数を算出していない場合は、ステップＳ２００へ戻る。ステップＳ２００へ戻った場合は、フィルタ制御部６０は、各画素１０のフィルタ部３５を制御して、例えば図９に示すように、それまでとは異なる新たな領域に領域４１～４４を配置する。これにより、補正部４ａは、図６に示す領域４１～４４のＢＫ画素１０ｂｋ２における混色補正係数と、図９に示す領域４１～４４のＢＫ画素１０ｂｋ２における混色補正係数と、をそれぞれ算出することが可能となる。また、制御部４は、ステップ２００からステップ２６０までの処理を繰り返し実行することによって、全画素の暗電流成分と全画素の混色補正係数とを取得するようにしてもよい。
　本実施の形態では、或る画素から隣接画素に混入するノイズ成分を算出するための混色補正係数と、隣接画素からその画素に混入するノイズ成分を算出するための混色補正係数とを、それぞれ画素毎に取得することができる。
　本実施の形態では、全画素についての暗電流成分および混色補正係数の算出を行うため、暗電流成分および混色補正係数の算出にかかる処理時間が長くなる。このため、制御部４は、製品出荷前にステップ２００からステップ２６０までの処理を実行して、全画素の暗電流成分および混色補正係数を取得することが望ましい。なお、制御部４は、撮像光学系２の焦点距離、撮像光学系２のレンズ、絞り値、シャッター時間、フィルタ部３５の透過波長等が変更された場合に、ステップ２００からステップ２６０までの処理を実行して、全画素の暗電流成分および混色補正係数を再度、取得してもよい。また、制御部４は、ユーザによりレリーズボタンが操作されて撮影の指示が行われた場合に、ステップ２００からステップ２６０までの処理を実行して、全画素の暗電流成分および混色補正係数を再度、取得するようにしてもよい。
　なお、上述した実施の形態では、画素毎に暗電流成分および混色補正係数を算出する例について説明した。しかし、例えば撮像素子３の画素数が非常に多い場合には、全画素１０のうちの一部の画素について暗電流成分および混色補正係数を算出するようにしてもよい。例えば、全画素１０のうちの特定の行や列の画素を間引いて暗電流成分および混色補正係数の算出を行う画素を選択し、選択した画素について暗電流成分および混色補正係数を算出するようにしてもよい。
　次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
　上述した実施の形態では、暗電流測定用のＢＫ画素１０ｂｋ１と、複数の領域４１～４４を構成する画素とを生成して、暗電流成分および混色補正係数を算出する例について説明した。しかし、制御部４は、全画素１０が暗電流測定用のＢＫ画素１０ｂｋ１となるように、各画素１０のフィルタ部３５を制御するようにしてもよい。これにより、制御部４は、撮像素子３の画素毎の暗電流成分を取得することができる。なお、制御部４は、混色補正係数を算出するための領域４１～４４のみを生成して、混色補正係数のみを取得するようにしてもよい。
（変形例２）
　上述した実施の形態では、撮像領域の全領域に暗電流測定用の画素および領域４１～４４を生成して暗電流成分および混色補正係数を取得した後に、Ｒ画素１０、Ｇ画素１０、およびＢ画素１０を生成して撮像動作を行う例について説明した。しかし、図１０に示すように、制御部４は、撮像領域の一部の領域のみに、暗電流測定用のＢＫ画素１０ｂｋ１および領域４１～４４が配置されるように各画素１０のフィルタ部３５を制御してもよい。これにより、制御部４は、撮像時に生成される各画素１０の画素信号を用いて、暗電流成分および混色補正係数の算出と、画像データの生成とを行うことができる。この場合、画像生成部４ｃは、暗電流成分および混色補正係数を算出するために用いるＢＫ画素１０の画素信号を、そのＢＫ画素１０の周辺画素の画素信号を用いて補間することにより、画像データの生成を行う。
（変形例３）
　上述した実施の形態では、撮像時に１つのＲ画素と、２つのＧ画素と、１つのＢ画素とをベイヤー配列の基本単位として繰り返し配置する例について説明した。しかし、図１１（ａ）に示すように、制御部４は、フィルタ部３５を制御して、４つのＲ画素と、８つのＧ画素と、４つのＢ画素とをベイヤー配列の基本単位として繰り返し配置するようにしてもよい。この場合、制御部４は、図１１（ｂ）に示すように各画素１０のフィルタ部３５を制御して、暗電流成分および混色補正係数の取得を行う。例えば、制御部４は、２画素×２画素の４つのＢＫ画素１０毎に、暗電流成分および混色補正係数を算出する。このように算出した暗電流成分および混色補正係数を用いることで、例えば２画素×２画素の画素信号を加算して加算信号を生成する場合に、加算信号に対する補正処理を精度良く行うことができる。
（変形例４）
　制御部４は、カメラ１の電子ズーム機能のズーム倍率に応じて、各画素１０のフィルタ部３５の透過波長域を変更するようにしてもよい。図１２（ａ）は、電子ズームが比較的低倍率である場合の画素信号の読み出し領域１２０Ａと、Ｒ画素、Ｇ画素、Ｂ画素、ＢＫ画素の配列パターンとを示す。図１２（ｂ）は、電子ズームが比較的高倍率である場合の画素信号の読み出し領域１２０Ｂと、Ｒ画素、Ｇ画素、Ｂ画素、ＢＫ画素の配列パターンとを示す。制御部４の画像生成部４ｃは、読み出し領域１２０（１２０Ａ、１２０Ｂ）の各画素１０から出力される画素信号に基づいて、画像データを生成する。読み出し領域１２０内の画素１０は有効画素となり、読み出し領域１２０は有効画素領域となる。
　制御部４は、図１２に示すように、フィルタ部３５を制御して、読み出し領域外の画素１０をＢＫ画素１０に切り換える。このようにすることで、読み出し領域外のＢＫ画素１０では、光電変換動作が行われない。このため、読み出し領域外の画素における光電変換動作に起因して、読み出し領域内の画素の画素信号にノイズが混入することを防ぐことができる。例えば、高輝度被写体を撮像する場合に、読み出し領域外の画素の光電変換部３２の電荷が飽和して、読み出し領域内の画素に電荷が漏れることによって、画像にノイズが生じることを防ぐことができる。
（変形例５）
　上述した実施の形態および変形例では、フィルタ部３５は、Ｒ（赤）を発色するＥＣ層、Ｇ（緑）を発色するＥＣ層、およびＢ（青）を発色するＥＣ層の３つのフィルタにより構成される例について説明した。しかし、フィルタ部３５は、Ｍｇ（マゼンタ）を発色するＥＣ層、Ｙｅ（イエロー）を発色するＥＣ層、およびＣｙ（シアン）を発色するＥＣ層の３つのフィルタにより構成するようにしてもよい。また、フィルタ部３５には液晶を用いた可変フィルタを用いるようにしてもよい。
　なお、フィルタ部３５は、第１の波長を透過するフィルタと、第１の波長より長い第２の波長を透過するフィルタと、第２の波長より長い第３の波長を透過するフィルタとを有するカラーフィルタと、光を透過する透過状態と光を遮光する遮光状態とを切り替え可能なフィルタとを組み合わせたものを用いてもよい。例えば、フィルタ部３５には、互いに異なる波長領域の光を透過するカラーフィルタ（ＲＧＢまたはＭｇＹｅＣｙのカラーフィルタ）と透過状態または遮光状態に変更可能な可変フィルタ（液晶フィルタまたはＭＥＭＳシャッター）とを組み合わせたものを用いてもよい。また、フィルタ部３５には、上述したような透過波長域を変更可能な色可変フィルタと透過状態または遮光状態に変更可能な可変フィルタとを組み合わせたものを用いてもよい。
（変形例６）
　上述した実施の形態および変形例では、光電変換部としてフォトダイオードを用いる例について説明した。しかし、光電変換部として光電変換膜（有機光電膜）を用いるようにしてもよい。
（変形例７）
　上述の実施の形態および変形例で説明した撮像素子３は、カメラ、スマートフォン、タブレット、ＰＣに内臓のカメラ、車載カメラ、無人航空機（ドローン、ラジコン機等）に搭載されるカメラ等に適用されてもよい。
　上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１６年第１９４６２７号（２０１６年９月３０日出願）
３　撮像素子、１０　画素、２０　読み出し部、３２　光電変換部、３５　フィルタ部、４ａ　補正部
 

Claims (18)

  1. 　光を遮光する遮光状態と光を透過する透過状態とを切換え可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とをそれぞれ有する第１の画素及び第２の画素と、を有する撮像素子と、
    　前記第１の画素の前記フィルタ部が遮光状態であり、前記第２の画素の前記フィルタ部が透過状態であるときに前記第１の画素の前記出力部から出力された信号に基づいて、前記第１の画素の前記フィルタ部が透過状態であるときに前記第１の画素の前記出力部から出力された信号を補正する補正部と、
    　を備える撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　前記補正部は、前記第１の画素の前記フィルタ部が遮光状態であり、前記第２の画素の前記フィルタ部が透過状態である間に前記第１の画素の前記出力部から出力された信号に基づいて、前記第１の画素の前記出力部から出力された、前記第１の画素の前記フィルタ部が透過状態である間に前記第１の画素の前記光電変換部で生成された電荷に基づく信号を補正する撮像装置。
  3. 　請求項１または請求項２に記載の撮像装置において、
    　前記撮像素子は、前記第１の画素と前記第２の画素とが隣り合って配置される撮像装置。
  4. 　請求項１から請求項３までのいずれか一項に記載の撮像装置において、
    　前記撮像素子は、複数の前記第１の画素を有し、
    　複数の前記第１の画素が前記第２の画素を囲むように配置される撮像装置。
  5. 　請求項１から請求項４までのいずれか一項に記載の撮像装置において、
    　前記第１の画素および前記第２の画素の前記フィルタ部の透過状態と遮光状態とを制御する制御部を備える撮像装置。
  6. 　請求項５に記載の撮像装置において、
    　前記撮像素子は、複数の前記第１の画素および前記第２の画素を有し、
    　前記制御部は、前記フィルタ部が遮光状態または透過状態である前記第１の画素、および前記フィルタ部が遮光状態または透過状態である前記第２の画素の位置を変更する撮像装置。
  7. 　請求項１から請求項６までのいずれか一項に記載の撮像装置において、
    　前記撮像素子は、光を遮光する遮光状態と光を透過する透過状態とを切換え可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とを有する第３の画素を備え、
    　前記補正部は、前記第３の画素の前記フィルタ部が遮光状態であるときに前記第３の画素の前記出力部から出力された信号に基づいて、前記第３の画素の前記フィルタ部が透過状態であるときに前記第３の画素の前記出力部から出力された信号を補正する撮像装置。
  8. 　請求項７に記載の撮像装置において、
    　前記補正部は、前記第３の画素の前記フィルタ部が遮光状態である間に前記第３の画素の前記出力部から出力された信号に基づいて、前記第３の画素の前記出力部から出力された、前記第３の画素の前記フィルタ部が透過状態である間に前記第３の画素の前記光電変換部で生成された電荷に基づく信号を補正する撮像装置。
  9. 　請求項７または請求項８に記載の撮像装置において、
    　前記撮像素子は、複数の前記第１の画素および複数の前記第３の画素を有し、
    　複数の前記第１の画素は、前記第２の画素の周囲を囲むように配置され、
    　複数の前記第３の画素は、前記第１の画素の周囲を囲むように配置される撮像装置。
  10. 　請求項９に記載の撮像装置において、
    　前記撮像素子は、複数の前記第２の画素を有し、
    　複数の前記第３の画素は、複数の前記第２の画素の周囲を囲むように配置される複数の前記第１の画素の間に配置される撮像装置。
  11. 　光を遮光する遮光状態と光を透過する透過状態とを切換え可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とをそれぞれ有する第１の画素及び第２の画素と、を有する撮像素子と、
    　前記第１の画素の前記フィルタ部が遮光状態であり、前記第２の画素の前記フィルタ部が透過状態であるときに前記第１の画素の前記出力部から出力された信号に基づいて、前記第２の画素の前記出力部から出力された信号を補正する補正部と、
    　を備える撮像装置。
  12. 　請求項１１に記載の撮像装置において、
    　前記撮像素子は、複数の前記第１の画素および複数の前記第２の画素を有し、複数の前記第２の画素が配置される第１の領域と、前記第１の領域を囲むように前記第１の画素が配置される第２の領域とを有する撮像装置。
  13. 　光を遮光する遮光状態と光を透過する透過状態とを切換え可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とをそれぞれ有する複数の画素を有する撮像素子と、
    　複数の前記画素のうち、前記フィルタ部が前記遮光状態である画素を含む領域の位置を制御する制御部と、
    　を備える撮像装置。
  14. 　請求項１から請求項１３までのいずれか一項に記載の撮像装置において、
    　前記フィルタ部は、透過させる光の波長が変更可能である撮像装置。
  15. 　請求項１４に記載の撮像装置において、
    　前記フィルタ部は、第１の波長の光を透過する第１透過状態と、第２の波長の光を透過する第２透過状態と、第３の波長の光を透過する第３透過状態とを切換え可能である撮像装置。
  16. 　光を遮光する遮光状態と光を透過する透過状態とを切換え可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とをそれぞれ有する第１の画素及び第２の画素と、
    　前記第１の画素の前記フィルタ部が遮光状態であり、前記第２の画素の前記フィルタ部が透過状態であるときに前記第１の画素の前記出力部から出力された信号に基づいて、前記第１の画素の前記フィルタ部が透過状態であるときに前記第１の画素の前記出力部から出力された信号を補正する補正部と、
    　を備える撮像素子。
  17. 　光を遮光する遮光状態と光を透過する透過状態とを切換え可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とをそれぞれ有する第１の画素及び第２の画素と、
    　前記第１の画素の前記フィルタ部が遮光状態であり、前記第２の画素の前記フィルタ部が透過状態であるときに前記第１の画素の前記出力部から出力された信号に基づいて、前記第２の画素の前記出力部から出力された信号を補正する補正部と、
    　を備える撮像素子。
  18. 　光を遮光する遮光状態と光を透過する透過状態とを切換え可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とをそれぞれ有する複数の画素と、
    　複数の前記画素のうち、前記フィルタ部が遮光状態である画素を含む領域の位置を制御する制御部と、
    　を備える撮像素子。
     
PCT/JP2017/035755 2016-09-30 2017-09-29 撮像装置および撮像素子 WO2018062560A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/333,623 US11705468B2 (en) 2016-09-30 2017-09-29 Image-capturing device and image sensor
JP2018542060A JP7283079B2 (ja) 2016-09-30 2017-09-29 撮像装置および撮像素子
CN201780068660.5A CN109983768B (zh) 2016-09-30 2017-09-29 摄像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016194627 2016-09-30
JP2016-194627 2016-09-30

Publications (1)

Publication Number Publication Date
WO2018062560A1 true WO2018062560A1 (ja) 2018-04-05

Family

ID=61759846

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/035755 WO2018062560A1 (ja) 2016-09-30 2017-09-29 撮像装置および撮像素子

Country Status (4)

Country Link
US (1) US11705468B2 (ja)
JP (1) JP7283079B2 (ja)
CN (1) CN109983768B (ja)
WO (1) WO2018062560A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034017A1 (ja) * 2022-08-09 2024-02-15 ソニーセミコンダクタソリューションズ株式会社 受光素子及び光検出装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114079719A (zh) * 2020-08-20 2022-02-22 深圳市万普拉斯科技有限公司 图像传感器、成像装置和电子设备
JP7495848B2 (ja) 2020-08-28 2024-06-05 ニチコン株式会社 電解コンデンサ

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333329A (ja) * 2000-03-17 2001-11-30 Fuji Photo Film Co Ltd 撮影装置
JP2011066801A (ja) * 2009-09-18 2011-03-31 Canon Inc 固体撮像装置及び撮像システム
JP2011071709A (ja) * 2009-09-25 2011-04-07 Nikon Corp 電子カメラ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7245325B2 (en) * 2000-03-17 2007-07-17 Fujifilm Corporation Photographing device with light quantity adjustment
JP2002320236A (ja) * 2001-04-23 2002-10-31 Canon Inc 撮像装置
JP5216259B2 (ja) 2007-07-02 2013-06-19 富士フイルム株式会社 固体撮像素子および撮像装置
US8619163B2 (en) 2009-09-18 2013-12-31 Canon Kabushiki Kaisha Solid state imaging using a correction parameter for correcting a cross talk between adjacent pixels
JP5460202B2 (ja) 2009-09-18 2014-04-02 キヤノン株式会社 画像処理装置及び撮像システム
JP6024102B2 (ja) 2011-12-05 2016-11-09 株式会社ニコン 撮像装置
JP2014165785A (ja) 2013-02-27 2014-09-08 Canon Inc 撮像装置およびその制御方法、カメラシステム、プログラム、記憶媒体
JP2014183206A (ja) 2013-03-19 2014-09-29 Sony Corp 固体撮像装置および固体撮像装置の駆動方法ならびに電子機器
JP6104060B2 (ja) 2013-06-06 2017-03-29 オリンパス株式会社 撮像装置、撮像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333329A (ja) * 2000-03-17 2001-11-30 Fuji Photo Film Co Ltd 撮影装置
JP2011066801A (ja) * 2009-09-18 2011-03-31 Canon Inc 固体撮像装置及び撮像システム
JP2011071709A (ja) * 2009-09-25 2011-04-07 Nikon Corp 電子カメラ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034017A1 (ja) * 2022-08-09 2024-02-15 ソニーセミコンダクタソリューションズ株式会社 受光素子及び光検出装置

Also Published As

Publication number Publication date
US11705468B2 (en) 2023-07-18
CN109983768A (zh) 2019-07-05
JP7283079B2 (ja) 2023-05-30
US20200105818A1 (en) 2020-04-02
JPWO2018062560A1 (ja) 2019-09-12
CN109983768B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
US8134633B2 (en) Color solid-state image capturing apparatus and electronic information device
JP5173493B2 (ja) 撮像装置及び撮像システム
WO2016189792A1 (en) Semiconductor device and electronic apparatus
TW201523861A (zh) 固態成像器件及其製造方法，以及電子設備
US8901696B2 (en) Solid-state imaging device and electronic apparatus
JP7476990B2 (ja) 撮像素子、及び電子カメラ
US11626436B2 (en) Imaging device and image sensor
KR20150077996A (ko) Tfa 기반의 시모스 이미지 센서 및 그 동작방법
CN109983768B (zh) 摄像装置
JP2017005145A (ja) 固体撮像素子
JP2010282992A (ja) 固体撮像装置、および、その製造方法、電子機器
JP5436114B2 (ja) 撮像システム
JP2011066800A (ja) 画像処理装置及び撮像システム
KR100837454B1 (ko) 고체 촬상 장치
WO2018062561A1 (ja) 撮像素子およびカメラ
JP2017054951A (ja) 固体撮像装置
JP2011061081A (ja) イメージセンサ
JP6079804B2 (ja) 固体撮像装置、および、その製造方法、電子機器
CN112352420A (zh) 摄像元件及摄像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17856507

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018542060

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17856507

Country of ref document: EP

Kind code of ref document: A1