WO2013099151A1 - 固体撮像素子、撮像装置、および信号処理方法 - Google Patents

固体撮像素子、撮像装置、および信号処理方法 Download PDF

Info

Publication number
WO2013099151A1
WO2013099151A1 PCT/JP2012/008080 JP2012008080W WO2013099151A1 WO 2013099151 A1 WO2013099151 A1 WO 2013099151A1 JP 2012008080 W JP2012008080 W JP 2012008080W WO 2013099151 A1 WO2013099151 A1 WO 2013099151A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
cell
photosensitive
incident
color component
Prior art date
Application number
PCT/JP2012/008080
Other languages
English (en)
French (fr)
Inventor
平本　政夫
中村　達也
藤井　俊哉
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/985,453 priority Critical patent/US9071722B2/en
Priority to CN201280010557.2A priority patent/CN103404152B/zh
Priority to JP2013522040A priority patent/JP5997149B2/ja
Publication of WO2013099151A1 publication Critical patent/WO2013099151A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14629—Reflectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection

Definitions

  • This application relates to a technology for increasing the sensitivity and color of a solid-state imaging device.
  • image sensors In recent years, there has been a remarkable increase in functionality and performance of digital cameras and digital movies using solid-state image sensors such as CCDs and CMOSs (hereinafter sometimes referred to as “image sensors”). In particular, due to rapid progress in semiconductor manufacturing technology, the pixel structure in an image sensor has been miniaturized. As a result, the pixels of the image sensor and the drive circuit are highly integrated, and the performance of the image sensor is increasing. In particular, in recent years, a camera using a backside illumination type image sensor that receives light on the back surface side rather than the surface (front surface) side on which the wiring layer of the solid-state image sensor is formed has been developed, and its characteristics are attracting attention. ing. On the other hand, with the increase in the number of pixels of the image sensor, the amount of light received by one pixel is reduced, which causes a problem that the camera sensitivity is reduced.
  • ⁇ The sensitivity of the camera is reduced due to the use of color filters for color separation in addition to the increase in the number of pixels.
  • a subtractive color filter using an organic pigment as a coloring matter is arranged facing each photosensitive cell of the image sensor. Since the color filter absorbs light other than the color component to be used, when such a color filter is used, the light utilization rate of the camera is lowered.
  • each color filter of R, G, B is Only the R, G, B light is transmitted and the remaining light is absorbed. Therefore, the light used in the color camera with the Bayer array is about 1/3 of the entire incident light.
  • Japanese Patent Application Laid-Open No. H10-228561 discloses a technique for increasing the amount of received light by attaching a microlens array to the light receiving portion of the image sensor in order to capture much incident light.
  • the light aperture ratio in the image sensor can be substantially improved by condensing the light sensing cell using the microlens.
  • This technique is currently used in most solid-state image sensors. If this technique is used, the substantial aperture ratio is certainly improved, but it does not solve the problem of a decrease in the light utilization rate due to the color filter.
  • Patent Document 2 discloses a technique for making maximum use of light by combining a multilayer color filter (dichroic mirror) and a microlens.
  • a multilayer color filter dichroic mirror
  • a microlens a plurality of dichroic mirrors that selectively transmit light in a specific wavelength region and reflect light in other wavelength regions without absorbing light are used.
  • FIG. 10 is a diagram schematically showing a cross section in a direction perpendicular to the imaging surface of the imaging device disclosed in Patent Document 2.
  • the imaging device includes condensing microlenses 4a and 4b, a light shielding unit 20, photosensitive cells 2a, 2b, and 2c, and dichroic mirrors 17, 18, and 19 disposed on and inside the imaging device, respectively. It has.
  • the dichroic mirrors 17, 18, and 19 are disposed so as to face the photosensitive cells 2a, 2b, and 2c, respectively.
  • the dichroic mirror 17 has characteristics of transmitting R light and reflecting G light and B light.
  • the dichroic mirror 18 has a characteristic of reflecting G light and transmitting R light and B light.
  • the dichroic mirror 19 has characteristics of reflecting B light and transmitting R light and G light.
  • the light incident on the microlens 4 a is incident on the first dichroic mirror 17 after the light flux is adjusted by the microlens 4 b.
  • the first dichroic mirror 17 transmits R light but reflects G light and B light.
  • the light transmitted through the first dichroic mirror 17 is incident on the photosensitive cell 2a.
  • the G light and B light reflected by the first dichroic mirror 17 are incident on the adjacent second dichroic mirror 18.
  • the second dichroic mirror 18 reflects G light out of incident light and transmits B light.
  • the G light reflected by the second dichroic mirror 18 enters the photosensitive cell 2b.
  • the B light transmitted through the second dichroic mirror 18 is reflected by the third dichroic mirror 19 and is incident on the photosensitive cell 2c immediately below it.
  • Patent Document 3 discloses an image sensor that can prevent light loss by using a microprism.
  • This imaging device has a structure in which different photosensitive cells receive light separated into red, green, and blue by a microprism. Such an image sensor can also prevent light loss.
  • Patent Document 2 and Patent Document 3 it is necessary to provide as many photosensitive cells as the number of dichroic mirrors to be used or the number of spectrums. For example, in order to detect light of three colors of RGB, there is a problem that the number of photosensitive cells must be increased by a factor of three compared to the number of photosensitive cells when a conventional color filter is used.
  • Patent Document 4 discloses a technique for increasing the utilization factor of light using a dichroic mirror and reflection.
  • FIG. 11 shows a part of a cross-sectional view of an image sensor using the technique.
  • dichroic mirrors 22 and 23 are disposed in a translucent resin 21.
  • the dichroic mirror 22 has characteristics of transmitting G light and reflecting R light and B light.
  • the dichroic mirror 23 has characteristics of transmitting R light and reflecting G light and B light.
  • R light and G light can all be detected by the following principle.
  • the R light is reflected by the dichroic mirror 22 and transmitted by the dichroic mirror 23.
  • the R light reflected by the dichroic mirror 22 is further reflected at the interface between the translucent resin 21 and air and enters the dichroic mirror 23.
  • the R light passes through the dichroic mirror 23, and further passes through the organic dye filter 25 and the microlens 26 having R light transmittance. In this way, although part of the light is reflected by the metal layer 27, most of the R light incident on the dichroic mirrors 22 and 23 is incident on the light sensing unit.
  • the G light when the G light is incident on the dichroic mirrors 22 and 23, the G light is transmitted through the dichroic mirror 22 and reflected by the dichroic mirror 23.
  • the G light reflected by the dichroic mirror 23 is further totally reflected at the interface between the translucent resin 21 and air, and enters the dichroic mirror 22.
  • the G light passes through the dichroic mirror 22, and further passes through the organic dye filter 24 and the micro lens 26 having G light transmittance. In this way, although part of the light is reflected by the metal layer 27, most of the G light incident on the dichroic mirrors 22 and 23 is incident on the light sensing unit without any loss.
  • the technique disclosed in Patent Document 4 can receive two colors with almost no loss, although one color of RGB light is lost. For this reason, it is not necessary to arrange the light sensing units for the three colors RGB.
  • the light utilization rate with only the organic dye filter is about 3
  • the light utilization factor when using this technique is about 2/3 of the total incident light. That is, according to this technique, the imaging sensitivity is improved about twice. However, even with this technique, one of the three colors is lost.
  • Patent Document 5 discloses a colorization technique that increases the light utilization rate without significantly increasing the number of photosensitive cells using a spectral element. According to this technique, light is incident on different photosensitive cells depending on the wavelength range by the spectral elements arranged corresponding to the photosensitive cells. Each photosensitive cell receives light on which components in different wavelength ranges are superimposed from a plurality of spectral elements. As a result, a color signal can be generated by signal calculation using a photoelectric conversion signal output from each photosensitive cell.
  • this colorization technique is suitable for an image sensor with a cell pitch of about 1 micron, the colorization performance tends to deteriorate as the cell pitch increases.
  • Embodiments of the present invention can increase the light utilization rate without significantly increasing the number of photosensitive cells, and can perform color reproduction even when using a high-sensitivity imaging device with a cell pitch greatly exceeding 1 micron. Provide color imaging technology with good characteristics.
  • a solid-state imaging device includes a first photosensitive cell, a second photosensitive cell, a third photosensitive cell, and a fourth photosensitive cell.
  • the light received by each photosensitive cell is the cell incident light of each photosensitive cell, and the visible light included in the cell incident light includes the first color component
  • the second When the visible light of the color component excluding each color component is used as the complementary color light of the color component, the spectral element array includes the color component and the third color component. A part of the light of the first color component included in the cell incident light of each of the first and second photosensitive cells is incident on the first photosensitive cell, and the second type of spectral element is used. A part of the light of the second color component included in the cell incident light of each of the third and fourth photosensitive cells is incident on the fourth photosensitive cell.
  • the light utilization rate is high and the cell pitch is 1 without significantly increasing the number of photosensitive cells.
  • Color imaging with high color reproducibility is possible even for highly sensitive imaging devices that greatly exceed micron.
  • FIG. 2B is a diagram showing the amount of light received by each photosensitive cell in the configuration shown in FIGS. 2A to 2E.
  • FIG. 3B is a sectional view taken along line BB ′ in FIG. 3A. It is CC 'sectional view taken on the line in FIG. 3A. It is DD 'sectional view taken on the line in FIG. 3A.
  • FIG. 4 is a diagram showing the amount of light received by each photosensitive cell in the configuration shown in FIGS. 3A to 3E. It is a block diagram which shows schematic structure of the imaging device of Embodiment 1 of this invention. It is a figure which shows the lens and imaging device in Embodiment 1 of this invention.
  • FIG. 8 is a diagram showing the amount of light received by each photosensitive cell in the configuration shown in FIGS.
  • FIG. 6 is a plan view showing a basic structure of an image sensor in a modification of the first embodiment. It is AA 'line sectional drawing in FIG. 9A.
  • FIG. 9B is a sectional view taken along line BB ′ in FIG. 9A. It is sectional drawing of the conventional image pick-up element using a micro lens and a multilayer film filter (dichroic mirror). It is sectional drawing of the conventional image pick-up element using a multilayer filter (dichroic mirror) and reflection.
  • a solid-state imaging device includes a first photosensitive cell, a second photosensitive cell, a third photosensitive cell, and a fourth photosensitive cell.
  • the light received by each photosensitive cell is the cell incident light of each photosensitive cell, and the visible light included in the cell incident light includes the first color component
  • the second When the visible light of the color component excluding each color component is used as the complementary color light of the color component, the spectral element array includes the color component and the third color component. A part of the light of the first color component included in the cell incident light of each of the first and second photosensitive cells is incident on the first photosensitive cell, and the second type of spectral element is used. A part of the light of the second color component included in the cell incident light of each of the third and fourth photosensitive cells is incident on the fourth photosensitive cell.
  • each of the first to fourth photosensitive cells has a quadrangular shape, and the first to fourth photosensitive cells are arranged in two rows and two columns, and The type of spectral element is disposed at a position facing the boundary between the first and second photosensitive cells, and the second type of spectral element is opposed to the boundary between the third and fourth photosensitive cells. It is arranged at the position to do.
  • the first type of spectral element is further disposed at a position facing a boundary between the first and third photosensitive cells, and the second type of spectral element is further It arrange
  • the first type of spectroscopic element further converts a part of the light of the first color component included in cell incident light of each of the first and third photosensitive cells to the first.
  • the second type spectral element is further incident on one of the light-sensitive cells of the second color component included in the light incident on each of the second and fourth light-sensitive cells. Part is incident on the fourth photosensitive cell.
  • the first type of spectroscopic element includes a part of light of the first color component out of cell incident light of each of the first and second photosensitive cells. The remaining light of the first color component and the complementary color light of the first color component are incident on the second photosensitive cell.
  • the second type of spectroscopic element is configured to transfer, to the fourth photosensitive cell, a part of the light of the second color component out of the cell incident light of each of the third and fourth photosensitive cells. The remaining light of the second color component and the complementary color light of the second color component are incident on the third photosensitive cell.
  • the first type of spectral element further includes a part of the light of the first color component out of the cell incident light of each of the first and third photosensitive cells.
  • the light is incident on the first photosensitive cell, and the remaining light of the first color component and the complementary color light of the first color component are incident on the third photosensitive cell.
  • the second type of spectral element further includes a part of the light of the second color component out of the cell incident light of each of the second and fourth light sensing cells, and the fourth light sensing. The light is incident on the cell, and the remaining light of the second color component and the complementary color light of the second color component are incident on the second photosensitive cell.
  • the first type of spectroscopic element includes four spectroscopic elements disposed at positions opposite to a peripheral boundary of the first photosensitive cell
  • the second type of spectroscopic element includes: , Including four spectral elements disposed at positions facing the peripheral boundary of the fourth photosensitive cell.
  • the first color component is one of red and blue
  • the second color component is the other of red and blue
  • each of the first-type spectral element and the second-type spectral element includes a light-transmitting member, the shape of the light-transmitting member, and the light-transmitting member and the light-transmitting member Spectroscopy is performed using a difference in refractive index with another light-transmitting member having a refractive index lower than that of the light-transmitting member.
  • An imaging apparatus includes any one of the solid-state imaging devices described above, an optical system that forms an image on the solid-state imaging device, and a signal processing unit that processes a signal output from the solid-state imaging device.
  • a signal processing unit that generates color information by calculation using a third photoelectric conversion signal and a fourth photoelectric conversion signal output from the fourth photosensitive cell.
  • the signal processing unit calculates a difference between the first photoelectric conversion signal and an average value of the first to fourth photoelectric conversion signals, and the fourth photoelectric conversion signal and the first to fourth photoelectric conversion signals.
  • a first color difference signal and a second color difference signal are generated by a difference calculation with the fourth photoelectric conversion signal.
  • a signal processing method is a method for processing a signal output from any one of the solid-state imaging devices described above, and includes a first photoelectric conversion signal output from the first photosensitive cell, The second photoelectric conversion signal output from the second photosensitive cell, the third photoelectric conversion signal output from the third photosensitive cell, and the fourth photoelectric signal output from the fourth photosensitive cell.
  • Step A for acquiring the photoelectric conversion signal of the first and fourth steps for generating color information using the first to fourth photoelectric conversion signals.
  • the step B includes a step of generating a first difference signal generated by calculating a difference between the first photoelectric conversion signal and the second photoelectric conversion signal, and the third photoelectric conversion. Generating a second difference signal generated by calculating a difference between the signal and the fourth photoelectric conversion signal.
  • the step B includes the addition of the first and second photoelectric conversion signals, the addition of the third and fourth photoelectric conversion signals, and the addition of the first to fourth photoelectric conversion signals.
  • a solid-state imaging device includes a photosensitive cell array including a plurality of photosensitive cells (pixels) arranged two-dimensionally on an imaging surface, and a spectral element array including a plurality of spectral elements.
  • FIG. 1 is a perspective view schematically showing a part of the photosensitive cell array 200 and the spectral element array 100 formed on the imaging surface of the solid-state imaging device 10.
  • the spectral element array 100 is disposed on the light incident side facing the photosensitive cell array 200.
  • the arrangement, shape, size, and the like of the photosensitive cells 2 are not limited to the example shown in this figure, and may be any known arrangement, shape, and size.
  • the spectral element array 100 is represented by a quadrangular prism for convenience, the spectral element array 100 does not actually have such a shape and can have various structures.
  • the spectral element array 100 includes a plurality of spectral elements. Each spectral element is, for example, a microlens or a transparent member having a high refractive index, and is designed to separate incident light in different directions depending on the wavelength.
  • each light sensing cell 2 When each light sensing cell 2 receives light, it outputs an electrical signal (hereinafter referred to as a “photoelectric conversion signal” or a “pixel signal”) corresponding to the intensity of the light received by photoelectric conversion (incident light amount). To do.
  • each photosensitive cell 2 receives light in a plurality of wavelength regions (color components) whose traveling directions are changed by the spectral element array 100.
  • the light received by each photosensitive cell 2 has a spectral distribution (intensity distribution for each wavelength range) different from the light received when it is assumed that there is no spectral element.
  • the spectral element array 100 does not necessarily split all incident light, but splits by a certain ratio k (k is a real number that is greater than 0 and equal to or less than 1).
  • FIG. 2A is a plan view showing an example of a basic pixel configuration (unit block) 40 of the photosensitive cell array 200.
  • FIG. The photosensitive cell array 200 has a structure in which a plurality of unit blocks 40 each including four photosensitive cells 2a, 2b, 2c, and 2d are two-dimensionally arranged on the imaging surface. In the example shown in the figure, four photosensitive cells are arranged in two rows and two columns in one unit block. Each photosensitive cell has a quadrangular shape. This configuration is merely an example, and the arrangement and shape of the photosensitive cells are not limited to this example.
  • the spectral element array 100 has a plurality of spectral elements as described above. Of the light incident on the spectral element array 100, light corresponding to the ratio k is split by these spectral elements, and the light corresponding to the ratio (k-1) is transmitted without being split.
  • the spectral element array includes a first type of spectral element and a second type of spectral element having different spectral characteristics. Each spectral element separates incident light in different directions according to color components using refraction and diffraction.
  • 2B and 2C show the state of spectroscopy in the horizontal direction (x direction shown in FIG. 2A), and the cross sectional views shown in FIGS. 2D and 2E show in the vertical direction (y direction shown in FIG. 2A). The state of spectroscopy is shown.
  • the light received by each photosensitive cell is referred to as “cell incident light” of the photosensitive cell.
  • the photosensitive cells 2a to 2d included in one unit block 40 are close to each other, it can be considered that the light intensity and the spectral distribution included in the cell incident light of the photosensitive cells are substantially the same.
  • the intensity of the visible light component of the cell incident light of these photosensitive cells is represented by the symbol “W”.
  • the light intensity of the cell incident light ratio k is expressed by adding k to the light intensity. Then, of the cell incident light of each photosensitive cell, the intensity of the light split by the spectral element is expressed by kW, and the intensity of the light not split is expressed by (1-k) W.
  • the visible light color component excluding each color component is referred to as “complementary color” of the color component
  • the complementary color light is referred to as “complementary color light”.
  • the complementary color of the first color component C1 is represented by C2 + C3
  • the complementary color of the second color component C2 is represented by C1 + C3
  • the complementary color of the third color component C3 is represented by C1 + C2.
  • the complementary color of the color component Cn (Cn is any one of C1, C2, and C3) and its intensity may be represented by Cn ⁇ .
  • the combination of the first to third color components is typically a combination of three primary colors of red (R), green (G), and blue (B), but divides visible light into three wavelength ranges. Any other combination of color components may be used.
  • the operation of the spectral element array 100 in the example shown in FIGS. 2A to 2E will be described.
  • the spectroscopy is performed by the first type of spectral elements and the second type of spectral elements included in the spectral element array 100.
  • the first type of spectral element is designed to separate incident light into light of the first color component and complementary color light of the first color component.
  • the second type of spectral element is designed to separate incident light into light of the second color component and complementary color light of the second color component.
  • the spectral element array 100 divides the light (intensity kW) of k times among the incident light (intensity W) of each cell of the first photosensitive cell 2a and the second photosensitive cell 2b.
  • the light of the first color component (intensity kC1) in the spectrum is supplied to the first photosensitive cell 2a, and the complementary color light (intensity kC1 ⁇ ) of the first color component in the spectrum is detected as the second light.
  • W ′ (1 ⁇ k) W
  • FIG. 2B light represented by arrows is incident on the first photosensitive cell 2a and the second photosensitive cell 2b from both sides, and the total of these lights.
  • kC1 and kC1 ⁇ respectively.
  • the spectroscopy is performed by the first type of spectral element.
  • the spectral element array 100 divides the light (intensity kW) that is k times of the incident light (intensity W) of each of the third photosensitive cell 2c and the fourth photosensitive cell 2d. Then, the light (intensity kC2) of the second color component in the spectrum is supplied to the fourth photosensitive cell 2d, and the complementary color light (intensity kC2 ⁇ ) of the second color component in the spectrum is supplied to the third cell.
  • the spectral element array 100 splits light (intensity kW) that is k times of the incident light (intensity W) of each cell of the first photosensitive cell 2a and the third photosensitive cell 2c.
  • the light of the first color component (intensity kC1) in the spectrum is supplied to the first photosensitive cell 2a, and the complementary color light (intensity kC1 ⁇ ) of the first color component in the spectrum is supplied to the third light.
  • the spectral element array 100 divides k times (intensity kW) of each cell incident light (intensity W) of the second photosensitive cell 2b and the fourth photosensitive cell 2d. Then, the light of the second color component (intensity kC2) in the spectrum is supplied to the fourth photosensitive cell 2d, and the complementary color light (intensity kC2 ⁇ ) of the second color component in the spectrum is supplied to the second light detection cell 2d.
  • FIG. 2F is a diagram showing the intensity of light received by each photosensitive cell.
  • the photosensitive cells 2a, 2b, 2c, and 2d receive light having the intensities represented by kC1, kC1 ⁇ , kC2 ⁇ , and kC2, respectively, in the vertical direction.
  • the light of the intensity represented by kC1, kC2 ⁇ , kC1 ⁇ , and kC2 is received by the direction spectroscopy.
  • Each light sensitive cell receives in addition to it the unsplit light of intensity W '.
  • the photosensitive cells 2a, 2b, 2c and 2d have the intensities represented by W ′ + 2kC1, W ′ + kC1 ⁇ + kC2 ⁇ , W ′ + kC1 ⁇ + kC2 ⁇ and W ′ + 2kC2, respectively, as shown in FIG. 2F.
  • Each photosensitive cell outputs a photoelectric conversion signal (pixel signal) corresponding to these intensities.
  • S2a to S2d can be expressed by the following formulas 1 to 4, respectively.
  • S2a W's + 2kC1s
  • the ratio k of the splitting light to the incident light is a design value and is known
  • (1-k) Sav is subtracted from the signal S2a. Dividing by 2k gives C1s.
  • (1-k) Sav is subtracted from signal S2d and divided by 2k
  • C2s is obtained.
  • C3s is obtained by subtracting 2Sav from the signal (S2b + S2c) and dividing by 2k.
  • the color signals of C1s, C2s, and C3s are obtained by the calculations of Expressions 5 to 7.
  • the color signal can be calculated by signal calculation based on the four photoelectric conversion signals S2a to S2d output from the photosensitive cells 2a to 2d.
  • FIG. 3A is a plan view showing the unit block 40 of the photosensitive cell array 200 in this example.
  • the unit block 40 of the photosensitive cell 200 has a configuration similar to that shown in FIG. 2A.
  • the spectral element array 100 includes a first type of spectral element and a second type of spectral element.
  • the first type of spectral element converts incident light into a part of the first color component light, a remaining part of the first color component light, and a complementary color light of the first color component light. To separate.
  • the second type of spectral element converts incident light into a part of the second color component light, a remaining part of the second color component light, and a complementary color light of the second color component light. To separate.
  • the incident light to each photosensitive cell will be described separately in the horizontal direction and the vertical direction.
  • the spectral element array 100 divides the light (intensity kW) of k times out of the cell incident light (intensity W) of the first photosensitive cell 2a and the second photosensitive cell 2b. Half of the light of the first color component in the spectrum (intensity kC1 / 2) is sent to the first photosensitive cell 2a, and the other half of the light of the first color component in the spectrum (intensity kC1 /).
  • the spectral element array 100 splits light (intensity kW) that is k times of the incident light (intensity W) of each of the third photosensitive cell 2c and the fourth photosensitive cell 2d.
  • W ′ (1 ⁇ k) W
  • the light represented by arrows from both sides is incident on the third photosensitive cell 2c and the fourth photosensitive cell 2d, and the total of these lights.
  • the spectroscopy is performed by the second type of spectral element.
  • the spectral element array 100 splits light (intensity kW) that is k times out of the incident light (intensity W) of each of the first photosensitive cell 2a and the third photosensitive cell 2c.
  • Half of the light of the first color component in the spectrum (intensity kC1 / 2) is sent to the first photosensitive cell 2a, and the other half of the light of the first color component in the spectrum (intensity kC1 /).
  • the spectral element array 100 divides the light (intensity kW) of k times out of the cell incident light (intensity W) of the second photosensitive cell 2b and the fourth photosensitive cell 2d.
  • the light-sensitive cell 2b and the fourth light-sensitive cell 2d are made incident. As shown in FIG.
  • the light represented by arrows from both sides is incident on the second photosensitive cell 2b and the fourth photosensitive cell 2d, and the total of these lights.
  • the total of these lights are represented by kC2 ⁇ + kC2 / 2 and kC2 / 2, respectively.
  • the spectroscopy is performed by the second type of spectral element.
  • FIG. 3F is a diagram showing the intensity of light received by each photosensitive cell.
  • the photosensitive cells 2a, 2b, 2c, and 2d have W ′ + kC1, W ′ + kC1 ⁇ + kC1 / 2 + kC2 ⁇ + kC2 / 2, W ′ + kC1 ⁇ + kC1 / 2 + kC2 ⁇ + kC2 / 2, W ′ + kC2, respectively. It receives light of the intensity represented by Each photosensitive cell outputs a photoelectric conversion signal (pixel signal) corresponding to these intensities.
  • pixel signal photoelectric conversion signal
  • the photoelectric conversion signals S2a to S2d output from the photosensitive cells 2a to 2d can be expressed by the following equations 8 to 11, respectively.
  • S2a W's + kC1s
  • S2b W's + kC1 ⁇ s + kC1s / 2 + kC2 ⁇ s + kC2s / 2
  • S2c W's + kC1 ⁇ s + kC1s / 2 + kC2 ⁇ s + kC2s / 2
  • S2d W's + kC2s
  • a color signal can be calculated by signal calculation based on the four photoelectric conversion signals S2a to S2d output from the photosensitive cells 2a to 2d.
  • color information can be obtained by signal calculation using a spectral element without using a color filter that absorbs part of light. Therefore, loss of light can be prevented and imaging sensitivity can be increased.
  • the spectral element array 100 is depicted as a continuous element covering a plurality of photosensitive cells, but the spectral element array 4 is spatially separated. It may be an aggregate of a plurality of spectral elements.
  • a spectral element for example, a high refractive index transparent member, a dichroic mirror, a microprism, etc., which will be described later, can be used.
  • the spectral element array 100 in the present embodiment may be configured in any way as long as the photoelectric conversion signal shown in the above example is obtained.
  • the spectral element array 100 may perform spectroscopy using a hologram element or the like.
  • FIG. 4 is a block diagram illustrating the overall configuration of the imaging apparatus according to the first embodiment.
  • the imaging apparatus according to the present embodiment is a digital electronic camera, and includes an imaging unit 300 and a signal processing unit 400 that generates a signal (image signal) indicating an image based on a signal transmitted from the imaging unit 300. ing. Note that the imaging device may generate only a still image or may have a function of generating a moving image.
  • the imaging unit 300 is an optical lens 12 for imaging a subject, an optical filter 11, and a solid-state imaging device 10 (converting optical information imaged through the optical lens 12 and the optical filter 11 into an electrical signal by photoelectric conversion ( Image sensor).
  • the imaging unit 300 further generates a basic signal for driving the imaging device 10, receives an output signal from the imaging device 10, and sends it to the signal processing unit 400, and signal generation / reception.
  • an element driving unit 14 that drives the image sensor 10 based on the basic signal generated by the unit 13.
  • the optical lens 12 is a known lens and may be a lens unit having a plurality of lenses.
  • the optical filter 11 is a combination of a quartz low-pass filter for reducing moire patterns generated due to pixel arrangement and an infrared cut filter for removing infrared rays.
  • the image sensor 10 is typically a CMOS or a CCD, and is manufactured by a known semiconductor manufacturing technique.
  • the signal generation / reception unit 13 and the element driving unit 14 are configured by an LSI such as a CCD driver, for example.
  • the signal processing unit 400 generates an image signal by processing a signal transmitted from the imaging unit 300, a memory 30 for storing various data generated in the process of generating the image signal, and the generated signal And an image signal output unit 16 for sending the image signal to the outside.
  • the image signal generation unit 15 can be suitably realized by a combination of hardware such as a known digital signal processor (DSP) and software that executes image processing including image signal generation processing.
  • the memory 30 is configured by a DRAM or the like. The memory 30 records the signal transmitted from the imaging unit 300 and temporarily records the image data generated by the image signal generation unit 15 and the compressed image data. These image data are sent to a recording medium (not shown) or a display unit via the image signal output unit 16.
  • the imaging apparatus of the present embodiment may include known components such as an electronic shutter, a viewfinder, a power source (battery), and a flashlight, but a description thereof is omitted because it is not particularly necessary for understanding the present invention.
  • the above configuration is merely an example, and publicly known elements can be used in appropriate combinations for the constituent elements other than the image sensor 10 and the image signal generation unit 15.
  • FIG. 5 is a diagram schematically illustrating a state in which light transmitted through the lens 12 is incident on the image sensor 10 during exposure.
  • the lens 12 can be generally composed of a plurality of lenses arranged in the optical axis direction, but is drawn as a single lens for simplicity.
  • a photosensitive cell array including a plurality of photosensitive cells (pixels) arranged two-dimensionally is disposed on the imaging surface 10a of the imaging element 10. Each photosensitive cell is typically a photodiode, and outputs a photoelectric conversion signal (pixel signal) corresponding to the amount of incident light by photoelectric conversion.
  • Light (visible light) transmitted through the lens 12 and the optical filter 11 is incident on the imaging surface 10a.
  • the intensity of light incident on the imaging surface 10a and the distribution (spectral distribution) of the amount of incident light for each wavelength range differ depending on the incident position.
  • the photosensitive cell array 200 includes a plurality of photosensitive cells arranged in a square lattice pattern on the imaging surface 10a as shown in FIG. 6A.
  • the photosensitive cell array 200 includes a plurality of unit blocks 40, and each unit block 40 includes four photosensitive cells 2a, 2b, 2c, and 2d.
  • the arrangement of the photosensitive cells is not such a square lattice arrangement, but may be, for example, an oblique arrangement shown in FIG. 6B or another arrangement.
  • the four photosensitive cells 2a to 2d included in each unit block are preferably close to each other. By configuring, color information can be obtained.
  • Each unit block may include five or more photosensitive cells.
  • a spectral element array including a plurality of spectral elements is disposed on the light incident side facing the photosensitive cell array 200.
  • one spectral element is provided for one boundary so as to surround each of the four photosensitive cells included in each unit block.
  • the first type of spectral element 1a is arranged so as to cover at least a part of the boundary around the first photosensitive cell 2a.
  • the second type of spectral element 1b is arranged so as to cover at least a part of the boundary around the fourth photosensitive cell 2d.
  • the spectroscopic element in the present embodiment is an optical element that directs incident light in different directions according to the wavelength range by using diffraction of light generated at the boundary between two types of translucent members having different refractive indexes.
  • This type of spectroscopic element consists of a high refractive index transparent member (core part) formed of a material having a relatively high refractive index and a low contact with each side surface of the core part formed of a material having a relatively low refractive index. And a refractive index transparent member (cladding portion). Due to the difference in refractive index between the core part and the clad part, a phase difference occurs between the light transmitted through the core part and diffraction occurs.
  • a high refractive index transparent member may be referred to as a “spectral element” because spectroscopy is possible due to a difference in refractive index between the core portion and the cladding portion. Details of such a diffractive spectral element are disclosed in, for example, Japanese Patent No. 4264465.
  • the spectral element array having the spectral elements as described above can be manufactured by performing thin film deposition and patterning by a known semiconductor manufacturing technique.
  • the material (refractive index), shape, size, arrangement pattern, and the like of the spectral elements it becomes possible to separate and integrate light in a desired wavelength range into individual photosensitive cells.
  • a signal corresponding to a necessary color component can be calculated from a set of photoelectric conversion signals output from each photosensitive cell.
  • FIGS. 7A to 7F a back-illuminated image sensor is used.
  • the type of the image sensor 10 is the back side illumination type or the front side illumination type, and the image sensor 10 may be the front side illumination type.
  • the cell pitch of the image sensor is about 4 microns in both the horizontal direction and the vertical direction, which is a relatively high sensitivity image sensor.
  • FIG. 7A is a plan view showing the basic structure of the image sensor 10.
  • the spectroscopic elements 1a and 1b are arranged near the boundaries of the four photosensitive cells 2a, 2b, 2c, and 2d. A plurality of patterns having such a basic structure are repeatedly formed on the imaging surface 10a.
  • the image pickup device 10 includes a semiconductor substrate 7 made of a material such as silicon, photosensitive cells 2a to 2d disposed in the semiconductor substrate 7, and a back surface side of the semiconductor substrate 7 (a light incident side). ) And a plate-like high refractive index transparent member 1a, 1b disposed inside the transparent layer 6a.
  • a wiring layer 5 is formed on the surface side of the semiconductor substrate 7 (the side opposite to the light incident side).
  • a fixed base 9 that supports the semiconductor substrate 7, the wiring layer 5, and the like is disposed on the surface side.
  • the fixed substrate 9 is bonded to the semiconductor substrate 7 through the transparent layer 6b.
  • the high refractive index transparent members 1a and 1b function as spectral elements.
  • the image sensor 10 shown in FIGS. 7A to 7E can be manufactured by a known semiconductor manufacturing technique.
  • the image sensor 10 shown in FIGS. 7A to 7E has a back-illuminated structure in which light enters each photosensitive cell from the opposite side of the wiring layer 5.
  • the imaging element 10 of the present embodiment is not limited to such a structure, and may have a surface irradiation type structure that receives light from the surface side of the wiring layer 5.
  • the first type of spectroscopic element 1a and the second type of spectroscopic element 1b have a rectangular cross section that is long in the direction in which light is transmitted. Spectroscopy by the difference in refractive index between them.
  • the light-splitting element 1a surrounds the light-sensitive cell 2a and is disposed on the upper part of the boundary with the other light-sensitive cells, and the light-splitting element 1b surrounds the light-sensitive cell 2d and is located above the boundary with the other light-sensitive cell. Is arranged.
  • the light-splitting element 1a splits incident light into cyan (Cy) light in the straight traveling direction and R light (with a light intensity of R / 8) in diagonal directions on both sides.
  • the light-splitting element 1b splits incident light into yellow (Ye) light in the straight traveling direction and B light (light intensity of B / 4 each) in the diagonal direction on both sides.
  • the spectral elements 1a and 1b are originally suitable for an image sensor with a photosensitive cell pitch of about 1 micron. However, the image sensor of this embodiment has a large photosensitive cell pitch of about 4 microns, so it does not split all incident light. , About 50% of the incident light is dispersed.
  • the intensity of light incident on each photosensitive cell is represented by W
  • W ′ the intensity of light that is not dispersed
  • the ratio k of the spectrum is 1/2.
  • the red, green, blue, yellow, and cyan light intensities are represented by R, G, B, Ye, and Cy, respectively.
  • the spectral element 1a causes red (R) light to enter the photosensitive cell 2a from the upper, lower, left, and right directions by R / 8, and the spectral element 1b Blue (B) light is incident on the sensing cell 2d by B / 8.
  • R red
  • B spectral element 1b Blue
  • the R light represented by the intensity R / 2 is incident on the photosensitive cell 2a from the surrounding four spectral elements 1a, and the intensity is input to the photosensitive cell 2d from the four surrounding spectral elements 1b.
  • B light represented by B / 2 is incident.
  • the light represented by the intensity R / 4 + Cy / 2 + B / 4 + Ye / 2 is incident on each of the light sensing cells 2b and 2c by both spectral elements.
  • the light intensity of the light that is not split is not shown in the figure, but light of light intensity W ′ is incident on each photosensitive cell.
  • FIG. 7B is a diagram showing a cross section taken along line AA ′ in FIG. 7A, and shows a situation in which the spectral element 1 a splits incident light and makes a part of the split light enter the photosensitive cells 2 a and 2 b.
  • the spectral element 1a is not disposed directly above the boundary between the photosensitive cells 2a and 2b, but is slightly shifted to the photosensitive cell 2b side.
  • R light is incident on the light sensing cell 2a by R / 8 (R / 4 in total) from the spectral elements 1a on both sides, and R light and Cy light are incident on the sensing cell 2b.
  • FIG. 7C is a diagram showing a cross section taken along line BB ′ in FIG. 7A, and shows a situation in which the spectral element 1 b splits the incident light and causes a part of the split light to enter the photosensitive cells 2 c and 2 d.
  • the spectral element 1b is not arranged directly above the boundary between the photosensitive cells 2c and 2d, but is slightly shifted to the photosensitive cell 2c side.
  • B light is incident on the light-sensitive cell 2d by B / 8 from both sides of the spectral element 1b (B / 4 in total), and the B light and Ye light are incident on the light-sensitive cell 2c.
  • 1b to B / 8 + Ye / 4 (B / 2 + Ye / 2 combined) are incident.
  • FIG. 7D is a diagram showing a cross section taken along the line CC ′ in FIG. 7A, and shows a situation where the spectral element 1a splits the incident light and makes a part of the split light enter the photosensitive cells 2a and 2c.
  • the spectral element 1a is not arranged directly above the boundary between the photosensitive cells 2a and 2c, but is slightly shifted to the photosensitive cell 2c side.
  • R light is incident on the light-sensitive cell 2a by R / 8 (R / 4 in total) from the spectral elements 1a on both sides, and R light and Cy light are incident on the light-sensitive cell 2c.
  • the light enters from Rb by R / 8 + Cy / 4 (R / 4 + Cy / 2 in total).
  • FIG. 7E shows a DD ′ line cross section in FIG. 7A and shows a situation in which the spectral element 1b splits the incident light and causes a part of the split light to enter the photosensitive cells 2b and 2d.
  • the spectral element 1b is not arranged directly above the boundary between the photosensitive cells 2b and 2d, slightly deviates toward the photosensitive cell 2b, and further, the lower end of the spectral element 1b slightly deviates in the center direction. .
  • B light is incident on the light sensing cell 2d by B / 8 from the spectral elements 1b on both sides (B / 4 in total), and B light and Ye light are incident on the sensing cell 2b from the left and right directions B / 8 + Ye. / 4 each (when combined, B / 4 + Ye / 2).
  • FIG. 7F is a diagram showing the intensity of light incident on each photosensitive cell.
  • the light-sensitive cells 2a, 2b, 2c, and 2d have light intensities W ′ + R / 2, W ′ + R / 4 + Cy / 2 + B / 4 + Ye / 2, W, respectively.
  • Light of “+ R / 4 + Cy / 2 + B / 4 + Ye / 2, W ′ + B / 4” is incident.
  • the photosensitive cells 2a to 2d output photoelectric conversion signals S2a to S2d represented by the following equations 12 to 15, respectively.
  • signals corresponding to the intensities of red light, green light and blue light are represented by Rs, Gs and Bs, respectively
  • a signal Cs corresponding to the intensity of cyan light is Gs + Bs
  • a signal Ys corresponding to the intensity of yellow light is Rs + Gs.
  • S2a W's + Rs / 2 (Expression 13)
  • S2d W's + Bs / 2
  • the image signal generation unit 15 (FIG. 4) generates color information by calculation using the photoelectric conversion signals expressed by the equations 16 to 19.
  • color information generation processing by the image signal generation unit 15 will be described with reference to FIG.
  • FIG. 8 is a flowchart showing the procedure of color information generation processing in the present embodiment.
  • the image signal generation unit 15 acquires photoelectric conversion signals S2a to S2d.
  • an average value Sav of S2a to S2d is obtained, and Sav2, which is 1/2 of that, is calculated.
  • Sav2 is subtracted from the pixel signals S2a and S2d to obtain R and B signals, and Sav2 of 5 times is subtracted from the addition result of the pixel signals S2b and S2c to obtain a G signal.
  • step S16 the calculated R, G, and B signals are doubled to obtain RGB color signals as a set of pixel signals.
  • the image signal generation unit 15 executes the above signal calculation for each unit block 40 of the photosensitive cell array 2 to thereby generate a signal (referred to as a “color image signal”) indicating an image of each color component of R, G, and B. Generate.
  • the generated color image signal is output to a recording medium (not shown) or a display unit by the image signal output unit 16.
  • a color image signal can be obtained by the addition / subtraction process using the photoelectric conversion signals S2a to S2d.
  • the imaging device 10 in the present embodiment since an optical element that absorbs light is not used, light loss can be significantly reduced as compared with the conventional technology using a color filter or the like.
  • the imaging device 10 of the present embodiment the upper part of the four boundary lines between the photosensitive cell in the first row and the first column and the other photosensitive cells facing the photosensitive cell array in the second row and the second column.
  • a first type of spectral element 1a that divides light into red light and non-red light is disposed.
  • a second type of spectral element 1b that divides light into blue light and non-blue light is disposed above four boundary lines between the photosensitive cell in the second row and the second column and the other photosensitive cells.
  • the spectral elements 1a and 1b are arranged over the entire upper part of the photosensitive cells arranged in a two-dimensional manner with this configuration as a basic configuration.
  • the four photoelectric conversion signals obtained are: It is always a combination of four signals represented by equations 16-19. That is, by performing the above signal calculation while shifting the pixel block to be calculated one row and one column at a time, it is possible to obtain information on each RGB color component by the number of pixels. This means that the resolution of the imaging device can be increased to the number of pixels.
  • the imaging apparatus of the present embodiment can generate a color image with high resolution and high sensitivity in addition to higher sensitivity than the conventional imaging apparatus.
  • the image signal generation unit 15 may perform signal amplification, synthesis, and correction as necessary.
  • each spectral element has the above-described spectral performance strictly, but the spectral performance may be slightly shifted. That is, the photoelectric conversion signal actually output from each photosensitive cell may be slightly deviated from the photoelectric conversion signals shown in equations 16-19. Even when the spectral performance of each spectral element deviates from the ideal performance, good color information can be obtained by correcting the signal according to the degree of deviation.
  • the signal calculation performed by the image signal generation unit 15 in the present embodiment can be executed not by the imaging apparatus itself but by another device.
  • the color information can also be generated by causing an external device that has received an input of the photoelectric conversion signal output from the image sensor 10 to execute a program that defines the signal calculation processing in the present embodiment.
  • the ratio k of the amount of light to be split with respect to the amount of incident light is 1 ⁇ 2, but this is merely an example.
  • Expressions 12 to 15 are rewritten as Expressions 20 to 23 below, respectively.
  • W ′s (1 ⁇ k)
  • Ws (1 ⁇ k) (Rs + Gs + Bs).
  • S2a W's + kRs
  • S2b W's + kRs / 2 + kBs / 2 + k (Gs + Bs) + k (Rs + Gs)
  • S2c W's + kRs / 2 + kBs / 2 + k (Gs + Bs) + k (Rs + Gs)
  • S2d W's + kBs
  • Rs is obtained by subtracting W's from S2a and multiplying by 1 / k
  • Bs is obtained by subtracting W's from S2d and multiplying by 1 / k
  • Gs is obtained by subtracting 5W's from the sum of S2b and S2c and multiplying by 1 / k
  • W ′s is a value obtained by multiplying the average value Sav of S2a to S2d by k
  • Sav is expressed by the following Expression 24. That is, Rs, Gs, and Bs color signals are obtained by the calculations shown in the following equations 24 to 27.
  • a color signal may be obtained by the following processing.
  • the image signal generator 15 can also obtain a color signal by generating these luminance signals and color difference signals from the photoelectric conversion signals S2a to S2d and performing RGB conversion on them.
  • the basic structure of the image sensor 10 is not limited to the configuration shown in FIGS. 7A to 7F.
  • the effect of this embodiment is not changed.
  • a slight shift or inclination is given to the arrangement and structure of the spectral elements 1a and 1b, this is only for collecting specific colors in specific pixels, and is not limited to such a configuration.
  • a spectral element that spatially separates light into RGB it is arranged around the pixel in the first row and first column, collects only the R light, and is arranged around the pixel in the second row and second column, and only the B light is emitted. It is also possible to collect light. If it does so, the effect similar to the colorization shown in the said embodiment can be acquired.
  • the spectroscopic element is not limited as long as light of a desired color component can be incident on each photosensitive cell. It may be anything.
  • a microprism or a dichroic mirror may be used as the spectral element. It is also possible to use different types of spectral elements in combination.
  • the spectroscopy is performed in both the x direction and the y direction, but the present invention is not limited to such a configuration.
  • the configuration may be such that spectroscopy is performed only in either the x direction or the y direction. Specifically, only in the horizontal direction shown in FIGS. 2B, 2C, 3B, 3C, 7B, and 7C, or in the vertical direction shown in FIGS. 2D, 2E, 3D, 3E, 7D, and 7E.
  • the spectral element array 100 may be configured so that only the spectroscopy is performed. Examples of such a configuration are shown in FIGS. 9A to 9C.
  • FIG. 9A is a diagram illustrating a basic configuration example of an imaging element configured to perform only horizontal spectroscopy.
  • 9B is a cross-sectional view taken along line AA ′ in FIG. 9A
  • FIG. 9C is a cross-sectional view taken along line BB ′ in FIG. 9A.
  • the first type of spectral element 1a is arranged at the boundary between the first photosensitive cell 2a and the second photosensitive cell 2b.
  • the light-splitting element 1a is configured to convert a part (intensity kC1) of the light of the first color component contained in the cell incident light of each of the first photosensitive cell 2a and the second photosensitive cell 2b to the first photosensitive cell.
  • the complementary color light (intensity kC1 ⁇ ) is incident on the second photosensitive cell 2b.
  • the second type of spectral element 1b is arranged at the boundary between the third photosensitive cell 2c and the fourth photosensitive cell 2d.
  • the light-splitting element 1b converts a part of the light of the second color component (intensity kC2) included in the cell incident light of each of the third photosensitive cell 2c and the fourth photosensitive cell 2d to the fourth photosensitive cell. 2d, and the complementary color light (intensity kC2 ⁇ ) is incident on the third photosensitive cell 2c.
  • Color signals C1s, C2s, and C3s can be obtained. Specifically, W ′s is obtained by multiplying the average value Sav of the signals of the four photosensitive cells by (1 ⁇ k), and W ′s is subtracted from the first and second photoelectric conversion signals S2a and S2d. The color signals C1s and C2s can be obtained. If the color signals C1s and C2s are obtained, the color signal C3s can also be obtained by calculating Sav ⁇ C1s ⁇ C2s.
  • the solid-state imaging device, imaging apparatus, method, and program of the present disclosure are effective for all cameras that use the solid-state imaging device.
  • it can be used for consumer cameras such as digital still cameras and digital video cameras, and industrial solid-state surveillance cameras.
  • Photosensitive cell 4a 1a, 1b Spectral element 2, 2a, 2b, 2c, 2d Photosensitive cell 4a, 4b Microlens 5 Image sensor wiring layer 6a, 6b Transparent layer 7 Silicon substrate 9 Fixed substrate 10 Image sensor 11 Optical filter 12 Optical Lens 13 Signal generation / reception unit 14 Element drive unit 15 Image signal generation unit 16 Image signal output unit 17 Multilayer filter (dichroic mirror) reflecting other than red (R) 18 Multi-layer filter that reflects only green (G) (dichroic mirror) 19 Multilayer filter that reflects only blue (B) (dichroic mirror) 20 Light shielding part 21 Translucent resin 22 G light transmissive multilayer filter (dichroic mirror) 23 R light transmission multilayer filter (dichroic mirror) 24 G light transmitting organic dye filter 25 R light transmitting organic dye filter 26 Micro lens 27 Metal layer 30 Memory 40 Photosensitive cell unit block 100 Spectral element array 200 Photosensitive cell array 300 Imaging unit 400 Signal processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)

Abstract

　固体撮像素子は、各々が第１～第４の光感知セル２ａ～２ｄを含む光感知セルアレイと、光感知セルアレイに対向して配置された、第１の種類の分光要素１ａおよび第２の種類の分光要素１ｂを含む分光要素アレイとを備えている。分光要素アレイが存在しないと仮定した場合に各光感知セルが受ける光を各光感知セルのセル入射光とするとき、分光要素アレイは、第１の種類の分光要素１ａによって第１および第２の光感知セル２ａ、２ｂの各々のセル入射光に含まれる第１の色成分の光の一部を第１の光感知セル２ａに入射させ、第２の種類の分光要素１ｂによって第３および第４の光感知セル２ｃ、２ｄの各々のセル入射光に含まれる第２の色成分の光の一部を第４の光感知セル２ｄに入射させる。

Description

固体撮像素子、撮像装置、および信号処理方法
　本願は、固体撮像装置の高感度化およびカラー化の技術に関する。
　近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の急速な進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られ、撮像素子の高性能化が進んでいる。特に近年では、固体撮像素子の配線層が形成された面（表面）側ではなく裏面側で受光する裏面照射型（ｂａｃｋｓｉｄｅ　ｉｌｌｕｍｉｎａｔｉｏｎ）の撮像素子を用いたカメラも開発され、その特性等が注目されている。その一方で撮像素子の多画素化に伴い、１画素の受ける光量が低下するため、カメラ感度が低下するという問題が起きている。
　カメラの感度低下は、多画素化以外にも、色分離用の色フィルタが用いられることにも原因がある。通常のカラーカメラでは、撮像素子の各光感知セルに対向して有機顔料を色素とする減色型の色フィルタが配置される。色フィルタは、利用する色成分以外の光を吸収するため、このような色フィルタを用いた場合、カメラの光利用率は低下する。例えば、赤（Ｒ）１画素、緑（Ｇ）２画素、青（Ｂ）１画素を基本構成とするベイヤー型の色フィルタ配列をもつカラーカメラでは、Ｒ、Ｇ、Ｂの各色フィルタは、それぞれＲ、Ｇ、Ｂ光のみを透過させ、残りの光を吸収する。したがって、ベイヤー配列によるカラーカメラにおいて利用される光は、入射光全体の約１／３である。
　上記の感度低下の問題に対して、入射光を多く取り込むために、撮像素子の受光部にマイクロレンズアレイを取り付けることによって受光量を増やす技術が特許文献１に開示されている。この技術によれば、マイクロレンズを用いて光感知セルに集光することにより、撮像素子における光開口率を実質的に向上させることができる。この技術は現在殆どの固体撮像素子に用いられている。この技術を用いれば、確かに実質的な開口率は向上するが、色フィルタによる光利用率低下の問題を解決するものではない。
　光利用率低下と感度低下の問題を同時に解決する技術として、多層膜の色フィルタ（ダイクロイックミラー）とマイクロレンズとを組み合わせて、光を最大限利用する技術が特許文献２に開示されている。この技術では、光を吸収せず特定波長域の光を選択的に透過させ、他の波長域の光を反射する複数のダイクロイックミラーが用いられる。これにより、光を損失することなく、個々の光感知部に必要な波長域の光のみを入射させることができる。
　図１０は、特許文献２に開示された撮像素子の撮像面に垂直な方向の断面を模式的に示す図である。この撮像素子は、撮像素子の表面および内部にそれぞれ配置された集光用のマイクロレンズ４ａ、４ｂと、遮光部２０と、光感知セル２ａ、２ｂ、２ｃと、ダイクロイックミラー１７、１８、１９とを備えている。ダイクロイックミラー１７、１８、１９は、光感知セル２ａ、２ｂ、２ｃにそれぞれ対向して配置されている。ダイクロイックミラー１７は、Ｒ光を透過させ、Ｇ光およびＢ光を反射する特性を有している。ダイクロイックミラー１８は、Ｇ光を反射し、Ｒ光およびＢ光を透過させる特性を有している。ダイクロイックミラー１９は、Ｂ光を反射し、Ｒ光およびＧ光を透過させる特性を有している。
　マイクロレンズ４ａに入射した光は、マイクロレンズ４ｂによって光束を調整された後、第１のダイクロイックミラー１７に入射する。第１のダイクロイックミラー１７は、Ｒ光を透過させるが、Ｇ光およびＢ光を反射する。第１のダイクロイックミラー１７を透過した光は、光感知セル２ａに入射する。第１のダイクロイックミラー１７で反射されたＧ光およびＢ光は、隣接する第２のダイクロイックミラー１８に入射する。第２のダイクロイックミラー１８は、入射した光のうちＧ光を反射し、Ｂ光を透過させる。第２のダイクロイックミラー１８で反射されたＧ光は、光感知セル２ｂに入射する。第２のダイクロイックミラー１８を透過したＢ光は、第３のダイクロイックミラー１９で反射され、その直下の光感知セル２ｃに入射する。このように、特許文献２に開示された撮像素子によれば、集光マイクロレンズ４ａに入射した可視光は、色フィルタによって吸収されず、そのＲＧＢの各成分が３つの光感知セルによって無駄なく検出される。
　上記の従来技術のほか、マイクロプリズムを用いることによって光の損失を防ぐことができる撮像素子が特許文献３に開示されている。この撮像素子は、マイクロプリズムによって赤、緑、青に分離された光をそれぞれ異なる光感知セルが受ける構造を有している。このような撮像素子によっても光の損失を防ぐことができる。
　しかしながら、特許文献２および特許文献３に開示された技術では、利用するダイクロイックミラーの数だけ、または分光する数だけ光感知セルを設ける必要がある。例えばＲＧＢ３色の光を検出するには、光感知セルの数を、従来の色フィルタを用いた場合の光感知セルの数と比較して３倍に増やさなければならないという課題がある。
　以上の技術に対し、光の損失は一部発生するが、ダイクロイックミラーと反射とを用いて光の利用率を高める技術が特許文献４に示されている。図１１は当該技術を用いた撮像素子の断面図の一部を示したものである。図示されるように、透光性の樹脂２１内にダイクロイックミラー２２、２３が配置される。ダイクロイックミラー２２はＧ光を透過させ、Ｒ光およびＢ光を反射する特性を有する。また、ダイクロイックミラー２３はＲ光を透過させ、Ｇ光およびＢ光を反射する特性を有する。
　このような構成により、Ｂ光は光感知部で受光できないが、Ｒ光、Ｇ光は以下の原理で全て検出できる。まずＲ光がダイクロイックミラー２２、２３に入射すると、ダイクロイックミラー２２では反射され、ダイクロイックミラー２３では透過する。ダイクロイックミラー２２で反射されたＲ光は、さらに透光性の樹脂２１と空気との界面でも反射され、ダイクロイックミラー２３に入射する。Ｒ光は、ダイクロイックミラー２３を透過し、さらにＲ光透過性を有する有機色素フィルタ２５およびマイクロレンズ２６も透過する。このようにして、一部が金属層２７で反射するものの、ダイクロイックミラー２２、２３に入射するＲ光の殆どが光感知部に入射する。一方、Ｇ光がダイクロイックミラー２２、２３に入射すると、ダイクロイックミラー２２では透過し、ダイクロイックミラー２３では反射される。ダイクロイックミラー２３で反射されたＧ光は、さらに透光性の樹脂２１と空気との界面で全反射し、ダイクロイックミラー２２に入射する。Ｇ光は、ダイクロイックミラー２２を透過し、さらにＧ光透過性を有する有機色素フィルタ２４およびマイクロレンズ２６も透過する。このようにして、一部が金属層２７で反射するものの、ダイクロイックミラー２２、２３に入射するＧ光の殆どが損失なく光感知部に入射する。
　上記の原理により、特許文献４に示された技術では、ＲＧＢ光のうち１色は損失するものの２色は殆ど損失なく受光できる。このため、ＲＧＢ３色分の光感知部を配置する必要はない。ここで、ダイクロイックミラーを有さず有機色素フィルタのみによってカラー化を行う場合と比較すると、有機色素フィルタのみによる場合の光利用率が約１／３であるのに対して、特許文献４に開示された技術を用いた場合の光利用率は全入射光の約２／３となる。すなわち、この技術によれば撮像感度が約２倍に向上する。しかしながら、この技術によっても、３色のうちの１色は損失することになる。
　一方、分光要素を用いて大幅に光感知セルを増やすことなく光利用率を高めるカラー化技術が特許文献５に開示されている。この技術によれば、光感知セルに対応して配置された分光要素によって光が波長域に応じて異なる光感知セルに入射する。個々の光感知セルは、複数の分光要素から異なる波長域の成分が重畳された光を受ける。その結果、各光感知セルから出力される光電変換信号を用いた信号演算によって色信号を生成することができる。但し、このカラー化技術は、セルピッチが１ミクロン程度の撮像素子に適しているが、セルピッチが大きくなるとカラー化の性能が劣化する傾向がある。
特開昭５９－９０４６７号公報 特開２０００－１５１９３３号公報 特開２００１－３０９３９５号公報 特開２００３－７８９１７号公報 国際公開第２００９／１５３９３７号
　従来技術では、光吸収タイプの色フィルタを用いれば、大幅に光感知セルを増やさずに済むが、光利用率が低くなるという問題点がある。また、特許文献２～４に開示された技術のように、ダイクロイックミラーやマイクロプリズムを用いれば、光利用率を高くすることができるが、光感知セルを大幅に増やさなければならないという課題がある。
　一方、特許文献５に開示された技術によれば、確かに光利用率の高いカラー画像が理論上得られるが、セルピッチが大きい撮像素子、例えば、４～５ミクロン（μｍ）のセルピッチの撮像素子では、カラー特性が大きく劣化するという課題がある。このため、セルピッチを大きくして高感度化を図る撮像装置においては、優れた特性を得ることが困難である。
　本発明の実施形態は、光感知セルを大幅に増やすことなく、光利用率を高くすることができ、かつセルピッチが１ミクロンを大きく越える高感度な撮像素子を用いる場合であっても、色再現性の良好なカラー撮像技術を提供する。
　上記の課題を解決するため、本発明の一態様による固体撮像素子は、各々が第１の光感知セル、第２の光感知セル、第３の光感知セル、および第４の光感知セルを含む複数の単位ブロックが２次元状に配列された光感知セルアレイと、前記光感知セルアレイに対向して配置された、第１の種類の分光要素および第２の種類の分光要素を含む分光要素アレイとを備える。前記分光要素アレイが存在しないと仮定した場合に各光感知セルが受ける光を各光感知セルのセル入射光とし、前記セル入射光に含まれる可視光が、第１の色成分、第２の色成分、および第３の色成分から構成され、各色成分を除く色成分の可視光を、当該色成分の補色光とするとき、前記分光要素アレイは、前記第１の種類の分光要素によって前記第１および第２の光感知セルの各々のセル入射光に含まれる前記第１の色成分の光の一部を前記第１の光感知セルに入射させ、前記第２の種類の分光要素によって前記第３および第４の光感知セルの各々のセル入射光に含まれる前記第２の色成分の光の一部を前記第４の光感知セルに入射させる。
　上述の一般的かつ特定の態様は、システム、方法、およびコンピュータプログラムを用いて実装され、または、システム、方法、およびコンピュータプログラムの組み合わせを用いて実現され得る。
　本発明の一態様によれば、入射光を色成分に応じて異なる光感知セルに入射させる分光要素を用いることにより、光感知セルを大幅に増やすことなく、光利用率が高く、セルピッチが１ミクロンを大きく越える高感度な撮像素子に対しても色再現性の高いカラー撮像が可能となる。
本発明による固体撮像素子における光感知セル２００および分光要素１００との配置関係を模式的に示す斜視図である。 本発明の１つの実施形態による固体撮像素子の単位ブロックの一例を示す平面図である。 図２ＡにおけるＡＡ’線断面図である。 図２ＡにおけるＢＢ’線断面図である。 図２ＡにおけるＣＣ’線断面図である。 図２ＡにおけるＤＤ’線断面図である。 図２Ａ～２Ｅに示す構成における各光感知セルの受光量を示す図である。 本発明の他の実施形態による固体撮像素子の単位ブロックの一例を示す平面図である。 図３ＡにおけるＡＡ’線断面図である。 図３ＡにおけるＢＢ’線断面図である。 図３ＡにおけるＣＣ’線断面図である。 図３ＡにおけるＤＤ’線断面図である。 図３Ａ～３Ｅに示す構成における各光感知セルの受光量を示す図である。 本発明の実施形態１の撮像装置の概略構成を示すブロック図である。 本発明の実施形態１におけるレンズと撮像素子を示す図である。 本発明の実施形態１における撮像素子の画素配列の一例を示す図である。 本発明の実施形態１における撮像素子の画素配列の他の例を示す図である。 本発明の実施形態１における撮像素子の基本構造を示す平面図である。 図７ＡにおけるＡＡ’線断面図である。 図７ＡにおけるＢＢ’線断面図である。 図７ＡにおけるＣＣ’線断面図である。 図７ＡにおけるＤＤ’線断面図である。 図７Ａ～７Ｅに示す構成における各光感知セルの受光量を示す図である。 本発明の実施形態１における色情報生成処理の手順を示すフロー図である。 実施形態１の変形例における撮像素子の基本構造を示す平面図である。 図９ＡにおけるＡＡ’線断面図である。 図９ＡにおけるＢＢ’線断面図である。 マイクロレンズと多層膜フィルタ（ダイクロイックミラー）とを用いた従来の撮像素子の断面図である。 多層膜フィルタ（ダイクロイックミラー）と反射とを用いた従来の撮像素子の断面図である。
　上記の課題を解決するため、本発明の一態様による固体撮像素子は、各々が第１の光感知セル、第２の光感知セル、第３の光感知セル、および第４の光感知セルを含む複数の単位ブロックが２次元状に配列された光感知セルアレイと、前記光感知セルアレイに対向して配置された、第１の種類の分光要素および第２の種類の分光要素を含む分光要素アレイとを備える。前記分光要素アレイが存在しないと仮定した場合に各光感知セルが受ける光を各光感知セルのセル入射光とし、前記セル入射光に含まれる可視光が、第１の色成分、第２の色成分、および第３の色成分から構成され、各色成分を除く色成分の可視光を、当該色成分の補色光とするとき、前記分光要素アレイは、前記第１の種類の分光要素によって前記第１および第２の光感知セルの各々のセル入射光に含まれる前記第１の色成分の光の一部を前記第１の光感知セルに入射させ、前記第２の種類の分光要素によって前記第３および第４の光感知セルの各々のセル入射光に含まれる前記第２の色成分の光の一部を前記第４の光感知セルに入射させる。
　ある実施形態において、前記第１から第４の光感知セルの各々の形状は４角形状であり、前記第１から第４の光感知セルは、２行２列に配列され、前記第１の種類の分光要素は、前記第１および第２の光感知セルの境界に対向する位置に配置され、前記第２の種類の分光要素は、前記第３および第４の光感知セルの境界に対向する位置に配置されている。
　ある実施形態において、前記第１の種類の分光要素は、さらに、前記第１および第３の光感知セルの境界に対向する位置に配置され、前記第２の種類の分光要素は、さらに、前記第２および第４の光感知セルの境界に対向する位置に配置されている。
　ある実施形態において、前記第１の種類の分光要素は、さらに、前記第１および第３の光感知セルの各々のセル入射光に含まれる前記第１の色成分の光の一部を前記第１の光感知セルに入射させ、前記第２の種類の分光要素は、さらに、前記第２および第４の光感知セルの各々のセル入射光に含まれる前記第２の色成分の光の一部を前記第４の光感知セルに入射させる。
　ある実施形態において、前記第１の種類の分光要素は、前記第１および第２の光感知セルの各々のセル入射光のうち、前記第１の色成分の光の一部を、前記第１の光感知セルに入射させ、前記第１の色成分の光の残りおよび前記第１の色成分の補色光を、前記第２の光感知セルに入射させる。前記第２の種類の分光要素は、前記第３および第４の光感知セルの各々のセル入射光のうち、前記第２の色成分の光の一部を、前記第４の光感知セルに入射させ、前記第２の色成分の光の残りおよび前記第２の色成分の補色光を、前記第３の光感知セルに入射させる。
　ある実施形態において、前記第１の種類の分光要素は、さらに、前記第１および第３の光感知セルの各々のセル入射光のうち、前記第１の色成分の光の一部を、前記第１の光感知セルに入射させ、前記第１の色成分の光の残りおよび前記第１の色成分の補色光を、前記第３の光感知セルに入射させる。前記第２の種類の分光要素は、さらに、前記第２および第４の光感知セルの各々のセル入射光のうち、前記第２の色成分の光の一部を、前記第４の光感知セルに入射させ、前記第２の色成分の光の残りおよび前記第２の色成分の補色光を、前記第２の光感知セルに入射させる。
　ある実施形態において、前記第１の種類の分光要素は、前記第１の光感知セルの周囲の境界に対向する位置に配置された４つの分光要素を含み、前記第２の種類の分光要素は、前記第４の光感知セルの周囲の境界に対向する位置に配置された４つの分光要素を含む。
　ある実施形態において、前記第１の色成分は赤および青の一方の色成分であり、前記第２の色成分は赤および青の他方の色成分である。
　ある実施形態において、前記第１の種類の分光要素および前記第２の種類の分光要素の各々は、透光性部材を有し、前記透光性部材の形状、および前記透光性部材と前記透光性部材よりも屈折率の低い他の透光性部材との屈折率の差を利用して分光する。
　本発明の一態様による撮像装置は、上記のいずれかの固体撮像素子と、前記固体撮像素子に像を形成する光学系と、前記固体撮像素子から出力される信号を処理する信号処理部であって、前記第１の光感知セルから出力される第１の光電変換信号、前記第２の光感知セルから出力される第２の光電変換信号、および前記第３の光感知セルから出力される第３の光電変換信号、前記第４の光感知セルから出力される第４の光電変換信号を用いた演算によって色情報を生成する信号処理部とを備える。
　ある実施形態において、前記信号処理部は、前記第１の光電変換信号と前記第１から第４の光電変換信号の平均値との差分演算、および前記第４の光電変換信号と前記第１から前記第４の光電変換信号との差分演算により、第１の色差信号および第２の色差信号を生成する。
　本発明の一態様による信号処理方法は、上記のいずれかの固体撮像素子から出力される信号を処理する方法であって、前記第１の光感知セルから出力される第１の光電変換信号、前記第２の光感知セルから出力される第２の光電変換信号、前記第３の光感知セルから出力される第３の光電変換信号、および前記第４の光感知セルから出力される第４の光電変換信号を取得するステップＡと、前記第１から第４の光電変換信号を用いて色情報を生成するステップＢとを含む。
　ある実施形態において、前記ステップＢは、前記第１の光電変換信号と前記第２の光電変換信号との差分演算によって生成される第１の差分信号を生成するステップと、前記第３の光電変換信号と前記第４の光電変換信号との差分演算によって生成される第２の差分信号を生成するステップとを含む。
　ある実施形態において、前記ステップＢは、前記第１および第２の光電変換信号の加算、前記第３および第４の光電変換信号の加算、および前記第１から第４の光電変換信号の加算のいずれかを含む演算によって輝度信号を生成するステップと、前記輝度信号、前記第１の差分信号、および前記第２の差分信号を用いて前記セル入射光に含まれる赤、緑、および青の色信号を生成するステップとをさらに含む。
　以下、具体的な実施形態を説明する前に、まず図１、２Ａ～２Ｆ、３Ａ～３Ｆを参照しながら、本開示における実施形態の概要を説明する。なお、以下の説明において、波長域または色成分の異なる光を空間的に分離することを「分光」と称することがある。
　本発明の一態様による固体撮像素子は、撮像面に２次元状に配列された複数の光感知セル（画素）を含む光感知セルアレイと、複数の分光要素を含む分光要素アレイとを備えている。図１は、固体撮像素子１０の撮像面に形成された光感知セルアレイ２００および分光要素アレイ１００の一部を模式的に示す斜視図である。分光要素アレイ１００は、光感知セルアレイ２００に対向して光が入射する側に配置されている。なお、光感知セル２の配列、形状、サイズなどはこの図の例に限られず、公知のどのような配列、形状、サイズであってもよい。また、分光要素アレイ１００は、便宜上、四角柱で表されているが、実際はこのような形状を有しているわけではなく、様々な構造をとり得る。分光要素アレイ１００は、複数の分光要素を備えている。各分光要素は、例えば、マイクロレンズや高屈折率の透明部材であり、入射光を波長に応じて異なる方向に分離するように設計されている。
　各光感知セル２は、光を受けると光電変換によって受けた光の強度（入射光量）に応じた電気信号（以下、「光電変換信号」または「画素信号」と呼ぶこととする。）を出力する。本実施形態では、各光感知セル２は、分光要素アレイ１００によって進行方向が変化した複数の波長域（色成分）の光を受ける。その結果、各光感知セル２が受ける光は、分光要素が存在しないと仮定した場合に受ける光とは異なる分光分布（波長域ごとの強度分布）を有する。また、分光要素アレイ１００は、必ずしも入射光全てを分光するわけではなく、ある割合ｋ（ｋは０より大きく、１以下の実数）だけ分光する。
　以下、図２Ａ～２Ｅを参照しながら、撮像素子１０の基本構造の一例を説明する。
　図２Ａは、光感知セルアレイ２００の基本画素構成（単位ブロック）４０の一例を示す平面図である。光感知セルアレイ２００は、各々が４つの光感知セル２ａ、２ｂ、２ｃ、２ｄを含む複数の単位ブロック４０が撮像面上に２次元状に配列された構造を有している。図示される例では、１つの単位ブロック内に４つの光感知セルが２行２列に配置されている。また、各光感知セルの形状は４角形状である。なお、この構成はあくまでも一例であり、光感知セルの配列および形状はこの例に限定されない。
　図２Ｂ、２Ｃ、２Ｄ、２Ｅは、それぞれ図２ＡにおけるＡＡ´線断面、ＢＢ´線断面、ＣＣ´線断面、ＤＤ´線断面を模式的に示す図である。分光要素アレイ１００は、前述のように、複数の分光要素を有している。分光要素アレイ１００に入射する光のうち、割合ｋに相当する光がこれらの分光要素によって分光され、割合（ｋ－１）に相当する光は、分光されずに透過する。図２Ｂ～２Ｅは、撮像素子１０に入射した光のうち、割合ｋの光が分光要素アレイ１００を透過する際に色成分によって進行方向が変化し、結果として各光感知セルが受ける光の分光分布が互いに異なっていることを示している。本実施形態では、分光要素アレイは、分光特性が異なる第１の種類の分光要素と第２の種類の分光要素とを含んでいる。各分光要素は、屈折や回折を利用して入射光を色成分によって異なる方向に分離する。図２Ｂ、２Ｃに示される断面図は、水平方向（図２Ａに示すｘ方向）における分光の様子を示し、図２Ｄ、２Ｅに示される断面図は、垂直方向（図２Ａに示すｙ方向）における分光の様子を示している。
　ここで、分光要素アレイ１００が存在しないと仮定した場合に各光感知セルが受ける光をその光感知セルの「セル入射光」と呼ぶこととする。１つの単位ブロック４０に含まれる光感知セル２ａ～２ｄが近接している場合、それらの光感知セルのセル入射光に含まれる光の強度および分光分布はほぼ同一であると考えることができる。それらの光感知セルのセル入射光の可視光成分の強度を記号「Ｗ」で表すこととする。本明細書では、セル入射光に含まれる可視光成分を、大別して第１の色成分、第２の色成分、第３の色成分に分類する。第１～第３の色成分の強度をそれぞれＣ１、Ｃ２、Ｃ３と表すと、Ｗ＝Ｃ１＋Ｃ２＋Ｃ３となる。また、セル入射光の割合ｋの光強度を当該光強度にｋを付して表す。すると、各光感知セルのセル入射光のうち、分光要素によって分光される光の強度はｋＷで表され、分光されない光の強度は（１－ｋ）Ｗで表される。
　以下の説明では、各色成分の強度だけでなく、色成分自体をＣ１、Ｃ２、Ｃ３で表すことがある。また、各色成分を除く可視光の色成分をその色成分の「補色」と呼び、補色の光を「補色光」と呼ぶ。すると、第１の色成分Ｃ１の補色はＣ２＋Ｃ３、第２の色成分Ｃ２の補色はＣ１＋Ｃ３、第３の色成分Ｃ３の補色はＣ１＋Ｃ２で表される。以下では、便宜上、色成分Ｃｎ（ＣｎはＣ１、Ｃ２、Ｃ３のいずれか）の補色およびその強度をＣｎ＾で表す場合がある。第１～第３の色成分の組み合わせは、典型的には赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の組み合わせであるが、可視光を３つの波長域に分けるものであれば他の色成分の組み合わせであってもよい。
　以下、図２Ａ～図２Ｅに示す例における分光要素アレイ１００の働きを説明する。第１の光感知セル２ａ、第２の光感知セル２ｂ、第３の光感知セル２ｃ、第４の光感知セル２ｄへの入射光について、水平方向（ｘ方向）、垂直方向（ｙ方向）の方向別に説明する。ここで、分光は分光要素アレイ１００に含まれる第１の種類の分光要素および第２の種類の分光要素によって行われる。第１の種類の分光要素は、入射光を、第１の色成分の光と、第１の色成分の補色光とに分離するように設計されている。一方、第２の種類の分光要素は、入射光を、第２の色成分の光と、第２の色成分の補色光とに分離するように設計されている。
　第１に、水平方向に並ぶ第１の光感知セル２ａと第２の光感知セル２ｂに関して、水平方向の分光について説明する。分光要素アレイ１００は、第１の光感知セル２ａおよび第２の光感知セル２ｂの各セル入射光（強度Ｗ）の内、そのｋ倍の光（強度ｋＷ）を分光させる。その分光の内の第１の色成分の光（強度ｋＣ１）を第１の光感知セル２ａに、その分光の内の第１の色成分の補色光（強度ｋＣ１＾）を第２の光感知セル２ｂに、分光されなかった残りの強度Ｗ’（＝（１－ｋ）Ｗ）の光を第１の光感知セル２ａおよび第２の光感知セル２ｂの各々に入射させる。なお、図２Ｂに示されているように、第１の光感知セル２ａおよび第２の光感知セル２ｂには、両サイドから矢印で表される光が入射しており、それらの光の合計が、それぞれｋＣ１およびｋＣ１＾で表される。ここで、分光は、第１の種類の分光要素によって行われる。
　第２に、水平方向に並ぶ第３の光感知セル２ｃと第４の光感知セル２ｄに関して、水平方向の分光について説明する。分光要素アレイ１００は、第３の光感知セル２ｃおよび第４の光感知セル２ｄの各セル入射光（強度Ｗ）の内のｋ倍の光（強度ｋＷ）を分光させる。そして、その分光の内の第２の色成分の光（強度ｋＣ２）を第４の光感知セル２ｄに、その分光のうちの第２の色成分の補色光（強度ｋＣ２＾）を第３の光感知セル２ｃに、分光されなかった残りの強度Ｗ’（＝（１－ｋ）Ｗ）の光を第３の光感知セル２ｃおよび第４の光感知セル２ｄの各々に入射させる。なお、図２Ｃに示されているように、第３の光感知セル２ｃおよび第４の光感知セル２ｄには、両サイドから矢印で表される光が入射しており、それらの光の合計が、それぞれｋＣ２＾およびｋＣ２で表される。ここで、分光は、第２の種類の分光要素によって行われる。
　第３に、垂直方向に並ぶ第１の光感知セル２ａと第３の光感知セル２ｃに関して、垂直方向の分光について説明する。分光要素アレイ１００は、第１の光感知セル２ａおよび第３の光感知セル２ｃの各セル入射光（強度Ｗ）の内のｋ倍の光（強度ｋＷ）を分光させる。そして、その分光の内の第１の色成分の光（強度ｋＣ１）を第１の光感知セル２ａに、その分光の内の第１の色成分の補色光（強度ｋＣ１＾）を第３の光感知セル２ｃに、分光されなかった残りの強度Ｗ’（＝（１－ｋ）Ｗ）の光を第１の光感知セル２ａおよび第３の光感知セル２ｃの各々に入射させる。なお、図２Ｄに示されているように、第１の光感知セル２ａおよび第３の光感知セル２ｃには、両サイドから矢印で表される光が入射しており、それらの光の合計が、それぞれｋＣ１およびｋＣ１＾で表される。ここで、分光は、第１の種類の分光要素によって行われる。
　第４に、垂直方向に並ぶ第２の光感知セル２ｂと第４の光感知セル２ｄに関して、垂直方向の分光について説明する。分光要素アレイ１００は、第２の光感知セル２ｂおよび第４の光感知セル２ｄの各セル入射光（強度Ｗ）の内のｋ倍（強度ｋＷ）を分光させる。そして、その分光の内の第２の色成分の光（強度ｋＣ２）を第４の光感知セル２ｄに、その分光の内の第２の色成分の補色光（強度ｋＣ２＾）を第２の光感知セル２ｂに、分光されなかった残りの強度Ｗ’（＝（１－ｋ）Ｗ）の光を第２の光感知セル２ｂおよび第４の光感知セル２ｄの各々に入射させる。なお、図２Ｅに示されているように、第２の光感知セル２ｂおよび第４の光感知セル２ｄには、両サイドから矢印で表される光が入射しており、それらの光の合計が、それぞれｋＣ２＾およびｋＣ２で表される。ここで、分光は、第１の種類の分光要素によって行われる。
　以上の説明では、各光感知セルへの入射光に関して、水平、垂直の方向別に説明したため、分光されなかった光強度Ｗ’を重複して表記したが、各光感知セルは、分光されなかった光として強度Ｗ’の光のみを受光する。
　図２Ｆは、各光感知セルが受ける光の強度を示す図である。上記の構成により、分光のみに着目すると、光感知セル２ａ、２ｂ、２ｃ、２ｄは、水平方向の分光により、それぞれｋＣ１、ｋＣ１＾、ｋＣ２＾、ｋＣ２で表される強度の光を受け、垂直方向の分光により、それぞれｋＣ１、ｋＣ２＾、ｋＣ１＾、ｋＣ２で表される強度の光を受ける。各光感知セルは、そられに加えて、強度Ｗ’の分光されなかった光を受ける。その結果、光感知セル２ａ、２ｂ、２ｃ、２ｄは、図２Ｆに示されるように、それぞれＷ’＋２ｋＣ１、Ｗ’＋ｋＣ１＾＋ｋＣ２＾、Ｗ’＋ｋＣ１＾＋ｋＣ２＾、Ｗ’＋２ｋＣ２で表される強度の光を受ける。各光感知セルは、これらの強度に応じた光電変換信号（画素信号）を出力する。
　ここで、光感知セル２ａ～２ｄが出力する光電変換信号をそれぞれＳ２ａ～Ｓ２ｄとし、強度Ｗに対応する信号をＷｓ、強度Ｗ’に対応する信号をＷ’ｓ、強度Ｃ１に対応する信号をＣ１ｓ、強度Ｃ２に対応する信号をＣ２ｓ、強度Ｃ３に対応する信号をＣ３ｓ、さらに強度Ｃ１＾に対応する信号をＣ１＾ｓ（＝Ｃ２ｓ＋Ｃ３ｓ）、強度Ｃ２＾に対応する信号をＣ２＾ｓ（＝Ｃ１ｓ＋Ｃ３ｓ）、強度Ｃ３＾に対応する信号をＣ３＾ｓ（＝Ｃ１ｓ＋Ｃ２ｓ）とし、Ｗｓ＝Ｃ１ｓ＋Ｃ２ｓ＋Ｃ３ｓとする。すると、Ｓ２ａ～Ｓ２ｄは、それぞれ以下の式１～４で表すことができる。
　（式１）　Ｓ２ａ＝Ｗ’ｓ＋２ｋＣ１ｓ
　（式２）　Ｓ２ｂ＝Ｗｓ’＋ｋＣ１＾ｓ＋ｋＣ２＾ｓ＝Ｗｓ’＋ｋＷｓ＋ｋＣ３ｓ
　（式３）　Ｓ２ｃ＝Ｗｓ’＋ｋＣ１＾ｓ＋ｋＣ２＾ｓ＝Ｗｓ’＋ｋＷｓ＋ｋＣ３ｓ
　（式４）　Ｓ２ｄ＝Ｗ’ｓ＋２ｋＣ２ｓ
なお、これらＳ２ａ～Ｓ２ｄの信号を合計すると、４Ｗｓ’＋２ｋＣ１ｓ＋２ｋＣ１＾ｓ＋２ｋＣ２ｓ＋２ｋＣ２＾ｓ＝４Ｗｓ’＋４ｋＷｓ＝４（１－ｋ）Ｗｓ＋４ｋＷｓ＝４Ｗｓとなることから、光損失が生じていないことがわかる。
　ここで、入射光に対する分光する光の割合ｋは設計値であり、既知であるので、信号Ｓ２ａ～Ｓ２ｄの平均値をＳａｖ（＝Ｗｓ）として、信号Ｓ２ａから（１－ｋ）Ｓａｖを減算し２ｋで除算すれば、Ｃ１ｓが得られる。同様に、信号Ｓ２ｄから（１－ｋ）Ｓａｖを減算し２ｋで除算すれば、Ｃ２ｓが得られる。さらに、信号（Ｓ２ｂ＋Ｓ２ｃ）から２Ｓａｖを減算し２ｋで除算すれば、Ｃ３ｓが得られる。結局、式５～式７の演算により、Ｃ１ｓ、Ｃ２ｓ、Ｃ３ｓの色信号が得られる。
　（式５）　Ｃ１ｓ＝（Ｓ２ａ－（１－ｋ）Ｓａｖ）／２ｋ
　（式６）　Ｃ２ｓ＝（Ｓ２ｄ－（１－ｋ）Ｓａｖ）／２ｋ
　（式７）　Ｃ３ｓ＝（Ｓ２ｂ＋Ｓ２ｃ－２Ｓａｖ）／２ｋ
すなわち、光感知セル２ａ～２ｄから出力される４つの光電変換信号Ｓ２ａ～Ｓ２ｄに基づく信号演算によってカラー信号を算出できる。
　次に、図３Ａから図３Ｆを参照しながら、撮像素子１０の他の例を説明する。
　図３Ａは、この例における光感知セルアレイ２００の単位ブロック４０を示す平面図である。光感知セル２００の単位ブロック４０は、図２Ａに示す構成と同様の構成を有している。
　図３Ｂ、３Ｃ、３Ｄ、３Ｅは、それぞれ図３ＡにおけるＡＡ´線断面、ＢＢ´線断面、ＣＣ´線断面、ＤＤ´線断面を模式的に示す図である。この例では、分光要素アレイ１００は、第１の種類の分光要素と第２の種類の分光要素とを含む。第１の種類の分光要素は、入射光を第１の色成分の光の一部と、第１の色成分の光の残りの一部と、第１の色成分の光の補色光とに分離する。第２の種類の分光要素は、入射光を第２の色成分の光の一部と、第２の色成分の光の残りの一部と、第２の色成分の光の補色光とに分離する。以下、各光感知セルへの入射光について、水平方向および垂直方向に分けて説明する。
　第１に、水平方向に並ぶ第１の光感知セル２ａおよび第２の光感知セル２ｂに関して、水平方向の分光について説明する。分光要素アレイ１００は、第１の光感知セル２ａおよび第２の光感知セル２ｂの各セル入射光（強度Ｗ）のうち、そのｋ倍の光（強度ｋＷ）を分光させる。その分光のうちの第１の色成分の光の半分（強度ｋＣ１／２）を第１の光感知セル２ａに、その分光のうちの第１の色成分の光の残りの半分（強度ｋＣ１／２）と第１の色成分の補色光（強度ｋＣ１＾）とを第２の光感知セル２ｂに、分光されなかった残りの強度Ｗ’（＝（１－ｋ）Ｗ）の光を第１の光感知セル２ａおよび第２の光感知セル２ｂの各々に入射させる。なお、図３Ｂに示されているように、第１の光感知セル２ａおよび第２の光感知セル２ｂには、両サイドから矢印で表される光が入射しており、それらの光の合計が、それぞれｋＣ１／２およびｋＣ１＾＋ｋＣ１／２で表される。ここで、分光は、第１の種類の分光要素によって行われる。
　第２に、水平方向に並ぶ第３の光感知セル２ｃおよび第４の光感知セル２ｄに関して、水平方向の分光について説明する。分光要素アレイ１００は、第３の光感知セル２ｃおよび第４の光感知セル２ｄの各セル入射光（強度Ｗ）のうち、そのｋ倍の光（強度ｋＷ）を分光させる。その分光のうちの第２の色成分の光の半分（強度ｋＣ２／２）を第４の光感知セル２ｄに、その分光のうちの第２の色成分の光の残りの半分（強度ｋＣ２／２）と第２の色成分の補色光（強度ｋＣ２＾）とを第３の光感知セル２ｃに、分光されなかった残りの強度Ｗ’（＝（１－ｋ）Ｗ）の光を第３の光感知セル２ｃおよび第４の光感知セル２ｄの各々に入射させる。なお、図３Ｃに示されているように、第３の光感知セル２ｃおよび第４の光感知セル２ｄには、両サイドから矢印で表される光が入射しており、それらの光の合計が、それぞれｋＣ２＾＋ｋＣ２／２およびｋＣ２／２で表される。ここで、分光は、第２の種類の分光要素によって行われる。
　第３に、垂直方向に並ぶ第１の光感知セル２ａおよび第３の光感知セル２ｃに関して、垂直方向の分光について説明する。分光要素アレイ１００は、第１の光感知セル２ａおよび第３の光感知セル２ｃの各セル入射光（強度Ｗ）のうち、そのｋ倍の光（強度ｋＷ）を分光させる。その分光のうちの第１の色成分の光の半分（強度ｋＣ１／２）を第１の光感知セル２ａに、その分光のうちの第１の色成分の光の残りの半分（強度ｋＣ１／２）と第１の色成分の補色光（強度ｋＣ１＾）とを第３の光感知セル２ｃに、分光されなかった残りの強度Ｗ’（＝（１－ｋ）Ｗ）の光を第１の光感知セル２ａおよび第３の光感知セル２ｃの各々に入射させる。なお、図３Ｄに示されているように、第１の光感知セル２ａおよび第３の光感知セル２ｃには、両サイドから矢印で表される光が入射しており、それらの光の合計が、それぞれｋＣ１／２およびｋＣ１＾＋ｋＣ１／２で表される。ここで、分光は、第１の種類の分光要素によって行われる。
　第４に、垂直方向に並ぶ第２の光感知セル２ｂおよび第４の光感知セル２ｄに関して、垂直方向の分光について説明する。分光要素アレイ１００は、第２の光感知セル２ｂおよび第４の光感知セル２ｄの各セル入射光（強度Ｗ）のうち、そのｋ倍の光（強度ｋＷ）を分光させる。その分光のうちの第２の色成分の光の半分（強度ｋＣ２／２）を第４の光感知セル２ｄに、その分光のうちの第２の色成分の光の残りの半分（強度ｋＣ２／２）と第２の色成分の補色光（強度ｋＣ２＾）とを第２の光感知セル２ｂに、分光されなかった残りの強度Ｗ’（＝（１－ｋ）Ｗ）の光を第２の光感知セル２ｂおよび第４の光感知セル２ｄの各々に入射させる。なお、図３Ｅに示されているように、第２の光感知セル２ｂおよび第４の光感知セル２ｄには、両サイドから矢印で表される光が入射しており、それらの光の合計が、それぞれｋＣ２＾＋ｋＣ２／２およびｋＣ２／２で表される。ここで、分光は、第２の種類の分光要素によって行われる。
　以上の説明では、各光感知セルへの入射光に関して、水平、垂直の方向別に説明したため、分光されなかった光強度Ｗ’を重複して表記したが、各光感知セルは、分光されなかった光として強度Ｗ’の光のみを受光する。
　図３Ｆは、各光感知セルが受ける光の強度を示す図である。上記の構成により、光感知セル２ａ、２ｂ、２ｃ、２ｄは、それぞれ、Ｗ’＋ｋＣ１、Ｗ’＋ｋＣ１＾＋ｋＣ１／２＋ｋＣ２＾＋ｋＣ２／２、Ｗ’＋ｋＣ１＾＋ｋＣ１／２＋ｋＣ２＾＋ｋＣ２／２、Ｗ’＋ｋＣ２で表される強度の光を受ける。各光感知セルは、これらの強度に応じた光電変換信号（画素信号）を出力する。
　光感知セル２ａ～２ｄが出力する光電変換信号Ｓ２ａ～Ｓ２ｄは、それぞれ以下の式８～１１で表すことができる。
　（式８）　　Ｓ２ａ＝Ｗ’ｓ＋ｋＣ１ｓ
　（式９） 　Ｓ２ｂ＝Ｗ’ｓ＋ｋＣ１＾ｓ＋ｋＣ１ｓ／２＋ｋＣ２＾ｓ＋ｋＣ２ｓ／２
　（式１０） Ｓ２ｃ＝Ｗ’ｓ＋ｋＣ１＾ｓ＋ｋＣ１ｓ／２＋ｋＣ２＾ｓ＋ｋＣ２ｓ／２
　（式１１）　Ｓ２ｄ＝Ｗ’ｓ＋ｋＣ２ｓ
これらＳ２ａ～Ｓ２ｄの信号を合計すると、４Ｗ’ｓ＋２ｋＣ１ｓ＋２ｋＣ１＾ｓ＋２ｋＣ２ｓ＋２ｋＣ２＾ｓ＝４Ｗ’ｓ＋４ｋＷｓ＝４Ｗｓとなることから、光損失が生じていないことがわかる。この場合も、割合ｋは設計値であり、既知であるため、式８～１１からＣ１ｓ、Ｃ２ｓ、Ｃ３ｓの色信号を得ることができる。
　以上のように、この例においても、光感知セル２ａ～２ｄから出力される４つの光電変換信号Ｓ２ａ～Ｓ２ｄに基づく信号演算によってカラー信号を算出できる。
　以上の撮像素子１０によれば、光の一部を吸収する色フィルタを用いることなく、分光要素を用いて信号演算によってカラー情報を得ることができる。そのため、光の損失を防ぐことができ、撮像感度を高めることが可能となる。
　なお、図１、図２Ｂ～２Ｅ、図３Ｂ～３Ｅでは、分光要素アレイ１００は複数の光感知セルを覆う連続的な要素として描かれているが、分光要素アレイ４は、空間的に分離した複数の分光要素の集合体であってもよい。このような分光要素として、例えば後述する高屈折率透明部材、ダイクロイックミラー、マイクロプリズムなどが用いられ得る。本実施形態における分光要素アレイ１００は、上記の例で示した光電変換信号が得られればどのように構成されていてもよく、例えばホログラム素子などを用いて分光を行ってもよい。
　以下、図４から図８を参照しながらより具体的な実施形態を説明する。以下の説明において、共通する要素には同一の符号を付している。
　（実施形態１）
　図４は、第１の実施形態による撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部３００と、撮像部３００から送出される信号に基づいて画像を示す信号（画像信号）を生成する信号処理部４００とを備えている。なお、撮像装置は静止画のみを生成してもよいし、動画を生成する機能を備えていてもよい。
　撮像部３００は、被写体を結像するための光学レンズ１２と、光学フィルタ１１と、光学レンズ１２および光学フィルタ１１を通して結像した光情報を、光電変換によって電気信号に変換する固体撮像素子１０（イメージセンサ）とを備えている。撮像部３００はさらに、撮像素子１０を駆動するための基本信号を発生するとともに撮像素子１０からの出力信号を受信して信号処理部４００に送出する信号発生／受信部１３と、信号発生／受信部１３によって発生された基本信号に基づいて撮像素子１０を駆動する素子駆動部１４とを備えている。光学レンズ１２は、公知のレンズであり、複数のレンズを有するレンズユニットであり得る。光学フィルタ１１は、画素配列が原因で発生するモアレパターンを低減するための水晶ローパスフィルタに、赤外線を除去するための赤外カットフィルタを合体させたものである。撮像素子１０は、典型的にはＣＭＯＳまたはＣＣＤであり、公知の半導体製造技術によって製造される。信号発生／受信部１３および素子駆動部１４は、例えばＣＣＤドライバなどのＬＳＩから構成されている。
　信号処理部４００は、撮像部３００から送出される信号を処理して画像信号を生成する画像信号生成部１５と、画像信号の生成過程で発生する各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出する画像信号出力部１６とを備えている。画像信号生成部１５は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部３００から送出された信号を記録するとともに、画像信号生成部１５によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、画像信号出力部１６を介して不図示の記録媒体や表示部などに送出される。
　なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。また、以上の構成はあくまでも一例であり、撮像素子１０および画像信号生成部１５を除く構成要素には、公知の要素を適切に組み合わせて用いることができる。
　以下、本実施形態における固体撮像素子１０を説明する。
　図５は、露光中にレンズ１２を透過した光が撮像素子１０に入射する様子を模式的に示す図である。図５では、簡単のためレンズ１２および撮像素子１０以外の構成要素の記載は省略されている。また、レンズ１２は、一般には光軸方向に並んだ複数のレンズによって構成され得るが、簡単のため、単一のレンズとして描かれている。撮像素子１０の撮像面１０ａには、２次元状に配列された複数の光感知セル（画素）を含む光感知セルアレイが配置されている。各光感知セルは、典型的にはフォトダイオードであり、光電変換によって入射光量に応じた光電変換信号（画素信号）を出力する。撮像面１０ａにはレンズ１２および光学フィルタ１１を透過した光（可視光）が入射する。一般に撮像面１０ａに入射する光の強度および波長域ごとの入射光量の分布（分光分布）は、入射位置に応じて異なる。
　図６Ａ、６Ｂは、本実施形態における画素配列の例を示す平面図である。光感知セルアレイ２００は、例えば、図６Ａに示すように撮像面１０ａ上に正方格子状に配列された複数の光感知セルを有する。光感知セルアレイ２００は、複数の単位ブロック４０から構成され、各単位ブロック４０は４つの光感知セル２ａ、２ｂ、２ｃ、２ｄを含んでいる。なお、光感知セルの配列は、このような正方格子状の配列ではなく、例えば、図６Ｂに示す斜交型の配列であってもよいし、他の配列であってもよい。各単位ブロックに含まれる４つの光感知セル２ａ～２ｄは、図６Ａ、６Ｂに示すように、互いに近接していることが好ましいが、これらが離れていても、後述する分光要素アレイを適切に構成することによって色情報を得ることが可能である。また、各単位ブロックが５個以上の光感知セルを含んでいてもよい。
　光感知セルアレイ２００に対向して、光が入射する側に複数の分光要素を含む分光要素アレイが配置される。本実施形態では、各単位ブロックに含まれる４つの光感知セルの各々を囲むように１つの境界に対して１つずつ分光要素が設けられる。本実施形態においては、第１の光感知セル２ａの周囲の境界の少なくとも一部を覆うように第１の種類の分光要素１ａが配置される。また、第４の光感知セル２ｄの周囲の境界の少なくとも一部を覆うように第２の種類の分光要素１ｂが配置される。
　以下、本実施形態における分光要素を説明する。
　本実施形態における分光要素は、屈折率が異なる２種類の透光性部材の境界で生じる光の回折を利用して入射光を波長域に応じて異なる方向に向ける光学素子である。このタイプの分光要素は、屈折率が相対的に高い材料で形成された高屈折率透明部材（コア部）と、屈折率が相対的に低い材料で形成されコア部の各々の側面と接する低屈折率透明部材（クラッド部）とを有している。コア部とクラッド部との間の屈折率差により、両者を透過した光の間で位相差が生じるため、回折が起こる。この位相差は光の波長によって異なるため、光を波長域（色成分）に応じて空間的に分離することが可能となる。例えば、第１の方向および第２の方向に第１色成分の光を半分ずつ向け、第３の方向に第１色成分以外の光を向けることができる。また、３つの方向にそれぞれ異なる波長域（色成分）の光を向けることも可能である。コア部とクラッド部との屈折率差によって分光が可能になるため、本明細書では、高屈折率透明部材のことを「分光要素」と呼ぶことがある。このような回折型の分光要素の詳細は、例えば、特許第４２６４４６５号公報に開示されている。
　以上のような分光要素を有する分光要素アレイは、公知の半導体製造技術により、薄膜の堆積およびパターニングを実行することにより、製造され得る。分光要素の材質（屈折率）、形状、サイズ、配列パターンなどを適切に設計することにより、個々の光感知セルに所望の波長域の光を分離・統合して入射させることが可能となる。その結果、各光感知セルが出力する光電変換信号の組から、必要な色成分に対応する信号を算出することができる。
　以下、図７Ａ～７Ｆを参照しながら本実施形態における撮像素子１０の基本構造および各分光要素の働きを説明するが、本実施形態では裏面照射型の撮像素子を用いている。但し、本実施形態において撮像素子１０のタイプが裏面照射型であるか表面照射型であるかは重要ではなく、撮像素子１０は表面照射型であってもよい。また、本実施形態の場合、撮像素子のセルピッチは水平方向、垂直方向とも約４ミクロンであり、比較的高感度な撮像素子である。図７Ａ～７Ｅは、本実施形態における撮像素子１０の基本構造を示す図である。図７Ａは撮像素子１０の基本構造を示す平面図である。各単位ブロックにおいて、４つの光感知セル２ａ、２ｂ、２ｃ、２ｄに対向して、それらの境界近くに分光要素１ａ、１ｂが配置されている。このような基本構造を有する複数のパターンが撮像面１０ａ上に繰り返し形成されている。
　図７Ｂ、７Ｃ、７Ｄ、７Ｅは、図７ＡにおけるＡＡ´線断面、ＢＢ´線断面、ＣＣ´線断面およびＤＤ´線断面をそれぞれ示す図である。図示されるように、撮像素子１０は、シリコンなどの材料からなる半導体基板７と、半導体基板７内に配置された光感知セル２ａ～２ｄと、半導体基板７の裏面側（光が入射する側）に形成された透明層６ａと、透明層６ａの内部に配置された板状の高屈折率透明部材１ａ、１ｂを備えている。半導体基板７の表面側（光が入射する側の反対側）には配線層５が形成されている。また、表面側には半導体基板７や配線層５などを支持する固定基盤９が配置されている。固定基板９は透明層６ｂを介して半導体基板７と接合されている。本実施形態では、高屈折率透明部材１ａ、１ｂが、分光要素として機能する。
　図７Ａ～７Ｅに示す構造は、公知の半導体製造技術により作製され得る。図７Ａ～７Ｅに示される撮像素子１０は、配線層５の反対側から各光感知セルに光が入射する裏面照射型の構造を有している。しかしながら、本実施形態の撮像素子１０はこのような構造に限られず、配線層５の表面側から光を受ける表面照射型の構造を有していてもよい。
　第１の種類の分光要素１ａおよび第２の種類の分光要素１ｂは、図７Ｂ～７Ｅに示すように、光が透過する方向に長い長方形状の断面を有し、自身と透明層６ａとの間の屈折率差によって分光する。分光要素１ａは、光感知セル２ａを取り囲む形で他の光感知セルとの境界の上部に配置され、分光要素１ｂは、光感知セル２ｄを取り囲む形で他の光感知セルとの境界の上部に配置されている。分光要素１ａは、入射光をその直進方向にシアン（Ｃｙ）光、その両側斜め方向にＲ光（光強度としてはＲ／８ずつ）に分光させる。分光要素１ｂは、入射光をその直進方向に黄（Ｙｅ）光、その両側斜め方向にＢ光（光強度としてはＢ／４ずつ）に分光させる。分光要素１ａ、１ｂは本来１ミクロン程度の光感知セルピッチの撮像素子に適しているが、本実施形態の撮像素子は光感知セルピッチが約４ミクロンと大きいため、入射光全てを分光させるわけではなく、入射光の約５０％を分光させる。なお、図７Ａ～７Ｅにおいて、各光感知セルに入射する光の強度をＷで表し、分光されない光の強度をＷ’（＝０．５Ｗ）で表している。このように、本実施形態では、分光される割合ｋは、１／２である。また、分光した色については、赤、緑、青、黄、シアンの光強度をそれぞれＲ、Ｇ、Ｂ、Ｙｅ、Ｃｙで表している。
　入射光の分光に関して図７Ａを用いて説明すると、分光要素１ａは、上下左右方向から光感知セル２ａに赤（Ｒ）光をＲ／８ずつ入射させ、分光要素１ｂは、上下左右方向から光感知セル２ｄに青（Ｂ）光をＢ／８ずつ入射させる。その結果、光感知セル２ａには、周囲の４つの分光要素１ａから、強度Ｒ／２で表されるＲ光が入射し、光感知セル２ｄには、周囲の４つの分光要素１ｂから、強度Ｂ／２で表されるＢ光が入射する。また、両分光要素により、光感知セル２ｂと２ｃそれぞれに、合わせて強度Ｒ／４＋Ｃｙ／２＋Ｂ／４＋Ｙｅ／２で表される光が入射する。分光されない光の光強度については当該図に記していないが、各光感知セルに光強度Ｗ’の光が入射する。
　入射光の分光状況について、図７Ｂ～７Ｅを用いて説明する。図７Ｂは図７ＡにおけるＡＡ´線断面を示す図であり、分光要素１ａが入射光を分光し、光感知セル２ａと２ｂに分光した光の一部を入射させる状況を示している。本実施形態の場合、分光要素１ａは光感知セル２ａと２ｂの境界の真上に配置されず、若干光感知セル２ｂ側にずれている。その結果、光感知セル２ａにはＲ光が両サイドの分光要素１ａからＲ／８ずつ（合わせるとＲ／４）入射し、感知セル２ｂにはＲ光とＣｙ光が両サイドの分光要素１ａからＲ／８＋Ｃｙ／４ずつ（合わせるとＲ／４＋Ｃｙ／２）入射する。光感知セル２ａ、２ｂの各々には、さらに、分光されない光Ｗ’（＝Ｗ／２）も入射する。
　図７Ｃは図７ＡにおけるＢＢ´線断面を示す図であり、分光要素１ｂが入射光を分光し、光感知セル２ｃと２ｄに分光した光の一部を入射させる状況を示している。本実施形態の場合、分光要素１ｂは光感知セル２ｃと２ｄの境界の真上に配置されず、若干光感知セル２ｃ側にずれている。その結果、光感知セル２ｄにはＢ光が両サイドの分光要素１ｂからＢ／８ずつ（合わせるとＢ／４）入射し、光感知セル２ｃにはＢ光とＹｅ光が両サイドの分光要素１ｂからＢ／８＋Ｙｅ／４ずつ（合わせるとＢ／２＋Ｙｅ／２）入射する。光感知セル２ｃ、２ｄの各々には、さらに、分光されない光Ｗ’（＝Ｗ／２）も入射する。
　図７Ｄは図７ＡにおけるＣＣ´線断面を示す図であり、分光要素１ａが入射光を分光し、光感知セル２ａと２ｃに分光した光の一部を入射させる状況を示している。本実施形態の場合、分光要素１ａは光感知セル２ａと２ｃの境界の真上に配置されず、若干光感知セル２ｃ側にずれている。その結果、光感知セル２ａにはＲ光が両サイドの分光要素１ａからＲ／８ずつ（合わせるとＲ／４）入射し、光感知セル２ｃにはＲ光とＣｙ光が両サイドの分光要素１ｂからＲ／８＋Ｃｙ／４ずつ（合わせるとＲ／４＋Ｃｙ／２）入射する。光感知セル２ａ、２ｃの各々には、さらに、分光されない光Ｗ’（＝Ｗ／２）も入射する。
　図７Ｅは図７ＡにおけるＤＤ´線断面を示すものであり、分光要素１ｂが入射光を分光し、光感知セル２ｂと２ｄに分光した光の一部を入射させる状況を示したものである。本実施形態の場合、分光要素１ｂは光感知セル２ｂと２ｄの境界の真上に配置されず、若干光感知セル２ｂ側にずれ、さらにその中心方向に分光要素１ｂの下端が僅かずれている。その結果、光感知セル２ｄにはＢ光が両サイドの分光要素１ｂからＢ／８ずつ（合わせるとＢ／４）入射し、感知セル２ｂにはＢ光とＹｅ光が左右方向からＢ／８＋Ｙｅ／４ずつ（合わせるとＢ／４＋Ｙｅ／２）入射する。光感知セル２ｂ、２ｄの各々には、さらに、分光されない光Ｗ’（＝Ｗ／２）も入射する。
　図７Ｆは、各光感知セルに入射する光の強度を示す図である。上記の構成により、分光されない入射光Ｗ’も含めると、光感知セル２ａ、２ｂ、２ｃ、２ｄには、それぞれ光強度 Ｗ’＋Ｒ／２、Ｗ’＋Ｒ／４＋Ｃｙ／２＋Ｂ／４＋Ｙｅ／２、Ｗ’＋Ｒ／４＋Ｃｙ／２＋Ｂ／４＋Ｙｅ／２、Ｗ’＋Ｂ／４の光が入射する。
　上記の分光要素１ａと１ｂの特性および配置構造による分光の結果、光感知セル２ａ～２ｄは、それぞれ以下の式１２～１５で表される光電変換信号Ｓ２ａ～Ｓ２ｄを出力する。ここで、赤光、緑光、青光の強度に相当する信号をそれぞれＲｓ、Ｇｓ、Ｂｓで表し、シアン光の強度に相当する信号ＣｓをＧｓ＋Ｂｓ、黄光の強度に相当する信号ＹｓをＲｓ＋Ｇｓで表す。
　（式１２）Ｓ２ａ＝Ｗ’ｓ＋Ｒｓ／２
　（式１３）Ｓ２ｂ＝Ｗ’ｓ＋Ｒｓ／４＋Ｂｓ／４＋（Ｇｓ＋Ｂｓ）／２＋（Ｒｓ＋Ｇｓ）／２＝５Ｗ’ｓ／２＋Ｇｓ／４
　（式１４）Ｓ２ｃ＝Ｗ’ｓ＋Ｒｓ／４＋Ｂｓ／４＋（Ｇｓ＋Ｂｓ）／２＋（Ｒｓ＋Ｇｓ）／２＝５Ｗ’ｓ／２＋Ｇｓ／４
　（式１５）Ｓ２ｄ＝Ｗ’ｓ＋Ｂｓ／２
　結局、Ｓ２ａからＷ’ｓを減算し、２倍することによりＲｓが得られ、Ｓ２ｄからＷ’ｓを減算し、２倍することによりＢｓが得られる。また、Ｓ２ｂとＳ２ｃの和から５Ｗ’ｓを減算し、２倍することによりＧｓが得られる。Ｗ’ｓはＳ２ａ～Ｓ２ｄの平均値Ｓａｖを１／２倍した値であり、Ｓａｖは以下の式１６で表される。すなわち、以下の式１６～式１９に示す演算により、Ｒｓ、Ｇｓ、Ｂｓの色信号が得られる。
　（式１６）Ｓａｖ＝（Ｓ２ａ＋Ｓ２ｂ＋Ｓ２ｃ＋Ｓ２ｄ）／４
　（式１７）Ｒｓ＝２（Ｓ２ａ－Ｓａｖ／２）
　（式１８）Ｇｓ＝２（（Ｓ２ｂ＋Ｓ２ｃ）－５Ｓａｖ／２）
　（式１９）Ｂｓ＝２（Ｓ２ｄ－Ｓａｖ／２）
　画像信号生成部１５（図４）は、式１６～１９で示される光電変換信号を用いた演算によって色情報を生成する。以下、図８を参照しながら、画像信号生成部１５による色情報生成処理を説明する。
　図８は、本実施形態における色情報生成処理の手順を示すフロー図である。画像信号生成部１５は、まず、ステップＳ１０において、光電変換信号Ｓ２ａ～Ｓ２ｄを取得する。続いて、ステップＳ１２において、Ｓ２ａ～Ｓ２ｄの平均値Ｓａｖを求め、さらにその１／２であるＳａｖ２を算出する。次に、ステップＳ１４において、画素信号Ｓ２ａとＳ２ｄからＳａｖ２を減算し、Ｒ、Ｂ信号とし、画素信号Ｓ２ｂとＳ２ｃの加算結果から５倍のＳａｖ２を減算し、Ｇ信号とする。最後に、ステップＳ１６において、算出されたＲ、Ｇ、Ｂの信号を２倍し、１組の画素信号としてＲＧＢカラー信号とする。
　画像信号生成部１５は、以上の信号演算を光感知セルアレイ２の単位ブロック４０ごとに実行することによってＲ、Ｇ、Ｂの各色成分の画像を示す信号（「カラー画像信号」と呼ぶ。）を生成する。生成されたカラー画像信号は、画像信号出力部１６によって不図示の記録媒体や表示部に出力される。
　このように、本実施形態の撮像装置によれば、光電変換信号Ｓ２ａ～Ｓ２ｄを用いた加減算処理により、カラー画像信号が得られる。本実施形態における撮像素子１０によれば、光を吸収する光学素子を用いないため、色フィルタなどを用いる従来技術と比較して光の損失を大幅に低減することができる。
　以上のように、本実施形態の撮像素子１０では、２行２列の光感知セルアレイに対向して、１行１列目の光感知セルとその他の光感知セルとの４つの境界線の上部に光を赤光と赤光以外とに分ける第１の種類の分光要素１ａが配置される。２行２列目の光感知セルとその他の光感知セルとの４つの境界線の上部に光を青光と青光以外とに分ける第２の種類の分光要素１ｂが配置される。当該構成を基本構成として２次元状に配列された光感知セルの上部全てにわたって分光要素１ａと１ｂが配列される。このような分光要素の配列パターンが撮像面上に繰り返し形成されているため、光感知セルアレイ２００における単位ブロック４０の選び方を１行または１列ずつ変えても、得られる４つの光電変換信号は、常に式１６～１９で表される４つの信号の組み合わせとなる。すなわち、演算対象の画素ブロックを１行および１列ずつずらしながら上記の信号演算を行うことにより、ＲＧＢ各色成分の情報をほぼ画素数分だけ得ることができる。このことは、撮像装置の解像度を画素数の程度まで高めることができることを意味している。しかも、上記のように１画素の周辺に複数個の分光要素を配置することにより、１つの分光要素による分光は僅かでも複数の分光を集めることができ、画素セルサイズが大きい撮像素子のカラー化にも対応できるという効果がある。したがって、本実施形態の撮像装置は、従来の撮像装置よりも高感度であることに加えて、高解像度で高感度のカラー画像を生成することが可能である。
　なお、画像信号生成部１５は、必要に応じて信号の増幅、合成、補正を行ってもよい。また、各分光要素は上述した分光性能を厳密に有していることが理想であるが、それらの分光性能が多少ずれていてもよい。すなわち、各光感セルから実際に出力される光電変換信号が、式１６～１９に示す光電変換信号から多少ずれていてもよい。各分光要素の分光性能が理想的な性能からずれている場合であっても、ずれの程度に応じて信号を補正することによって良好な色情報を得ることができる。
　さらに、本実施形態における画像信号生成部１５が行う信号演算を、撮像装置自身ではなく他の機器に実行させることも可能である。例えば、撮像素子１０から出力される光電変換信号の入力を受けた外部の機器に本実施形態における信号演算処理を規定するプログラムを実行させることによっても色情報を生成することができる。
　加えて、上記の説明では入射光量に対する分光される光の量の割合ｋを１／２としたが、これはあくまで一例である。本実施形態の信号処理に関して、一般化したｋを用いて表現すると、式１２～１５は、それぞれ以下の式２０～２３に書き替えられる。ここで、Ｗ’ｓ＝（１－ｋ）Ｗｓ＝（１－ｋ）（Ｒｓ＋Ｇｓ＋Ｂｓ）である。
　（式２０）　Ｓ２ａ＝Ｗ’ｓ＋ｋＲｓ
　（式２１）　Ｓ２ｂ＝Ｗ’ｓ＋ｋＲｓ／２＋ｋＢｓ／２＋ｋ（Ｇｓ＋Ｂｓ）＋ｋ（Ｒｓ＋Ｇｓ）
　（式２２）　Ｓ２ｃ＝Ｗ’ｓ＋ｋＲｓ／２＋ｋＢｓ／２＋ｋ（Ｇｓ＋Ｂｓ）＋ｋ（Ｒｓ＋Ｇｓ）
　（式２３）　Ｓ２ｄ＝Ｗ’ｓ＋ｋＢｓ
　したがって、Ｓ２ａからＷ’ｓを減算し、１／ｋ倍することにより、Ｒｓが得られ、Ｓ２ｄからＷ’ｓを減算し、１／ｋ倍することによりＢｓが得られる。また、Ｓ２ｂとＳ２ｃの和から５Ｗ’ｓを減算し、１／ｋ倍することによりＧｓが得られる。Ｗ’ｓは、Ｓ２ａ～Ｓ２ｄの平均値Ｓａｖをｋ倍した値であり、Ｓａｖは以下の式２４で表される。すなわち、以下の式２４～２７に示す演算により、Ｒｓ、Ｇｓ、Ｂｓの色信号が得られる。
　（式２４）　Ｓａｖ＝（Ｓ２ａ＋Ｓ２ｂ＋Ｓ２ｃ＋Ｓ２ｄ）／４
　（式２５） Ｒｓ＝（Ｓ２ａ－ｋＳａｖ）／ｋ
　（式２６）　Ｇｓ＝（（Ｓ２ｂ＋Ｓ２ｃ）－５ｋＳａｖ）／ｋ
　（式２７） Ｂｓ＝（Ｓ２ｄ－ｋＳａｖ）／ｋ
　なお、以上の処理は一例であり、最終的にカラー信号が得られれば、どのような処理を行ってもよい。例えば、以下の処理によってカラー信号を得てもよい。上記式２５はｋＲｓ＝Ｓ２ａ－ｋＳａに、式２７はｋＢｓ＝Ｓ２ｄ－ｋＳａｖに書き替えることができる。ｋＲｓ、ｋＢｓは、それぞれ入射光のＲ成分、Ｂ成分を表すことから、式２４で表されるＳａｖを輝度信号とし、（Ｓ２ａ－ｋＳａｖ）と（Ｓ２ｄ－ｋＳａｖ）とを色差信号とすることができる。画像信号生成部１５は、光電変換信号Ｓ２ａ～Ｓ２ｄから、これらの輝度信号および色差信号を生成し、それらをＲＧＢ変換することにより、カラー信号を得ることも可能である。
　なお、撮像素子１０の基本構造は図７Ａ～７Ｆに示す構成に限られるものではない。例えば、分光要素１ａと分光要素１ｂとが入れ替わった構成で配置されていても本実施形態の効果に変わりはない。また、分光要素１ａ、１ｂの配置や構造に関して、微妙なずれや傾きを持たせたが、それはあくまで特定の画素に特定の色を集めるためであり、そのような構成に限定されない。例えば空間的にＲＧＢに分光する分光要素があれば、それを１行１列目の画素周辺に配置しＲ光のみを集光させ、２行２列目の画素周辺に配置しＢ光のみを集光させることも可能である。そうすれば、上記実施形態で示したカラー化と同様な効果を得ることができる。
　以上の説明では、分光要素として、２つの部材の屈折率差を利用して分光する光学素子を用いているが、分光要素は、各光感知セルに所望の色成分の光を入射できればどのようなものであってもよい。例えば、分光要素としてマイクロプリズムやダイクロイックミラーを用いてもよい。また、異なる種類の分光要素を組み合わせて用いることも可能である。
　さらに、上記の各実施形態では、ｘ方向およびｙ方向の両方について、分光が行われるが、このような構成に限定されない。例えば、ｘ方向またはｙ方向のいずれか一方に関してのみ分光が行われる構成であってもよい。具体的には、図２Ｂ、２Ｃ、図３Ｂ、３Ｃ、図７Ｂ、７Ｃに示される水平方向の分光のみ、または、図２Ｄ、２Ｅ、図３Ｄ、３Ｅ、図７Ｄ、７Ｅに示される垂直方向の分光のみが行われるように分光要素アレイ１００が構成されていてもよい。そのような構成例を図９Ａ～９Ｃに示す。
　図９Ａは、水平方向の分光のみが行われるように構成された撮像素子の基本構成例を示す図である。図９Ｂは、図９ＡにおけるＡＡ’線断面図であり、図９Ｃは、図９ＡにおけるＢＢ’線断面図である。図示されるように、この構成例では、第１の種類の分光要素１ａは、第１の光感知セル２ａと第２の光感知セル２ｂとの境界に配置される。分光要素１ａは、第１の光感知セル２ａおよび第２の光感知セル２ｂの各々のセル入射光に含まれる第１の色成分の光の一部（強度ｋＣ１）を第１の光感知セル２ａに入射させ、その補色光（強度ｋＣ１＾）を第２の光感知セル２ｂに入射させるように構成されている。一方、第２の種類の分光要素１ｂは、第３の光感知セル２ｃと第４の光感知セル２ｄとの境界に配置される。分光要素１ｂは、第３の光感知セル２ｃおよび第４の光感知セル２ｄの各々のセル入射光に含まれる第２の色成分の光の一部（強度ｋＣ２）を第４の光感知セル２ｄに入射させ、その補色光（強度ｋＣ２＾）を第３の光感知セル２ｃに入射させるように構成されている。
　以上のような簡単な構成であっても、第１の色成分の光は第１の光感知セル２ａに集中し、第２の色成分の光は第４の光感知セル２ｄに集中するため、色信号Ｃ１ｓ、Ｃ２ｓ、Ｃ３ｓを得ることができる。具体的には、４つの光感知セルの信号の平均値Ｓａｖに（１－ｋ）を乗じてＷ’ｓを求め、Ｗ’ｓを第１および第２光電変換信号Ｓ２ａ、Ｓ２ｄから減ずることにより、色信号Ｃ１ｓ、Ｃ２ｓを得ることができる。色信号Ｃ１ｓ、Ｃ２ｓが得られれば、Ｓａｖ－Ｃ１ｓ－Ｃ２ｓを計算することにより、色信号Ｃ３ｓも得ることができる。
　本開示の固体撮像素子、撮像装置、方法、およびプログラムは、固体撮像素子を用いるすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。
　　１ａ、１ｂ　分光要素
　　２，２ａ，２ｂ，２ｃ，２ｄ　撮像素子の光感知セル
　　４ａ、４ｂ　マイクロレンズ
　　５　撮像素子の配線層
　　６ａ、６ｂ　透明層
　　７　シリコン基板
　　９　固定基板
　１０　撮像素子
　１１　光学フィルタ
　１２　光学レンズ
　１３　信号発生／受信部
　１４　素子駆動部
　１５　画像信号生成部
　１６　画像信号出力部
　１７　赤（Ｒ）以外を反射する多層膜フィルタ（ダイクロイックミラー）
　１８　緑（Ｇ）のみを反射する多層膜フィルタ（ダイクロイックミラー）
　１９　青（Ｂ）のみを反射する多層膜フィルタ（ダイクロイックミラー）
　２０　遮光部
　２１　透光性の樹脂
　２２　Ｇ光透過の多層膜フィルタ（ダイクロイックミラー）
　２３　Ｒ光透過の多層膜フィルタ（ダイクロイックミラー）
　２４　Ｇ光透過の有機色素フィルタ
　２５　Ｒ光透過の有機色素フィルタ
　２６　マイクロレンズ
　２７　金属層
　３０　メモリ
　４０　光感知セルの単位ブロック
　１００　分光要素アレイ
　２００　光感知セルアレイ
　３００　撮像部
　４００　信号処理部

Claims (14)

  1. 　各々が第１の光感知セル、第２の光感知セル、第３の光感知セル、および第４の光感知セルを含む複数の単位ブロックが２次元状に配列された光感知セルアレイと、
    　前記光感知セルアレイに対向して配置された、第１の種類の分光要素および第２の種類の分光要素を含む分光要素アレイと、
    を備え、
    　前記分光要素アレイが存在しないと仮定した場合に各光感知セルが受ける光を各光感知セルのセル入射光とし、前記セル入射光に含まれる可視光が、第１の色成分、第２の色成分、および第３の色成分から構成され、各色成分を除く色成分の可視光を、当該色成分の補色光とするとき、
    　前記分光要素アレイは、前記第１の種類の分光要素によって前記第１および第２の光感知セルの各々のセル入射光に含まれる前記第１の色成分の光の一部を前記第１の光感知セルに入射させ、前記第２の種類の分光要素によって前記第３および第４の光感知セルの各々のセル入射光に含まれる前記第２の色成分の光の一部を前記第４の光感知セルに入射させる、固体撮像素子。
  2. 　前記第１から第４の光感知セルの各々の形状は４角形状であり、
    　前記第１から第４の光感知セルは、２行２列に配列され、
    　前記第１の種類の分光要素は、前記第１および第２の光感知セルの境界に対向する位置に配置され、
    　前記第２の種類の分光要素は、前記第３および第４の光感知セルの境界に対向する位置に配置されている、請求項１に記載の固体撮像素子。
  3. 　前記第１の種類の分光要素は、さらに、前記第１および第３の光感知セルの境界に対向する位置に配置され、
    　前記第２の種類の分光要素は、さらに、前記第２および第４の光感知セルの境界に対向する位置に配置されている、
    請求項２に記載の固体撮像素子。
  4. 　前記第１の種類の分光要素は、さらに、前記第１および第３の光感知セルの各々のセル入射光に含まれる前記第１の色成分の光の一部を前記第１の光感知セルに入射させ、
    　前記第２の種類の分光要素は、さらに、前記第２および第４の光感知セルの各々のセル入射光に含まれる前記第２の色成分の光の一部を前記第４の光感知セルに入射させる、
    請求項１から３のいずれかに記載の固体撮像素子。
  5. 　前記第１の種類の分光要素は、前記第１および第２の光感知セルの各々のセル入射光のうち、前記第１の色成分の光の一部を、前記第１の光感知セルに入射させ、前記第１の色成分の光の残りおよび前記第１の色成分の補色光を、前記第２の光感知セルに入射させ、
    　前記第２の種類の分光要素は、前記第３および第４の光感知セルの各々のセル入射光のうち、前記第２の色成分の光の一部を、前記第４の光感知セルに入射させ、前記第２の色成分の光の残りおよび前記第２の色成分の補色光を、前記第３の光感知セルに入射させる、請求項１から４のいずれかに記載の固体撮像素子。
  6. 　前記第１の種類の分光要素は、さらに、前記第１および第３の光感知セルの各々のセル入射光のうち、前記第１の色成分の光の一部を、前記第１の光感知セルに入射させ、前記第１の色成分の光の残りおよび前記第１の色成分の補色光を、前記第３の光感知セルに入射させ、
    　前記第２の種類の分光要素は、さらに、前記第２および第４の光感知セルの各々のセル入射光のうち、前記第２の色成分の光の一部を、前記第４の光感知セルに入射させ、前記第２の色成分の光の残りおよび前記第２の色成分の補色光を、前記第２の光感知セルに入射させる、
    請求項５に記載の固体撮像素子。
  7. 　前記第１の種類の分光要素は、前記第１の光感知セルの周囲の境界に対向する位置に配置された４つの分光要素を含み、
    　前記第２の種類の分光要素は、前記第４の光感知セルの周囲の境界に対向する位置に配置された４つの分光要素を含む、
    請求項１から６のいずれかに記載の固体撮像素子。
  8. 　前記第１の色成分は赤および青の一方の色成分であり、前記第２の色成分は赤および青の他方の色成分である、請求項１から７のいずれかに記載の固体撮像素子。
  9. 　前記第１の種類の分光要素および前記第２の種類の分光要素の各々は、透光性部材を有し、前記透光性部材の形状、および前記透光性部材と前記透光性部材よりも屈折率の低い他の透光性部材との屈折率の差を利用して分光する、請求項１から８のいずれかに記載の固体撮像素子。
  10. 　請求項１から９のいずれかに記載の固体撮像素子と、
    　前記固体撮像素子に像を形成する光学系と、
    　前記固体撮像素子から出力される信号を処理する信号処理部であって、前記第１の光感知セルから出力される第１の光電変換信号、前記第２の光感知セルから出力される第２の光電変換信号、および前記第３の光感知セルから出力される第３の光電変換信号、前記第４の光感知セルから出力される第４の光電変換信号を用いた演算によって色情報を生成する信号処理部と、
    を備える撮像装置。
  11. 　前記信号処理部は、前記第１の光電変換信号と前記第１から第４の光電変換信号の平均値との差分演算、および前記第４の光電変換信号と前記第１から前記第４の光電変換信号との差分演算により、第１の色差信号および第２の色差信号を生成する、請求項１０に記載の撮像装置。
  12. 　請求項１から９のいずれかの固体撮像素子から出力される信号を処理する方法であって、
    　前記第１の光感知セルから出力される第１の光電変換信号、前記第２の光感知セルから出力される第２の光電変換信号、前記第３の光感知セルから出力される第３の光電変換信号、および前記第４の光感知セルから出力される第４の光電変換信号を取得するステップＡと、
    　前記第１から第４の光電変換信号を用いて色情報を生成するステップＢと、
    を含む信号処理方法。
  13. 　前記ステップＢは、
    　前記第１の光電変換信号と前記第２の光電変換信号との差分演算によって生成される第１の差分信号を生成するステップと、
    　前記第３の光電変換信号と前記第４の光電変換信号との差分演算によって生成される第２の差分信号を生成するステップと、
    を含む、請求項１２に記載の信号処理方法。
  14. 　前記ステップＢは、
    　前記第１および第２の光電変換信号の加算、前記第３および第４の光電変換信号の加算、および前記第１から第４の光電変換信号の加算のいずれかを含む演算によって輝度信号を生成するステップと、
    　前記輝度信号、前記第１の差分信号、および前記第２の差分信号を用いて前記セル入射光に含まれる赤、緑、および青の色信号を生成するステップと、
    をさらに含む請求項１３に記載の信号処理方法。
PCT/JP2012/008080 2011-12-26 2012-12-18 固体撮像素子、撮像装置、および信号処理方法 WO2013099151A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/985,453 US9071722B2 (en) 2011-12-26 2012-12-18 Solid-state imaging element, imaging device, and signal processing method
CN201280010557.2A CN103404152B (zh) 2011-12-26 2012-12-18 固体摄像元件、摄像装置、以及信号处理方法
JP2013522040A JP5997149B2 (ja) 2011-12-26 2012-12-18 固体撮像素子、撮像装置、および信号処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011283537 2011-12-26
JP2011-283537 2011-12-26

Publications (1)

Publication Number Publication Date
WO2013099151A1 true WO2013099151A1 (ja) 2013-07-04

Family

ID=48696697

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/008080 WO2013099151A1 (ja) 2011-12-26 2012-12-18 固体撮像素子、撮像装置、および信号処理方法

Country Status (4)

Country Link
US (1) US9071722B2 (ja)
JP (1) JP5997149B2 (ja)
CN (1) CN103404152B (ja)
WO (1) WO2013099151A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013393A1 (ja) * 2021-08-06 2023-02-09 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866944B2 (en) 2012-12-28 2014-10-21 Visera Technologies Company Limited Method for correcting pixel information of color pixels on a color filter array of an image sensor
KR20150123088A (ko) * 2014-04-24 2015-11-03 삼성전자주식회사 스큐드 픽셀 구조를 갖는 이미지 센서를 포함하는 이미지 데이터 처리 장치
KR102159166B1 (ko) * 2014-05-09 2020-09-23 삼성전자주식회사 색분리 소자 및 상기 색분리 소자를 포함하는 이미지 센서
KR102323204B1 (ko) 2014-08-22 2021-11-08 삼성전자주식회사 선명한 색 구현이 가능한 이미지 센서 및 그 제조방법
KR102316447B1 (ko) * 2014-08-28 2021-10-22 삼성전자주식회사 광 이용 효율이 향상된 이미지 센서

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009153937A1 (ja) * 2008-06-18 2009-12-23 パナソニック株式会社 固体撮像装置
WO2010001811A1 (ja) * 2008-06-30 2010-01-07 ソニー株式会社 画像信号補正装置、撮像装置、画像信号補正方法、およびプログラム
WO2010058545A1 (ja) * 2008-11-19 2010-05-27 パナソニック株式会社 撮像装置
WO2010082455A1 (ja) * 2009-01-14 2010-07-22 パナソニック株式会社 撮像装置
WO2011010455A1 (ja) * 2009-07-24 2011-01-27 パナソニック株式会社 撮像装置および固体撮像素子

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5990467A (ja) 1982-11-15 1984-05-24 Mitsubishi Electric Corp 固体撮像素子
JP2000151933A (ja) 1998-11-06 2000-05-30 Nec Corp 撮像素子及びその製造方法
JP2001309395A (ja) 2000-04-21 2001-11-02 Sony Corp 固体撮像素子及びその製造方法
JP4652634B2 (ja) 2001-08-31 2011-03-16 キヤノン株式会社 撮像装置
US8208052B2 (en) * 2008-12-19 2012-06-26 Panasonic Corporation Image capture device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009153937A1 (ja) * 2008-06-18 2009-12-23 パナソニック株式会社 固体撮像装置
WO2010001811A1 (ja) * 2008-06-30 2010-01-07 ソニー株式会社 画像信号補正装置、撮像装置、画像信号補正方法、およびプログラム
WO2010058545A1 (ja) * 2008-11-19 2010-05-27 パナソニック株式会社 撮像装置
WO2010082455A1 (ja) * 2009-01-14 2010-07-22 パナソニック株式会社 撮像装置
WO2011010455A1 (ja) * 2009-07-24 2011-01-27 パナソニック株式会社 撮像装置および固体撮像素子

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013393A1 (ja) * 2021-08-06 2023-02-09 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Also Published As

Publication number Publication date
JP5997149B2 (ja) 2016-09-28
CN103404152B (zh) 2016-11-23
US20140055649A1 (en) 2014-02-27
US9071722B2 (en) 2015-06-30
CN103404152A (zh) 2013-11-20
JPWO2013099151A1 (ja) 2015-04-30

Similar Documents

Publication Publication Date Title
JP5503459B2 (ja) 固体撮像素子および撮像装置
JP5237998B2 (ja) 固体撮像素子、撮像装置および信号処理方法
JP5331107B2 (ja) 撮像装置
WO2011010455A1 (ja) 撮像装置および固体撮像素子
JP5325117B2 (ja) 固体撮像装置
JP5296077B2 (ja) 撮像装置
JP5503458B2 (ja) 固体撮像素子および撮像装置
JP6039558B2 (ja) 固体撮像装置
JP5997149B2 (ja) 固体撮像素子、撮像装置、および信号処理方法
JP6039649B2 (ja) 固体撮像素子、撮像装置および信号処理方法
JP5894573B2 (ja) 固体撮像素子、撮像装置および信号処理方法
JP5852006B2 (ja) 固体撮像素子、撮像装置および信号処理方法
JP6039567B2 (ja) 固体撮像装置
JP2014086743A (ja) 固体撮像素子、撮像装置、および信号処理方法
JP2014086742A (ja) 固体撮像素子、撮像装置、および信号処理方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013522040

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13985453

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12863660

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12863660

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 12863660

Country of ref document: EP

Kind code of ref document: A1