WO2013164901A1 - 固体撮像装置 - Google Patents

固体撮像装置 Download PDF

Info

Publication number
WO2013164901A1
WO2013164901A1 PCT/JP2013/001728 JP2013001728W WO2013164901A1 WO 2013164901 A1 WO2013164901 A1 WO 2013164901A1 JP 2013001728 W JP2013001728 W JP 2013001728W WO 2013164901 A1 WO2013164901 A1 WO 2013164901A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
photosensitive cell
incident
signal
photosensitive
Prior art date
Application number
PCT/JP2013/001728
Other languages
English (en)
French (fr)
Inventor
平本　政夫
藤井　俊哉
中村　達也
青児 西脇
物部　祐亮
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2013537347A priority Critical patent/JP6039567B2/ja
Priority to CN201380001203.6A priority patent/CN103503144B/zh
Priority to US14/009,477 priority patent/US9179114B2/en
Publication of WO2013164901A1 publication Critical patent/WO2013164901A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14629—Reflectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals

Definitions

  • This application relates to a technology for increasing the sensitivity and color of a solid-state imaging device.
  • image sensors In recent years, there has been a remarkable increase in functionality and performance of digital cameras and digital movies using solid-state image sensors such as CCDs and CMOSs (hereinafter sometimes referred to as “image sensors”). In particular, due to rapid progress in semiconductor manufacturing technology, the pixel structure in an image sensor has been miniaturized. As a result, the pixels of the image sensor and the drive circuit are highly integrated, and the performance of the image sensor is increasing. In particular, in recent years, a camera using a backside illumination type image sensor that receives light on the back surface side rather than the surface (front surface) side on which the wiring layer of the solid-state image sensor is formed has been developed, and its characteristics are attracting attention. ing. On the other hand, with the increase in the number of pixels of the image sensor, the amount of light received by one pixel is reduced, which causes a problem that the camera sensitivity is reduced.
  • ⁇ The sensitivity of the camera is reduced due to the use of color filters for color separation in addition to the increase in the number of pixels.
  • a subtractive color filter using an organic pigment as a coloring matter is arranged facing each photosensitive cell of the image sensor. Since the color filter absorbs light other than the color component to be used, when such a color filter is used, the light utilization rate of the camera is lowered.
  • each color filter of R, G, B is Only the R, G, B light is transmitted and the remaining light is absorbed. Therefore, the light used in the color camera with the Bayer array is about 1/3 of the entire incident light.
  • Japanese Patent Application Laid-Open No. H10-228561 discloses a technique for increasing the amount of received light by attaching a microlens array to the light receiving portion of the image sensor in order to capture much incident light.
  • the light aperture ratio in the image sensor can be substantially improved by condensing the light sensing cell using the microlens.
  • This technique is currently used in most solid-state image sensors. If this technique is used, the substantial aperture ratio is certainly improved, but it does not solve the problem of a decrease in the light utilization rate due to the color filter.
  • Patent Document 2 discloses a technique for making maximum use of light by combining a multilayer color filter (dichroic mirror) and a microlens.
  • a multilayer color filter dichroic mirror
  • a microlens a plurality of dichroic mirrors that selectively transmit light in a specific wavelength region and reflect light in other wavelength regions without absorbing light are used.
  • FIG. 10 is a diagram schematically showing a cross section in a direction perpendicular to the imaging surface of the imaging device disclosed in Patent Document 2.
  • the imaging device includes condensing microlenses 4a and 4b, a light shielding unit 20, photosensitive cells 2a, 2b, and 2c, and dichroic mirrors 17, 18, and 19 disposed on and inside the imaging device, respectively. It has.
  • the dichroic mirrors 17, 18, and 19 are disposed so as to face the photosensitive cells 2a, 2b, and 2c, respectively.
  • the dichroic mirror 17 has characteristics of transmitting R light and reflecting G light and B light.
  • the dichroic mirror 18 has a characteristic of reflecting G light and transmitting R light and B light.
  • the dichroic mirror 19 has characteristics of reflecting B light and transmitting R light and G light.
  • the light incident on the microlens 4 a is incident on the first dichroic mirror 17 after the light flux is adjusted by the microlens 4 b.
  • the first dichroic mirror 17 transmits R light but reflects G light and B light.
  • the light transmitted through the first dichroic mirror 17 is incident on the photosensitive cell 2a.
  • the G light and B light reflected by the first dichroic mirror 17 are incident on the adjacent second dichroic mirror 18.
  • the second dichroic mirror 18 reflects G light out of incident light and transmits B light.
  • the G light reflected by the second dichroic mirror 18 enters the photosensitive cell 2b.
  • the B light transmitted through the second dichroic mirror 18 is reflected by the third dichroic mirror 19 and is incident on the photosensitive cell 2c immediately below it.
  • Patent Document 3 discloses an image sensor that can prevent light loss by using a microprism.
  • This imaging device has a structure in which different photosensitive cells receive light separated into red, green, and blue by a microprism. Such an image sensor can also prevent light loss.
  • Patent Document 2 and Patent Document 3 it is necessary to provide as many photosensitive cells as the number of dichroic mirrors to be used or the number of spectrums. For example, in order to detect light of three colors of RGB, there is a problem that the number of photosensitive cells must be increased by a factor of three compared to the number of photosensitive cells when a conventional color filter is used.
  • Patent Document 4 discloses a technique for increasing the utilization factor of light using a dichroic mirror and reflection.
  • FIG. 11 shows a part of a cross-sectional view of an image sensor using the technique.
  • dichroic mirrors 22 and 23 are disposed in a translucent resin 21.
  • the dichroic mirror 22 has characteristics of transmitting G light and reflecting R light and B light.
  • the dichroic mirror 23 has characteristics of transmitting R light and reflecting G light and B light.
  • R light and G light can all be detected by the following principle.
  • the R light is reflected by the dichroic mirror 22 and transmitted by the dichroic mirror 23.
  • the R light reflected by the dichroic mirror 22 is further reflected at the interface between the translucent resin 21 and air and enters the dichroic mirror 23.
  • the R light passes through the dichroic mirror 23, and further passes through the organic dye filter 25 and the microlens 26 having R light transmittance. In this way, although part of the light is reflected by the metal layer 27, most of the R light incident on the dichroic mirrors 22 and 23 is incident on the light sensing unit.
  • the G light when the G light is incident on the dichroic mirrors 22 and 23, the G light is transmitted through the dichroic mirror 22 and reflected by the dichroic mirror 23.
  • the G light reflected by the dichroic mirror 23 is further totally reflected at the interface between the translucent resin 21 and air, and enters the dichroic mirror 22.
  • the G light passes through the dichroic mirror 22, and further passes through the organic dye filter 24 and the micro lens 26 having G light transmittance. In this way, although part of the light is reflected by the metal layer 27, most of the G light incident on the dichroic mirrors 22 and 23 is incident on the light sensing unit without any loss.
  • the technique disclosed in Patent Document 4 can receive two colors with almost no loss, although one color of RGB light is lost. For this reason, it is not necessary to arrange the light sensing units for the three colors RGB.
  • the light utilization rate with only the organic dye filter is about 3
  • the light utilization factor when using this technique is about 2/3 of the total incident light. That is, according to this technique, the imaging sensitivity is improved about twice. However, even with this technique, one of the three colors is lost.
  • Patent Document 5 discloses a colorization technique that increases the light utilization rate without significantly increasing the number of photosensitive cells using a spectral element. According to this technique, light is incident on different photosensitive cells depending on the wavelength range by the spectral elements arranged corresponding to the photosensitive cells. Each photosensitive cell receives light on which components in different wavelength ranges are superimposed from a plurality of spectral elements. As a result, a color signal can be generated by signal calculation using a photoelectric conversion signal output from each photosensitive cell.
  • One embodiment of the present invention can increase the light utilization rate without significantly increasing the number of photosensitive cells, and even if crosstalk of incident light to each photosensitive cell increases due to generation of oblique light, Provide color imaging technology with good color reproducibility.
  • a solid-state imaging device includes a first photosensitive cell, a second photosensitive cell, and a third photosensitive sensor, which are each arranged in 2 rows and 2 columns.
  • a photosensitive cell array in which a plurality of unit blocks including a cell and a fourth photosensitive cell are two-dimensionally arranged on an imaging surface, and in each unit block, the first photosensitive cell is in one row and one column.
  • the second photosensitive cell is disposed in the second row and the first column
  • the third photosensitive cell is disposed in the first row and the second column
  • the fourth photosensitive cell is disposed in the second row and the second column.
  • a light-sensitive cell array arranged in a row, a first spectral element, and a spectral element array including a second spectral element having a spectral characteristic different from that of the first spectral element, wherein the first spectral element
  • An element is disposed on at least one of the first and third photosensitive cells. At least a portion is arranged so as to be opposed to each other, and is configured to separate incident light in the arrangement direction of the first and third photosensitive cells according to the wavelength.
  • the second and fourth light sensing cells are arranged so that at least a part of the second light-splitting element faces at least one of the second and fourth light-sensitive cells, and incident light is detected according to the wavelength.
  • a spectral element array configured to be separated in the cell arrangement direction, and provided in a region covering each of the first and third photosensitive cells, and focused on the first and third photosensitive cells. And a plurality of condensing elements configured to do so.
  • An image pickup apparatus includes the above-described solid-state image pickup device, an optical system that forms an image on the image pickup surface of the solid-state image pickup device, and first to fourth outputs that are output from the first to fourth photosensitive cells, respectively.
  • a signal processing unit for generating a color signal based on the fourth photoelectric conversion signal To a signal processing unit for generating a color signal based on the fourth photoelectric conversion signal.
  • the light utilization rate is high without significantly increasing the number of photosensitive cells. Even if the crosstalk of incident light to each photosensitive cell increases due to the occurrence, color imaging with good color reproducibility becomes possible.
  • FIG. 2 is a perspective view schematically showing an arrangement relationship between the photosensitive cell array 200 and the spectral element array 100 in the solid-state imaging device according to the embodiment of the present invention.
  • FIG. It is a top view which shows an example of the unit block of the solid-state image sensor by one Embodiment of this invention.
  • FIG. 2B is a cross-sectional view taken along line A-A ′ in FIG. 2A.
  • FIG. 2B is a sectional view taken along line B-B ′ in FIG. 2A.
  • FIG. 2B is a cross-sectional view taken along line C-C ′ in FIG. 2A.
  • FIG. 2B is a sectional view taken along line D-D ′ in FIG. 2A.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an imaging apparatus according to Embodiment 1.
  • FIG. It is a figure which shows typically the lens and imaging device in Embodiment 1.
  • FIG. 2 is a diagram illustrating an example of a pixel array of an image sensor according to Embodiment 1.
  • FIG. 1 is a plan view showing a basic structure of an image sensor in Embodiment 1.
  • FIG. 6B is a sectional view taken along line AA ′ in FIG. 6A.
  • FIG. 6B is a sectional view taken along line BB ′ in FIG. 6A. It is a figure which shows the intensity
  • FIG. 4 is a flowchart illustrating a procedure of color information generation processing in the first embodiment.
  • FIG. 6 is a plan view showing a basic structure of an image sensor in Embodiment 2. It is the sectional view on the AA 'line in FIG. 8A.
  • FIG. 8B is a sectional view taken along line BB ′ in FIG. 8A. It is a figure which shows the intensity
  • FIG. It is a figure which shows the other example of a spectroscopic element. It is sectional drawing of the conventional image pick-up element using a micro lens and a multilayer film filter (dichroic mirror). It is sectional drawing of the conventional image pick-up element using a multilayer filter (dichroic mirror) and reflection.
  • a solid-state imaging device includes a first photosensitive cell, a second photosensitive cell, a third photosensitive cell, and a fourth photosensitive cell, each arranged in 2 rows and 2 columns.
  • a light-sensitive cell array in which a plurality of unit blocks including light-sensitive cells are two-dimensionally arranged on the imaging surface, and in each unit block, the first light-sensitive cell is arranged in the first row and the first column, The second photosensitive cell is arranged in the second row and the first column, the third photosensitive cell is arranged in the first row and the second column, and the fourth photosensitive cell is arranged in the second row and the second column.
  • a spectral element array including a photosensitive cell array, a first spectral element, and a second spectral element having a spectral characteristic different from that of the first spectral element, wherein the first spectral element is the first spectral element. And at least part of the first light-splitting element faces at least one of the third photosensitive cell and the third photosensitive cell. Arranged so that incident light is separated in the arrangement direction of the first and third photosensitive cells according to the wavelength, and the second spectral element is the second and fourth At least one part of the second light-splitting element is arranged so as to face at least one of the light-sensitive cells, and separates incident light in the arrangement direction of the second and fourth light-sensitive cells according to the wavelength.
  • a plurality of spectral element arrays each configured to focus on the first and third photosensitive cells, each provided in a region covering the first and third photosensitive cells And a light condensing element.
  • the first light-splitting element faces the first or third light-sensitive cell and has light in a different wavelength range for the first light-sensitive cell and the third light-sensitive cell.
  • the second light-splitting element faces the second or fourth photosensitive cell and has a wavelength range different from that of the second photosensitive cell and the fourth photosensitive cell. It arrange
  • the first light-splitting element causes the light in the first wavelength region to enter the third light-sensitive cell, and the first light-sensitive element.
  • Complementary light of the light in the first wavelength region is incident on the cell
  • the second spectral element causes light in the second wavelength region to be incident on the second photosensitive cell, and is incident on the fourth photosensitive cell.
  • the complementary color light of the light in the second wavelength region is incident.
  • the spectral element array further includes a third spectral element and a fourth spectral element, and the first to fourth spectral elements are Each of the first to fourth photosensitive cells is disposed so as to face the first to fourth photosensitive cells, and is designed to make light of different wavelength ranges incident on the first to fourth photosensitive cells.
  • the first to fourth spectral elements have different characteristics for separating incident light into primary color light and complementary color light, or different incident light 3 It has the characteristic of separating light into two wavelength ranges.
  • the first spectral element causes light in a first wavelength region to enter the third photosensitive cell, and the first spectral element Complementary color light of the light in the first wavelength range is incident on one photosensitive cell, the third spectral element causes light in the second wavelength region to be incident on the first photosensitive cell, and the third spectral element The complementary color light of the light in the second wavelength region is incident on the photosensitive cell.
  • the first spectral element causes light in a first wavelength region to enter the first photosensitive cell.
  • the complementary light of the light in the first wavelength range is incident on the third photosensitive cell, and the third spectral element causes the light in the first wavelength range to be incident on the first photosensitive cell, Complementary color light of the light in the first wavelength region is incident on the third photosensitive cell.
  • the second spectral element causes light in a third wavelength range to enter the fourth photosensitive cell.
  • the complementary light of the light of the third wavelength region is incident on the second photosensitive cell
  • the fourth spectral element is incident light of the third wavelength region on the fourth photosensitive cell
  • the complementary light of the light in the third wavelength region is incident on the second photosensitive cell.
  • the first wavelength range is one of red, green, and blue wavelength ranges
  • the second wavelength range is red, green
  • the third wavelength range is the remaining one of the red, green, and blue wavelength ranges.
  • each of the plurality of condensing elements is a cylindrical lens having a curved surface on the light incident side.
  • An imaging apparatus includes a solid-state imaging device according to any one of items (1) to (10), an optical system that forms an image on an imaging surface of the solid-state imaging device, And a signal processing unit that generates color signals based on the first to fourth photoelectric conversion signals output from the first to fourth photosensitive cells, respectively.
  • the signal processing unit may include a signal output from the first photosensitive cell and a signal output from the third photosensitive cell. Generated by a process including an addition operation of a first luminance signal generated by a process including an addition operation and a signal output from the second photosensitive cell and a signal output from the fourth photosensitive cell. A second luminance signal is generated, and the color signal is corrected based on a difference result between the first luminance signal and the second luminance signal.
  • a coefficient k1 that defines a light collection characteristic of the light collection element, and a reduction amount of the coefficient k1 due to an influence of oblique light incident on the solid-state image pickup element
  • a recording medium on which information indicating a correlation between a correction coefficient k2 indicating the degree of decrease in spectral characteristics of the first and second spectral elements due to the influence of the oblique light is recorded is further provided.
  • the signal processing unit calculates a difference result between the first luminance signal and the second luminance signal, the coefficient k1, and the correlation.
  • the color signal is corrected based on the indicated information.
  • the signal processing unit indicates a difference between the first photoelectric conversion signal and the third photoelectric conversion signal.
  • the first color difference signal and the second color difference are obtained by signal calculation using a first difference signal and a second difference signal indicating a difference between the second photoelectric conversion signal and the fourth photoelectric conversion signal.
  • a signal is generated, and the first color difference signal and the second color difference signal are corrected using a difference result between the first luminance signal and the second luminance signal.
  • a solid-state imaging device includes a photosensitive cell array including a plurality of photosensitive cells (pixels) arranged two-dimensionally on an imaging surface. And a spectral element array including a plurality of spectral elements.
  • FIG. 1 is a perspective view schematically showing a part of the photosensitive cell array 200 and the spectral element array 100 formed on the imaging surface of the solid-state imaging device 10.
  • the spectral element array 100 is disposed on the light incident side facing the photosensitive cell array 200.
  • the arrangement, shape, size, and the like of the photosensitive cells 2 are not limited to the example shown in this figure, and may be any known arrangement, shape, and size.
  • the spectral element array 100 is represented by a quadrangular prism for convenience, the spectral element array 100 does not actually have such a shape and can have various structures.
  • each light sensing cell 2 When each light sensing cell 2 receives light, it outputs an electrical signal (hereinafter referred to as a “photoelectric conversion signal” or a “pixel signal”) corresponding to the intensity of the light received by photoelectric conversion (incident light amount). To do.
  • each photosensitive cell 2 receives light in a plurality of wavelength regions (color components) whose traveling directions are changed by the spectral element array 100. As a result, the light received by each photosensitive cell 2 has a spectral distribution (intensity distribution for each wavelength range) different from the light received when it is assumed that there is no spectral element.
  • FIG. 2A is a plan view showing an example of a basic pixel configuration (unit block) 40 of the photosensitive cell array 200.
  • FIG. The photosensitive cell array 200 has a structure in which a plurality of unit blocks 40 each including four photosensitive cells 2a, 2b, 2c, and 2d are two-dimensionally arranged on the imaging surface. In the example shown in the figure, four photosensitive cells are arranged in two rows and two columns in one unit block.
  • reference numeral 4c denotes a horizontal micro lenticular lens configured to collect light only in the vertical direction. This micro lenticular lens is a cylindrical lens having a curved surface on the light incident side, and is arranged every other row in the vertical direction.
  • the horizontal direction in FIG. 2A is referred to as “horizontal direction”
  • the vertical direction is referred to as “vertical direction”.
  • 2B and 2C are diagrams schematically showing a cross section taken along line AA ′ and a cross section taken along line BB ′ in FIG. 2A, respectively.
  • the traveling direction changes depending on the color component, and as a result, the spectral distribution of light received by each photosensitive cell is different from each other. Is shown.
  • the spectral element array 100 does not exist, the light received by each photosensitive cell is referred to as “cell incident light” of the photosensitive cell.
  • the photosensitive cells 2a to 2d included in one unit block are close to each other, it can be considered that the light intensity and the spectral distribution included in the cell incident light of the photosensitive cells are almost the same.
  • 2D and 2E are diagrams schematically showing a CC ′ line cross section and a DD ′ line cross section in FIG. 2A, respectively.
  • the light incident on the image sensor 10 is collected in the vertical direction (left and right direction in FIG. 2D) by the microlenticular lens 4c.
  • the traveling direction does not change depending on the color component when passing through the spectral element array 100.
  • the light incident on the region where the micro lenticular lens 4c is not disposed travels straight without change in the traveling direction by the spectral element array 100.
  • 2D and 2E show how such light is incident.
  • the micro lenticular lens 4c is designed such that the vertical width is slightly wider than the interval (pixel pitch) between adjacent photosensitive cells.
  • the light receiving amount increases in the photosensitive cells 2a and 2b, and conversely, the light receiving amount decreases in the photosensitive cells 2c and 2d.
  • the intensity (light quantity) of light received by each photosensitive cell when it is assumed that there is no micro lenticular lens 4c and light incident on the image sensor 10 enters vertically will be described.
  • the light intensity is expressed using symbols.
  • the intensity of the visible light component of the cell incident light of the photosensitive cell is represented by the symbol “W”.
  • the visible light color component excluding each color component is referred to as “complementary color” of the color component
  • the complementary color light is referred to as “complementary color light”.
  • the complementary color of the first color component C1 is represented by C2 + C3
  • the complementary color of the second color component C2 is represented by C1 + C3
  • the complementary color of the third color component C3 is represented by C1 + C2.
  • the complementary color of the color component Cn (Cn is any one of C1, C2, and C3) and its intensity may be represented by Cn ⁇ .
  • the combination of the first to third color components is typically a combination of three primary colors of red (R), green (G), and blue (B), but divides visible light into three wavelength ranges. Any other combination of color components may be used.
  • the operation of the spectral element array 100 in this embodiment will be described. If it is assumed that there is no micro lenticular lens 4c and light is incident on the image pickup element 10 perpendicularly to the image pickup surface, the spectral element array 100 has the first incident light (intensity W) from the first photosensitive cell 2a. The light obtained by adding the light of the first color component (intensity C1) to the light other than the complementary color light (intensity C1 ⁇ ) of the color component is incident on the first photosensitive cell 2a.
  • the complementary color light (intensity C1 ⁇ ) of the first color component is added to the light obtained by removing the light (intensity C1) of the first color component from the cell incident light (intensity W) of the second photosensitive cell 2b. Light is incident on the second photosensitive cell 2b. Further, complementary color light (intensity C3 ⁇ ) of the third color component was added to light obtained by removing light of the third color component (intensity C3) from the cell incident light (intensity W) of the third photosensitive cell 2c. Light is incident on the third photosensitive cell 2c.
  • the light of the third color component (intensity C3) is added to the light obtained by removing the complementary color light (intensity C3 ⁇ ) of the third color component from the cell incident light (intensity W) of the fourth photosensitive cell 2d.
  • Light is incident on the fourth photosensitive cell 2d.
  • the intensity of light received by the photosensitive cells 2a to 2d in this case is indicated by symbols. Since the photosensitive cells 2a to 2d are configured to output photoelectric conversion signals (pixel signals) corresponding to the amount of received light, signals indicating C1, C2, and C3, that is, color signals, are calculated by calculation between these signals. Is obtained.
  • the micro lenticular lens 4c since the micro lenticular lens 4c is actually arranged, it is necessary to consider the influence of the micro lenticular lens 4c.
  • the amount of incident light on the photosensitive cells 2a and 2b increases and the amount of incident light on the photosensitive cells 2c and 2d decreases compared to the case where the micro lenticular lens 4c is not provided. If the rate of change in the amount of incident light is k1 (k1 is a real number satisfying 0 ⁇ k1 ⁇ 1), the amount of incident light to the photosensitive cells 2a and 2b is (1 + k1) times, and the amount to the photosensitive cells 2c and 2d is increased.
  • the amount of incident light is (1 ⁇ k1) times.
  • FIG. 2F shows the light received by the photosensitive cells 2a-2d in this case.
  • FIG. 2G shows the light received by the photosensitive cells 2a-2d in this case.
  • FIG. 2H shows the light received by the photosensitive cells 2a-2d when this effect is taken into account.
  • k3 is a real number satisfying 0 ⁇ k3 ⁇ 1, and is a coefficient representing the degree of relaxation of the spectrum as will be described later.
  • the influence of the micro lenticular lens 4c and the generation of oblique light affects only the vertical direction of imaging.
  • the photosensitive cells 2a and 2b are (1 + k1 ⁇ k2) times W ⁇ C1 ⁇ + C1 and W ⁇ C1 + C1 ⁇ , respectively, and the photosensitive cells 2c and 2d are respectively W ⁇ C3 + C3 ⁇ and W ⁇ C3 ⁇ + C3 ( It receives light having an intensity expressed by 1 ⁇ k1 + k2) times.
  • Each photosensitive cell outputs a photoelectric conversion signal (pixel signal) corresponding to these intensities.
  • S2a to S2d can be expressed by the following formulas 1 to 4, respectively.
  • D1 and D2 are expressed by the following formulas 5 and 6, respectively.
  • the influence on the horizontal direction of the micro lenticular lens 4c and the generation of oblique light will be considered. Since the micro lenticular lens 4c collects light only in the vertical direction, there is no influence in the horizontal direction. However, with respect to the influence of oblique light generation, as described above, the mixing of light increases due to the influence of crosstalk, and the color separability decreases. That is, the absolute values of D1 and D2 decrease due to the influence. When the degree of the decrease is represented by the symbol k3, D1 and D2 are represented by the following formulas 7 and 8, respectively.
  • D1 2k3 (1 + k1-k2) (2C1s-Ws)
  • D2 2k3 (1-k1 + k2) (2C3s-Ws)
  • the signals D1 and D2 expressed by Expressions 13 and 14 can be used as color difference signals.
  • color signals C1s, C2s, and C3s are obtained by matrix operation.
  • the color signal can be calculated by signal calculation based on the four photoelectric conversion signals S2a to S2d output from the photosensitive cells 2a to 2d.
  • the color difference signals D1 and D2 represented by the expressions 13 and 14 are affected by the micro lenticular lens 4c and the generation of oblique light. If k1, k2, and k3 are known, the signals when there is no such influence are reversed. Can be requested. Hereinafter, an example of how to obtain these coefficients will be described.
  • k1 is a parameter determined by the shape and arrangement of the micro lenticular lens 4c, and can be obtained by optical design.
  • k2 and k3 are parameters determined by the influence of oblique light, both are determined by oblique light, and thus have a correlation.
  • the values can be obtained by substituting the values of the signals S2a to S2d into the equations 15 to 17.
  • k3 can be determined from the value of k2 obtained using Equations 15 to 17 by previously obtaining the correlation between k2 and k3 through experiments or simulations. Since the amount of oblique light depends on the optical aperture value, the correlation between k2 and k3 can be stored in a database by, for example, an experiment for measuring a color change while changing the optical aperture value. Instead of creating a database, a function indicating the correlation between k2 and k3 may be obtained.
  • color information can be obtained by signal calculation using a spectral element without using a color filter that absorbs part of light, and each light detection is performed by generation of oblique light. Even if crosstalk of incident light to the cell increases, the influence can be corrected. As a result, light loss can be prevented, imaging sensitivity can be increased, and good color reproducibility can be realized.
  • the spectral element array 100 is illustrated as a continuous element that covers a plurality of photosensitive cells.
  • the spectral element array 100 includes a plurality of spatially separated spectral elements. It can be an aggregate.
  • a spectroscopic element for example, a high refractive index transparent member described later, a microprism, or the like can be used.
  • the spectral element array 100 according to the present disclosure may be configured in any manner as long as the photoelectric conversion signals represented by the above formulas 1 to 4 or 9 to 12 can be obtained. You may go.
  • the spectral element array 100 divides incident light into C1 light and C1 ⁇ light that is complementary color light for the first row in FIG. Although it is divided into C3 ⁇ light which is complementary color light, the method of spectroscopy is not limited to this example.
  • the spectral element array 100 may be configured so that the light sensing cells 2a to 2d receive light having different spectral distributions.
  • the spectral element array 100 may be configured such that the photosensitive cells 2a to 2d output signals S2a to S2d shown in the following equations 18 to 21, respectively.
  • FIG. 3 is a block diagram illustrating the overall configuration of the imaging apparatus according to the first embodiment.
  • the imaging apparatus according to the present embodiment is a digital electronic camera, and includes an imaging unit 300 and a signal processing unit 400 that generates a signal (image signal) indicating an image based on a signal transmitted from the imaging unit 300. ing. Note that the imaging device may generate only a still image or may have a function of generating a moving image.
  • the imaging unit 300 is a solid that converts an optical lens 12, an optical diaphragm 50, an optical filter 11, and optical information formed through the optical lens 12 and the optical filter 11 into an electrical signal by photoelectric conversion.
  • An image sensor 10 image sensor
  • the imaging unit 300 further generates a basic signal for driving the imaging device 10, receives an output signal from the imaging device 10, and sends it to the signal processing unit 400, and signal generation / reception.
  • an element driving unit 14 that drives the image sensor 10 based on the basic signal generated by the unit 13.
  • the optical lens 12 is a known lens and may be a lens unit having a plurality of lenses.
  • the optical filter 11 is a combination of a quartz low-pass filter for reducing moire patterns generated due to pixel arrangement and an infrared cut filter for removing infrared rays.
  • the image sensor 10 is typically a CMOS or a CCD, and is manufactured by a known semiconductor manufacturing technique.
  • the signal generation / reception unit 13 and the element driving unit 14 are configured by an LSI such as a CCD driver, for example.
  • the signal processing unit 400 generates an image signal by processing a signal transmitted from the imaging unit 300, a memory 30 for storing various data generated in the process of generating the image signal, and the generated signal And an image signal output unit 16 for sending the image signal to the outside.
  • the image signal generation unit 15 can be suitably realized by a combination of hardware such as a known digital signal processor (DSP) and software that executes image processing including image signal generation processing.
  • the memory 30 is configured by a DRAM or the like. The memory 30 records the signal transmitted from the imaging unit 300 and temporarily records the image data generated by the image signal generation unit 15 and the compressed image data. These image data are sent to a recording medium (not shown) or a display unit via the image signal output unit 16.
  • the imaging apparatus may include known components such as an electronic shutter, a viewfinder, a power source (battery), and a flashlight, but a description thereof is omitted because it is not particularly necessary for understanding the present embodiment.
  • the above configuration is merely an example, and publicly known elements can be used in appropriate combinations for the constituent elements other than the image sensor 10 and the image signal generation unit 15.
  • FIG. 4 is a diagram schematically illustrating a state in which light transmitted through the lens 12 is incident on the image sensor 10 during exposure.
  • the lens 12 can be generally composed of a plurality of lenses arranged in the optical axis direction, but is drawn as a single lens for simplicity.
  • a photosensitive cell array 200 including a plurality of photosensitive cells (pixels) arranged two-dimensionally is disposed on the imaging surface 10a of the imaging element 10. Each photosensitive cell is typically a photodiode, and outputs a photoelectric conversion signal (pixel signal) corresponding to the amount of incident light by photoelectric conversion.
  • Light (visible light) transmitted through the lens 12, the optical diaphragm 50, and the optical filter 11 is incident on the imaging surface 10a.
  • the intensity of light incident on the imaging surface 10a and the distribution (spectral distribution) of the amount of incident light for each wavelength range differ depending on the incident position.
  • the aperture value of the optical aperture 50 is larger, the oblique light increases, and as the aperture value is smaller, the oblique light decreases.
  • FIG. 5 is a plan view showing an example of a pixel array in the present embodiment.
  • the photosensitive cell array 200 includes, for example, a plurality of photosensitive cells arranged in a square lattice pattern on the imaging surface 10a as shown in FIG.
  • the photosensitive cell array 200 includes a plurality of unit blocks 40, and each unit block 40 includes four photosensitive cells 2a, 2b, 2c, and 2d. As shown in the figure, the four photosensitive cells 2a to 2d included in each unit block are close to each other, but even if they are separated from each other, by appropriately configuring the spectral element array 100 described later, Color information can be obtained.
  • Each unit block may include five or more photosensitive cells.
  • the spectral element array 100 including a plurality of spectral elements is arranged on the light incident side facing the photosensitive cell array 200.
  • one spectral element is provided for each of the four photosensitive cells included in each unit block.
  • the spectroscopic element in the present embodiment is an optical element that directs incident light in different directions according to the wavelength range by using diffraction of light generated at the boundary between two types of translucent members having different refractive indexes.
  • This type of spectroscopic element consists of a high refractive index transparent member (core part) formed of a material having a relatively high refractive index and a low contact with each side surface of the core part formed of a material having a relatively low refractive index. And a refractive index transparent member (cladding portion). Due to the difference in refractive index between the core part and the clad part, a phase difference occurs between the light transmitted through the core part and diffraction occurs.
  • a high refractive index transparent member may be referred to as a “spectral element” because spectroscopy is possible due to a difference in refractive index between the core portion and the cladding portion. Details of such a diffractive spectral element are disclosed in, for example, Japanese Patent No. 4264465.
  • the spectral element array 100 having the spectral elements as described above can be manufactured by performing thin film deposition and patterning by a known semiconductor manufacturing technique.
  • the material (refractive index), shape, size, arrangement pattern, and the like of the spectral elements it becomes possible to separate and integrate light in a desired wavelength range into individual photosensitive cells.
  • a signal corresponding to a necessary color component can be calculated from a set of photoelectric conversion signals output from each photosensitive cell.
  • FIG. 6A is a plan view showing the basic structure of the image sensor 10.
  • the spectroscopic elements 1a, 1b, 1c, and 1d are disposed to face the four photosensitive cells 2a, 2b, 2c, and 2d, respectively.
  • a plurality of patterns having such a basic structure are repeatedly formed on the imaging surface 10a.
  • the micro lenticular lenses 4c are arranged in the upper direction of the spectral element array 100 every other row in the vertical direction.
  • a micro lenticular lens 4c is disposed on the spectral elements 1a and 1b, and the micro lenticular lens 4c has a convex surface.
  • the imaging device 10 includes a semiconductor substrate 7 made of a material such as silicon, photosensitive cells 2a to 2d arranged inside the semiconductor substrate 7, and a surface side of the semiconductor substrate 7 (light is incident thereon).
  • the structure shown in FIGS. 6A to 6C can be manufactured by a known semiconductor manufacturing technique.
  • the image sensor 10 shown in FIGS. 6A to 6C has a surface irradiation type structure in which light is incident on each photosensitive cell from the wiring layer 5 side.
  • the imaging device 10 of the present embodiment is not limited to such a structure, and may have a back-illuminated structure that receives light from the opposite side of the wiring layer 5.
  • the spectroscopic elements 1a and 1b have a rectangular cross section that is long in the direction in which light is transmitted, and perform spectroscopic analysis using a difference in refractive index between itself and the transparent layer 6a.
  • the spectroscopic element 1a makes yellow (Ye) light incident on the opposing photosensitive cell 2a, and divides blue (B) light into the photosensitive cell 2b and the photosensitive cell (not shown) included in the adjacent unit block by half. Make it incident.
  • yellow (Ye) light is light composed of red (R) light and green (G) light.
  • the spectroscopic element 1b allows cyan (Cy) light to enter the opposing photosensitive cell 2b, and halves the R light to the photosensitive cell 2a and photosensitive cells (not shown) included in other adjacent unit blocks. Make incidents one by one.
  • the cyan (Cy) light is light composed of green (G) light and blue (B) light.
  • the length and thickness of the spectral elements 1a and 1b are designed so that the spectral elements 1a and 1b have the spectral characteristics described above.
  • the intensities of the R light and the G light included in the incident light do not always match, so the Ye light is not necessarily light that makes yellow, which is a mixed color of red and green, visible.
  • the intensities of the G light and the B light included in the incident light do not necessarily match, and thus the Cy light is not necessarily light that makes a cyan color, which is a mixed color of green and blue, visible.
  • the Cy light is light that makes green visible as in the G light.
  • the photosensitive cell 2a receives Ye light (WB) from the spectral element 1a, and R is also detected from the spectral element 1b and the spectral elements included in the adjacent unit block. Receive half light. Further, the photosensitive cell 2b receives Cy light (WR) from the spectral element 1b, and also receives half of B light from the spectral element 1a and from the spectral elements (not shown) included in the adjacent unit blocks.
  • WB Ye light
  • R is also detected from the spectral element 1b and the spectral elements included in the adjacent unit block. Receive half light.
  • the photosensitive cell 2b receives Cy light (WR) from the spectral element 1b, and also receives half of B light from the spectral element 1a and from the spectral elements (not shown) included in the adjacent unit blocks.
  • WR Cy light
  • the spectroscopic elements 1c and 1d also have a rectangular cross section that is long in the direction in which light is transmitted, and perform spectroscopic analysis by the difference in refractive index between itself and the transparent layer 6a.
  • the light-splitting element 1c causes magenta (M) light to enter the opposing photosensitive cell 2c, and halves green (G) light to the photosensitive cell 2d and the photosensitive cell (not shown) included in the adjacent unit block. Make it incident.
  • magenta (M) light is light composed of red (R) light and blue (B) light.
  • the spectral element 1d causes green (G) light to enter the opposing photosensitive cell 2d, and magenta (M) to the photosensitive cell 2c and the photosensitive cells (not shown) included in other adjacent unit blocks.
  • Light is incident half by one.
  • the length and thickness of the spectral elements 1c and 1d are designed so that the spectral elements 1c and 1d have the spectral characteristics described above.
  • the magenta light is not necessarily light for visually recognizing the magenta color that is a mixed color of red and blue.
  • the M light is light that causes red to be visually recognized, like the R light.
  • the photosensitive cells 2a to 2d are shown in FIGS. 6B and 6C. As shown, the light of the intensity represented by (W ⁇ B + R), (WR ⁇ B), (WG ⁇ M), and (WM ⁇ G) is received. However, in practice, the light shown in FIG. 6D is incident on the photosensitive cells 2a to 2d because it is affected by the micro lenticular lens 4c and further by the oblique light due to the opening of the optical diaphragm 50.
  • k1 is a coefficient determined by the optical structure of the microlenticular lens 4c
  • k2 and k3 are coefficients determined by the influence of oblique light.
  • signals corresponding to the intensities of red light, green light, and blue light are respectively represented by Rs, Gs, and Bs.
  • the signal Cs corresponding to the intensity of cyan light is Gs + Bs
  • the signal Ys corresponding to the intensity of yellow light is Rs + Gs
  • the signal Ms corresponding to the intensity of magenta light is Rs + Bs
  • the signal Ws corresponding to the intensity of white light is Rs + Gs + Bs.
  • the photosensitive cells 2a to 2d output photoelectric conversion signals 2a to 2d represented by the following equations 22 to 25, respectively.
  • S2a (1 + k1-k2) (Ws ⁇ k3 ⁇ Bs + k3 ⁇ Rs)
  • S2b (1 + k1-k2) (Ws ⁇ k3 ⁇ Rs + k3 ⁇ Bs)
  • S2c (1 ⁇ k1 + k2) (Ws ⁇ k3 ⁇ Gs + k3 ⁇ Ms)
  • S2d (1 ⁇ k1 + k2) (Ws ⁇ k3 ⁇ Ms + k3 ⁇ Gs)
  • FIG. 7 is a flowchart showing the procedure of color information generation processing in the present embodiment.
  • step S10 the image signal generation unit 15 acquires photoelectric conversion signals S2a to S2d. Subsequently, in step S12, the signal 2 (1 + k1 ⁇ k2) k3 (Rs ⁇ Bs) is calculated by the calculation of (S2a ⁇ S2b), and the signal 2 (1 ⁇ k1 + k2) k3 (Ms ⁇ Gs) is calculated by the calculation of (S2c ⁇ S2d). ) Is generated. Next, in step 14, the difference signals are added and subtracted to generate color difference signals D11 and D12 shown in the following equations 26 and 27.
  • step S16 S2a and S2b are added, and S2c and S2d are added to generate addition signals 2 (1 + k1-k2) Ws and 2 (1-k1 + k2) Ws shown in the following equations 28 and 29, respectively.
  • S2a + S2b 2 (1 + k1-k2) Ws
  • S2c + S2d 2 (1-k1 + k2) Ws
  • step S18 the color difference signals D11 and D12 are corrected using the difference result between the addition signals shown in k1, equations 28 and 29, and the correlation result between k2 and k3 measured in advance, and the color difference signal 2 (2Rs -Gs), 2 (2Bs-Gs).
  • the coefficient k1 and the database or function indicating the correlation between k2 and k3 are recorded in advance in a recording medium such as the memory 30.
  • step S22 RGB color signals, that is, Rs, Gs, and Bs are obtained from the two color difference signals and one luminance signal by matrix calculation.
  • the image signal generation unit 15 performs the above signal calculation for each unit block 40 of the photosensitive cell array 200 to thereby generate a signal (referred to as a “color image signal”) indicating an image of each color component of R, G, and B. Generate.
  • the generated color image signal is output to a recording medium (not shown) or a display unit by the image signal output unit 16.
  • the coefficients k1, k2, and k3 may be set to different values depending on the unit block 40. By setting these coefficients to appropriate values according to the position of the unit block 40, the color reproducibility can be further improved.
  • a color image signal is obtained by the addition / subtraction process using the photoelectric conversion signals S2a to S2d and the color signal correction process using k1, k2, and k3.
  • the imaging element 10 in the present embodiment since no optical element that absorbs light is used, the loss of light can be significantly reduced as compared with the conventional technique using a color filter or the like, and an optical diaphragm or the like can be used. Good color reproducibility can be achieved even when oblique light is generated.
  • the spectral element array 100 having a basic configuration of 2 rows and 2 columns is disposed facing the photosensitive cell array 200.
  • Micro lenticular lenses 4c that collect light in the vertical direction every other row are arranged on the top of the spectral element array 100.
  • a spectral element 1a that divides light into blue light and non-blue light is arranged in the first row and the first column.
  • a spectral element 1b that separates light into red light and non-red light is arranged.
  • a spectral element 1c that divides light into green light and non-green light is arranged.
  • a spectral element 1d that divides light into magenta light (that is, other than green light) and light other than magenta light (that is, green light) is disposed. Since such an array pattern of spectral elements is repeatedly formed on the imaging surface, even if the selection method of the unit block 40 in the photosensitive cell array 200 is changed one row or one column at a time, the four photoelectric conversion signals obtained are: It is always a combination of four signals represented by equations 22-25. That is, by performing the above signal calculation while shifting the pixel block to be calculated one row and one column at a time, it is possible to obtain information on each RGB color component by the number of pixels. This means that the resolution of the imaging device can be increased to the number of pixels.
  • the imaging apparatus of the present embodiment can generate a high-resolution color image in addition to higher sensitivity than the conventional imaging apparatus. Further, by correcting the color signal using the known coefficient k1, the coefficient k2 obtained by signal processing, and the coefficient k3 obtained from k2 based on the correlation between k2 and k3 obtained in advance through experiments or the like, It is also possible to eliminate the influence of crosstalk caused by oblique light.
  • the image signal generation unit 15 does not necessarily generate all the image signals of the three color components. It may be configured to generate only one or two color image signals depending on the application. Moreover, you may amplify, synthesize
  • each spectral element has the above-described spectral performance strictly, but their spectral performance may be slightly shifted. That is, the photoelectric conversion signal actually output from each photosensitive cell may be slightly deviated from the photoelectric conversion signals shown in Equations 22-25. Even when the spectral performance of each spectral element deviates from the ideal performance, good color information can be obtained by correcting the signal according to the degree of deviation.
  • the signal calculation performed by the image signal generation unit 15 in the present embodiment can be executed not by the imaging apparatus itself but by another device.
  • the color information can also be generated by causing an external device that has received an input of the photoelectric conversion signal output from the image sensor 10 to execute a program that defines the signal calculation processing in the present embodiment.
  • the image signal generation unit 15 that performs the above arithmetic processing may not be provided in the imaging apparatus.
  • the basic structure of the image sensor 10 is not limited to the configuration shown in FIGS. 6A to 6C.
  • the effect of this embodiment is not changed even if the spectral element 1a and the spectral element 1b are interchanged or the spectral element 1c and the spectral element 1d are interchanged.
  • the arrangement of the first row and the arrangement of the second row shown in FIG. 6A may be interchanged, and the spectral elements 1a, 1b and the spectral elements 1c, 1d are arranged in the column direction instead of the row direction. Even if it is done, the effectiveness is not changed. In that case, the micro lenticular lens 4c may be formed so as to extend in the column direction.
  • a cylindrical lens having a different curvature at its interface is used.
  • the present invention is not limited to this.
  • it may be one using a diffraction effect, and any optical element that collects incident light in the vertical direction as an optical function may be used.
  • such an optical element is referred to as a “light collecting element”.
  • the spectral characteristics of the spectral elements 1a to 1d may be different from the characteristics shown in FIGS. 6A to 6C.
  • the spectral elements 1a to 1d do not cause half of the light of some color components to enter the light-sensitive cells on both sides, but make light of the color components enter the adjacent light-sensitive cells on one side. Also good.
  • the color of the light that the spectral elements 1a to 1d split is not limited to the above example. If the spectral element array 100 is configured so that the spectral distribution of light received by the photosensitive cells 2a to 2d is different, color information can be obtained by signal processing according to the configuration.
  • the spectroscopic element is not limited as long as light of a desired color component can be incident on each photosensitive cell. It may be anything. For example, a microprism or the like may be used as the spectral element. It is also possible to use different types of spectral elements in combination.
  • the imaging apparatus according to the present embodiment is different from the imaging apparatus according to the first embodiment only in the configuration and signal processing of the spectral elements of the imaging element 10, and the other components are the same. The following description will be focused on the differences from the imaging apparatus of the first embodiment, and the description of overlapping points will be omitted.
  • FIG. 8A is a diagram illustrating a basic configuration of the image sensor 10 according to the present embodiment.
  • 8B is a cross-sectional view taken along the line A-A ′ of FIG. 8A
  • FIG. 8C is a cross-sectional view taken along the line B-B ′ of FIG. 8A.
  • the configuration of the spectral elements of the image sensor 10 in the present embodiment is that the spectral element 1a divides light into blue light and non-blue light in the first row and first column in the spectral element array 100. Is placed. In the second row and the second column, a spectral element 1b that divides light into red light and non-red light is arranged.
  • the spectral elements are not arranged on the photosensitive cells in the first row, second column and the second row, first column.
  • the photosensitive cells 2a to 2d have (WB), (W + B), (W + R), (W, respectively) as shown in FIGS. 8B and 8C.
  • Light having an intensity represented by (WR) is incident.
  • the image signal generation unit 15 uses the difference signals S2c-S2d and S2b-S2a as shown in the following equations 34 and 35 to generate the R color signal 2k3 (1-k1 + k2) Rs and the B color signal. 2k3 (1 + k1-k2) Bs are made respectively.
  • S2c ⁇ S2d 2k3 (1 ⁇ k1 + k2) Rs
  • S2b-S2a 2k3 (1 + k1-k2) Bs
  • a color image signal is obtained by the addition / subtraction process using the photoelectric conversion signals S2a to S2d and the color signal correction process using k1, k2, and k3.
  • the spectral element 1a faces the photosensitive cell 2a
  • the spectral element 1b faces the photosensitive cell 2d
  • the spectral element 1a faces the photosensitive cell 2b
  • the spectroscopic element 1b may be disposed so as to face the photosensitive cell 2c.
  • each spectral element may be configured to split light in the vertical direction instead of in the horizontal direction.
  • the micro lenticular lens 2b may be provided so as to extend in the vertical direction.
  • each spectral element is disposed so as to face one of the photosensitive cells, but a part of the spectral element is located on the boundary of the plurality of photosensitive cells. It may be arranged as follows. For example, a first spectral element that separates incident light in the horizontal direction is disposed on the boundary between the photosensitive cells 2a and 2b, and a second element that separates incident light in the horizontal direction on the boundary between the photosensitive cells 2c and 2d. A spectral element may be arranged. Even in such a configuration, if the spectral characteristics of the first and second spectral elements are different and, as a result, light having different spectral distributions is incident on the photosensitive cells 2a to 2d, signal processing is possible. Can generate color information.
  • Each spectral element separates incident light into light of three different wavelength ranges instead of separating incident light into primary colors (R, G, B) and complementary colors (Cy, Mg, Ye). You may have.
  • the incident light is separated into three components C1, C2, and C3, the C1 light is applied to the opposite photosensitive cell, the C2 light is applied to one adjacent photosensitive cell, and the other adjacent A spectral element that allows C3 light to enter the photosensitive cell may be used.
  • the solid-state imaging device and the imaging device of the present disclosure are effective for all cameras using the solid-state imaging device.
  • it can be used for consumer cameras such as digital still cameras and digital video cameras, and industrial solid-state surveillance cameras.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　固体撮像素子は、複数の光感知セルを含む光感知セルアレイと、複数の分光要素を含む分光要素アレイとを備える。光感知セルアレイは、複数の単位ブロック４０から構成され、各単位ブロック４０は、４つの光感知セル２ａ、２ｂ、２ｃ、２ｄを有する。さらに、光感知セル２ａ、２ｂを覆う領域に集光素子４ｃが設けられている。集光素子４ｃは、入射光を光感知セル２ａ、２ｂに集光する。

Description

固体撮像装置
　本願は、固体撮像装置の高感度化およびカラー化の技術に関する。
　近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の急速な進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られ、撮像素子の高性能化が進んでいる。特に近年では、固体撮像素子の配線層が形成された面（表面）側ではなく裏面側で受光する裏面照射型（ｂａｃｋｓｉｄｅ　ｉｌｌｕｍｉｎａｔｉｏｎ）の撮像素子を用いたカメラも開発され、その特性等が注目されている。その一方で撮像素子の多画素化に伴い、１画素の受ける光量が低下するため、カメラ感度が低下するという問題が起きている。
　カメラの感度低下は、多画素化以外にも、色分離用の色フィルタが用いられることにも原因がある。通常のカラーカメラでは、撮像素子の各光感知セルに対向して有機顔料を色素とする減色型の色フィルタが配置される。色フィルタは、利用する色成分以外の光を吸収するため、このような色フィルタを用いた場合、カメラの光利用率は低下する。例えば、赤（Ｒ）１画素、緑（Ｇ）２画素、青（Ｂ）１画素を基本構成とするベイヤー型の色フィルタ配列をもつカラーカメラでは、Ｒ、Ｇ、Ｂの各色フィルタは、それぞれＲ、Ｇ、Ｂ光のみを透過させ、残りの光を吸収する。したがって、ベイヤー配列によるカラーカメラにおいて利用される光は、入射光全体の約１／３である。
　上記の感度低下の問題に対して、入射光を多く取り込むために、撮像素子の受光部にマイクロレンズアレイを取り付けることによって受光量を増やす技術が特許文献１に開示されている。この技術によれば、マイクロレンズを用いて光感知セルに集光することにより、撮像素子における光開口率を実質的に向上させることができる。この技術は現在殆どの固体撮像素子に用いられている。この技術を用いれば、確かに実質的な開口率は向上するが、色フィルタによる光利用率低下の問題を解決するものではない。
　光利用率低下と感度低下の問題を同時に解決する技術として、多層膜の色フィルタ（ダイクロイックミラー）とマイクロレンズとを組み合わせて、光を最大限利用する技術が特許文献２に開示されている。この技術では、光を吸収せず特定波長域の光を選択的に透過させ、他の波長域の光を反射する複数のダイクロイックミラーが用いられる。これにより、光を損失することなく、個々の光感知部に必要な波長域の光のみを入射させることができる。
　図１０は、特許文献２に開示された撮像素子の撮像面に垂直な方向の断面を模式的に示す図である。この撮像素子は、撮像素子の表面および内部にそれぞれ配置された集光用のマイクロレンズ４ａ、４ｂと、遮光部２０と、光感知セル２ａ、２ｂ、２ｃと、ダイクロイックミラー１７、１８、１９とを備えている。ダイクロイックミラー１７、１８、１９は、光感知セル２ａ、２ｂ、２ｃにそれぞれ対向して配置されている。ダイクロイックミラー１７は、Ｒ光を透過させ、Ｇ光およびＢ光を反射する特性を有している。ダイクロイックミラー１８は、Ｇ光を反射し、Ｒ光およびＢ光を透過させる特性を有している。ダイクロイックミラー１９は、Ｂ光を反射し、Ｒ光およびＧ光を透過させる特性を有している。
　マイクロレンズ４ａに入射した光は、マイクロレンズ４ｂによって光束を調整された後、第１のダイクロイックミラー１７に入射する。第１のダイクロイックミラー１７は、Ｒ光を透過させるが、Ｇ光およびＢ光を反射する。第１のダイクロイックミラー１７を透過した光は、光感知セル２ａに入射する。第１のダイクロイックミラー１７で反射されたＧ光およびＢ光は、隣接する第２のダイクロイックミラー１８に入射する。第２のダイクロイックミラー１８は、入射した光のうちＧ光を反射し、Ｂ光を透過させる。第２のダイクロイックミラー１８で反射されたＧ光は、光感知セル２ｂに入射する。第２のダイクロイックミラー１８を透過したＢ光は、第３のダイクロイックミラー１９で反射され、その直下の光感知セル２ｃに入射する。このように、特許文献２に開示された撮像素子によれば、集光マイクロレンズ４ａに入射した可視光は、色フィルタによって吸収されず、そのＲＧＢの各成分が３つの光感知セルによって無駄なく検出される。
　上記の従来技術のほか、マイクロプリズムを用いることによって光の損失を防ぐことができる撮像素子が特許文献３に開示されている。この撮像素子は、マイクロプリズムによって赤、緑、青に分離された光をそれぞれ異なる光感知セルが受ける構造を有している。このような撮像素子によっても光の損失を防ぐことができる。
　しかしながら、特許文献２および特許文献３に開示された技術では、利用するダイクロイックミラーの数だけ、または分光する数だけ光感知セルを設ける必要がある。例えばＲＧＢ３色の光を検出するには、光感知セルの数を、従来の色フィルタを用いた場合の光感知セルの数と比較して３倍に増やさなければならないという課題がある。
　以上の技術に対し、光の損失は一部発生するが、ダイクロイックミラーと反射とを用いて光の利用率を高める技術が特許文献４に示されている。図１１は当該技術を用いた撮像素子の断面図の一部を示したものである。図示されるように、透光性の樹脂２１内にダイクロイックミラー２２、２３が配置される。ダイクロイックミラー２２はＧ光を透過させ、Ｒ光およびＢ光を反射する特性を有する。また、ダイクロイックミラー２３はＲ光を透過させ、Ｇ光およびＢ光を反射する特性を有する。
　このような構成により、Ｂ光は光感知部で受光できないが、Ｒ光、Ｇ光は以下の原理で全て検出できる。まずＲ光がダイクロイックミラー２２、２３に入射すると、ダイクロイックミラー２２では反射され、ダイクロイックミラー２３では透過する。ダイクロイックミラー２２で反射されたＲ光は、さらに透光性の樹脂２１と空気との界面でも反射され、ダイクロイックミラー２３に入射する。Ｒ光は、ダイクロイックミラー２３を透過し、さらにＲ光透過性を有する有機色素フィルタ２５およびマイクロレンズ２６も透過する。このようにして、一部が金属層２７で反射するものの、ダイクロイックミラー２２、２３に入射するＲ光の殆どが光感知部に入射する。一方、Ｇ光がダイクロイックミラー２２、２３に入射すると、ダイクロイックミラー２２では透過し、ダイクロイックミラー２３では反射される。ダイクロイックミラー２３で反射されたＧ光は、さらに透光性の樹脂２１と空気との界面で全反射し、ダイクロイックミラー２２に入射する。Ｇ光は、ダイクロイックミラー２２を透過し、さらにＧ光透過性を有する有機色素フィルタ２４およびマイクロレンズ２６も透過する。このようにして、一部が金属層２７で反射するものの、ダイクロイックミラー２２、２３に入射するＧ光の殆どが損失なく光感知部に入射する。
　上記の原理により、特許文献４に示された技術では、ＲＧＢ光のうち１色は損失するものの２色は殆ど損失なく受光できる。このため、ＲＧＢ３色分の光感知部を配置する必要はない。ここで、ダイクロイックミラーを有さず有機色素フィルタのみによってカラー化を行う場合と比較すると、有機色素フィルタのみによる場合の光利用率が約１／３であるのに対して、特許文献４に開示された技術を用いた場合の光利用率は全入射光の約２／３となる。すなわち、この技術によれば撮像感度が約２倍に向上する。しかしながら、この技術によっても、３色のうちの１色は損失することになる。
　一方、分光要素を用いて大幅に光感知セルを増やすことなく光利用率を高めるカラー化技術が特許文献５に開示されている。この技術によれば、光感知セルに対応して配置された分光要素によって光が波長域に応じて異なる光感知セルに入射する。個々の光感知セルは、複数の分光要素から異なる波長域の成分が重畳された光を受ける。その結果、各光感知セルから出力される光電変換信号を用いた信号演算によって色信号を生成することができる。
特開昭５９－９０４６７号公報 特開２０００－１５１９３３号公報 特開２００１－３０９３９５号公報 特開２００３－７８９１７号公報 国際公開第２００９／１５３９３７号
　従来技術では、光吸収タイプの色フィルタを用いれば、大幅に光感知セルを増やさずに済むが、光利用率が低くなるという問題点がある。また、特許文献２～４に開示された技術のように、ダイクロイックミラーやマイクロプリズムを用いれば、光利用率を高くすることができるが、光感知セルを大幅に増やさなければならないという課題がある。
　一方、特許文献５に開示された技術によれば、確かに光利用率の高いカラー画像が理論上得られるが、当該技術では撮像素子への入射光が撮像面に垂直に入射することを想定しているため、実際のカメラにこの技術を適用した場合、レンズの絞り量によっては斜め光の発生が顕著になり得る。その結果、各光感知セルへの入射光のクロストークが増加し、色信号成分に誤差が発生するという課題がある。
　本発明の一態様は、光感知セルを大幅に増やすことなく、光利用率を高くすることができ、かつ斜め光の発生により各光感知セルへの入射光のクロストークが増加しても、色再現性の良好なカラー撮像技術を提供する。
　上記の課題を解決するために、本発明の一態様に係る固体撮像素子は、各々が２行２列に配列された第１の光感知セル、第２の光感知セル、第３の光感知セル、および第４の光感知セルを含む複数の単位ブロックが撮像面に２次元状に配列された光感知セルアレイであって、各単位ブロックにおいて、前記第１の光感知セルは１行１列目に配置され、前記第２の光感知セルは２行１列目に配置され、前記第３の光感知セルは１行２列目に配置され、前記第４の光感知セルは２行２列目に配置されている光感知セルアレイと、第１の分光要素、および前記第１の分光要素とは分光特性の異なる第２の分光要素を含む分光要素アレイであって、前記第１の分光要素は、前記第１および第３の光感知セルの少なくとも一方に前記第１の分光要素の少なくとも一部が対向するように配置され、入射する光を波長に応じて前記第１および第３の光感知セルの配列方向に分離するように構成されており、前記第２の分光要素は、前記第２および第４の光感知セルの少なくとも一方に前記第２の分光要素の少なくとも一部が対向するように配置され、入射する光を波長に応じて前記第２および第４の光感知セルの配列方向に分離するように構成されている分光要素アレイと、各々が前記第１および第３の光感知セルを覆う領域に設けられ、前記第１および第３の光感知セルに集光するように構成された複数の集光素子とを備えている。
　他の実施形態に係る撮像装置は、上記の固体撮像素子と、前記固体撮像素子の撮像面に像を形成する光学系と、前記第１から第４の光感知セルからそれぞれ出力される第１から第４の光電変換信号に基づいて色信号を生成する信号処理部とを備える。
　上述の一般的かつ特定の態様は、システム、方法、およびコンピュータプログラムを用いて実装され、または、システム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
　本発明の一態様によれば、入射光を色成分に応じて異なる光感知セルに入射させる分光要素を用いることにより、光感知セルを大幅に増やすことなく、光利用率が高く、斜め光の発生により各光感知セルへの入射光のクロストークが増加しても、色再現性の良好なカラー撮像が可能となる。
本発明の一実施形態による固体撮像素子における光感知セルアレイ２００および分光要素アレイ１００との配置関係を模式的に示す斜視図である。 本発明の一実施形態による固体撮像素子の単位ブロックの一例を示す平面図である。 図２ＡにおけるＡ－Ａ’線断面図である。 図２ＡにおけるＢ－Ｂ’線断面図である。 図２ＡにおけるＣ－Ｃ’線断面図である。 図２ＡにおけるＤ－Ｄ’線断面図である。 マイクロレンチキュラーレンズの集光効果を考慮した場合に光感知セル２ａ～２ｄが受ける光を示す図である。 マイクロレンチキュラーレンズの集光効果および垂直斜め光の影響を考慮した場合に光感知セル２ａ～２ｄが受ける光を示す図である。 さらに水平斜め光の影響を考慮した場合に光感知セル２ａ～２ｄが受ける光を示す図である。 実施形態１の撮像装置の概略構成を示すブロック図である。 実施形態１におけるレンズと撮像素子を模式的に示す図である。 実施形態１における撮像素子の画素配列の一例を示す図である。 実施形態１における撮像素子の基本構造を示す平面図である。 図６ＡにおけるＡ－Ａ´線断面図である。 図６ＡにおけるＢ－Ｂ´線断面図である。 実施形態１における各光感知セルに入射する光の強度を示す図である。 実施形態１における色情報生成処理の手順を示すフローチャートである。 実施形態２における撮像素子の基本構造を示す平面図である。 図８ＡにおけるＡ－Ａ´線断面図である。 図８ＡにおけるＢ－Ｂ´線断面図である。 実施形態２における各光感知セルに入射する光の強度を示す図である。 分光要素の他の例を示す図である。 マイクロレンズと多層膜フィルタ（ダイクロイックミラー）とを用いた従来の撮像素子の断面図である。 多層膜フィルタ（ダイクロイックミラー）と反射とを用いた従来の撮像素子の断面図である。
　本発明の例示的な実施形態の概要は以下のとおりである。
　（１）本発明の一態様に係る固体撮像素子は、各々が２行２列に配列された第１の光感知セル、第２の光感知セル、第３の光感知セル、および第４の光感知セルを含む複数の単位ブロックが撮像面に２次元状に配列された光感知セルアレイであって、各単位ブロックにおいて、前記第１の光感知セルは１行１列目に配置され、前記第２の光感知セルは２行１列目に配置され、前記第３の光感知セルは１行２列目に配置され、前記第４の光感知セルは２行２列目に配置されている光感知セルアレイと、第１の分光要素、および前記第１の分光要素とは分光特性の異なる第２の分光要素を含む分光要素アレイであって、前記第１の分光要素は、前記第１および第３の光感知セルの少なくとも一方に前記第１の分光要素の少なくとも一部が対向するように配置され、入射する光を波長に応じて前記第１および第３の光感知セルの配列方向に分離するように構成されており、前記第２の分光要素は、前記第２および第４の光感知セルの少なくとも一方に前記第２の分光要素の少なくとも一部が対向するように配置され、入射する光を波長に応じて前記第２および第４の光感知セルの配列方向に分離するように構成されている分光要素アレイと、各々が前記第１および第３の光感知セルを覆う領域に設けられ、前記第１および第３の光感知セルに集光するように構成された複数の集光素子とを備えている。
　（２）ある態様において、前記第１の分光要素は、前記第１または第３の光感知セルに対向し、前記第１の光感知セルおよび前記第３の光感知セルに異なる波長域の光が入射するように配置され、前記第２の分光要素は、前記第２または第４の光感知セルに対向し、前記第２の光感知セルおよび前記第４の光感知セルに異なる波長域の光が入射するように配置されている。
　（３）項目（２）に記載の固体撮像素子のある態様において、前記第１の分光要素は、前記第３の光感知セルに第１波長域の光を入射させ、前記第１の光感知セルに前記第１波長域の光の補色光を入射させ、前記第２の分光要素は、前記第２の光感知セルに第２波長域の光を入射させ、前記第４の光感知セルに前記第２波長域の光の補色光を入射させる。
　（４）項目（１）に記載の固体撮像素子のある態様において、前記分光要素アレイは、さらに第３の分光要素および第４の分光要素を含み、前記第１から第４の分光要素は、それぞれ前記第１から第４の光感知セルに対向して配置され、前記第１から第４の光感知セルに異なる波長域の光を入射させるように設計されている。
　（５）項目（４）に記載の固体撮像素子のある態様において、前記第１から第４の分光要素は、入射する光を原色光と補色光とに分離する特性、または入射光を異なる３つの波長域の光に分離する特性を有している。
　（６）項目（４）または（５）に記載の固体撮像素子のある態様において、前記第１の分光要素は、前記第３の光感知セルに第１波長域の光を入射させ、前記第１の光感知セルに前記第１波長域の光の補色光を入射させ、前記第３の分光要素は、前記第１の光感知セルに第２波長域の光を入射させ、前記第３の光感知セルに前記第２波長域の光の補色光を入射させる。
　（７）項目（４）から（６）のいずれかに記載の固体撮像素子のある態様において、前記第１の分光要素は、前記第１の光感知セルに第１波長域の光を入射させ、前記第３の光感知セルに前記第１波長域の光の補色光を入射させ、前記第３の分光要素は、前記第１の光感知セルに前記第１波長域の光を入射させ、前記第３の光感知セルに前記第１波長域の光の補色光を入射させる。
　（８）項目（５）から（７）のいずれかに記載の固体撮像素子のある態様において、前記第２の分光要素は、前記第４の光感知セルに第３波長域の光を入射させ、前記第２の光感知セルに前記第３波長域の光の補色光を入射させ、前記第４の分光要素は、前記第４の光感知セルに前記第３波長域の光を入射させ、前記第２の光感知セルに前記第３波長域の光の補色光を入射させる。
　（９）項目（８）に記載の固体撮像素子のある態様において、前記第１波長域は、赤、緑、青の波長域の１つであり、前記第２波長域は、赤、緑、青の波長域の他の１つであり、前記第３波長域は、赤、緑、青の波長域の残りの１つである。
　（１０）項目（１）から（９）のいずれかに記載の固体撮像素子のある態様において、前記複数の集光素子の各々は、光入射側に曲面を有するシリンドリカルレンズである。
　（１１）本発明の一態様に係る撮像装置は、項目（１）から（１０）のいずれかに記載の固体撮像素子と、前記固体撮像素子の撮像面に像を形成する光学系と、前記第１から第４の光感知セルからそれぞれ出力される第１から第４の光電変換信号に基づいて色信号を生成する信号処理部とを備える。
　（１２）項目（１１）に記載の撮像装置のある態様において、前記信号処理部は、前記第１の光感知セルから出力される信号と前記第３の光感知セルから出力される信号との加算演算を含む処理によって生成される第１の輝度信号、および前記第２の光感知セルから出力される信号と前記第４の光感知セルから出力される信号との加算演算を含む処理によって生成される第２の輝度信号を生成し、前記第１の輝度信号と前記第２の輝度信号との差分結果に基づいて、前記色信号を補正する。
　（１３）項目（１２）に記載の撮像装置のある態様において、前記集光素子による集光特性を規定する係数ｋ１、および前記固体撮像素子に入射する斜め光の影響による前記係数ｋ１の減少量を示す補正係数ｋ２と前記斜め光の影響による前記第１および第２の分光要素の分光特性の低下の程度を示す係数ｋ３との相関関係を示す情報が記録された記録媒体をさらに備えている。
　（１４）項目（１３）に記載の撮像装置のある態様において、前記信号処理部は、前記第１の輝度信号と前記第２の輝度信号との差分結果、前記係数ｋ１、および前記相関関係を示す情報に基づいて、前記色信号を補正する。
　（１５）項目（１２）から（１４）のいずれかに記載の撮像装置のある態様において、前記信号処理部は、前記第１の光電変換信号と前記第３の光電変換信号との差分を示す第１の差信号と、前記第２の光電変換信号と前記第４の光電変換信号との差分を示す第２の差信号とを用いた信号演算により、第１の色差信号および第２の色差信号を生成し、前記第１の輝度信号と前記第２の輝度信号との差分結果を用いて、前記第１の色差信号および前記第２の色差信号を補正する。
　以下、本発明の実施形態を具体的に説明する。
　特許文献５に開示された技術では、光が撮像素子の撮像面に垂直に入射することを想定しているため、実際のカメラにこの技術を適用した場合、斜め光の影響により、信号処理によって生成される色信号に誤差が生じ得る。例えば絞り量を大きくすることによって画像のボケの程度が増加したとき、本来白色になるべき被写体が赤く着色されるといった現象が生じ得る。この現象は、絞りの開口を大きくするほど撮像素子に入射する光に占める斜め光の割合が増加するため、各光感知セルに入射する光の波長域ごとの強度分布が想定からずれることに起因している。
　本願発明者らは、上記の課題を新たに見出し、特許文献５に開示された構成とは異なる光学系および信号処理を利用することにより、この課題を解決できることを見出した。以下、図１、２Ａ～２Ｈを参照しながら、本発明の実施形態における基本原理を説明する。なお、以下の説明において、波長域または色成分の異なる光を空間的に分離することを「分光」と称することがある。
　本発明の実施形態による固体撮像素子（以下、単に「撮像素子」と呼ぶことがある。）は、撮像面に２次元状に配列された複数の光感知セル（画素）を含む光感知セルアレイと、複数の分光要素を含む分光要素アレイとを備えている。図１は、固体撮像素子１０の撮像面に形成された光感知セルアレイ２００および分光要素アレイ１００の一部を模式的に示す斜視図である。分光要素アレイ１００は、光感知セルアレイ２００に対向して光が入射する側に配置されている。なお、光感知セル２の配列、形状、サイズなどはこの図の例に限られず、公知のどのような配列、形状、サイズであってもよい。また、分光要素アレイ１００は、便宜上、四角柱で表されているが、実際はこのような形状を有しているわけではなく、様々な構造をとり得る。
　各光感知セル２は、光を受けると光電変換によって受けた光の強度（入射光量）に応じた電気信号（以下、「光電変換信号」または「画素信号」と呼ぶこととする。）を出力する。本発明の実施形態では、各光感知セル２は、分光要素アレイ１００によって進行方向が変化した複数の波長域（色成分）の光を受ける。その結果、各光感知セル２が受ける光は、分光要素が存在しないと仮定した場合に受ける光とは異なる分光分布（波長域ごとの強度分布）を有する。
　以下、図２Ａ～図２Ｅを参照しながら、撮像素子１０の基本構造を説明する。
　図２Ａは、光感知セルアレイ２００の基本画素構成（単位ブロック）４０の一例を示す平面図である。光感知セルアレイ２００は、各々が４つの光感知セル２ａ、２ｂ、２ｃ、２ｄを含む複数の単位ブロック４０が撮像面上に２次元状に配列された構造を有している。図示される例では、１つの単位ブロック内に４つの光感知セルが２行２列に配置されている。また、同図において、４ｃは垂直方向にのみ集光するように構成された横型マイクロレンチキュラーレンズである。このマイクロレンチキュラーレンズは、光が入射する側に曲面を有するシリンドリカルレンズであり、垂直方向に１行おきに配置されている。ここで、図２Ａにおける左右方向を「水平方向」と呼び、上下方向を「垂直方向」と呼ぶことにする。
　図２Ｂ、２Ｃは、それぞれ図２ＡにおけるＡＡ´線断面、ＢＢ´線断面を模式的に示す図である。図２Ｂ、２Ｃは、撮像素子１０に入射した光が分光要素アレイ１００を透過する際に色成分によって進行方向が変化し、結果として各光感知セルが受ける光の分光分布が互いに異なっていることを示している。ここで、分光要素アレイ１００が存在しないと仮定した場合に各光感知セルが受ける光をその光感知セルの「セル入射光」と呼ぶこととする。１つの単位ブロックに含まれる光感知セル２ａ～２ｄが近接している場合、それらの光感知セルのセル入射光に含まれる光の強度および分光分布はほぼ同一であると考えることができる。
　図２Ｄ、２Ｅは、それぞれ図２ＡにおけるＣＣ´線断面、ＤＤ´線断面を模式的に示す図である。撮像素子１０に入射した光は、マイクロレンチキュラーレンズ４ｃにより、垂直方向（図２Ｄでは左右方向）に集光される。垂直方向に関しては、分光要素アレイ１００を透過する際に色成分によって進行方向が変化するわけではない。また、マイクロレンチキュラーレンズ４ｃが配置されていない領域に入射する光は、分光要素アレイ１００によって進行方向が変化することなく、そのまま直進する。図２Ｄ、２Ｅは、そのような光の入射の様子を示している。ここで、マイクロレンチキュラーレンズ４ｃは、垂直方向の幅が隣接する光感知セルの間隔（画素ピッチ）よりもやや広くなるように設計されている。その結果、マイクロレンチキュラーレンズ４ｃが存在しない場合に比べ、光感知セル２ａ、２ｂでは受光量が増加し、逆に光感知セル２ｃ、２ｄでは受光量が減少することになる。
　まず最初に、マイクロレンチキュラーレンズ４ｃが無く、撮像素子１０への入射光が垂直に入射するものと仮定した場合の各光感知セルが受ける光の強度（光量）を説明する。ここでは、光の強度を記号を用いて表す。光感知セルのセル入射光の可視光成分の強度を記号「Ｗ」で表すこととする。本明細書では、セル入射光に含まれる可視光成分を、大別して第１の色成分、第２の色成分、第３の色成分に分類する。第１～第３の色成分の強度をそれぞれＣ１、Ｃ２、Ｃ３と表すと、Ｗ＝Ｃ１＋Ｃ２＋Ｃ３となる。
　以下の説明では、各色成分の強度だけでなく、色成分自体をＣ１、Ｃ２、Ｃ３で表すことがある。また、各色成分を除く可視光の色成分をその色成分の「補色」と呼び、補色の光を「補色光」と呼ぶ。すると、第１の色成分Ｃ１の補色はＣ２＋Ｃ３、第２の色成分Ｃ２の補色はＣ１＋Ｃ３、第３の色成分Ｃ３の補色はＣ１＋Ｃ２で表される。以下では、便宜上、色成分Ｃｎ（ＣｎはＣ１、Ｃ２、Ｃ３のいずれか）の補色およびその強度をＣｎ＾で表す場合がある。第１～第３の色成分の組み合わせは、典型的には赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の組み合わせであるが、可視光を３つの波長域に分けるものであれば他の色成分の組み合わせであってもよい。
　以上を前提として、本実施形態における分光要素アレイ１００の働きを説明する。マイクロレンチキュラーレンズ４ｃが無く、撮像素子１０へ光が撮像面に垂直に入射することを仮定すれば、分光要素アレイ１００は、第１の光感知セル２ａのセル入射光（強度Ｗ）から第１の色成分の補色光（強度Ｃ１＾）を除いた光に第１の色成分の光（強度Ｃ１）を加えた光を第１の光感知セル２ａに入射させる。また、第２の光感知セル２ｂのセル入射光（強度Ｗ）から第１の色成分の光（強度Ｃ１）を除いた光に第１の色成分の補色光（強度Ｃ１＾）を加えた光を第２の光感知セル２ｂに入射させる。さらに、第３の光感知セル２ｃのセル入射光（強度Ｗ）から第３の色成分の光（強度Ｃ３）を除いた光に第３の色成分の補色光（強度Ｃ３＾）を加えた光を第３の光感知セル２ｃに入射させる。また、第４の光感知セル２ｄのセル入射光（強度Ｗ）から第３の色成分の補色光（強度Ｃ３＾）を除いた光に第３の色成分の光（強度Ｃ３）を加えた光を第４の光感知セル２ｄに入射させる。図２Ｂ～２Ｅには、この場合に光感知セル２ａ～２ｄが受ける光の強度が記号で示されている。光感知セル２ａ～２ｄは、受光量に応じた光電変換信号（画素信号）を出力するように構成されているので、これらの信号間演算により、Ｃ１、Ｃ２、Ｃ３を示す信号、すなわち色信号が得られる。
　しかしながら、実際にはマイクロレンチキュラーレンズ４ｃが配置されているため、マイクロレンチキュラーレンズ４ｃの影響を考える必要がある。マイクロレンチキュラーレンズ４ｃが配置されている場合、マイクロレンチキュラーレンズ４ｃが無い場合と比べて、光感知セル２ａ、２ｂへの入射光量は増加し、光感知セル２ｃ、２ｄへの入射光量は減少する。これらの入射光量の変化の割合をｋ１（ｋ１は０＜ｋ１＜１を満たす実数）とすると、光感知セル２ａ、２ｂへの入射光量は（１＋ｋ１）倍となり、光感知セル２ｃ、２ｄへの入射光量は（１－ｋ１）倍となる。すなわち、光感知セルアレイ２００全体で考えると、奇数行目の画素配列部と偶数行目の画素配列部とで入射光量に差が発生する。図２Ｆは、この場合に光感知セル２ａ～２ｄが受ける光を示している。
　ここで、さらに斜め光の影響も考慮する必要がある。垂直方向の斜め光が発生すると、逆にマイクロレンチキュラーレンズ４ｃによる上記の入射光量差は緩和することになる。その緩和の程度を記号ｋ２（ｋ２は０＜ｋ２＜ｋ１を満たす実数）で表すと、光感知セル２ａ、２ｂでは入射光量が（１＋ｋ１－ｋ２）倍となり、光感知セル２ｃ、２ｄでは入射光量が（１－ｋ１＋ｋ２）倍となる。図２Ｇは、この場合に光感知セル２ａ～２ｄが受ける光を示している。
　さらに、水平方向の光感知セル間でも斜め光によるクロストークの影響で光の混合が増し、色の分離性が低下する。すなわち、分光要素アレイ２００による図２Ｂに示すＣ１光とＣ１＾光の分離、および図２Ｃに示すＣ３光とＣ３＾光の分離が不完全になり、その結果、実際に生成される色信号と期待される信号との間に誤差が生じる。図２Ｈは、この影響を考慮した場合に光感知セル２ａ～２ｄが受ける光を示している。ここで、ｋ３は、０＜ｋ３＜１を満たす実数であり、後述するように分光の緩和の程度を表す係数である。
　以上の構成およびマイクロレンチキュラーレンズ４ｃ、斜め光発生の影響を考慮し、本実施形態における信号処理について説明する。まず、マイクロレンチキュラーレンズ４ｃおよび斜め光発生の影響が撮像の垂直方向のみに影響すると仮定する。すると、光感知セル２ａ、２ｂは、それぞれＷ－Ｃ１＾＋Ｃ１、Ｗ－Ｃ１＋Ｃ１＾の（１＋ｋ１－ｋ２）倍、光感知セル２ｃ、２ｄは、それぞれＷ－Ｃ３＋Ｃ３＾、Ｗ－Ｃ３＾＋Ｃ３の（１－ｋ１＋ｋ２）倍で表される強度の光を受ける。各光感知セルは、これらの強度に応じた光電変換信号（画素信号）を出力する。ここで、光感知セル２ａ～２ｄが出力する光電変換信号をそれぞれＳ２ａ～Ｓ２ｄとし、強度Ｗに対応する信号をＷｓ、強度Ｃ１に対応する信号をＣ１ｓ、強度Ｃ２に対応する信号をＣ２ｓ、強度Ｃ３に対応する信号をＣ３ｓ、さらに強度Ｃ１＾に対応する信号をＣ１＾ｓ（＝Ｃ２ｓ＋Ｃ３ｓ）、強度Ｃ２＾に対応する信号をＣ２＾ｓ（＝Ｃ１ｓ＋Ｃ３ｓ）、強度Ｃ３＾に対応する信号をＣ３＾ｓ（＝Ｃ１ｓ＋Ｃ２ｓ）とし、Ｗｓ＝Ｃ１ｓ＋Ｃ２ｓ＋Ｃ３ｓとする。すると、Ｓ２ａ～Ｓ２ｄは、それぞれ以下の式１～４で表すことができる。
　（式１）　Ｓ２ａ＝（１＋ｋ１－ｋ２）（Ｗｓ－Ｃ１＾ｓ＋Ｃ１ｓ）＝２（１＋ｋ１－ｋ２）Ｃ１ｓ
　（式２）　Ｓ２ｂ＝（１＋ｋ１－ｋ２）（Ｗｓ－Ｃ１ｓ＋Ｃ１＾ｓ）＝２（１＋ｋ１－ｋ２）Ｃ１＾ｓ
　（式３）　Ｓ２ｃ＝（１－ｋ１＋ｋ２）（Ｗｓ－Ｃ３ｓ＋Ｃ３＾ｓ）＝２（１－ｋ１＋ｋ２）Ｃ３＾ｓ
　（式４）　Ｓ２ｄ＝（１－ｋ１＋ｋ２）（Ｗｓ－Ｃ３＾ｓ＋Ｃ３ｓ）＝２（１－ｋ１＋ｋ２）Ｃ３ｓ
　信号Ｓ２ａ、Ｓ２ｂの差分をＤ１とし、信号Ｓ２ｃ、Ｓ２ｄの差分をＤ２とすると、Ｄ１、Ｄ２は、それぞれ以下の式５、６で表される。
　（式５）　Ｄ１＝Ｓ２ａ－Ｓ２ｂ＝２（１＋ｋ１－ｋ２）（Ｃ１ｓ－Ｃ１＾ｓ）
　（式６）　Ｄ２＝Ｓ２ｄ－Ｓ２ｃ＝２（１－ｋ１＋ｋ２）（Ｃ３ｓ－Ｃ３＾ｓ）
　ここで、さらにマイクロレンチキュラーレンズ４ｃおよび斜め光発生の水平方向への影響を考える。マイクロレンチキュラーレンズ４ｃは垂直方向にのみ集光するので、水平方向への影響はない。ところが、斜め光発生の影響に関しては、上記のようにクロストークの影響で光の混合が増し、色の分離性が低下する。すなわち、その影響により上記Ｄ１、Ｄ２の絶対値が減少する。その減少の程度を記号ｋ３で表すと、Ｄ１、Ｄ２は、それぞれ以下の式７、８で表される。
　（式７）　Ｄ１＝ｋ３（Ｓ２ａ－Ｓ２ｂ）＝２ｋ３（１＋ｋ１－ｋ２）（Ｃ１ｓ－Ｃ１＾ｓ）
　（式８）　Ｄ２＝ｋ３（Ｓ２ｄ－Ｓ２ｃ）＝２ｋ３（１－ｋ１＋ｋ２）（Ｃ３ｓ－Ｃ３＾ｓ）
　なお、式７、８において信号（Ｓ２ａ－Ｓ２ｂ）、（Ｓ２ｄ－Ｓ２ｃ）をｋ３倍することは、式１～４におけるＣ１ｓ、Ｃ１＾ｓ、Ｃ３ｓ、Ｃ３＾ｓのそれぞれをｋ３倍することに相当する。すなわち、式１～４の代わりに以下の式９～式１２を用いることに相当する。
　（式９）　Ｓ２ａ＝（１＋ｋ１－ｋ２）（Ｗｓ－ｋ３Ｃ１＾ｓ＋ｋ３Ｃ１ｓ）＝（１＋ｋ１－ｋ２）｛（１－ｋ３）Ｗｓ＋２ｋ３Ｃ１ｓ｝
　（式１０）　Ｓ２ｂ＝（１＋ｋ１－ｋ２）（Ｗｓ－ｋ３Ｃ１ｓ＋ｋ３Ｃ１＾ｓ）＝（１＋ｋ１－ｋ２）｛（１－ｋ３）Ｗｓ＋２ｋ３Ｃ１＾ｓ｝
　（式１１）　Ｓ２ｃ＝（１－ｋ１＋ｋ２）（Ｗｓ－ｋ３Ｃ３ｓ＋ｋ３Ｃ３＾ｓ）＝（１－ｋ１＋ｋ２）｛（１－ｋ３）Ｗｓ＋２ｋ３Ｃ３＾ｓ｝
　（式１２）　Ｓ２ｄ＝（１－ｋ１＋ｋ２）（Ｗｓ－ｋ３Ｃ３＾ｓ＋ｋ３Ｃ３ｓ）＝（１－ｋ１＋ｋ２）｛（１－ｋ３）Ｗｓ＋２ｋ３Ｃ３ｓ｝
　さらに、Ｃ１＾ｓ＝Ｗｓ－Ｃ１ｓ、Ｃ３＾ｓ＝Ｗｓ－Ｃ３ｓの関係により、式７、８からそれぞれ以下の式１３、１４が得られる。
　（式１３）　　Ｄ１＝２ｋ３（１＋ｋ１－ｋ２）（２Ｃ１ｓ－Ｗｓ）
　（式１４）　Ｄ２＝２ｋ３（１－ｋ１＋ｋ２）（２Ｃ３ｓ－Ｗｓ）
式１３、１４で表される信号Ｄ１、Ｄ２は、色差信号として用いることができる。
　一方、Ｓ２ａとＳ２ｂとの加算、Ｓ２ｃとＳ２ｄとの加算、およびＳ２ａ～Ｓ２ｄの加算のいずれかの演算により、以下の式１５～１７に示すように、最大でセル入射光の強度Ｗの４倍に相当する信号が得られる。これらの信号は、入射光の全てが損失なく光電変換された信号に相当するため、輝度信号として利用できる。特に式１７に示される信号を輝度信号として利用すれば、画像取得の感度として理想的である。
　（式１５）　Ｓ２ａ＋Ｓ２ｂ＝２（１＋ｋ１－ｋ２）Ｗｓ
　（式１６）　Ｓ２ｃ＋Ｓ２ｄ＝２（１－ｋ１＋ｋ２）Ｗｓ
　（式１７）　Ｓ２ａ＋Ｓ２ｂ＋Ｓ２ｃ＋Ｓ２ｄ＝４Ｗｓ
　式１５～式１７のいずれかの演算によって求められる輝度信号と、式１３、１４によって求められる２つの色差信号が得られれば、行列演算により、カラー信号Ｃ１ｓ、Ｃ２ｓ、Ｃ３ｓ（例えばＲＧＢ信号）を求めることができる。すなわち、光感知セル２ａ～２ｄから出力される４つの光電変換信号Ｓ２ａ～Ｓ２ｄに基づく信号演算によってカラー信号を算出できる。
　ここで、式１３、１４で表される色差信号Ｄ１、Ｄ２はマイクロレンチキュラーレンズ４ｃおよび斜め光発生の影響を受けるが、ｋ１、ｋ２、ｋ３が分かれば、それらの影響がない場合の信号を逆に求めることができる。以下、それらの係数の求め方の例を説明する。ｋ１はマイクロレンチキュラーレンズ４ｃの形状や配置によって決まるパラメータであり、光学設計により求めることができる。ｋ２、ｋ３は斜め光の影響によって決まるパラメータであるが、共に斜め光によって決まるものなので、相関関係がある。ｋ２については、ｋ１が既知であれば、信号Ｓ２ａ～Ｓ２ｄの値を式１５～１７に代入することにより、その値を求めることができる。ｋ３については、ｋ２とｋ３との相関関係を予め実験またはシミュレーションによって求めておくことにより、式１５～１７を利用して得られたｋ２の値から決定できる。斜め光の量は光学絞り値に依存するため、ｋ２とｋ３との相関関係は、例えば光学絞り値を変えながら色変化を測定する実験等により、データベース化しておくことができる。データベース化しておく代わりにｋ２とｋ３との相関関係を示す関数を求めておいてもよい。
　本実施形態の撮像素子１０によれば、光の一部を吸収する色フィルタを用いることなく、分光要素を用いて信号演算によってカラー情報を得ることができる上、斜め光の発生により各光感知セルへの入射光のクロストークが増加しても、その影響を補正できる。その結果、光の損失を防ぐことができ、撮像感度を高め、良好な色再現性を実現できる。
　なお、図１および図２Ｂ、２Ｃでは、分光要素アレイ１００は複数の光感知セルを覆う連続的な要素として描かれているが、分光要素アレイ１００は、空間的に分離した複数の分光要素の集合体であり得る。このような分光要素として、例えば後述する高屈折率透明部材や、マイクロプリズムなどが用いられ得る。本開示における分光要素アレイ１００は、上記の式１～４あるいは式９～１２で表される光電変換信号が得られればどのように構成されていてもよく、例えばホログラム素子などを用いて分光を行ってもよい。
　また、上記の例では、分光要素アレイ１００は、図２Ｈにおける１行目に関しては入射光をＣ１光とその補色光であるＣ１＾光に分け、２行目に関しては入射光をＣ３光とその補色光であるＣ３＾光に分けているが、分光の仕方はこの例に限定されない。光感知セル２ａ～２ｄが互いに異なる分光分布の光を受けるように分光要素アレイ１００が構成されていればよい。例えば、光感知セル２ａ～２ｄが、以下の式１８～２１に示す信号Ｓ２ａ～Ｓ２ｄをそれぞれ出力するように分光要素アレイ１００が構成されていてもよい。
　（式１８）　Ｓ２ａ＝（１＋ｋ１－ｋ２）（Ｗｓ－ｋ３Ｃ１ｓ＋ｋ３Ｃ２ｓ）
　（式１９）　Ｓ２ｂ＝（１＋ｋ１－ｋ２）（Ｗｓ－ｋ３Ｃ２ｓ＋ｋ３Ｃ１ｓ）
　（式２０）　Ｓ２ｃ＝（１－ｋ１＋ｋ２）（Ｗｓ－ｋ３Ｃ３ｓ＋ｋ３Ｃ３ｓ＾）
　（式２１）　Ｓ２ｄ＝（１－ｋ１＋ｋ２）（Ｗｓ－ｋ３Ｃ３ｓ＾＋ｋ３Ｃ３ｓ）
　このような信号Ｓ２ａ～Ｓ２ｄが出力される場合の具体例は、以下の実施形態１において説明する。以下、図３から図８を参照しながら、より具体的な実施形態を説明する。以下の説明において、共通または対応する要素には同一の符号を付している。
　（実施形態１）
　図３は、第１の実施形態による撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部３００と、撮像部３００から送出される信号に基づいて画像を示す信号（画像信号）を生成する信号処理部４００とを備えている。なお、撮像装置は静止画のみを生成してもよいし、動画を生成する機能を備えていてもよい。
　撮像部３００は、被写体を結像するための光学レンズ１２、光学絞り５０と、光学フィルタ１１と、光学レンズ１２および光学フィルタ１１を通して結像した光情報を、光電変換によって電気信号に変換する固体撮像素子１０（イメージセンサ）とを備えている。撮像部３００はさらに、撮像素子１０を駆動するための基本信号を発生するとともに撮像素子１０からの出力信号を受信して信号処理部４００に送出する信号発生／受信部１３と、信号発生／受信部１３によって発生された基本信号に基づいて撮像素子１０を駆動する素子駆動部１４とを備えている。光学レンズ１２は、公知のレンズであり、複数のレンズを有するレンズユニットであり得る。光学フィルタ１１は、画素配列が原因で発生するモアレパターンを低減するための水晶ローパスフィルタに、赤外線を除去するための赤外カットフィルタを合体させたものである。撮像素子１０は、典型的にはＣＭＯＳまたはＣＣＤであり、公知の半導体製造技術によって製造される。信号発生／受信部１３および素子駆動部１４は、例えばＣＣＤドライバなどのＬＳＩから構成されている。
　信号処理部４００は、撮像部３００から送出される信号を処理して画像信号を生成する画像信号生成部１５と、画像信号の生成過程で発生する各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出する画像信号出力部１６とを備えている。画像信号生成部１５は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部３００から送出された信号を記録するとともに、画像信号生成部１５によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、画像信号出力部１６を介して不図示の記録媒体や表示部などに送出される。
　なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本実施形態の理解に特に必要でないため省略する。また、以上の構成はあくまでも一例であり、撮像素子１０および画像信号生成部１５を除く構成要素には、公知の要素を適切に組み合わせて用いることができる。
　以下、本実施形態における固体撮像素子１０を説明する。
　図４は、露光中にレンズ１２を透過した光が撮像素子１０に入射する様子を模式的に示す図である。図４では、簡単のためレンズ１２および撮像素子１０以外の構成要素の記載は省略されている。また、レンズ１２は、一般には光軸方向に並んだ複数のレンズによって構成され得るが、簡単のため、単一のレンズとして描かれている。撮像素子１０の撮像面１０ａには、２次元状に配列された複数の光感知セル（画素）を含む光感知セルアレイ２００が配置されている。各光感知セルは、典型的にはフォトダイオードであり、光電変換によって入射光量に応じた光電変換信号（画素信号）を出力する。撮像面１０ａにはレンズ１２、光学絞り５０、および光学フィルタ１１を透過した光（可視光）が入射する。一般に撮像面１０ａに入射する光の強度および波長域ごとの入射光量の分布（分光分布）は、入射位置に応じて異なる。また、光学絞り５０の絞り値が大きいほど斜め光が多くなり、絞り値が小さいほど斜め光が少なくなる。
　図５は、本実施形態における画素配列の例を示す平面図である。光感知セルアレイ２００は、例えば、同図に示すように撮像面１０ａ上に正方格子状に配列された複数の光感知セルを有する。光感知セルアレイ２００は、複数の単位ブロック４０から構成され、各単位ブロック４０は４つの光感知セル２ａ、２ｂ、２ｃ、２ｄを含んでいる。各単位ブロックに含まれる４つの光感知セル２ａ～２ｄは、同図に示すように、互いに近接しているが、これらが離れていても、後述する分光要素アレイ１００を適切に構成することによって色情報を得ることが可能である。また、各単位ブロックが５個以上の光感知セルを含んでいてもよい。
　光感知セルアレイ２００に対向して、光が入射する側に複数の分光要素を含む分光要素アレイ１００が配置される。本実施形態では、各単位ブロックに含まれる４つの光感知セルに対して各々１つずつ分光要素が設けられる。
　以下、本実施形態における分光要素を説明する。
　本実施形態における分光要素は、屈折率が異なる２種類の透光性部材の境界で生じる光の回折を利用して入射光を波長域に応じて異なる方向に向ける光学素子である。このタイプの分光要素は、屈折率が相対的に高い材料で形成された高屈折率透明部材（コア部）と、屈折率が相対的に低い材料で形成されコア部の各々の側面と接する低屈折率透明部材（クラッド部）とを有している。コア部とクラッド部との間の屈折率差により、両者を透過した光の間で位相差が生じるため、回折が起こる。この位相差は光の波長によって異なるため、光を波長域（色成分）に応じて空間的に分離することが可能となる。例えば、第１の方向および第２の方向に第１色成分の光を半分ずつ向け、第３の方向に第１色成分以外の光を向けることができる。また、３つの方向にそれぞれ異なる波長域（色成分）の光を向けることも可能である。コア部とクラッド部との屈折率差によって分光が可能になるため、本明細書では、高屈折率透明部材のことを「分光要素」と呼ぶことがある。このような回折型の分光要素の詳細は、例えば、特許第４２６４４６５号公報に開示されている。
　以上のような分光要素を有する分光要素アレイ１００は、公知の半導体製造技術により、薄膜の堆積およびパターニングを実行することにより、製造され得る。分光要素の材質（屈折率）、形状、サイズ、配列パターンなどを適切に設計することにより、個々の光感知セルに所望の波長域の光を分離・統合して入射させることが可能となる。その結果、各光感知セルが出力する光電変換信号の組から、必要な色成分に対応する信号を算出することができる。
　以下、図６Ａ～６Ｄを参照しながら本実施形態における撮像素子１０の基本構造および各分光要素の働きを説明する。
　図６Ａは撮像素子１０の基本構造を示す平面図である。各単位ブロックにおいて、４つの光感知セル２ａ、２ｂ、２ｃ、２ｄの各々に対向して分光要素１ａ、１ｂ、１ｃ、１ｄがそれぞれ配置されている。このような基本構造を有する複数のパターンが撮像面１０ａ上に繰り返し形成されている。また、マイクロレンチキュラーレンズ４ｃが分光要素アレイ１００の上部に垂直方向に１行おきに配置されている。同図では分光要素１ａ、１ｂ上にマイクロレンチキュラーレンズ４ｃが配置されており、当該マイクロレンチキュラーレンズ４ｃはその表面を凸状にしている。
　図６Ｂ、６Ｃは、図６ＡにおけるＡ－Ａ´線断面およびＢ－Ｂ´線断面をそれぞれ示す図である。図示されるように、撮像素子１０は、シリコンなどの材料からなる半導体基板７と、半導体基板７の内部に配置された光感知セル２ａ～２ｄと、半導体基板７の表面側（光が入射する側）に形成された配線層５および低屈折率透明部材からなる透明層６ａと、透明層６ａの内部に配置された高屈折率透明部材からなる分光要素１ａ、１ｂ、１ｃ、１ｄとを備えている。
　図６Ａ～６Ｃに示す構造は、公知の半導体製造技術により作製され得る。図６Ａ～６Ｃに示される撮像素子１０は、配線層５の側から各光感知セルに光が入射する表面照射型の構造を有している。しかしながら、本実施形態の撮像素子１０はこのような構造に限られず、配線層５の反対側から光を受ける裏面照射型の構造を有していてもよい。
　分光要素１ａ、１ｂは、図６Ｂに示すように、光が透過する方向に長い長方形状の断面を有し、自身と透明層６ａとの間の屈折率差によって分光する。分光要素１ａは、対向する光感知セル２ａに黄（Ｙｅ）光を入射させ、光感知セル２ｂ、および隣接する単位ブロックに含まれる光感知セル（不図示）に青（Ｂ）光を半分ずつ入射させる。ここで、黄（Ｙｅ）光は赤（Ｒ）光および緑（Ｇ）光から成る光である。一方、分光要素１ｂは、対向する光感知セル２ｂにシアン（Ｃｙ）光を入射させ、光感知セル２ａ、および隣接する他の単位ブロックに含まれる光感知セル（不図示）にＲ光を半分ずつ入射させる。ここで、シアン（Ｃｙ）光は緑（Ｇ）光および青（Ｂ）光から成る光である。本実施形態では、分光要素１ａ、１ｂが上記の分光特性をもつように分光要素１ａ、１ｂの長さおよび厚さが設計されている。なお、一般に入射光に含まれるＲ光およびＧ光の強度は必ずしも一致しないため、Ｙｅ光は赤と緑の混色である黄色を視認させる光であるとは限らない。同様に、一般に入射光に含まれるＧ光およびＢ光の強度は必ずしも一致しないため、Ｃｙ光は、緑と青の混色であるシアン色を視認させる光であるとは限らない。例えば、セル入射光がＢ光を全く含んでいない場合、Ｃｙ光は、Ｇ光と同様、緑色を視認させる光である。
　このような分光要素１ａ、１ｂを用いることにより、光感知セル２ａは、分光要素１ａからＹｅ光（Ｗ－Ｂ）を受け、分光要素１ｂ、および隣接する単位ブロックに含まれる分光要素からもＲ光を半分ずつ受ける。また、光感知セル２ｂは、分光要素１ｂからＣｙ光（Ｗ－Ｒ）を受け、分光要素１ａ、および隣接する単位ブロックに含まれる分光要素（不図示）からもＢ光を半分ずつ受ける。
　また、分光要素１ｃ、１ｄも、図６Ｃに示すように、光が透過する方向に長い長方形状の断面を有し、自身と透明層６ａとの間の屈折率差によって分光する。分光要素１ｃは、対向する光感知セル２ｃにマゼンタ（Ｍ）光を入射させ、光感知セル２ｄ、および隣接する単位ブロックに含まれる光感知セル（不図示）に緑（Ｇ）光を半分ずつ入射させる。ここで、マゼンタ（Ｍ）光は赤（Ｒ）光と青（Ｂ）光から成る光である。一方、分光要素１ｄは、対向する光感知セル２ｄに緑（Ｇ）光を入射させ、光感知セル２ｃ、および隣接する他の単位ブロックに含まれる光感知セル（不図示）にマゼンタ（Ｍ）光を半分ずつ入射させる。本実施形態では、分光要素１ｃ、１ｄが上記の分光特性をもつように分光要素１ｃ、１ｄの長さおよび厚さが設計されている。なお、Ｒ光およびＢ光の強度は必ずしも一致しないため、マゼンタ光は、赤と青の混色であるマゼンタ色を視認させる光であるとは限らない。例えば、セル入射光がＢ光を全く含んでいない場合、Ｍ光は、Ｒ光と同様、赤色を視認させる光である。
　上記の分光要素１ａ～１ｄによる分光の結果、マイクロレンチキュラーレンズ４ｃの影響および光学絞り５０の開口に伴う斜め光の影響を無視すれば、光感知セル２ａ～２ｄは、図６Ｂ、６Ｃに示されているように、それぞれ（Ｗ－Ｂ＋Ｒ）、（Ｗ－Ｒ＋Ｂ）、（Ｗ－Ｇ＋Ｍ）、（Ｗ－Ｍ＋Ｇ）で表される強度の光を受ける。しかし、実際にはマイクロレンチキュラーレンズ４ｃの影響、さらには光学絞り５０の開口による斜め光の影響を受けるため、光感知セル２ａ～２ｄには、図６Ｄに示す光が入射する。但し、上記のように、ｋ１はマイクロレンチキュラーレンズ４ｃの光学構造によって決まる係数、ｋ２、ｋ３は斜め光の影響によって決まる係数である。ここで、赤光、緑光、青光の強度に相当する信号をそれぞれＲｓ、Ｇｓ、Ｂｓで表す。また、シアン光の強度に相当する信号ＣｓをＧｓ＋Ｂｓ、黄光の強度に相当する信号ＹｓをＲｓ＋Ｇｓ、マゼンタ光の強度に相当する信号ＭｓをＲｓ＋Ｂｓ、白光の強度に相当する信号ＷｓをＲｓ＋Ｇｓ＋Ｂｓとする。すると、光感知セル２ａ～２ｄは、それぞれ以下の式２２～２５で表される光電変換信号２ａ～２ｄを出力する。
　（式２２）Ｓ２ａ＝（１＋ｋ１－ｋ２）（Ｗｓ－ｋ３・Ｂｓ＋ｋ３・Ｒｓ）
　（式２３）Ｓ２ｂ＝（１＋ｋ１－ｋ２）（Ｗｓ－ｋ３・Ｒｓ＋ｋ３・Ｂｓ）
　（式２４）Ｓ２ｃ＝（１－ｋ１＋ｋ２）（Ｗｓ－ｋ３・Ｇｓ＋ｋ３・Ｍｓ）
　（式２５）Ｓ２ｄ＝（１－ｋ１＋ｋ２）（Ｗｓ－ｋ３・Ｍｓ＋ｋ３・Ｇｓ）
　これらの式２２～２５は、式１８～２１において、Ｃ１ｓ＝Ｂｓ、Ｃ２ｓ＝Ｒｓ、Ｃ３ｓ＝Ｇｓとした場合の式に相当する。画像信号生成部１５（図３）は、式２２～２５で示される光電変換信号を用いた演算によって色情報を生成する。以下、図７を参照しながら、画像信号生成部１５による色情報生成処理の例を説明する。図７は、本実施形態における色情報生成処理の手順を示すフロー図である。
　画像信号生成部１５は、まず、ステップＳ１０において、光電変換信号Ｓ２ａ～Ｓ２ｄを取得する。続いて、ステップＳ１２において、（Ｓ２ａ－Ｓ２ｂ）の演算によって信号２（１＋ｋ１－ｋ２）ｋ３（Ｒｓ－Ｂｓ）を、（Ｓ２ｃ－Ｓ２ｄ）の演算によって信号２（１－ｋ１＋ｋ２）ｋ３（Ｍｓ－Ｇｓ）を生成する。次に、ステップ１４において、それら差分信号を加減算し、以下の式２６、２７に示す色差信号Ｄ１１、Ｄ１２を生成する。
　（式２６）Ｄ１１＝（Ｓ２ａ－Ｓ２ｂ）＋（Ｓ２ｃ－Ｓ２ｄ）
　　　　　　　　　＝２（１＋ｋ１－ｋ２）ｋ３（Ｒｓ－Ｂｓ）＋２（１－ｋ１＋ｋ２）ｋ３（Ｍｓ－Ｇｓ）
　　　　　　　　　＝２ｋ３｛（２Ｒｓ―Ｇｓ）－（ｋ１－ｋ２）（２Ｂｓ―Ｇｓ）｝
　（式２７）Ｄ１２＝（Ｓ２ｃ－Ｓ２ｄ）－（Ｓ２ａ－Ｓ２ｂ）
　　　　　　　　　＝２（１－ｋ１＋ｋ２）ｋ３（Ｍｓ－Ｇｓ）－２（１＋ｋ１－ｋ２）ｋ３（Ｒｓ－Ｂｓ）
　　　　　　　　　＝２ｋ３｛（２Ｂｓ―Ｇｓ）－（ｋ１－ｋ２）（２Ｒｓ―Ｇｓ）｝
　次に、ステップＳ１６において、Ｓ２ａとＳ２ｂを加算、およびＳ２ｃとＳ２ｄを加算し、以下の式２８、２９に示す加算信号２（１＋ｋ１－ｋ２）Ｗｓと２（１－ｋ１＋ｋ２）Ｗｓをそれぞれ生成する。
　（式２８）　Ｓ２ａ＋Ｓ２ｂ＝２（１＋ｋ１－ｋ２）Ｗｓ
　（式２９）　Ｓ２ｃ＋Ｓ２ｄ＝２（１－ｋ１＋ｋ２）Ｗｓ
　次に、ステップＳ１８において、ｋ１、式２８、２９に示す加算信号同士の差分結果、および予め計測したｋ２とｋ３との相関結果を用いて色差信号Ｄ１１、Ｄ１２を補正し、色差信号２（２Ｒｓ－Ｇｓ）、２（２Ｂｓ－Ｇｓ）を生成する。ここで、係数ｋ１、およびｋ２とｋ３との相関関係を示すデータベースまたは関数は、予めメモリ３０等の記録媒体に記録されている。
　次に、ステップＳ２０において、画素信号Ｓ２ａ～Ｓ２ｄを合算することによってセル入射光の強度を示す信号４（Ｒｓ＋Ｇｓ＋Ｂｓ）＝４Ｗｓを生成し、これを輝度信号とする。最後に、ステップＳ２２において、２つの色差信号と１つの輝度信号から行列演算によりＲＧＢカラー信号、すなわちＲｓ、Ｇｓ、Ｂｓを得る。
　画像信号生成部１５は、以上の信号演算を光感知セルアレイ２００の単位ブロック４０ごとに実行することによってＲ、Ｇ、Ｂの各色成分の画像を示す信号（「カラー画像信号」と呼ぶ。）を生成する。生成されたカラー画像信号は、画像信号出力部１６によって不図示の記録媒体や表示部に出力される。ここで、単位ブロック４０の撮像面上の位置によって斜め光の割合や入射方向が異なるため、係数ｋ１、ｋ２、ｋ３は、単位ブロック４０によって異なる値に設定してもよい。単位ブロック４０の位置に応じてこれらの係数を適正な値に設定することにより、色再現性をさらに向上させることができる。
　このように、本実施形態の撮像装置によれば、光電変換信号Ｓ２ａ～Ｓ２ｄを用いた加減算処理およびｋ１、ｋ２、ｋ３を用いた色信号の補正処理により、カラー画像信号が得られる。本実施形態における撮像素子１０によれば、光を吸収する光学素子を用いないため、色フィルタなどを用いる従来技術と比較して光の損失を大幅に低減することができる上、光学絞り等による斜め光の発生があっても良好な色再現性を実現できる。
　以上のように、本実施形態の撮像素子１０では、光感知セルアレイ２００に対向して２行２列を基本構成とする分光要素アレイ１００が配置される。分光要素アレイ１００の上部に１行おきに垂直方向に集光するマイクロレンチキュラーレンズ４ｃが配置される。分光要素アレイ１００において、１行１列目には光を青光と青光以外とに分ける分光要素１ａが配置される。１行２列目には光を赤光と赤光以外とに分ける分光要素１ｂが配置される。２行１列目には光を緑光と緑光以外とに分ける分光要素１ｃが配置される。２行２列目には光をマゼンタ光（すなわち緑光以外）とマゼンタ光以外（すなわち緑光）とに分ける分光要素１ｄが配置される。このような分光要素の配列パターンが撮像面上に繰り返し形成されているため、光感知セルアレイ２００における単位ブロック４０の選び方を１行または１列ずつ変えても、得られる４つの光電変換信号は、常に式２２～２５で表される４つの信号の組み合わせとなる。すなわち、演算対象の画素ブロックを１行および１列ずつずらしながら上記の信号演算を行うことにより、ＲＧＢ各色成分の情報をほぼ画素数分だけ得ることができる。このことは、撮像装置の解像度を画素数の程度まで高めることができることを意味している。したがって、本実施形態の撮像装置は、従来の撮像装置よりも高感度であることに加えて、高解像度のカラー画像を生成することが可能である。さらに、既知の係数ｋ１、信号処理によって得られる係数ｋ２、および予め実験などによって求められたｋ２とｋ３との相関関係に基づいてｋ２から得られる係数ｋ３を用いて色信号を補正することにより、斜め光によるクロストークの影響の除去も可能である。
　なお、画像信号生成部１５は、必ずしも３つの色成分の画像信号を全て生成しなくてもよい。用途に応じて１色または２色の画像信号だけを生成するように構成されていてもよい。また、必要に応じて信号処理の過程で各信号の増幅、合成、補正を行ってもよい。
　また、各分光要素は上述した分光性能を厳密に有していることが理想であるが、それらの分光性能が多少ずれていてもよい。すなわち、各光感セルから実際に出力される光電変換信号が、式２２～２５に示す光電変換信号から多少ずれていてもよい。各分光要素の分光性能が理想的な性能からずれている場合であっても、ずれの程度に応じて信号を補正することによって良好な色情報を得ることができる。
　さらに、本実施形態における画像信号生成部１５が行う信号演算を、撮像装置自身ではなく他の機器に実行させることも可能である。例えば、撮像素子１０から出力される光電変換信号の入力を受けた外部の機器に本実施形態における信号演算処理を規定するプログラムを実行させることによっても色情報を生成することができる。その場合、撮像装置に上記の演算処理を実行する画像信号生成部１５が設けられていなくてもよい。
　なお、撮像素子１０の基本構造は図６Ａ～６Ｃに示す構成に限られるものではない。例えば、分光要素１ａと分光要素１ｂとが入れ替わった構成、あるいは分光要素１ｃと分光要素１ｄとが入れ替わった構成で配置されていても本実施形態の効果に変わりはない。また、図６Ａに示す１行目の配置と２行目の配置とが入れ替わっていてもよいし、分光要素１ａ、１ｂおよび分光要素１ｃ、１ｄが行方向ではなく、列方向に並ぶように配置されていてもその有効性に変わりはない。その場合、マイクロレンチキュラーレンズ４ｃは列方向に延びるように形成されていればよい。マイクロレンチキュラーレンズ４ｃについても、本実施形態では、その界面の曲率を変えたシリンドリカルレンズを利用したが、それに限るものではない。例えば、回折効果を利用したものであっても良く、光学機能として入射光を垂直方向に集光する光学素子であれば、何でも良い。本明細書では、そのような光学素子を「集光素子」と呼ぶ。
　また、分光要素１ａ～１ｄの分光特性が、図６Ａ～６Ｃに示す特性とは異なっていてもよい。例えば、分光要素１ａ～１ｄは、両サイドの光感知セルに一部の色成分の光を半分ずつ入射させるのではなく、一方のサイドの隣接光感知セルにその色成分の光を入射させてもよい。さらに、分光要素１ａ～１ｄが分光する光の色は上記の例に限定されない。光感知セル２ａ～２ｄが受ける光の分光分布が異なるように分光要素アレイ１００が構成されていれば、その構成に応じた信号処理によってカラー情報を得ることができる。
　以上の説明では、分光要素として、２つの部材の屈折率差を利用して分光する光学素子を用いているが、分光要素は、各光感知セルに所望の色成分の光を入射できればどのようなものであってもよい。例えば、分光要素としてマイクロプリズム等を用いてもよい。また、異なる種類の分光要素を組み合わせて用いることも可能である。
　（実施形態２）
　次に、図８Ａ～８Ｃを参照しながら、第２の実施形態を説明する。本実施形態の撮像装置は、実施形態１の撮像装置と比較して、撮像素子１０の分光要素の構成および信号処理のみが異なっており、その他の構成要素は同一である。以下、実施形態１の撮像装置との相違点を中心に説明し、重複する点は説明を省略する。
　図８Ａは、本実施形態における撮像素子１０の基本構成を示す図である。図８Ｂは、図８ＡのＡ－Ａ’線断面図であり、図８Ｃは、図８ＡのＢ－Ｂ’線断面図である。本実施形態における撮像素子１０の分光要素の構成は、図８Ａ～８Ｃに示すように、分光要素アレイ１００において、１行１列目には光を青光と青光以外とに分ける分光要素１ａが配置される。２行２列目には光を赤光と赤光以外とに分ける分光要素１ｂが配置される。１行２列目と２行１列目の光感知セル上には分光要素は配置されない。その結果、マイクロレンチキュラーレンズ４ｃおよび斜め光の影響を無視すれば、光感知セル２ａ～２ｄには図８Ｂ、８Ｃに示すように、それぞれ（Ｗ－Ｂ）、（Ｗ＋Ｂ）、（Ｗ＋Ｒ）、（Ｗ－Ｒ）で表される強度の光が入射する。
　しかし、実際にはマイクロレンチキュラーレンズ４ｃおよび斜め光の影響が存在するため、光感知セル２ａ～２ｄには、図８Ｄに示す光が入射する。その結果、各光感知セルの信号Ｓ２ａ、Ｓ２ｂ、Ｓ２ｃ、Ｓ２ｄは、係数ｋ１、ｋ２、ｋ３を用いて、それぞれ次の式３０～３３で表される。
　（式３０）　Ｓ２ａ＝（１＋ｋ１－ｋ２）（Ｗｓ－ｋ３・Ｂｓ）
　（式３１）　Ｓ２ｂ＝（１＋ｋ１－ｋ２）（Ｗｓ＋ｋ３・Ｂｓ）
　（式３２）　Ｓ２ｃ＝（１－ｋ１＋ｋ２）（Ｗｓ＋ｋ３・Ｒｓ）
　（式３３）　Ｓ２ｄ＝（１－ｋ１＋ｋ２）（Ｗｓ－ｋ３・Ｒｓ）
　この場合、画像信号生成部１５は、以下の式３４、３５に示すように、差分信号Ｓ２ｃ－Ｓ２ｄとＳ２ｂ－Ｓ２ａにより、Ｒ系の色信号２ｋ３（１－ｋ１＋ｋ２）Ｒｓ、Ｂ系の色信号２ｋ３（１＋ｋ１－ｋ２）Ｂｓをそれぞれ作る。
　（式３４）　Ｓ２ｃ－Ｓ２ｄ＝２ｋ３（１－ｋ１＋ｋ２）Ｒｓ
　（式３５）　Ｓ２ｂ－Ｓ２ａ＝２ｋ３（１＋ｋ１－ｋ２）Ｂｓ
　次に以下の式３６、３７に示す加算信号Ｓ２ｃ＋Ｓ２ｄとＳ２ｂ＋Ｓ２ａとを生成する。
　（式３６）　Ｓ２ｃ＋Ｓ２ｄ＝２（１－ｋ１＋ｋ２）Ｗｓ
　（式３７）　Ｓ２ｂ＋Ｓ２ａ＝２（１＋ｋ１－ｋ２）Ｗｓ
　画像信号生成部１５は、既知のｋ１と式３６、３７とから係数ｋ２を求め、さらに予め測定したｋ２とｋ３との相関関係からｋ３を求めた上で、式３４、３５からＲｓとＢｓを算出する。また、輝度信号として、４画素の信号の加算によって得られる信号Ｓ２ａ＋Ｓ２ｂ＋Ｓ２ｃ＋Ｓ２ｄ＝４Ｗｓを得る。４Ｗｓを求めた後、（４Ｗｓ／４）－Ｒｓ－Ｂｓの演算により、Ｇｓを得る。
　以上のように、本実施形態の撮像装置によれば、光電変換信号Ｓ２ａ～Ｓ２ｄを用いた加減算処理およびｋ１、ｋ２、ｋ３を用いた色信号の補正処理により、カラー画像信号が得られる。これにより、斜め光の影響を除去することができるため、従来よりも色再現性のよい撮像が可能となる。
　なお、本実施形態では、分光要素１ａは光感知セル２ａに対向し、分光要素１ｂは光感知セル２ｄに対向するように配置されているが、分光要素１ａは光感知セル２ｂに対向し、分光要素１ｂは光感知セル２ｃに対向するように配置されていてもよい。また、各分光要素は、水平方向ではなく、垂直方向に分光するように構成されていてもよい。その場合、マイクロレンチキュラーレンズ２ｂは、垂直方向に延びるように設けられていればよい。実施形態１で説明した他の変形例についても、本実施形態に同様に適用可能である。
　上記の実施形態１、２では、各分光要素は、いずれかの光感知セルに対向するように配置しているが、分光要素は、その一部が複数の光感知セルの境界上に位置するように配置されていてもよい。例えば、光感知セル２ａ、２ｂの境界上に入射光を水平方向に分離する第１の分光要素が配置され、光感知セル２ｃ、２ｄの境界上に入射光を水平方向に分離する第２の分光要素が配置されていてもよい。そのような構成であっても、第１および第２の分光要素の分光特性が異なり、結果として光感知セル２ａ～２ｄに異なる分光分布の光が入射するように構成されていれば、信号処理によって色情報を生成することができる。
　また、各分光要素は、入射光を原色（Ｒ、Ｇ、Ｂ）と補色（Ｃｙ、Ｍｇ、Ｙｅ）とに分離する特性の代わりに、入射光を異なる３つの波長域の光に分離する特性を有していてもよい。例えば図９に示すマイクロプリズムのように、入射光をＣ１、Ｃ２、Ｃ３の３成分に分離し、対向する光感知セルにＣ１光を、一方の隣接光感知セルにＣ２光を、他方の隣接光感知セルにＣ３光を入射させる分光要素を用いてもよい。
　本開示の固体撮像素子および撮像装置は、固体撮像素子を用いるすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。
　　１ａ、１ｂ、１ｃ、１ｄ　分光要素
　　２，２ａ，２ｂ，２ｃ，２ｄ　撮像素子の光感知セル
　　４ａ、４ｂ　マイクロレンズ
　　４ｃ　マイクロレンチキュラーレンズ
　　５　撮像素子の配線層
　　６ａ、６ｂ　透明層
　　７　シリコン基板
　　９　固定基板
　１０　撮像素子
　１１　光学フィルタ
　１２　光学レンズ
　１３　信号発生／受信部
　１４　素子駆動部
　１５　画像信号生成部
　１６　画像信号出力部
　１７　赤（Ｒ）光以外を反射する多層膜フィルタ（ダイクロイックミラー）
　１８　緑（Ｇ）光のみを反射する多層膜フィルタ（ダイクロイックミラー）
　１９　青（Ｂ）光のみを反射する多層膜フィルタ（ダイクロイックミラー）
　２０　遮光部
　２１　透光性の樹脂
　２２　Ｇ光透過の多層膜フィルタ（ダイクロイックミラー）
　２３　Ｒ光透過の多層膜フィルタ（ダイクロイックミラー）
　２４　Ｇ光透過の有機色素フィルタ
　２５　Ｒ光透過の有機色素フィルタ
　２６　マイクロレンズ
　２７　金属層
　３０　メモリ
　４０　光感知セルの単位ブロック
　５０　光学絞り
　１００　分光要素アレイ
　２００　光感知セルアレイ
　３００　撮像部
　４００　信号処理部

Claims (15)

  1. 　各々が２行２列に配列された第１の光感知セル、第２の光感知セル、第３の光感知セル、および第４の光感知セルを含む複数の単位ブロックが撮像面に２次元状に配列された光感知セルアレイであって、各単位ブロックにおいて、前記第１の光感知セルは１行１列目に配置され、前記第２の光感知セルは２行１列目に配置され、前記第３の光感知セルは１行２列目に配置され、前記第４の光感知セルは２行２列目に配置されている光感知セルアレイと、
    　第１の分光要素、および前記第１の分光要素とは分光特性の異なる第２の分光要素を含む分光要素アレイであって、前記第１の分光要素は、前記第１および第３の光感知セルの少なくとも一方に前記第１の分光要素の少なくとも一部が対向するように配置され、入射する光を波長に応じて前記第１および第３の光感知セルの配列方向に分離するように構成されており、前記第２の分光要素は、前記第２および第４の光感知セルの少なくとも一方に前記第２の分光要素の少なくとも一部が対向するように配置され、入射する光を波長に応じて前記第２および第４の光感知セルの配列方向に分離するように構成されている分光要素アレイと、
    　各々が前記第１および第３の光感知セルを覆う領域に設けられ、前記第１および第３の光感知セルに集光するように構成された複数の集光素子と、
    を備える固体撮像素子。
  2. 　前記第１の分光要素は、前記第１または第３の光感知セルに対向し、前記第１の光感知セルおよび前記第３の光感知セルに異なる波長域の光が入射するように配置され、
    　前記第２の分光要素は、前記第２または第４の光感知セルに対向し、前記第２の光感知セルおよび前記第４の光感知セルに異なる波長域の光が入射するように配置されている、請求項１に記載の固体撮像素子。
  3. 　前記第１の分光要素は、前記第３の光感知セルに第１波長域の光を入射させ、前記第１の光感知セルに前記第１波長域の光の補色光を入射させ、
    　前記第２の分光要素は、前記第２の光感知セルに第２波長域の光を入射させ、前記第４の光感知セルに前記第２波長域の光の補色光を入射させる、
    請求項２に記載の固体撮像素子。
  4. 　前記分光要素アレイは、さらに第３の分光要素および第４の分光要素を含み、
    　前記第１から第４の分光要素は、それぞれ前記第１から第４の光感知セルに対向して配置され、前記第１から第４の光感知セルに異なる波長域の光を入射させるように設計されている、
    請求項１に記載の固体撮像素子。
  5. 　前記第１から第４の分光要素は、入射する光を原色光と補色光とに分離する特性、または入射光を異なる３つの波長域の光に分離する特性を有している、請求項４に記載の固体撮像素子。
  6. 　前記第１の分光要素は、前記第３の光感知セルに第１波長域の光を入射させ、前記第１の光感知セルに前記第１波長域の光の補色光を入射させ、
    　前記第３の分光要素は、前記第１の光感知セルに第２波長域の光を入射させ、前記第３の光感知セルに前記第２波長域の光の補色光を入射させる、
    請求項４または５に記載の固体撮像素子。
  7. 　前記第１の分光要素は、前記第１の光感知セルに第１波長域の光を入射させ、前記第３の光感知セルに前記第１波長域の光の補色光を入射させ、
    　前記第３の分光要素は、前記第１の光感知セルに前記第１波長域の光を入射させ、前記第３の光感知セルに前記第１波長域の光の補色光を入射させる、
    請求項４から６のいずれかに記載の固体撮像素子。
  8. 　前記第２の分光要素は、前記第４の光感知セルに第３波長域の光を入射させ、前記第２の光感知セルに前記第３波長域の光の補色光を入射させ、
    　前記第４の分光要素は、前記第４の光感知セルに前記第３波長域の光を入射させ、前記第２の光感知セルに前記第３波長域の光の補色光を入射させる、
    請求項５から７のいずれかに記載の固体撮像素子。
  9. 　前記第１波長域は、赤、緑、青の波長域の１つであり、前記第２波長域は、赤、緑、青の波長域の他の１つであり、前記第３波長域は、赤、緑、青の波長域の残りの１つである、請求項８に記載の固体撮像素子。
  10. 　前記複数の集光素子の各々は、光入射側に曲面を有するシリンドリカルレンズである、請求項１から９のいずれかに記載の固体撮像素子。
  11. 　請求項１から１０のいずれかに記載の固体撮像素子と、
    　前記固体撮像素子の撮像面に像を形成する光学系と、
    　前記第１から第４の光感知セルからそれぞれ出力される第１から第４の光電変換信号に基づいて色信号を生成する信号処理部と、
    を備える撮像装置。
  12. 　前記信号処理部は、前記第１の光感知セルから出力される信号と前記第３の光感知セルから出力される信号との加算演算を含む処理によって生成される第１の輝度信号、および前記第２の光感知セルから出力される信号と前記第４の光感知セルから出力される信号との加算演算を含む処理によって生成される第２の輝度信号を生成し、前記第１の輝度信号と前記第２の輝度信号との差分結果に基づいて、前記色信号を補正する、請求項１１に記載の撮像装置。
  13. 　前記集光素子による集光特性を規定する係数ｋ１、および前記固体撮像素子に入射する斜め光の影響による前記係数ｋ１の減少量を示す補正係数ｋ２と前記斜め光の影響による前記第１および第２の分光要素の分光特性の低下の程度を示す係数ｋ３との相関関係を示す情報が記録された記録媒体をさらに備えている請求項１２に記載の撮像装置。
  14. 　前記信号処理部は、前記第１の輝度信号と前記第２の輝度信号との差分結果、前記係数ｋ１、および前記相関関係を示す情報に基づいて、前記色信号を補正する、請求項１３に記載の撮像装置。
  15. 　前記信号処理部は、前記第１の光電変換信号と前記第３の光電変換信号との差分を示す第１の差信号と、前記第２の光電変換信号と前記第４の光電変換信号との差分を示す第２の差信号とを用いた信号演算により、第１の色差信号および第２の色差信号を生成し、前記第１の輝度信号と前記第２の輝度信号との差分結果を用いて、前記第１の色差信号および前記第２の色差信号を補正する、請求項１２から１４のいずれかに記載の撮像装置。
PCT/JP2013/001728 2012-05-02 2013-03-14 固体撮像装置 WO2013164901A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013537347A JP6039567B2 (ja) 2012-05-02 2013-03-14 固体撮像装置
CN201380001203.6A CN103503144B (zh) 2012-05-02 2013-03-14 固体摄像装置
US14/009,477 US9179114B2 (en) 2012-05-02 2013-03-14 Solid-state image sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-105293 2012-05-02
JP2012105293 2012-05-02

Publications (1)

Publication Number Publication Date
WO2013164901A1 true WO2013164901A1 (ja) 2013-11-07

Family

ID=49514308

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/001728 WO2013164901A1 (ja) 2012-05-02 2013-03-14 固体撮像装置

Country Status (4)

Country Link
US (1) US9179114B2 (ja)
JP (1) JP6039567B2 (ja)
CN (1) CN103503144B (ja)
WO (1) WO2013164901A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6295526B2 (ja) 2013-07-11 2018-03-20 ソニー株式会社 固体撮像装置および電子機器
US10148864B2 (en) 2015-07-02 2018-12-04 Pixart Imaging Inc. Imaging device having phase detection pixels and regular pixels, and operating method thereof
US9978154B2 (en) * 2015-07-02 2018-05-22 Pixart Imaging Inc. Distance measurement device base on phase difference and distance measurement method thereof
CN108347554B (zh) * 2018-03-20 2024-06-14 浙江国自机器人技术有限公司 一种工业相机
JP7106363B2 (ja) * 2018-06-18 2022-07-26 キヤノン株式会社 画像形成装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244947A (ja) * 2004-01-26 2005-09-08 Matsushita Electric Ind Co Ltd 固体撮像装置およびこれを用いたカメラ
JP2007208817A (ja) * 2006-02-03 2007-08-16 Toshiba Corp 固体撮像装置
WO2009019818A1 (ja) * 2007-08-06 2009-02-12 Panasonic Corporation 撮像用光検出装置
WO2009153937A1 (ja) * 2008-06-18 2009-12-23 パナソニック株式会社 固体撮像装置
JP2011066097A (ja) * 2009-09-16 2011-03-31 Nec Corp 裏面入射型受光素子および裏面入射型受光素子の製造方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5990467A (ja) 1982-11-15 1984-05-24 Mitsubishi Electric Corp 固体撮像素子
JP2000151933A (ja) 1998-11-06 2000-05-30 Nec Corp 撮像素子及びその製造方法
JP3821614B2 (ja) * 1999-08-20 2006-09-13 独立行政法人科学技術振興機構 画像入力装置
JP2001309395A (ja) 2000-04-21 2001-11-02 Sony Corp 固体撮像素子及びその製造方法
JP4652634B2 (ja) 2001-08-31 2011-03-16 キヤノン株式会社 撮像装置
JP5331107B2 (ja) * 2008-12-19 2013-10-30 パナソニック株式会社 撮像装置
JP5296077B2 (ja) * 2009-01-14 2013-09-25 パナソニック株式会社 撮像装置
US9099369B2 (en) * 2012-05-02 2015-08-04 Panasonic Intellectual Property Corporation Of America Solid-state image sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244947A (ja) * 2004-01-26 2005-09-08 Matsushita Electric Ind Co Ltd 固体撮像装置およびこれを用いたカメラ
JP2007208817A (ja) * 2006-02-03 2007-08-16 Toshiba Corp 固体撮像装置
WO2009019818A1 (ja) * 2007-08-06 2009-02-12 Panasonic Corporation 撮像用光検出装置
WO2009153937A1 (ja) * 2008-06-18 2009-12-23 パナソニック株式会社 固体撮像装置
JP2011066097A (ja) * 2009-09-16 2011-03-31 Nec Corp 裏面入射型受光素子および裏面入射型受光素子の製造方法

Also Published As

Publication number Publication date
US9179114B2 (en) 2015-11-03
CN103503144A (zh) 2014-01-08
US20140055650A1 (en) 2014-02-27
JP6039567B2 (ja) 2016-12-07
JPWO2013164901A1 (ja) 2015-12-24
CN103503144B (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
JP5503459B2 (ja) 固体撮像素子および撮像装置
JP6039558B2 (ja) 固体撮像装置
JP5237998B2 (ja) 固体撮像素子、撮像装置および信号処理方法
TWI500330B (zh) 攝像裝置
JP5503458B2 (ja) 固体撮像素子および撮像装置
JP5331107B2 (ja) 撮像装置
WO2011010455A1 (ja) 撮像装置および固体撮像素子
JP5325117B2 (ja) 固体撮像装置
JP5113249B2 (ja) 撮像装置
JP6039567B2 (ja) 固体撮像装置
JP5894573B2 (ja) 固体撮像素子、撮像装置および信号処理方法
WO2014033976A1 (ja) 固体撮像素子、撮像装置および信号処理方法
JP5997149B2 (ja) 固体撮像素子、撮像装置、および信号処理方法
JP5852006B2 (ja) 固体撮像素子、撮像装置および信号処理方法
JP2014086743A (ja) 固体撮像素子、撮像装置、および信号処理方法
JP2014086742A (ja) 固体撮像素子、撮像装置、および信号処理方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013537347

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14009477

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13784977

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13784977

Country of ref document: EP

Kind code of ref document: A1