WO2014112002A1 - 撮像素子、及び撮像装置 - Google Patents

撮像素子、及び撮像装置 Download PDF

Info

Publication number
WO2014112002A1
WO2014112002A1 PCT/JP2013/007187 JP2013007187W WO2014112002A1 WO 2014112002 A1 WO2014112002 A1 WO 2014112002A1 JP 2013007187 W JP2013007187 W JP 2013007187W WO 2014112002 A1 WO2014112002 A1 WO 2014112002A1
Authority
WO
WIPO (PCT)
Prior art keywords
light receiving
light
receiving element
pair
color
Prior art date
Application number
PCT/JP2013/007187
Other languages
English (en)
French (fr)
Inventor
有紀 徳橋
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2014557195A priority Critical patent/JPWO2014112002A1/ja
Publication of WO2014112002A1 publication Critical patent/WO2014112002A1/ja
Priority to US14/797,978 priority patent/US20150319413A1/en
Priority to US14/812,064 priority patent/US20150334375A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to an imaging device including a light receiving element pair arranged in a matrix, receiving light from a subject, and outputting a pixel signal constituting a captured image pair of the subject, and an imaging apparatus having such an imaging device.
  • an image sensor having a pair of light receiving elements that are paired on the left and right for each microlens arranged in a matrix is known.
  • Such an image sensor selectively causes the light from the subject that has passed through the microlens to reach the light receiving element by the color filter.
  • the light receiving element pair corresponds to a pixel pair (picture element) constituting the captured image pair, and the left eye light receiving element forms the left eye light image and the right eye light receiving element forms the right eye imaged image.
  • a pixel signal corresponding to the color gradation is output.
  • the captured image pair is used, for example, for stereoscopic image display.
  • An example of such an image sensor is described in Patent Document 1.
  • the above-described imaging device has problems such as a reduction in resolution and stereoscopic effect of a stereoscopic image due to its structure.
  • the numerical aperture on the image side of the imaging lens is large and the F-number is small, the inclination of the light beam passing through the microlens increases, and the light receiving elements of other picture elements adjacent in the left-right direction when entering the corresponding light receiving element pair Leaked light also enters the pair.
  • the right-eye light to be received by the right-eye light-receiving element is incident on the left-eye light-receiving element of another pair of adjacent light-receiving elements, or the left-eye light to be received by the left-eye light-receiving element.
  • an object of the present invention made in view of the above-described problems is to provide an image sensor that can prevent deterioration in quality of a stereoscopic image and an image pickup apparatus including the image sensor.
  • the image sensor on one side is a light-receiving element that is arranged in a row direction and a column direction and receives light from a subject, and is paired in a row direction corresponding to the left-right direction of the subject.
  • the light receiving element pair outputs a pixel signal constituting each of the captured image pair having the parallax of the subject, a microlens that refracts light from the subject and causes the light receiving element to receive the light, and the micro A color filter that allows light according to a color to pass between a lens and the light receiving element, and for each of the light receiving element pairs, any one of Red (R), Green (G), and Blue (B) is used.
  • the color filter may be arranged so that any two colors of R and G or B and G are adjacent to each other in the column direction. Furthermore, the color filter may have a portion where the same color is adjacent in the column direction.
  • the microlens may be a cylindrical lens that extends in the column direction and covers the pair of light receiving elements paired in the row direction. Furthermore, a cylindrical lens may cover the pair of light receiving elements and another light receiving element that form a pair with another light receiving element interposed in the row direction. Alternatively, the micro lens may be a spherical lens that is adjacent to the column direction and covers a pair of light receiving elements corresponding to the same color of the color filter.
  • the wiring may be disposed between the light receiving element pairs in the row direction. Further, the wiring may be made of copper.
  • the imaging apparatus may further include an amplifier that amplifies the pixel signal output from the light receiving element at an amplification factor corresponding to the color of the color filter and outputs the amplified signal to the display unit.
  • FIG. 1 is a block diagram illustrating a configuration of the imaging apparatus according to the first embodiment.
  • the imaging device 1 captures a pair of captured images having parallax for displaying a stereoscopic captured image based on light from a subject (hereinafter, subject light) 100.
  • the imaging device 1 includes an imaging lens 102, an imaging element 10, an amplifier 11, an image processing unit 12, a control unit 14, a storage unit 16, and a display unit 18.
  • the image sensor 10, the amplifier 11, the image processing unit 12, the control unit 14, the storage unit 16, the acceleration sensor 17, and the display unit 18 are connected to a bus 19 and configured to be able to transmit and receive various signals to and from each other.
  • the imaging element 10 When the subject light 100 is incident through the imaging lens 102, the imaging element 10 captures a pair of captured images of the left eye and the right eye having parallax based on the subject light 100, and configures each captured image. A pixel signal is output.
  • Each captured image is composed of pixels arranged in a matrix, and the number of pixels constituting one frame of the captured image is, for example, 640 ⁇ 480 pixels to 4000 ⁇ 3000 pixels (however, the number of pixels in one frame and the aspect ratio). The ratio need not be limited to this numerical range).
  • the image pickup device 10 is a CMOS (Complementary Metal Metal Oxide Semiconductor) or a CCD (Charge Coupled Device) having a light receiving element arranged corresponding to each pixel, and generates and outputs a pixel signal by the light receiving element.
  • the pixel signal is generated and output for each frame, for example.
  • the pixel signal is a signal indicating a gradation value of, for example, R (Red), G (Green), or B (Blue) color for each pixel.
  • the pixel signal is a digital signal obtained by A / D converting an output signal from the light receiving element, for example.
  • the amplifier 11 amplifies the pixel signal output from the image sensor 10 and outputs the amplified signal to the bus 19. As will be described in detail later, the amplifier 11 amplifies the pixel signal with a different amplification factor depending on its color. Note that the amplifier 11 may be provided inside the image sensor 10, or may be provided inside the image processing unit 12 or other part in the image pickup apparatus 1.
  • the image processing unit 12 performs predetermined image processing such as color and luminance correction, distortion correction, and compression / decompression of data on captured image data including pixel signals for one frame. For example, the image processing unit 12 performs image processing on captured image data for each frame. In the image processing, the image processing unit 12 may acquire the vertical direction of the image sensor 1 and the amount of camera shake from the acceleration sensor 17 and perform image processing based on these data.
  • the image processing unit 12 is a processor such as a DSP (Digital Signal Processor) or an ASIC (Application Specific Specific Integrated Circuit).
  • the storage unit 16 is a frame memory that stores captured image data before and / or after image processing.
  • the storage unit 16 is, for example, an SRAM (Static Random Access Memory) or a DRAM (Dynamic RAM).
  • the storage unit 16 may include a device for reading and writing data to various storage media such as a hard disk and a portable flash memory.
  • the display unit 18 displays a stereoscopic image based on the captured image data.
  • the display unit 18 includes, for example, an LCD (Liquid Crystal Display) including a polarizing filter corresponding to the parallax between the left and right eyes and a control circuit thereof.
  • the display unit 18 displays left and right captured image data having parallax, and displays a stereoscopic captured image that allows the user to perceive a stereoscopic effect.
  • the control unit 14 sends control signals to the image sensor 10, the amplifier 11, the image processing unit 12, the storage unit 16, and the display unit 18 to integrally control the operation of the imaging device 1.
  • the control unit 14 is a microcomputer, for example.
  • FIG. 2 is a schematic plan view of the image sensor 10.
  • the image sensor 10 includes light receiving elements 22 arranged in a matrix.
  • the X-axis direction (row direction) corresponds to the left-right direction of the captured image
  • the Y-axis direction (column direction) corresponds to the up-down direction of the captured image.
  • the Z-axis direction perpendicular to the paper surface corresponds to the optical axis direction of the subject light 100.
  • the light receiving elements 22 form a light receiving element pair 22P in the row direction, that is, in the left-right direction of the captured image.
  • the light receiving element pair 22P generates and outputs a pixel signal constituting a captured image for the left eye among the captured image pair having parallax for displaying a stereoscopic captured image, and an imaging for the right eye.
  • a light receiving element 22R that generates and outputs a pixel signal constituting an image.
  • the light receiving elements 22R and 22L adjacent in the row direction form a light receiving element pair 22P
  • the light receiving element pair 22P is adjacent in the column direction.
  • the light receiving element 22 is referred to as the light receiving element 22 when referring to the right and left without distinction, and the light receiving elements 22R and 22L are referred to when the right and left are distinguished.
  • the image sensor 10 includes a color filter 26 disposed on the light receiving element 22.
  • the color filter 26 has a color of any one of R (Red), G (Green), and B (Blue) for each light receiving element 22, and selectively receives light corresponding to the color to correspond to the light receiving element. 22 is reached.
  • the color arrangement of the color filter 26 will be described in detail later.
  • the image sensor 10 has microlenses 20 arranged on the light receiving element 22.
  • the microlens 20 may be a cylindrical lens or a spherical lens. Here, the case of a cylindrical lens is shown.
  • Each cylindrical lens is arranged to bend in the row direction and extend in the column direction, cover one light receiving element pair 22P in the row direction, and cover a plurality of light receiving element pairs 22P in the column direction.
  • FIG. 3A is a cross-sectional view taken along the optical axis direction (Z-axis direction) of the image sensor 10.
  • Subject light 100 is incident on the image sensor 10 via the imaging lens 102.
  • the subject light 100 passes through the imaging lens 102 via the entrance pupil 33 and the exit pupil 34 having a diameter corresponding to the stop 32.
  • the subject light 100 that has passed through the imaging lens 102 is collected by the microlens 20, and light having a wavelength corresponding to the color of the color filter 26 reaches the light receiving element 22.
  • a subject image is formed on one of the light receiving elements 22L and 22R of the light receiving element pair 22P by any one of R, G, and B light.
  • each light receiving element pair 22P the left light beam 100L of the subject light 100 with respect to the optical axis 30 is incident on the left eye light receiving element 22L, and the right light beam 100R is incident on the right eye light receiving element 22R. Then, the light receiving element 22L generates and outputs a pixel signal of a pixel constituting the left-eye captured image. On the other hand, the light receiving element 22R generates and outputs a pixel signal of a pixel constituting a right-eye captured image.
  • the light receiving element 22 is, for example, a photodiode included in a CMOS or CCD.
  • a wiring 38 for transmitting an input signal or an output signal of the light receiving element 22 is disposed, for example, in a laminated form.
  • the wiring 38 receives the leakage light of the light beams 100L and 100R that protrude from the light receiving elements 22L and 22R and enter the other adjacent light receiving element pair 22P as shown in FIG. Shielding is performed according to the height H of the layer of the wiring 38 from the surface 200 (52).
  • the wiring 38 is provided between the light receiving element pair 22P in the row direction (X-axis direction) on the XY plane of the image sensor 10. By doing so, the leakage light between the light receiving element pairs in the row direction can be appropriately shielded.
  • the wiring 38 may be provided for every two or more light receiving element pairs 22P in the row direction or for every random number of light receiving element pairs 22. Further, in each light receiving element pair 22P, a wiring 38 may be provided between the light receiving elements 22R and 22L.
  • the wiring 38 may be provided between the light receiving element pair 22P in the column direction (Y-axis direction). By doing so, leakage light between the light receiving element pairs in the column direction can be shielded accordingly.
  • the wiring 38 may be provided for each of two or more light receiving element pairs 22P or a random number of light receiving element pairs 22P in the column direction.
  • the wiring 38 By the action of the wiring 38 as described above, leakage light between the light receiving element pairs 22P or between the light receiving elements 22 can be shielded to some extent without additionally providing a light blocking structure such as an aluminum partition.
  • a light blocking structure such as an aluminum partition.
  • the wiring 38 has different transparency depending on the material. For example, the copper wiring 38 has higher light transmittance than that made of aluminum, and accordingly, the leakage light shielding function is lowered. Therefore, in the first embodiment, the adverse effects due to leaked light are further reduced as follows.
  • FIG. 5 shows an example of the color filter 26 in the first embodiment.
  • the squares correspond to the positions of the respective light receiving elements 22.
  • the microlens 20 is a cylindrical lens is shown.
  • the color filter 26 has one of R, G, and B colors for each light receiving element pair 22P. That is, the same color corresponds to the light receiving elements 22R and 22L in each light receiving element pair 22P. At the same time, colors are arranged so that R and G correspond alternately or B and G correspond alternately to the light receiving element pair 22P in the row direction. Further, the color filter 26 is arranged so that any two colors of R and G or B and G are adjacent to each other in the column direction.
  • the color filter 26 has a color arrangement such that R and G alternately correspond to each other or B and G alternately correspond to the light receiving element pairs 22P in the row direction, each color receiving element pair 22P. Even if the light receiving elements 22L and 22R receive the leakage light of the other light receiving element pairs 22P adjacent in the row direction, they receive the leakage light of the same color. Therefore, the color misregistration caused by receiving light of a color different from the original color is equivalent in the left and right captured image pairs. Therefore, it is possible to prevent a color difference between the left and right captured image pairs.
  • FIG. 6 is a graph in which the horizontal axis indicates the wavelength of the subject light 100 and the vertical axis indicates the transmitted light intensity of the wiring 38.
  • the color filter 26 is arranged in a color arrangement in which R and G alternately correspond to light receiving element pairs in the row direction, or B and G alternately correspond to each other, that is, R and B in the row direction. Since the arrangement is such that the colors are not adjacent to each other, a good captured image can be obtained when the pixel signals are amplified with different amplification factors depending on the colors.
  • the light transmitted through the color filter 26 has different transmittances depending on the colors. However, since the amount of light received by each light receiving element 22 varies depending on the color, the intensity of the pixel signal output from the light receiving element 22 varies depending on the color.
  • the amplifier 11 that amplifies the pixel signal can keep the color of the captured image favorable by amplifying the pixel signal at a different amplification factor depending on the color. For example, when the ratio of R, G, and B light transmittances is 1/3: 1/2: 1, the same light quantity can be obtained by setting the amplification factor ratio to 3: 2: 1. The intensity of the R, G, and B pixel signals can be made uniform.
  • the relationship between the color of the leaked light and the original color of the light receiving element is 1)
  • R or B leakage light is incident on the G light receiving element 2
  • G leakage light is incident on the R or B light receiving element.
  • the leakage light from the R is 2/3 times stronger than the case where it is converted into a signal as it is.
  • the signal is added to the G pixel signal.
  • the variation in the intensity of the pixel signal is in the range of 1/3 to 3/2.
  • the ratio of the light amount leaking from R to G having a transmittance of 1/3 in the case of 1) and the light amount leaking from G to R having a transmittance of 1/2 in the case of 2) is If the RGB amplification factor is 1: 1: 1, the increase in signal due to leakage light in the G and R pixels is also reduced to 1/3: 1/2 as with the transmittance. Become. However, if the RGB amplification factor is 3: 2: 1 as in this example, the pixel signal due to the leakage light from R to G is amplified with the G amplification factor of 2, and the pixel signal due to the leakage light from G to R is the pixel signal. Is amplified with an R amplification factor of 3.
  • the ratio of the increase in pixel signal due to leakage light from R to G in the G pixel and the increase in pixel signal due to leakage light from G to R in the R pixel in 2) is 2 / 3: 3/2, which is a greater difference than the transmittance.
  • the ratio of the amount of light leaking from B to G and the amount of light leaking from G to B is 1: 1/2, but since the amplification factor is 2: 1, the increase in pixel signal due to leaked light from B to G in the G pixel Then, the ratio of the increase in pixel signal due to leaked light from G to B in the B pixel is 2: 1/2.
  • the amplification factors are set so that the RGB pixel signal outputs are equal when the RGB incident light amounts are equal, the influence of the leakage light is not equal, and the signal output is shifted.
  • the B amplification factor is 1 and the transmittance is 1/3.
  • a signal having 1/3 times the intensity of the light leaked from R is directly added to the B pixel signal as compared with the case where the light is converted into a signal as it is.
  • the leakage light from B is directly converted into a signal. 3 times the intensity of the signal is added to the R pixel signal.
  • the variation in intensity of the pixel signal is expanded from 1/3 to 3 times. Therefore, compared with such a case, according to the color filter 26 in the first embodiment, the variation in the intensity of the pixel signal (difference in the influence of leakage light) can be reduced to a smaller range.
  • the ratio of the leakage light from R to B and the leakage light from B to R is 1/3: 1, but the increase in signal due to the leakage light from R to B in the B pixel and from B to R in the R pixel.
  • the ratio of signal increase due to leakage light is 1/3: 3, and there is a nine-fold difference in signal increase due to leakage light.
  • the microlens 20 when the microlens 20 is a cylindrical lens, even if the amount of leakage light between the light receiving elements 22 in the row direction is relatively larger than the amount of leakage light between the light receiving elements 22 in the column direction, It is possible to prevent the color difference in the pair of captured images.
  • the color filter 26 since the color filter 26 is arranged so that any two colors of R and G or B and G are adjacent to each other in the column direction, the same action can be applied to leakage light between the light receiving elements 22 in the column direction. The effect is applied.
  • FIG. 7 shows an example of the color filter 26 in the second embodiment.
  • the squares correspond to the light receiving elements 22.
  • the microlens 20 corresponds to two light receiving element pairs 22P adjacent in the column direction, that is, two light receiving elements 22 in the row direction and two in the column direction.
  • the light receiving elements 22 form a light receiving element pair 22P ′ not only in the row direction but also in the column direction.
  • the image sensor 10 can capture a pair of captured images having parallax even in the column direction. For example, when the imaging device 1 is rotated 90 degrees to the left or right with respect to the subject and the row direction and the column direction of the imaging element 10 are switched to perform imaging corresponding to the left and right direction of the subject, the image processing unit 12 performs imaging.
  • the other structure in the imaging device 1 is the same as 1st Embodiment.
  • each of the light receiving element pairs 22P in the row direction has any color of R, G, and B, and R and G or B and G are alternately arranged in the row direction, and The light receiving element pair 22P in the row direction corresponds to R and G alternately or B and G alternately. Further, the two colors R and G or B and G are arranged adjacent to each other in the column direction. And it arrange
  • the color of the left and right captured image pair is obtained by the same effect as in the first embodiment. Can prevent discrepancies. Further, since the color filter 26 has a portion where the same color is adjacent in the column direction (that is, a portion of the light receiving element pair 22P ′), the corresponding light receiving element 22 is separated from other light receiving elements 22 adjacent in the column direction. Leaking light has the same color as the original color. Therefore, it is possible to reduce the adverse effects caused by color mixing between pixels in the vertical direction of the captured image, and to prevent deterioration in quality for each captured image.
  • FIG. 8 shows an example of the color filter 26 in the third embodiment.
  • the squares correspond to the light receiving elements 22.
  • the left and right light receiving elements 22R and 22L form a light receiving element pair 22P with the center light receiving element 22C interposed therebetween.
  • the light receiving element 22C and the light receiving element pair 22P sandwiching the light receiving element 22C are referred to as a light receiving element set 22G.
  • the microlens 20 is a cylindrical lens that is bent in the row direction and extends in the column direction, and is disposed so as to cover the light receiving element set 22G in the row direction and to cover a plurality of light receiving element sets 22G in the column direction. Is done.
  • the center light receiving element 22C in the light receiving element set 22G receives the subject light 100 having smaller aberration and distortion near the center of the imaging lens 102 than the left and right light receiving element pair 22P.
  • the image processing unit 12 corrects the aberration and distortion of the captured image pair formed by the pixel signal from the light receiving element pair 22P using the pixel signal from the light receiving element 22C.
  • the other structure in the imaging device 1 is the same as 1st Embodiment.
  • the color filter 26 has any color of R, G, and B for each light receiving element set 22G including the light receiving element pair 22 in the row direction, and R and G in the row direction.
  • B and G are alternately arranged.
  • R and G correspond alternately or B and G correspond alternately to the light receiving element set 22G including the light receiving element pair 22P in the row direction.
  • the two colors R and G or B and G are arranged adjacent to each other in the column direction.
  • the quality of the stereoscopic image can be improved by correcting the influence of aberration and distortion of the imaging lens 102.
  • FIG. 9 shows an example of the color filter 26 in the fourth embodiment.
  • the squares correspond to the light receiving elements 22.
  • the fourth embodiment is different from the third embodiment in that the colors corresponding to the center light receiving element 22C in the light receiving element set 22G and the left and right light receiving element pairs 22P sandwiching this are different.
  • the color of the color filter 26 has one of R, G, and B for each light receiving element 22, and two colors R and G or B and G are alternately arranged in the row direction, and the column direction Are arranged so that any two colors of R and G or B and G are adjacent to each other.
  • Other configurations are the same as those of the third embodiment.
  • the quality of the stereoscopic image can be improved by correcting the influence of aberration and distortion of the microlens 20, and further, R, G, B
  • the image sensor 10 can be configured using a general-purpose color filter that is not used for capturing a stereoscopic image and is Bayer-arrayed for each light receiving element 22.
  • the component cost can be reduced.
  • FIG. 10 shows a modification of the first embodiment. This modification differs from the first embodiment in that the width of the light receiving element 22 in the row direction is narrower than that of the first embodiment. With this configuration, a large number of light receiving elements 22 can be arranged in the row direction, and the resolution in the horizontal direction can be improved in the captured image pair having the same size as that of the first embodiment.
  • FIG. 11 shows another modification of the first embodiment.
  • This modification differs from the first embodiment in that the microlens 20 is not a cylindrical lens but a spherical lens, in addition to the width of the light receiving element 22 in the row direction being narrower than that of the first embodiment.
  • Each spherical lens is disposed so as to cover the light receiving element pair 22P.
  • the first embodiment can be applied not only to a cylindrical lens but also to a spherical lens.
  • the captured image pair obtained by the light receiving element pair 22P of the image sensor 10 can also be used for measuring the position of the subject in the Z-axis direction by applying triangulation, for example.
  • Such measurement processing is performed by, for example, the image processing unit 12.

Abstract

 立体撮像画像の解像度や立体感の低下を防止するために、撮像素子に、行列方向に配列され被写体からの光を受光する受光素子であって、行方向で対をなす受光素子対が、前記被写体の視差を有する撮像画像対のそれぞれを構成する画素信号を出力する、受光素子と、前記被写体からの光を屈折させて前記受光素子に受光させるマイクロレンズと、前記マイクロレンズと前記受光素子の間で、色に応じた光を通過させるカラーフィルタであって、前記受光素子対ごとにR、G、及びBのいずれかの色を有するとともに前記行方向にRとGまたはBとGのいずれか2色が交互に配置された、カラーフィルタと、前記行方向における前記受光素子間に配設され、前記受光素子の入力信号または出力信号を伝送する配線とを設け、左右の撮像画像対の色の食い違いを低減させた。

Description

撮像素子、及び撮像装置 関連出願へのクロスリファレンス
 本出願は、日本国特許出願2013-4940号(2013年1月15日出願)の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
 本発明は、行列状に配列され、被写体からの光を受光して、被写体の撮像画像対を構成する画素信号を出力する受光素子対を備えた撮像素子、及びかかる撮像素子を有する撮像装置に関する。
 被写体の視差を有する撮像画像対を単一の撮像素子で撮像する構成として、行列状に配列されたマイクロレンズごとに左右で対をなす受光素子対を備えた撮像素子が知られている。かかる撮像素子は、マイクロレンズを通過した被写体からの光を、カラーフィルタにより選択的に受光素子に到達させる。受光素子対は撮像画像対を構成する画素対(絵素)に対応し、左眼用の受光素子からは左眼用の、右眼用の受光素子からは右眼用の撮像画像を構成する、色の階調に応じた画素信号が出力される。撮像画像対は、たとえば立体画像表示のために用いられる。かかる撮像素子の例が、特許文献1に記載されている。
特表2003-523646号公報
 上記の撮像素子は、その構造に起因して、立体撮像画像の解像度や立体感の低下といった問題を有する。撮像レンズの像側の開口数が大きくFナンバーが小さい場合、マイクロレンズを通過する光線の傾きが大きくなり、対応する受光素子対に入射する際に左右方向に隣接する他の絵素の受光素子対にも漏れ光が入射する。たとえば、右眼用の受光素子が受光すべき右眼用の光が隣接する他の受光素子対の左眼用の受光素子に、または左目用の受光素子が受光すべき左眼用の光が隣接する他の受光素子対の右眼用の受光素子に受光される。すると、左右の撮像画像対間で画素信号の混入が生じ、左右の撮像画像対で色味や明るさが食い違ったり、クロストークが生じたりして、立体感や解像度の低下といった、立体撮像画像の品質低下を招くおそれがある。
 そこで、上記のような問題点に鑑みてなされた本発明の目的は、立体撮像画像の品質低下を防止できる撮像素子、及びこれを含む撮像装置を提供することにある。
 上記課題を解決するために、一側面における撮像素子は、行方向と列方向とに配列され被写体からの光を受光する受光素子であって、被写体の左右方向に対応する行方向で対をなす受光素子対が、前記被写体の視差を有する撮像画像対のそれぞれを構成する画素信号を出力する、受光素子と、前記被写体からの光を屈折させて前記受光素子に受光させるマイクロレンズと、前記マイクロレンズと前記受光素子の間で、色に応じた光を通過させるカラーフィルタであって、前記受光素子対ごとにRed(R)、Green(G)、及びBlue(B)のいずれかの色を有するとともに前記行方向にRとGまたはBとGのいずれか2色が交互に配置された、カラーフィルタと、前記行方向における前記受光素子間に配設され、前記受光素子の入力信号または出力信号を伝送する配線と、を有することを特徴とする。
 前記カラーフィルタは、前記列方向にRとGまたはBとGのいずれか2色が隣接するように配置されるとよい。さらに、前記カラーフィルタは、前記列方向に同じ色が隣接する部分を有するとよい。
 前記マイクロレンズは、前記列方向に延在し、前記行方向に対をなす前記受光素子対を覆うシリンドリカルレンズであってもよい。さらに、シリンドリカルレンズが、前記行方向に別の受光素子をはさんで対をなす前記受光素子対と当該別の受光素子とを覆ってもよい。または、前記マイクロレンズは、前記列方向に隣接し、前記カラーフィルタの同じ色が対応する受光素子対を覆う球面レンズであってもよい。
 前記配線は、前記行方向における受光素子対同士の間に配設されるとよい。さらに、前記配線は、銅製であってもよい。
 別の側面は、上記の撮像素子と、前記撮像画像対に基づく立体撮像画像を表示する表示部とを有する撮像装置に関する。この撮像装置は、さらに、前記受光素子が出力する画素信号を、前記カラーフィルタの色に応じた増幅率で増幅して前記表示部へ出力する増幅器を有するとよい。
 以下に示す実施形態によれば、立体撮像画像の品質低下を防止することができる。
第1実施形態における撮像装置の構成を示すブロック図である。 撮像素子の平面概略図である。 撮像素子の断面図である。 撮像素子の平面概略図である。 第1実施形態におけるカラーフィルタの例を示す図である。 配線の材質と被写体光の透過率を示す図である。 第2実施形態におけるカラーフィルタの例を示す図である。 第3実施形態におけるカラーフィルタの例を示す図である。 第4実施形態におけるカラーフィルタの例を示す図である。 第1実施形態の変形例を示す図である。 第1実施形態の別の変形例を示す図である。
 以下、本発明の実施の形態について説明する。
[第1実施形態]
 図1は、第1実施形態における撮像装置の構成を示すブロック図である。この撮像装置1は、被写体からの光(以下、被写体光)100に基づき、立体撮像画像を表示するための視差を有する一対の撮像画像を撮像する。撮像装置1は、撮像レンズ102、撮像素子10、増幅器11、画像処理部12、制御部14、記憶部16、及び表示部18を有する。撮像素子10、増幅器11、画像処理部12、制御部14、記憶部16、加速度センサ17、及び表示部18は、バス19に接続され、各種信号を互いに送受信可能に構成される。
 撮像素子10は、被写体光100が撮像レンズ102を介して入射されると、被写体光100に基づき、視差を有する左眼用と右眼用の撮像画像対を撮像し、各撮像画像を構成する画素信号を出力する。各撮像画像は、行列状に配列された画素からなり、1フレームの撮像画像を構成する画素数は、たとえば、640×480画素~4000×3000画素である(ただし、1フレームの画素数やアスペクト比は、この数値範囲に限られなくてもよい)。撮像素子10は、各画素に対応して配設された受光素子を有するCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)であり、受光素子により画素信号を生成して出力する。画素信号は、たとえば、1フレームごとに生成され出力される。画素信号は、画素ごとの、たとえばR(Red)、G(Green)、B(Blue)の色の階調値を示す信号である。また、画素信号は、たとえば受光素子からの出力信号がA/D変換されたデジタル信号である。
 増幅器11は、撮像素子10が出力する画素信号を増幅してバス19に出力する。増幅器11は、後に詳述するように、画素信号をその色に応じて異なる増幅率で増幅する。なお、増幅器11は、撮像素子10の内部に設けてもよいし、画像処理部12内部や撮像装置1内のその他の部位に設けてもよい。
 画像処理部12は、1フレーム分の画素信号を含む撮像画像データに対し、色や輝度補正、歪み補正等の所定の画像処理や、データの圧縮・伸張を行う。画像処理部12は、たとえば、1フレームごとの撮像画像データに対し画像処理を行う。画像処理部12は、画像処理に際し、加速度センサ17から撮像素子1の上下方向や手振れ量などを取得し、これらのデータに基づいて画像処理を行ってもよい。画像処理部12は、たとえばDSP(Digital Signal Processor)やASIC(Application Specific Integrated Circuit)等のプロセッサである。
 記憶部16は、画像処理前及び/または画像処理後の撮像画像データを記憶するフレームメモリである。記憶部16は、たとえば、SRAM(Static Random Access Memory)やDRAM(Dynamic RAM)である。または、記憶部16は、ハードディスクや可搬型フラッシュメモリなど各種記憶メディアへのデータ読込み・書込み装置を含んでもよい。
 表示部18は、撮像画像データに基づき立体撮像画像を表示する。表示部18は、たとえば左右の眼の視差に対応する偏光フィルタを備えたLCD(Liquid Crystal Display)とその制御回路を有する。表示部18は、視差を有する左右の撮像画像データを表示して、ユーザが立体感を知覚できるような立体撮像画像を表示する。
 制御部14は、撮像素子10、増幅器11、画像処理部12、記憶部16、及び表示部18に制御信号を送り、撮像装置1の動作を統合的に制御する。制御部14は、たとえばマイクロコンピュータである。
 図2は、撮像素子10の平面概略図である。撮像素子10は、行列状に配列された受光素子22を有する。ここでは、X軸方向(行方向)が撮像画像の左右方向に、Y軸方向(列方向)が撮像画像の上下方向に対応する。そして、紙面に垂直なZ軸方向は、被写体光100の光軸方向に対応する。受光素子22は、行方向、すなわち撮像画像の左右方向に、受光素子対22Pをなす。受光素子対22Pは、立体撮像画像を表示するための視差を有する撮像画像対のうち、左眼用の撮像画像を構成する画素信号を生成して出力する受光素子22Lと、右眼用の撮像画像を構成する画素信号を生成して出力する受光素子22Rとを有する。ここでは、行方向に隣接する受光素子22R、22Lが受光素子対22Pをなし、列方向に受光素子対22Pが隣接して並んだ例が示される。なお、以下では、受光素子の左右を区別せずに言及するときには受光素子22といい、左右を区別する際に受光素子22R、22Lという。
 撮像素子10は、受光素子22上に配置されたカラーフィルタ26を有する。カラーフィルタ26は、受光素子22ごとにR(Red)、G(Green)、B(Blue)のいずれかの色を有し、その色に応じた光を選択的に通過させて対応する受光素子22に到達させる。カラーフィルタ26の色の配置については、後に詳述する。
 撮像素子10は、受光素子22上に配列されたマイクロレンズ20を有する。マイクロレンズ20は、シリンドリカルレンズであってもよいし、球面レンズであってもよい。ここでは、シリンドリカルレンズの場合が示される。各シリンドリカルレンズは、行方向に屈曲するとともに列方向に延在し、行方向において1つの受光素子対22Pを覆い、列方向において複数の受光素子対22Pを覆うように配設される。
 図3(A)は、撮像素子10の光軸方向(Z軸方向)に沿った断面図である。撮像素子10には、撮像レンズ102を介して被写体光100が入射される。被写体光100は、絞り32に応じた直径の入射瞳33、射出瞳34を介して撮像レンズ102を通過する。撮像レンズ102を通過した被写体光100は、マイクロレンズ20で集光され、カラーフィルタ26の色に応じた波長の光が受光素子22に到達する。こうして、受光素子対22Pの受光素子22L及び22R上に、R、G、Bいずれかの光により被写体像が結像される。
 受光素子対22Pごとにみると、被写体光100のうち光軸30に対し左側の光束100Lは左眼用の受光素子22Lに、右側の光束100Rは右眼用の受光素子22Rに入射される。そして、受光素子22Lは、左眼用の撮像画像を構成する画素の画素信号を生成し、出力する。一方、受光素子22Rは、右眼用の撮像画像を構成する画素の画素信号を生成し、出力する。受光素子22は、たとえば、CMOSやCCDに含まれるフォトダイオードである。
 受光素子対22P間には、受光素子22の入力信号または出力信号を伝送する配線38が、たとえば積層状に配設される。配線38は、部分拡大図3(B)に示すように、受光素子22L、22Rからはみ出して隣接する他の受光素子対22Pに入射される光束100L、100Rの漏れ光を、受光素子22の受光面200からの配線38の層の高さHに応じて遮蔽する(52)。
 また、配線38は、図4の平面概略図に示すように、撮像素子10のX-Y平面において、行方向(X軸方向)における受光素子対22P間に設けられる。そうすることで、行方向における受光素子対間の漏れ光を相応に遮蔽できる。配線38は、行方向において二以上の受光素子対22Pごと、または、ランダムな数の受光素子対22ごとに設けてもよい。さらに、各受光素子対22Pにおいて、受光素子22R、22L間に配線38を設けてもよい。
 また、配線38は、列方向(Y軸方向)において受光素子対22P間に設けてもよい。そうすることで、列方向における受光素子対間の漏れ光を相応に遮蔽できる。配線38は、列方向において、二以上の受光素子対22Pごと、または、ランダムな数の受光素子対22Pごとに設けてもよい。
 上記のような配線38の作用により、たとえばアルミニウム製の隔壁といった遮光用の構造を追加的に設けなくても、受光素子対22P間あるいは受光素子22間の漏れ光をある程度遮蔽できる。ただし、近年の微細配線技術の進歩にともなう配線38の高さの低下傾向と漏れ光の遮蔽機能は、トレードオフの関係にある。また、配線38はその材質に応じて異なる透過性を有する。たとえば、銅製の配線38は、アルミニウム製の場合と比較して光の透過性が高く、その分漏れ光の遮蔽機能が低下する。そこで、第1実施形態では、さらに、次のようにして漏れ光による弊害を低減する。
 図5は、第1実施形態におけるカラーフィルタ26の例を示す。図中、マス目は各受光素子22の位置に対応する。また、ここでは、マイクロレンズ20がシリンドリカルレンズである例が示される。第1の実施形態では、カラーフィルタ26は、受光素子対22Pごとに、R、G、及びBのいずれかの色を有する。すなわち、各受光素子対22Pにおける受光素子22R、22Lには、同じ色が対応する。それとともに、行方向における受光素子対22Pに、それぞれRとGが交互に対応するか、またはBとGが交互に対応するように色が配置される。さらに、カラーフィルタ26は、列方向にRとGまたはBとGのいずれか2色が隣接するように配置される。
 このようなカラーフィルタ26は、受光素子対22Pごとに同じ色を有するので、受光素子対22Pごとにみたとき、受光素子22Lからの漏れ光が受光素子22Rに、または、受光素子22Rからの漏れ光が受光素子22Lに入射したとしても、受光素子22Rまたは22Lは、本来受光する光と同じ色の漏れ光を受光する。よって、左右の撮像画像対における色の食い違いを防止できる。
 また、カラーフィルタ26は、行方向における受光素子対22Pに、それぞれRとGが交互に対応するか、またはBとGが交互に対応するような色の配置を有するので、受光素子対22Pごとの受光素子22L、22Rは、それぞれ行方向に隣接する他の受光素子対22Pの漏れ光を受光したとしても、同じ色の漏れ光を受光することになる。よって、本来の色と異なる色の光を受光したことによる色ずれが、左右の撮像画像対で同等となる。よって、左右の撮像画像対における色の食い違いを防止できる。
 ここで、図6を用いて、第1実施形態における配線38の材質と被写体光100の透過率について説明する。図6は、横軸が被写体光100の波長を、縦軸が配線38の透過光強度を示すグラフである。図示するように、配線38が銅製であってもアルミニウム製であっても、被写体光100の波長が短いほど配線38の透過率が高く、R、G、Bの順で透過光強度が強くなる。すなわち、Bが支配的な光の方が、Gが支配的な光より配線38を透過しやすく、かつ、Gが支配的な光の方が、Rが支配的な光より配線38を透過しやすい。このことは、配線38が銅製である場合の方が顕著である。このことを考慮すると、たとえば、Bが支配的な光が入射される領域では、その光が通過するカラーフィルタ26の色と、その光が入射する受光素子22の本来の色の組合せにおいて、色ずれの大きさの順は、
1)Bを通過してR用の受光素子22に受光される場合、
2)Gを通過してR用の受光素子22に受光される場合、
3)Gを通過してB用の受光素子22に受光される場合、
4)Rを通過してG用の受光素子22に受光される場合
となる。その結果、かかる領域では、本来の撮像画像の色よりRが支配的になる傾向がある。しかし、第1実施形態では、行方向、列方向いずれにおいてもBとRが隣接しないので、色ずれの量が最も大きい上記1)の場合を回避できる。このように、本来の色と異なる色の光を受光したことによる色ずれを最小限にすることができる。それとともに、色ずれが左右の撮像画像対で同等となるので、左右の撮像画像対における色の食い違いを防止できる。
 また、カラーフィルタ26は、行方向における受光素子対にはそれぞれRとGが交互に対応するか、またはBとGが交互に対応するような色の配置、すなわち、行方向でRとBが隣接しないような色の配置を有するので、画素信号を色に応じて異なる増幅率で増幅する際、良好な撮像画像を得ることができる。カラーフィルタ26を透過する光は色に応じて透過率が異なるところ、各受光素子22の受光量が色に応じて異なるので、受光素子22が出力する画素信号の強度は色に応じて異なる。よって、画素信号を増幅する増幅器11は、色に応じて異なる増幅率で画素信号を増幅することで、撮像画像の色合いを良好に保つことができる。たとえば、R、G、Bの光の透過率の比が1/3:1/2:1である場合、増幅率の比を3:2:1とすることで、同じ光量を得たときのR、G、Bの画素信号の強度を均等にすることができる。
 ここで、第1実施形態における行方向での受光素子対22P間をみたとき、漏れ光の色と受光素子の本来の色の関係は、
1)RもしくはBの漏れ光がG用受光素子へ入射する場合
2)Gの漏れ光がRもしくはB用の受光素子へ入射する場合
のいずれかである。すると、1)の場合、G用の増幅率2で透過率1/3であるRの光を増幅すると、Rからの漏れ光がそのまま信号に変換された場合に比べて2/3倍強度の信号が、Gの画素信号に上乗せされる。また、G用の増幅率2で透過率1であるBの光を増幅すると、Bからの漏れ光がそのまま信号に変換された場合に比べて2倍強度の信号が、Gの画素信号に上乗せされる。一方、2)の場合、R用の増幅率3で透過率1/2であるGの光を増幅すると、Gからの漏れ光がそのまま信号に変換された場合に比べて強度の3/2倍強度の信号が、Rの画素信号に上乗せされる。また、B用の増幅率1で透過率1/2であるGの光を増幅すると、Gからの漏れ光がそのまま信号に変換された場合に比べて1/2倍強度の信号が、Bの画素信号に上乗せされる。このように、第1実施形態では、画素信号の強度のばらつきは、1/3倍から3/2倍の範囲である。
 換言すると、RGBの入射光量が等しいとき、1)の場合に透過率1/3のRからGへ漏れる光量と、2)の場合に透過率1/2のGからRへ漏れる光量の比は1/3:1/2になり、もしRGBの増幅率が1:1:1ならば、G、Rの画素における漏れ光による信号増加分も透過率と同様に1/3:1/2になる。しかし、この例のようにRGBの増幅率が3:2:1ならば、RからGへの漏れ光による画素信号はGの増幅率2で増幅され、GからRへの漏れ光による画素信号はRの増幅率3で増幅される。そのため、1)の場合にG画素におけるRからGへの漏れ光による画素信号増加分と、2)の場合にR画素におけるGからRへの漏れ光による画素信号増加分の比は、2/3:3/2になり、透過率より大きな違いになる。同様に、BからGへ漏れる光量とGからBへ漏れる光量の比は1:1/2だが、増幅率が2:1のため、G画素におけるBからGへの漏れ光による画素信号増加分と、B画素におけるGからBへの漏れ光による画素信号増加分の比は、2:1/2になる。このようにRGB入射光量が等しいときにRGB画素信号出力が等しくなるように増幅率を設定しても、漏れ光の影響は等しく無く、信号出力にずれが生じる。第1実施形態では、漏れ光による増加分には最大4倍の違いがある。
 ここで、比較例として、行方向にRとBとが隣接する場合を考えると、Rの漏れ光がB用の受光素子に入射する場合、B用の増幅率1で透過率1/3であるRの光を増幅すると、Rからの漏れ光がそのまま信号に変換された場合に比べて1/3倍強度の信号が、Bの画素信号に上乗せされる。反対に、Bの漏れ光がR用の受光素子に入射する場合、R用の増幅率3で透過率1であるBの光を増幅すると、Bからの漏れ光がそのまま信号に変換された場合に比べて3倍強度の信号が、Rの画素信号に上乗せされる。よって、画素信号の強度のばらつきが1/3倍から3倍まで拡大される。よって、かかる場合と比べて、第1実施形態におけるカラーフィルタ26によれば、画素信号の強度のばらつき(漏れ光の影響の差)をより小さい範囲におさめることができる。換言すると、RからBへの漏れ光とBからRへの漏れ光の比は1/3:1だが、B画素におけるRからBへの漏れ光による信号増加分とR画素におけるBからRへの漏れ光による信号増加分の比は、1/3:3となり、漏れ光による信号増加分には9倍の違いがある。
 上記の構成によれば、マイクロレンズ20がシリンドリカルレンズである場合、行方向における受光素子22間の漏れ光の量が列方向における受光素子22間の漏れ光の量より比較的大きくても、左右の撮像画像対における色の食い違いを防止できる。ただし、カラーフィルタ26は、列方向にRとGまたはBとGのいずれか2色が隣接するように配置されるので、列方向における受光素子22間の漏れ光に対しても、同様の作用効果が適用される。
 [第2実施形態]
 図7は、第2実施形態におけるカラーフィルタ26の例を示す。図中、マス目は受光素子22に対応する。
 第2実施形態では、マイクロレンズ20は、列方向に隣接する2つの受光素子対22P、すなわち、行方向に2つ、列方向に2つの合計4つの受光素子22に対応し、行方向と列方向とに屈曲する球面レンズを有する。第2実施形態では、受光素子22は、行方向だけでなく、列方向においても受光素子対22P´をなす。第2実施形態では、撮像素子10は、列方向においても、視差を有する撮像画像対を撮像することができる。たとえば、撮像装置1を被写体に対し左右いずれかに90度回転させ、撮像素子10の行方向と列方向を入れ替えて被写体の左右方向に対応させて撮像する場合に、画像処理部12が撮像素子10の上下方向を検知し、被写体の左右方向に対応する受光素子対22P´からの画素信号を用いて撮像画像対を生成することができる。なお、撮像装置1におけるその他の構成は第1実施形態と同じである。
 第2実施形態では、行方向の受光素子対22Pごとに、R、G、及びBのいずれかの色を有するとともに、行方向でRとG、またはBとGが交互に配置され、かつ、行方向における受光素子対22Pには、それぞれRとGが交互に対応するか、またはBとGが交互に対応する。さらに、列方向にRとGまたはBとGのいずれか2色が隣接するように配置される。そして、列方向に同じ色が隣接する部分を有するように配置される。
 第2実施形態では、まず、行方向の受光素子対22Pからの画素信号を用いて撮像画像対を生成する場合に、第1実施形態と同様の作用効果により、左右の撮像画像対における色の食い違いを防止できる。さらに、カラーフィルタ26が列方向で同じ色が隣接する部分(すなわち、受光素子対22P´の部分)を有することにより、対応する部分の受光素子22では列方向で隣接する他の受光素子22からの漏れ光が本来の色と同じ色を有する。よって、撮像画像の上下方向における画素間での色の混入による弊害を低減でき、撮像画像ごとのの品質低下を防止できる。これに加えて、行方向と列方向とを入れ替え、列方向における受光素子対22P´からの画素信号で撮像画像対を生成する場合であっても、左右の撮像画像対における色の食い違いを低減することができるとともに、撮像画像の上下方向の画素間での色の混入による弊害を低減できる。
 [第3実施形態]
 図8は、第3実施形態におけるカラーフィルタ26の例を示す。図中、マス目は受光素子22に対応する。
 第3実施形態では、行方向に隣接する3つの受光素子22のうち、中央の受光素子22Cを挟んで左右の受光素子22R、22Lが受光素子対22Pをなす。ここでは、便宜的に、受光素子22Cとこれを挟んだ受光素子対22Pとを受光素子組22Gという。そして、マイクロレンズ20は、行方向に屈曲するとともに列方向に延在するシリンドリカルレンズであって、行方向において受光素子組22Gを覆い、列方向において複数の受光素子組22Gを覆うように配設される。第3実施形態では、受光素子組22Gのうち中央の受光素子22Cは左右の受光素子対22Pと比べて撮像レンズ102の中心付近の収差や歪みが小さい被写体光100を受光することを利用して、画像処理部12は、受光素子22Cからの画素信号を用いて、受光素子対22Pからの画素信号により形成される撮像画像対の収差や歪みを補正する。なお、撮像装置1におけるその他の構成は第1実施形態と同じである。
 第3実施形態では、カラーフィルタ26は、行方向において、受光素子対22を含む受光素子組22Gごとに、R、G、及びBのいずれかの色を有するとともに、行方向でRとG、またはBとGが交互に配置される。さらに、行方向における受光素子対22Pを含む受光素子組22Gには、それぞれRとGが交互に対応するか、またはBとGが交互に対応する。そして、列方向にRとGまたはBとGのいずれか2色が隣接するように配置される。
 第3実施形態では、第1実施形態と同じ作用効果に加え、撮像レンズ102の収差や歪みの影響を補正することで立体撮像画像の品質を向上することができる。
 [第4実施形態]
 図9は、第4実施形態におけるカラーフィルタ26の例を示す。図中、マス目は受光素子22に対応する。第4実施形態は、受光素子組22Gのうち中央の受光素子22Cとこれを挟んだ左右の受光素子対22Pにそれぞれ対応する色が異なる点が第3実施形態と異なる。たとえば、カラーフィルタ26の色は、受光素子22ごとにR、G、Bのいずれかの色を有するとともに行方向にRとGまたはBとGのいずれか2色が交互に配置され、列方向にRとGまたはBとGのいずれか2色が隣接するように配置される。その他の構成は、第3実施形態と同じである。
 第4実施形態では、第1実施形態と同じ作用効果に加え、マイクロレンズ20の収差や歪みの影響を補正することで立体撮像画像の品質を向上することができ、さらに、R、G、Bが受光素子22ごとにベイヤ配列された、立体撮像画像の撮像用ではない汎用的なカラーフィルタを用いて、撮像素子10を構成することができる。よって、部品コストを低減することができる。
 [変形例]
 図10は、第1実施形態の変形例を示す。この変形例では、第1実施形態より受光素子22の行方向の幅が狭い点が、第1実施形態と異なる。かかる構成により、行方向により多数の受光素子22を配置することができ、第1実施形態と同じ大きさの撮像画像対において横方向の解像度を向上させることができる。
 図11は、第1実施形態の別の変形例を示す。この変形例では、第1実施形態より受光素子22の行方向の幅が狭いことに加え、マイクロレンズ20がシリンドリカルレンズではなく球面レンズである点が、第1実施形態と異なる。各球面レンズは、受光素子対22Pを覆うように配置される。このように、第1実施形態は、シリンドリカルレンズだけでなく、球面レンズにも適用できる。
 本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、上述の第1~第4実施形態は、それぞれ単独で、あるいは組合せで実行することができ、いずれの場合も本発明の範囲に含まれる。また、各手段等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段等を1つに組み合わせたり、或いは分割したりすることが可能である。
 また、撮像素子10の受光素子対22Pにより得られる撮像画像対は、たとえば三角測量を応用したZ軸方向における被写体の位置測定のために用いることも可能である。かかる測定処理は、たとえば画像処理部12で行われる。
 以上説明したとおり、本実施形態によれば、立体撮像画像の解像度や立体感の低下を防止することができる。
 10 撮像素子、 20 マイクロレンズ、 22 受光素子、 22P 受光素子対、 26 カラーフィルタ、 38 配線

Claims (10)

  1.  行方向と列方向とに配列され被写体からの光を受光する受光素子であって、被写体の左右方向に対応する行方向で対をなす受光素子対が、前記被写体の視差を有する撮像画像対のそれぞれを構成する画素信号を出力する、受光素子と、
     前記被写体からの光を屈折させて前記受光素子に受光させるマイクロレンズと、
     前記マイクロレンズと前記受光素子の間で、色に応じた光を通過させるカラーフィルタであって、前記受光素子対ごとにRed(R)、Green(G)、及びBlue(B)のいずれかの色を有するとともに前記行方向にRとGまたはBとGのいずれか2色が交互に配置された、カラーフィルタと、
     前記行方向における前記受光素子間に配設され、前記受光素子の入力信号または出力信号を伝送する配線と、
    を有する撮像素子。
  2.  請求項1において、
     前記カラーフィルタは、前記列方向にRとGまたはBとGのいずれか2色が隣接するように配置された撮像素子。
  3.  請求項2において、
     前記カラーフィルタは、前記列方向に同じ色が隣接する部分を有する撮像素子。
  4.  請求項1乃至3のいずれかにおいて、
     前記マイクロレンズは、前記列方向に延在し、前記行方向に対をなす前記受光素子対を覆うシリンドリカルレンズである撮像素子。
  5.  請求項4において、
     前記マイクロレンズは、前記行方向に別の受光素子をはさんで対をなす前記受光素子対と当該別の受光素子とを覆う、撮像素子。
  6.  請求項3において、
     前記マイクロレンズは、前記列方向に隣接し、前記カラーフィルタの同じ色が対応する受光素子対を覆う球面レンズである、撮像素子。
  7.  請求項1乃至6のいずれかにおいて、
     前記配線は、前記行方向における受光素子対同士の間に配設される撮像素子。
  8.  請求項1乃至7のいずれかにおいて、
     前記配線は、銅製である、撮像素子。
  9.  請求項1乃至8に記載の撮像素子と、
     請求項1乃至8に記載の前記撮像画像対に基づく立体撮像画像を表示する表示部と、
    を有する撮像装置。
  10.  請求項9において、
     前記受光素子が出力する画素信号を、前記カラーフィルタの色に応じた増幅率で増幅して前記表示部へ出力する増幅器を有する撮像装置。
PCT/JP2013/007187 2013-01-15 2013-12-06 撮像素子、及び撮像装置 WO2014112002A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014557195A JPWO2014112002A1 (ja) 2013-01-15 2013-12-06 撮像素子、及び撮像装置
US14/797,978 US20150319413A1 (en) 2013-01-15 2015-07-13 Image pickup element and image pickup apparatus
US14/812,064 US20150334375A1 (en) 2013-01-15 2015-07-29 Image pickup element and image pickup apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013004940 2013-01-15
JP2013-004940 2013-01-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/797,978 Continuation US20150319413A1 (en) 2013-01-15 2015-07-13 Image pickup element and image pickup apparatus

Publications (1)

Publication Number Publication Date
WO2014112002A1 true WO2014112002A1 (ja) 2014-07-24

Family

ID=51209131

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/007187 WO2014112002A1 (ja) 2013-01-15 2013-12-06 撮像素子、及び撮像装置

Country Status (3)

Country Link
US (2) US20150319413A1 (ja)
JP (2) JPWO2014112002A1 (ja)
WO (1) WO2014112002A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016149407A (ja) * 2015-02-10 2016-08-18 キヤノン株式会社 固体撮像素子およびそれを用いた撮像装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220068034A (ko) 2020-11-18 2022-05-25 삼성전자주식회사 카메라 모듈 및 카메라 모듈을 포함하는 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264281A (ja) * 2002-03-11 2003-09-19 Sony Corp 固体撮像素子及びその製造方法
JP2010078768A (ja) * 2008-09-25 2010-04-08 Toshiba Corp 立体映像撮影装置および立体映像撮影システム
JP2011515045A (ja) * 2008-02-29 2011-05-12 イーストマン コダック カンパニー 多視点のイメージ取得を備えたセンサー
JP2012008370A (ja) * 2010-06-25 2012-01-12 Nikon Corp 撮像装置および交換レンズ

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396873B1 (en) * 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
US6933976B1 (en) * 1999-09-03 2005-08-23 Fuji Photo Film Co., Ltd. Solid-state image pickup device
JP3956875B2 (ja) * 2002-03-25 2007-08-08 セイコーエプソン株式会社 固体撮像装置
JP2005345571A (ja) * 2004-05-31 2005-12-15 Canon Inc 撮像装置および電子機器
US7193289B2 (en) * 2004-11-30 2007-03-20 International Business Machines Corporation Damascene copper wiring image sensor
JP4967873B2 (ja) * 2007-07-13 2012-07-04 ソニー株式会社 撮像装置
JP4852016B2 (ja) * 2007-10-29 2012-01-11 株式会社東芝 半導体装置及びその製造方法
JP5422889B2 (ja) * 2007-12-27 2014-02-19 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
JP5515396B2 (ja) * 2009-05-08 2014-06-11 ソニー株式会社 撮像装置
KR101590146B1 (ko) * 2010-08-24 2016-02-01 후지필름 가부시키가이샤 고체 촬상 장치
JP5451894B2 (ja) * 2010-09-22 2014-03-26 富士フイルム株式会社 立体撮像装置およびシェーディング補正方法
WO2012039180A1 (ja) * 2010-09-24 2012-03-29 富士フイルム株式会社 撮像デバイス及び撮像装置
CN103140925B (zh) * 2010-09-29 2016-02-10 富士胶片株式会社 固态图像拾取元件和图像拾取设备
JP2012084608A (ja) * 2010-10-07 2012-04-26 Sony Corp 固体撮像装置とその製造方法、並びに電子機器
JP5672989B2 (ja) * 2010-11-05 2015-02-18 ソニー株式会社 撮像装置
US9532033B2 (en) * 2010-11-29 2016-12-27 Nikon Corporation Image sensor and imaging device
JP5682312B2 (ja) * 2011-01-05 2015-03-11 ソニー株式会社 固体撮像装置の製造方法
JP2012195921A (ja) * 2011-02-28 2012-10-11 Sony Corp 固体撮像素子およびカメラシステム
TW201245768A (en) * 2011-03-29 2012-11-16 Sony Corp Image pickup apparatus, image pickup device, image processing method, aperture control method, and program
CN103460385B (zh) * 2011-03-31 2016-05-04 富士胶片株式会社 固态成像装置和固态成像装置的制造方法
CN103503447B (zh) * 2011-05-06 2016-05-18 株式会社尼康 拍摄装置及拍摄装置的控制方法
US10104324B2 (en) * 2011-05-24 2018-10-16 Sony Semiconductor Solutions Corporation Solid-state image pickup device and camera system
JP5804055B2 (ja) * 2011-05-30 2015-11-04 株式会社ニコン 画像処理装置、画像処理方法およびプログラム
JP2013004635A (ja) * 2011-06-14 2013-01-07 Canon Inc 撮像素子、撮像装置、及び、形成方法
JP5547349B2 (ja) * 2011-09-22 2014-07-09 富士フイルム株式会社 デジタルカメラ
CN103843320B (zh) * 2011-09-28 2015-11-25 富士胶片株式会社 图像传感器和成像装置
JP2013081087A (ja) * 2011-10-04 2013-05-02 Sony Corp 撮像装置
JP5800662B2 (ja) * 2011-10-07 2015-10-28 キヤノン株式会社 半導体装置及びその製造方法
WO2013069445A1 (ja) * 2011-11-11 2013-05-16 富士フイルム株式会社 立体撮像装置及び画像処理方法
CN104012076B (zh) * 2011-12-21 2017-11-17 夏普株式会社 成像设备和电子信息仪器
JP5661201B2 (ja) * 2011-12-27 2015-01-28 富士フイルム株式会社 固体撮像装置
US20150304582A1 (en) * 2012-01-16 2015-10-22 Sony Corporation Image pickup device and camera system
WO2013114895A1 (ja) * 2012-02-01 2013-08-08 株式会社ニコン 撮像装置
JP2013172292A (ja) * 2012-02-21 2013-09-02 Sony Corp 撮像装置及び撮像素子アレイ
JP5943655B2 (ja) * 2012-03-12 2016-07-05 キヤノン株式会社 画像処理装置、焦点検出装置、および、画像処理プログラム
CN104221369B (zh) * 2012-03-28 2016-02-10 富士胶片株式会社 摄像元件以及使用该摄像元件的摄像装置和摄像方法
JP6144878B2 (ja) * 2012-04-27 2017-06-07 キヤノン株式会社 画像処理装置およびそれを備える撮像装置、ならびに画像処理方法およびそのプログラム
WO2013183382A1 (ja) * 2012-06-07 2013-12-12 富士フイルム株式会社 撮像素子及び撮像装置
JP6004768B2 (ja) * 2012-06-14 2016-10-12 キヤノン株式会社 焦点検出のための信号処理装置、信号処理方法およびプログラム、ならびに焦点検出装置を有する撮像装置
JP5997541B2 (ja) * 2012-08-10 2016-09-28 キヤノン株式会社 画像信号処理装置およびその制御方法
JP6120523B2 (ja) * 2012-10-24 2017-04-26 オリンパス株式会社 撮像素子及び撮像装置
JP6234024B2 (ja) * 2012-11-21 2017-11-22 オリンパス株式会社 撮像素子、及び撮像装置
WO2014097899A1 (ja) * 2012-12-21 2014-06-26 富士フイルム株式会社 固体撮像装置
JP6417809B2 (ja) * 2014-03-05 2018-11-07 ソニー株式会社 撮像装置
JP2016029795A (ja) * 2014-07-18 2016-03-03 株式会社半導体エネルギー研究所 半導体装置、撮像装置及び電子機器
JP6555956B2 (ja) * 2014-07-31 2019-08-07 株式会社半導体エネルギー研究所 撮像装置、監視装置、及び電子機器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264281A (ja) * 2002-03-11 2003-09-19 Sony Corp 固体撮像素子及びその製造方法
JP2011515045A (ja) * 2008-02-29 2011-05-12 イーストマン コダック カンパニー 多視点のイメージ取得を備えたセンサー
JP2010078768A (ja) * 2008-09-25 2010-04-08 Toshiba Corp 立体映像撮影装置および立体映像撮影システム
JP2012008370A (ja) * 2010-06-25 2012-01-12 Nikon Corp 撮像装置および交換レンズ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016149407A (ja) * 2015-02-10 2016-08-18 キヤノン株式会社 固体撮像素子およびそれを用いた撮像装置

Also Published As

Publication number Publication date
US20150319413A1 (en) 2015-11-05
US20150334375A1 (en) 2015-11-19
JPWO2014112002A1 (ja) 2017-01-19
JP2016006969A (ja) 2016-01-14

Similar Documents

Publication Publication Date Title
US8456565B2 (en) Imaging device
US8325241B2 (en) Image pickup apparatus that stores adjacent and contiguous pixel data before integration of same
JP5589146B2 (ja) 撮像素子及び撮像装置
US8786676B2 (en) Imaging device for generating stereoscopic image
EP2720455B1 (en) Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
US9419037B2 (en) Imaging apparatus
US9325954B2 (en) Color imaging element having phase difference detection pixels and imaging apparatus equipped with the same
US20120105598A1 (en) Three-dimensional imaging device
WO2018181358A1 (ja) 撮像装置および撮像素子
JP5634614B2 (ja) 撮像素子及び撮像装置
WO2012169301A1 (ja) 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置
WO2014112002A1 (ja) 撮像素子、及び撮像装置
WO2014064867A1 (ja) 撮像素子及び撮像装置
US9591285B2 (en) Image sensor and imaging device
JP6086681B2 (ja) 撮像素子、及び撮像装置
JP4682070B2 (ja) 画像信号処理装置
JP2022158486A (ja) 撮像素子、焦点検出装置および撮像装置
JP5649837B2 (ja) 立体撮像装置
JP2013054121A (ja) 撮像装置
JP2014215405A (ja) 撮像素子及び顕微鏡装置
JP2015161727A (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13871670

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014557195

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13871670

Country of ref document: EP

Kind code of ref document: A1