WO2013047141A1 - 撮像素子及び撮像装置 - Google Patents

撮像素子及び撮像装置 Download PDF

Info

Publication number
WO2013047141A1
WO2013047141A1 PCT/JP2012/072735 JP2012072735W WO2013047141A1 WO 2013047141 A1 WO2013047141 A1 WO 2013047141A1 JP 2012072735 W JP2012072735 W JP 2012072735W WO 2013047141 A1 WO2013047141 A1 WO 2013047141A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixels
light
color
image sensor
Prior art date
Application number
PCT/JP2012/072735
Other languages
English (en)
French (fr)
Inventor
周 高橋
一文 菅原
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201280047716.6A priority Critical patent/CN103843319B/zh
Priority to EP12836605.1A priority patent/EP2763400B1/en
Priority to JP2013536126A priority patent/JP5634614B2/ja
Publication of WO2013047141A1 publication Critical patent/WO2013047141A1/ja
Priority to US14/229,078 priority patent/US9215447B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Definitions

  • the present invention relates to an imaging element and an imaging apparatus.
  • the imaging element in which pixels including a microlens and a photoelectric conversion unit are two-dimensionally arranged receives light from a subject that has passed through the imaging optical system, and generates an image using a captured image signal of the imaging element.
  • An imaging apparatus that detects the focus adjustment state of a photographing optical system is known (see, for example, Patent Document 1).
  • FIG. 11 is a schematic plan view of the image sensor described in Patent Document 1.
  • the image sensor shown in FIG. 11 includes a pixel A in which a light receiving area a of the pixel is decentered to the right with respect to the center of the pixel, and a pixel B in which a light receiving area b of the pixel is decentered to the left with respect to the center of the pixel. Yes.
  • the light receiving area a of the pixel and the light receiving area b of the pixel are decentered in the opposite directions in the row direction X, phase difference information in the row direction X can be acquired.
  • a part of the light (white thin arrow in the figure) leaks into the light receiving area a of the adjacent pixel, so-called crosstalk occurs.
  • the light component due to the crosstalk becomes a light component in the direction opposite to the incident direction of the light detected in each of the pixels A and B. For this reason, when such crosstalk occurs, the detection signal is canceled by the crosstalk component in the pixels A and B, and two captured image signals having a phase difference cannot be obtained with high accuracy. Color mixing also occurs.
  • Recent image sensors are becoming finer and crosstalk is more likely to occur. For this reason, it is important how accurately two captured image signals having a phase difference can be obtained.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an imaging device capable of accurately obtaining two captured image signals having a phase difference, and an imaging device equipped with the imaging device. .
  • the imaging device of the present invention includes a first pixel that receives one of the pair of light beams that have passed through different pupil regions of the photographing optical system, and a second pixel that receives the other light beam of the pair of light beams.
  • An imaging device having a plurality of pixels including two types of pixels, and a plurality of pixels arranged two-dimensionally, wherein the light receiving region of the first pixel is located with respect to the center of the first pixel
  • Each pixel is decentered in one direction, the light receiving area of the second pixel is decentered in the opposite direction of one direction with respect to the center of the second pixel, and each pixel has three or four pixel cells adjacent to each other.
  • the pixel on the eccentric direction side of the light receiving area of the target pixel from the target pixel includes at least the same type of pixel as the target pixel. It is a waste. Note that the term “adjacent” refers to four pixels in order of increasing distance from the center of the pixel of interest and the centers of surrounding pixels.
  • the imaging device of the present invention outputs an image sensor, a single imaging optical system, image data based on a captured image signal output from the first pixel of the image sensor, and a second pixel of the image sensor.
  • a stereoscopic image data generation unit that generates stereoscopic image data using image data based on the captured image signal.
  • an imaging device capable of accurately obtaining two captured image signals having a phase difference and an imaging device equipped with the imaging device are provided.
  • the figure which shows schematic structure of the imaging device for describing one Embodiment of this invention 1 is a schematic plan view showing a schematic configuration of the image sensor 100 shown in FIG. 1 is a schematic plan view of an image sensor 100a which is a modification of the image sensor 100 mounted on the digital camera shown in FIG. 1 is a schematic plan view of an image sensor 100b which is a modification of the image sensor 100 mounted on the digital camera shown in FIG.
  • the figure which shows the reference example of the pixel arrangement of an image sensor The figure which shows the reference example of the pixel arrangement of an image sensor 1 is a schematic plan view of an image sensor 100c which is a modification of the image sensor 100 mounted on the digital camera shown in FIG.
  • FIG. 1 is a diagram showing a schematic configuration of an imaging apparatus for explaining an embodiment of the present invention.
  • the imaging device include an imaging device such as a digital camera and a digital video camera, an imaging module mounted on an electronic endoscope, a camera-equipped mobile phone, and the like.
  • a digital camera will be described as an example.
  • the imaging system of the illustrated digital camera includes a single photographing optical system 1 including a focus lens, a zoom lens, and the like, an imaging element 100 such as a CCD image sensor or a CMOS image sensor, and an aperture 2 provided between the two. And an infrared cut filter 3 and an optical low-pass filter 4.
  • the system control unit 11 that controls the entire electric control system of the digital camera controls the flash light emitting unit 12 and the light receiving unit 13. Further, the system control unit 11 controls the lens driving unit 8 to adjust the position of the focus lens included in the photographing optical system 1 and adjust the position of the zoom lens included in the photographing optical system. In addition, the system control unit 11 adjusts the exposure amount by controlling the opening amount of the aperture 2 via the aperture driving unit 9.
  • system control unit 11 drives the imaging device 100 via the imaging device driving unit 10 and outputs a subject image captured through the imaging optical system 1 as a captured image signal.
  • An instruction signal from the user is input to the system control unit 11 through the operation unit 14.
  • the electric control system of the digital camera further includes an analog signal processing unit 6 that performs analog signal processing such as correlated double sampling processing connected to the output of the image sensor 100, and RGB output from the analog signal processing unit 6. And an A / D conversion circuit 7 for converting the color signal into a digital signal.
  • the analog signal processing unit 6 and the A / D conversion circuit 7 are controlled by the system control unit 11.
  • the electric control system of this digital camera generates photographed image data by performing a main memory 16, a memory control unit 15 connected to the main memory 16, an interpolation calculation, a gamma correction calculation, an RGB / YC conversion process, and the like.
  • the digital signal processing unit 17 that performs the processing
  • the compression / expansion processing unit 18 that compresses the captured image data generated by the digital signal processing unit 17 into a JPEG format or expands the compressed image data
  • the imaging device 100 captures the image.
  • a stereoscopic image generation unit 19 that generates stereoscopic image data using a plurality of captured image data, an external memory control unit 20 to which a detachable recording medium 21 is connected, and a liquid crystal display unit 23 mounted on the back of the camera or the like.
  • the memory control unit 15 digital signal processing unit 17, compression / decompression processing unit 18, stereoscopic image generation unit 19, external memory control unit 20, and display control unit 22 are connected to each other via a control bus 24 and a data bus 25. It is controlled by a command from the control unit 11.
  • the liquid crystal display unit 23 displays two captured image data having parallax so as to be stereoscopically viewed.
  • FIG. 2 is a schematic plan view showing a schematic configuration of the image sensor 100 shown in FIG.
  • the image sensor 100 has a plurality of pixels arranged two-dimensionally in a row direction X and a column direction Y orthogonal thereto.
  • the plurality of pixels include two types of pixels, a pixel 10 that detects one of a pair of light beams that have passed through different pupil regions of the photographing optical system 1 and a pixel 11 that detects the other of the pair of light beams. including. The same number of these two types of pixels is provided. Note that the imaging element 100 is not provided with a pixel that can detect both a pair of light beams that have passed through different pupil regions of the photographing optical system 1.
  • the pixel 10 has a configuration in which a light receiving region (a portion indicated by a white rectangle in FIG. 2) that receives light and performs photoelectric conversion is eccentric to the left with respect to the center of the pixel 10. It has become.
  • a region (hatched region) other than the light receiving region of the pixel 10 is shielded by the light shielding film.
  • the pixel 11 has a light receiving region (a portion indicated by a white rectangle in FIG. 2) that receives light and performs photoelectric conversion with respect to the center of the pixel 11 in the eccentric direction of the light receiving region in the pixel 10 ( The configuration is eccentric in the right direction opposite to the (left direction).
  • a region (hatched region) other than the light receiving region of the pixel 11 is shielded by a light shielding film.
  • the pixels 10 and 11 are formed by, for example, decentering the center of the opening formed in the light shielding film provided above the semiconductor substrate on which the photodiode is formed, with respect to the pixel center.
  • the pixels 10 and 11 may have a configuration in which the center position of the photodiode formed in the semiconductor substrate is decentered with respect to the pixel center (the photodiode is formed only on the right half or the left half of the pixel). Good.
  • the configuration of the pixels 10 and 11 can employ a known configuration and is not limited to the configuration exemplified in this specification.
  • the pixel array shown in FIG. 2 is an array in which rows composed of a plurality of pixels 10 arranged in the row direction X and rows composed of a plurality of pixels 11 arranged in the row direction X are alternately arranged in the column direction Y. ing. That is, in the pixel rows of the image sensor 100, the pixels 10 are arranged in the odd rows and the pixels 11 are arranged in the even rows. Note that the pixels 11 may be arranged in odd rows and the pixels 10 may be arranged in even rows.
  • the pixels on the eccentric direction side (left side in the drawing) of the light receiving region in each pixel 10 with respect to each pixel 10. are pixels 10 of the same type.
  • the term “adjacent” refers to four pixels having a short distance between the centers of the pixels. For example, there are pixels around the pixel 10 in the upper left corner of FIG. 2 on the right, lower, and lower right of the pixel 10. Of these three pixels, the right pixel and the lower pixel are shown in FIG. 2 is a pixel adjacent to the pixel 10 at the upper left corner.
  • pixels on the eccentric direction side (right side in the drawing) of the light receiving region in each pixel 11 are the same type as each pixel 11. This is the pixel 11.
  • the digital signal processing unit 17 processes a captured image signal that is a set of signals output from each pixel 10 of the image sensor 100 to generate right-eye image data, and the image sensor 100.
  • Left-eye image data is generated by processing a captured image signal that is a set of signals output from each of the pixels 11.
  • the stereoscopic image synthesis unit 19 generates stereoscopic image data in a format that can be stereoscopically reproduced from the right-eye image data and the left-eye image data generated by the digital signal processing unit 17, and stores the generated stereoscopic image data in the recording medium 21. Record.
  • the system control unit 11 causes the display unit 23 to display a stereoscopic image based on the stereoscopic image data.
  • the image data for the right eye and the image data for the left eye become data having accurate parallax. Therefore, the quality of the stereoscopic image data generated from the right-eye image data and the left-eye image data can be improved.
  • the system control unit 11 includes a captured image signal that is a set of signals output from each pixel 10 of the image sensor 100 and a set of signals that are output from each pixel 11 of the image sensor 100.
  • Phase difference information may be calculated using a certain captured image signal, and phase difference AF control for driving a focus lens included in the photographing optical system 1 may be performed based on the phase difference information.
  • the target pixel when each pixel adjacent to three or four pixels in the surrounding area is a target pixel, the target pixel is more than the target pixel among the three or four pixels adjacent to the target pixel. If the layout of the pixels 10 and 11 of the image sensor 100 is determined so as to satisfy the condition that the pixels on the eccentric direction side of the light receiving region in FIG. An effect can be obtained. For pixels in which 3 or 4 pixels are not adjacent to each other (pixels in the four corners in FIG. 2), after laying out each pixel having 3 or 4 pixels adjacent to it in accordance with the above conditions, the above conditions are What is necessary is just to decide a layout suitably so that it may not collapse.
  • the pixel 10 in the upper right corner of FIG. 2 can be replaced with the pixel 11.
  • the pixel 11 in the lower left corner of FIG. 2 can be replaced with the pixel 10.
  • FIG. 3 is a schematic plan view of an image sensor 100a which is a modification of the image sensor 100 mounted on the digital camera shown in FIG.
  • the image sensor 100a has the same configuration as the image sensor 100 except that one of three types of color filters is mounted in the light receiving area of each pixel. In addition to the three types of color filters, a complementary color filter or a white color filter may be used.
  • a color filter that transmits red has a letter “R” in the light receiving area of the pixel provided in the light receiving area.
  • a color filter that transmits green has a letter “G” in the light receiving area of the pixel provided in the light receiving area (upper).
  • a color filter that transmits blue has a letter “B” in the light receiving area of the pixel provided in the light receiving area.
  • the color filter array mounted on the pixels 10 of the image sensor 100a is a Bayer array
  • the color filter array mounted on the pixels 11 of the image sensor 100a is also a Bayer array.
  • the pixel 10 and the pixel 11 that detect light of the same color adjacent to each other in the column direction Y are paired, a pair that detects red light, a pair that detects green light, and a pair that detects blue light, As a whole, they are arranged in a Bayer shape.
  • the image data for the right eye and the image data for the left eye can be converted into color image data, and color stereoscopic photography can be performed.
  • color photography there is a concern that the color mixture due to crosstalk affects the image quality.
  • color mixing due to crosstalk is suppressed in each pixel, so that image quality deterioration can be prevented.
  • a captured image signal that is a set of signals output from each pixel 10 of the image sensor 100 and a captured image signal that is a set of signals output from each pixel 11 of the image sensor 100 are each a general Bayer. It is the same as that obtained from the type of image sensor. For this reason, the digital camera can easily generate stereoscopic image data by directly using signal processing for a general Bayer-type imaging device.
  • FIG. 4 is a schematic plan view of an image sensor 100b which is a modification of the image sensor 100 mounted on the digital camera shown in FIG.
  • the image sensor 100b includes a plurality of pixels (a hatched triangle and a hatched triangle in the figure combined in a row direction X and a column direction Y orthogonal thereto). (Shown as a rectangular block).
  • the plurality of pixels are arranged in such a manner that a plurality of pixel rows composed of a plurality of pixels arranged in the row direction X are arranged in the column direction Y, and among the plurality of pixel rows, the pixel rows in the odd rows are even rows.
  • a certain pixel row is shifted in the row direction X by 1 ⁇ 2 of the arrangement pitch of the pixels in the row direction X in each pixel row.
  • the plurality of pixels include a first pixel (pixels 20R, 20G, and 20B) that detects one of a pair of light beams that have passed through different pupil regions of the photographing optical system 1, and another of the pair of light beams. Second pixels to be detected (pixels 21R, 21G, and 21B). Note that the imaging element 100b is not provided with a pixel that can detect both a pair of light beams that have passed through different pupil regions of the photographing optical system 1.
  • each of the pixels 20R, 20G, and 20B is indicated by a light receiving area (a white triangle in FIG. 4 (including characters R, G, and B)) that receives light and performs photoelectric conversion. The portion is decentered in the right direction with respect to the center of the corresponding pixel.
  • a region other than the light receiving region (hatched region) is shielded from light by the light shielding film.
  • Each of the pixels 21R, 21G, and 21B has a light receiving region (a portion indicated by a white triangle (including characters R, G, and B) in FIG. 4) that receives light and performs photoelectric conversion.
  • the configuration is decentered in the left direction with respect to the center of the corresponding pixel.
  • a region other than the light receiving region (hatched region) is shielded from light by the light shielding film.
  • each of the pixels 20R, 20G, and 20B and each of the pixels 21R, 21G, and 21B a well-known configuration can be adopted in the same manner as the pixel 10 and the pixel 11 illustrated in FIG.
  • each of the pixels 20R and 21R a color filter that transmits red (R) light is provided above the light receiving region.
  • Each of the pixels 20G and 21G is provided with a color filter that transmits green (G) light above the light receiving region.
  • Each of the pixels 20B and 21B is provided with a color filter that transmits blue (B) light above the light receiving region.
  • the color of the color filter included in each pixel is indicated by the letters “R”, “G”, and “B” in the triangle indicating the light receiving area of each pixel.
  • the array of color filters mounted on the pixels in the odd rows is a Bayer array
  • the color filters mounted on the pixels in the even rows is also a Bayer array.
  • the first pixel (the pixel in which the light receiving region is eccentric to the right in the row direction X) is formed.
  • columns of second pixels are alternately arranged in the direction G orthogonal to the direction F.
  • Each pixel included in the first pixel column and the second pixel adjacent to the pixel in the predetermined direction (right direction) in the direction G detect the same color. Yes.
  • the type of the focused pixel is Two or more second pixels (pixels 21R, 21G, 21B) are not arranged adjacent to each other.
  • FIGS. 1-10 an image sensor having even-numbered rows of pixels as first pixels and odd-numbered rows of pixels as second pixels is shown in FIGS.
  • two second pixels are arranged adjacent to the right side of the first pixel surrounded by a thick line.
  • the pixel 21B and the pixel 20G are adjacently arranged on the right side of the pixel 20B surrounded by a thick line in FIG. For this reason, only the leaked light from the pixel 21B adjacent to the right side is incident on the light receiving region of the pixel 20B surrounded by the thick line in FIG.
  • this amount of leaked light is about half the amount of light leaking from the pixel 21B, and the amount offset is smaller than in the configuration shown in FIGS.
  • the color of the leaked light is the same color as the light detected by the pixel 20B surrounded by a thick line in FIG.
  • the imaging element 100b focuses on each of the pixels 21R, 21G, and 21B, in the direction in which the light receiving region is decentered in the focused pixel (on the left side of the focused pixel), a different type of the focused pixel is used.
  • Two or more pixels are not arranged adjacent to each other. For this reason, similarly to each pixel 20R, 20G, and 20B, it can prevent that the reliability obtained also about the signal obtained from a 2nd pixel falls.
  • FIG. 4 schematically shows a plan view of the image sensor, so that the distance between the two pixels facing each other in the row direction X is narrow, but this distance is actually larger. For this reason, the influence of the crosstalk between the two pixels is so small that it can be ignored.
  • the imaging element 100b has an eccentric direction of the light receiving region in the target pixel more than the target pixel, out of the four pixels adjacent to the target pixel, when each pixel adjacent to the surrounding four pixels is the target pixel. If the layout of the first pixel and the second pixel is determined so that the pixel on the side includes at least the same type of pixel as the target pixel, the above-described effects can be obtained. be able to.
  • a layout may be determined as appropriate so as not to break the conditions for each pixel in which the four pixels are adjacent to each other. Good.
  • each pixel 20G in the first row in FIG. 4 has no pixel 21G forming a pair in the vicinity, and the left and right are adjacent to the light-shielding regions of other pixels. There is no problem even if it is replaced.
  • each pixel 21G in the last row of FIG. 4 has no pixel 20G forming a pair in the vicinity, and since the light shielding regions of other pixels are adjacent to the left and right, it is replaced with the pixel 20G. There is no problem.
  • FIG. 7 is a schematic plan view of an image sensor 100c which is a modification of the image sensor 100 mounted on the digital camera shown in FIG.
  • the image sensor 100c has the same configuration as the image sensor 100b except that the arrangement of the color filters included in each pixel is different from the arrangement of the first pixel and the second pixel.
  • the column composed of the first pixels and the column composed of the second pixels are orthogonal to the direction F.
  • Two are arranged alternately in the direction G.
  • Each pixel included in the first pixel column and the second pixel adjacent to the pixel in the predetermined direction (right direction) in the direction G detect the same color. Yes.
  • each pixel included in the first pixel column and the second pixel adjacent to the pixel in the direction G opposite to the predetermined direction (left direction) detect the same color. It has become.
  • the types of pixels surrounded by a thick frame in FIG. 7 may be replaced with different types of pixels. However, if the pixels 20B and 20R in the first row and the pixels 21B and 21R in the last row are replaced with pixels of the opposite type, leakage light will enter the pixels adjacent to these pixels. 7 is preferred. Even when the replacement is performed, the leakage light incident on the pixels adjacent to these pixels is reduced as compared with the configuration of FIGS.
  • the pixel 20R may be replaced with the pixel 20B
  • the pixel 20B may be replaced with the pixel 20R
  • the pixel 21R may be replaced with the pixel 21B
  • the pixel 21B may be replaced with the pixel 21R.
  • the image sensor drive unit 10 of the digital camera shown in FIG. 1 takes a captured image obtained from pixels connected by a broken line in FIG. 8, as shown in FIG.
  • the drive for reading out the signal and the drive for reading out the picked-up image signal obtained from other pixels are performed independently.
  • the subsequent signal processing becomes easy by separately reading the two captured image signals.
  • pixel addition is possible by adding signals of pixels surrounded by black circles in FIG.
  • the image sensor driving unit 10 reads the captured image signal obtained from the pixels connected by the broken lines in FIG. Drive for reading out the captured image signal obtained from the other pixels is performed independently.
  • the subsequent signal processing becomes easy by separately reading the two captured image signals.
  • pixel addition is possible by adding signals of pixels surrounded by black circles in FIG.
  • the image sensor driving unit 10 reads and reads out a captured image signal obtained from pixels connected by a broken line in FIG. 10, as shown in FIG.
  • the drive for reading the picked-up image signal obtained from the other pixels is performed independently.
  • pixel addition is possible by adding signals of pixels surrounded by black circles in FIG.
  • the distance in the column direction Y between the two signals for pixel addition can be made shorter than that of the image sensor 100c.
  • the image pickup device 100c includes a pair of pixels in which the light receiving areas are close to each other and a pair of pixels in which the light receiving areas are separated from each other as a pair of adjacent first and second pixels that detect the same color light. To do. A pixel pair in which the light receiving regions are separated from each other has less influence of crosstalk than a pixel pair in which the light receiving regions are close to each other. For this reason, the imaging device 100c can increase the reliability of the captured image signals obtained from the first pixel and the second pixel, as compared with the imaging device 100b having only a pair of pixels whose light receiving areas are close to each other. Is possible.
  • neither the image sensor 100b nor the image sensor 100c need be provided with a color filter in each pixel. Even when there is no color filter, the effect of reducing crosstalk can be obtained.
  • the disclosed image sensor includes a first pixel that receives one of a pair of light beams that have passed through different pupil regions of the photographing optical system, and a second pixel that receives the other of the pair of light beams.
  • An imaging device having a plurality of pixels including two kinds of pixels, wherein the plurality of pixels are two-dimensionally arranged, and the light receiving region of the first pixel is in one direction with respect to the center of the first pixel
  • the light receiving area of the second pixel is decentered in a direction opposite to the one direction with respect to the center of the second pixel, and each pixel adjacent to three or four pixels in the periphery is set as a target pixel.
  • the pixel on the eccentric direction side of the light receiving region in the target pixel from the target pixel includes at least the same type of pixel as the target pixel.
  • a plurality of pixels are arranged in a square lattice shape (here, the lattice shape is also referred to as a checkered flag shape), and the first pixels are arranged in odd-numbered rows in the square lattice arrangement.
  • the second pixels are arranged in even rows in a square lattice arrangement.
  • a pair of first and second pixels adjacent in the column direction detects light of the same color
  • the first color of light is arranged in a square lattice array.
  • a pair for detecting, a pair for detecting light of a second color different from the light of the first color, and a third color of a color different from light of the first color and light of the second color A pair of a plurality of colors is included, and a pair of three types is arranged in a Bayer shape.
  • the pair that detects light of the first color is a pair that detects red light
  • the pair that detects light of the second color is a pair that detects green light
  • a pair that detects light of three colors is a pair that detects blue light.
  • the colors other than the three types of pairs may be complementary colors or white.
  • a plurality of pixels are arranged in a plurality of pixel rows composed of a plurality of pixels arranged in a row direction in a column direction orthogonal to the row direction, and in an odd number of the plurality of pixel rows.
  • a certain pixel row is shifted in the row direction by a half of the arrangement pitch in the row direction of the pixels in each pixel row with respect to the pixel rows in the even-numbered rows.
  • a column including the first pixels and a column including the second pixels are inclined 45 They are alternately arranged in a direction orthogonal to the direction of °.
  • each of the first pixel and the second pixel includes three types of pixels: a pixel that detects red light, a pixel that detects green light, and a pixel that detects blue light.
  • Each pixel included in the column including the first pixels and the second pixel adjacent in a predetermined direction in the direction orthogonal to the direction at an angle of 45 ° with respect to each pixel detect the same color. It is what has become.
  • a pixel that detects complementary color light or a pixel that detects white light may be used.
  • a column including the first pixels and a column including the second pixels are inclined 45 They are alternately arranged in every two rows in a direction perpendicular to the direction of °.
  • each of the first pixel and the second pixel includes three types of pixels: a pixel that detects red light, a pixel that detects green light, and a pixel that detects blue light.
  • Each pixel included in the column including the first pixels and the second pixel adjacent in a predetermined direction in the direction orthogonal to the direction at an angle of 45 ° with respect to each pixel detect the same color.
  • Each pixel included in the first pixel column and the second pixel adjacent to each pixel in the direction opposite to the predetermined direction in the direction orthogonal to the direction of 45 ° obliquely The same color is to be detected.
  • a pixel that detects complementary color light or a pixel that detects white light may be used.
  • the disclosed imaging device includes an imaging device, a single imaging optical system, image data based on a captured image signal output from the first pixel of the imaging device, and output from the second pixel of the imaging device.
  • a stereoscopic image data generation unit that generates stereoscopic image data using image data based on the captured image signal;

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

位相差を持つ2つの撮像画像信号を精度よく得ることのできる撮像素子を提供する。撮像素子100は、撮影光学系1の異なる瞳領域を通過した一対の光束のうちの一方の光束を受光する画素10と当該一対の光束のうちの他方の光束を受光する画素11との2種類の画素を含む複数の画素を有し、前記複数の画素が正方格子状に配置されたものである。画素10の受光領域は、画素10の中心に対して右側に偏心している。画素11の受光領域は、画素11の中心に対して左側に偏心している。周囲に3つ又は4つの画素が隣接する各画素を注目画素としたときに、注目画素に隣接する3つ又は4つの画素のうち、注目画素よりも注目画素における受光領域の偏心方向側にある画素は、注目画素と同じ種類の画素となっている。

Description

撮像素子及び撮像装置
 本発明は、撮像素子及び撮像装置に関する。
 マイクロレンズと光電変換部からなる画素が二次元状に配列された撮像素子により、撮影光学系を透過した被写体からの光を受光し、当該撮像素子の撮像画像信号を用いて画像を生成するとともに、撮影光学系の焦点調節状態を検出するようにした撮像装置が知られている(例えば、特許文献1参照)。
特開2003-007994号公報
 図11は、特許文献1に記載の撮像素子の平面模式図である。図11に示す撮像素子は、画素の中心に対して画素の受光領域aが右側に偏心した画素Aと、画素の中心に対して画素の受光領域bが左側に偏心した画素Bとを備えている。この撮像素子では、画素の受光領域aと画素の受光領域bが行方向Xにおいて互いに逆方向に偏心しているため、行方向Xにおける位相差情報を取得することができる。
 図11中の枠Wで囲った画素Aと画素Bに着目すると、画素Bの画素の受光領域bには、図中の白抜き太矢印で示した方向からの光が入射し、画素Aの画素の受光領域aには画素Bの画素の受光領域bに入射する光とは逆方向の光が入射する。枠W内の画素Aの画素の受光領域aの右隣には画素Bの画素の受光領域bが隣接している。このため、画素Aの画素の受光領域aに入射した光の一部(図中の白抜き細矢印)が隣の画素の受光領域bに漏れ込んだり、画素Bの画素の受光領域bに入射した光の一部(図中の白抜き細矢印)が隣接する画素の受光領域aに漏れ込んだりする、所謂クロストークが発生する。このクロストークによる光成分は、画素A,Bにおいてそれぞれ検出される光の入射方向とは逆方向の光成分となる。このため、このようなクロストークが発生すると、画素A,Bにおいて、検出信号がクロストーク成分によって打消されることになり、位相差を持つ2つの撮像画像信号を精度よく得ることができない。また混色も発生する。
 近年の撮像素子は微細化が進んでおり、クロストークが発生しやすくなっている。このため、位相差を持つ2つの撮像画像信号をいかに精度良く得ることができるかが重要となる。
 本発明は、上記事情に鑑みてなされたものであり、位相差を持つ2つの撮像画像信号を精度よく得ることのできる撮像素子及びこの撮像素子を搭載する撮像装置を提供することを目的とする。
 本発明の撮像素子は、撮影光学系の異なる瞳領域を通過した一対の光束のうちの一方の光束を受光する第一の画素と当該一対の光束のうちの他方の光束を受光する第二の画素との2種類の画素を含む複数の画素を有し、複数の画素が二次元状に配置された撮像素子であって、第一の画素の受光領域は、第一の画素の中心に対して一方向に偏心しており、第二の画素の受光領域は、第二の画素の中心に対して一方向の反対方向に偏心しており、周囲に3つ又は4つの画素セルが隣接する各画素を注目画素としたときに、注目画素に隣接する3つ又は4つの画素のうち、注目画素よりも注目画素における受光領域の偏心方向側にある画素は、少なくとも注目画素と同じ種類の画素を含むものである。なお、隣接とは、注目画素の中心とその周辺の画素の中心との距離が近い順に4つの画素を示す。
 本発明の撮像装置は、撮像素子と、単一の撮影光学系と、撮像素子の第一の画素から出力される撮像画像信号に基づく画像データと、撮像素子の第二の画素から出力される撮像画像信号に基づく画像データとを用いて立体画像データを生成する立体画像データ生成部とを備えるものである。
 本発明によれば、位相差を持つ2つの撮像画像信号を精度よく得ることのできる撮像素子及びこの撮像素子を搭載する撮像装置が提供される。
本発明の一実施形態を説明するための撮像装置の概略構成を示す図 図1に示す撮像素子100の概略構成を示す平面模式図 図1に示すデジタルカメラに搭載される撮像素子100の変形例である撮像素子100aの平面模式図 図1に示すデジタルカメラに搭載される撮像素子100の変形例である撮像素子100bの平面模式図 撮像素子の画素配列の参考例を示す図 撮像素子の画素配列の参考例を示す図 図1に示すデジタルカメラに搭載される撮像素子100の変形例である撮像素子100cの平面模式図 図4に示す撮像素子100bの信号読み出し方法を説明するための図 図7に示す撮像素子100cの信号読み出し方法を説明するための図 図3に示す撮像素子100aの信号読み出し方法を説明するための図 従来の撮像素子の平面模式図
 以下、本発明の実施形態について図面を参照して説明する。
 図1は、本発明の一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、電子内視鏡及びカメラ付携帯電話機等に搭載される撮像モジュール、等があり、ここではデジタルカメラを例にして説明する。
 図示するデジタルカメラの撮像系は、フォーカスレンズ、ズームレンズ等を含む単一の撮影光学系1と、CCDイメージセンサやCMOSイメージセンサ等の撮像素子100と、この両者の間に設けられた絞り2と、赤外線カットフィルタ3と、光学ローパスフィルタ4とを備える。
 デジタルカメラの電気制御系全体を統括制御するシステム制御部11は、フラッシュ発光部12及び受光部13を制御する。また、システム制御部11は、レンズ駆動部8を制御して、撮影光学系1に含まれるフォーカスレンズの位置を調整したり、撮影光学系に含まれるズームレンズの位置を調整したりする。また、システム制御部11は、絞り駆動部9を介し絞り2の開口量を制御して露光量調整を行う。
 また、システム制御部11は、撮像素子駆動部10を介して撮像素子100を駆動し、撮影光学系1を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部11には、操作部14を通してユーザからの指示信号が入力される。
 デジタルカメラの電気制御系は、更に、撮像素子100の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部6と、このアナログ信号処理部6から出力されたRGBの色信号をデジタル信号に変換するA/D変換回路7とを備える。アナログ信号処理部6とA/D変換回路7は、システム制御部11によって制御される。
 更に、このデジタルカメラの電気制御系は、メインメモリ16と、メインメモリ16に接続されたメモリ制御部15と、補間演算やガンマ補正演算,RGB/YC変換処理等を行って撮影画像データを生成するデジタル信号処理部17と、デジタル信号処理部17で生成された撮影画像データをJPEG形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部18と、撮像素子100によって撮影して得られる複数の撮影画像データを用いて立体画像データを生成する立体画像生成部19と、着脱自在の記録媒体21が接続される外部メモリ制御部20と、カメラ背面等に搭載された液晶表示部23が接続される表示制御部22とを備える。メモリ制御部15、デジタル信号処理部17、圧縮伸張処理部18、立体画像生成部19、外部メモリ制御部20、及び表示制御部22は、制御バス24及びデータバス25によって相互に接続され、システム制御部11からの指令によって制御される。液晶表示部23は、視差のある2つの撮影画像データを立体視可能に表示する。
 図2は、図1に示す撮像素子100の概略構成を示す平面模式図である。
 撮像素子100は、行方向Xとこれに直交する列方向Yに二次元状に配列された複数の画素を有する。この複数の画素は、撮影光学系1の異なる瞳領域を通過した一対の光束のうちの一方を検出する画素10と、当該一対の光束のうちの他方を検出する画素11との2種類の画素を含む。この2種類の画素は、それぞれ同じ数だけ設けられている。なお、撮像素子100には、撮影光学系1の異なる瞳領域を通過した一対の光束の両方を検出することのできる画素は設けられていない。
 図2の例では、画素10は、光を受光して光電変換する領域である受光領域(図2中の白い矩形で示した部分)が画素10の中心に対して左方向に偏心した構成となっている。画素10の受光領域以外の領域(ハッチングを付した領域)は遮光膜によって遮光されている。
 また、画素11は、光を受光して光電変換する領域である受光領域(図2中の白い矩形で示した部分)が、画素11の中心に対して、画素10における受光領域の偏心方向(左方向)とは反対の右方向に偏心した構成となっている。画素11の受光領域以外の領域(ハッチングを付した領域)は遮光膜によって遮光されている。
 画素10,11は、例えば、フォトダイオードが形成された半導体基板上方に設ける遮光膜に形成する開口の中心を、画素中心に対して偏心させることで形成されている。なお、画素10,11は、半導体基板内に形成するフォトダイオードの中心位置を、画素中心に対して偏心させた(画素の右半分又は左半分にのみフォトダイオードを形成した)構成であってもよい。画素10,11の構成は、周知の構成を採用することができ、本明細書で例示する構成には限定されない。
 図2に示す画素の配列は、行方向Xに並ぶ複数の画素10からなる行と、行方向Xに並ぶ複数の画素11からなる行とが、列方向Yに交互に並べられた配列となっている。つまり、撮像素子100の画素の行において、奇数行には画素10が配置され、偶数行には画素11が配置されている。なお、奇数行に画素11が配置され、偶数行に画素10が配置されていてもよい。
 このような構成の撮像素子100は、各画素10に着目すると、各画素10に隣接する画素のうち、各画素10よりも各画素10における受光領域の偏心方向側(図中左側)にある画素が、同じ種類の画素10となっている。なお、ここで言う隣接とは、画素の中心間の距離が近い4つの画素をいう。例えば、図2の左上角にある画素10の周囲には、その画素10の右、下、右下に画素が存在するが、これら3つの画素のうち、右の画素と下の画素が、図2の左上角にある画素10に隣接する画素となる。
 また、各画素11に着目すると、各画素11に隣接する画素のうち、各画素11よりも各画素11における受光領域の偏心方向側(図中右側)にある画素が、各画素11と同一種類の画素11となっている。
 図2に示した枠H内にある画素10と画素11に着目すると、画素10の受光領域には、図中右から左に向かう斜め光(白抜き太矢印で示す)が入射する。また、枠H内にある画素11の受光領域には、図中右から左に向かう斜め光(白抜き太矢印で示す)が入射する。
 枠H内の画素10の右隣にある他の画素10の受光領域にも、枠H内の画素10と同様に、図中右から左に向かう斜め光が入射するが、この斜め光の一部(図中、白抜き細矢印で示す)は、枠H内の画素10に漏れ込む。しかし、この漏れ込んだ光は、枠H内の画素10の遮光領域に入射するため、枠H内の画素10の受光領域まではほとんど到達しない。また、この光が枠H内の画素10の受光領域に到達したとしても、この漏れ光の方向と、枠H内の画素10の受光領域で検出される光の方向とは一致するため、漏れ光によって位相差情報が打消されることがない。したがって、枠H内の画素10から得られる信号の精度低下を防ぐことができる。
 また、枠H内の画素11の左隣にある他の画素11の受光領域には、枠H内の画素11と同様に、図中左から右に向かう斜め光が入射するが、この斜め光の一部(図中、白抜き細矢印で示す)は、枠H内の画素11に漏れ込む。しかし、この漏れ込んだ光は、枠H内の画素11の遮光領域に入射するため、枠H内の画素11の受光領域まではほとんど到達しない。また、この光が枠H内の画素11の受光領域に到達したとしても、この漏れ光の方向と、枠H内の画素11の受光領域で検出される光の方向とは同じであるため、漏れ光によって位相差情報が打消されることがない。したがって、枠H内の画素11から得られる信号の精度低下を防ぐことができる。
 図1に示すデジタルカメラでは、デジタル信号処理部17が、撮像素子100の各画素10から出力された信号の集合である撮像画像信号を処理して右眼用画像データを生成し、撮像素子100の各画素11から出力された信号の集合である撮像画像信号を処理して左眼用画像データを生成する。そして、立体画像合成部19は、デジタル信号処理部17によって生成された右眼用画像データと左眼用画像データから、立体再生可能な形式の立体画像データを生成し、これを記録媒体21に記録する。また、システム制御部11は、この立体画像データに基づく立体画像を表示部23に表示させる。
 上述したように、撮像素子100を用いることで、右眼用画像データと左眼用画像データは、正確な視差を持ったデータとなる。したがって、右眼用画像データ及び左眼用画像データによって生成される立体画像データの品質を良好なものにすることができる。
 図1に示すデジタルカメラでは、システム制御部11が、撮像素子100の各画素10から出力された信号の集合である撮像画像信号と、撮像素子100の各画素11から出力された信号の集合である撮像画像信号とを用いて、位相差情報を算出し、この位相差情報に基づいて撮影光学系1に含まれるフォーカスレンズを駆動する位相差AF制御を行ってもよい。撮像素子100を用いることで、位相差AFの精度低下も防ぐことが可能である。
 なお、撮像素子100において、周囲に3つ又は4つの画素が隣接する各画素を注目画素としたときに、この注目画素に隣接する3つ又は4つの画素のうち、この注目画素よりも注目画素における受光領域の偏心方向側にある画素が、注目画素と同じ種類の画素となるという条件を満たすように、撮像素子100の画素10と画素11のレイアウトが決められたものであれば、上述した効果を得ることができる。周囲に3つ又は4つの画素が隣接しない画素(図2において4隅にある画素)については、周囲に3つ又は4つの画素が隣接する各画素を上記条件にしたがってレイアウトした後、上記条件は崩さないように、適宜レイアウトを決めればよい。
 例えば、図2の右上角にある画素10は、これを画素11に置換することも可能である。また、図2の左下角にある画素11は、これを画素10に置換することも可能である。
 図3は、図1に示すデジタルカメラに搭載される撮像素子100の変形例である撮像素子100aの平面模式図である。
 撮像素子100aは、各画素の受光領域に3種類のカラーフィルタのいずれかが搭載されている点を除いては、撮像素子100と同じ構成である。なお、3種類のカラーフィルタ以外に補色のカラーフィルタ、または白色のカラーフィルタでもよい。
 図3では、赤色を透過するカラーフィルタが受光領域に設けられる画素の受光領域内に“R”の文字を付してある。また、緑色を透過するカラーフィルタが受光領域(上方)に設けられる画素の受光領域内に“G”の文字を付してある。また、青色を透過するカラーフィルタが受光領域に設けられる画素の受光領域内に“B”の文字を付してある。
 図3に示すように、撮像素子100aの画素10に搭載されるカラーフィルタの配列はベイヤ配列となっており、撮像素子100aの画素11に搭載されるカラーフィルタの配列もベイヤ配列となっている。
 そして、列方向Yに隣接する同色の光を検出する画素10と画素11をペアとしたとき、赤色光を検出するペアと、緑色光を検出するペアと、青色光を検出するペアとが、全体としてベイヤ状に配列されている。
 撮像素子100の代わりに撮像素子100aを用いることで、右眼用画像データと左眼用画像データをそれぞれカラー画像データとすることができ、カラーの立体撮影が可能になる。カラー撮影の場合には、クロストークによる混色が画質に影響を与える懸念がある。撮像素子100aの構成によれば、各画素においてクロストークによる混色が抑制されるため、画質劣化を防ぐことができる。
 また、撮像素子100の各画素10から出力された信号の集合である撮像画像信号と、撮像素子100の各画素11から出力された信号の集合である撮像画像信号は、それぞれ、一般的なベイヤ型の撮像素子から得られたものと同じになる。このため、デジタルカメラは、一般的なベイヤ型の撮像素子に対する信号処理をそのまま利用して、立体画像データを簡単に生成することができる。
 図4は、図1に示すデジタルカメラに搭載される撮像素子100の変形例である撮像素子100bの平面模式図である。
 撮像素子100bは、行方向Xとこれに直交する列方向Yに二次元状に配列された複数の画素(図中のハッチングを付した三角形とハッチングを付していない三角形とを合わせた形の矩形のブロックで示す)を有する。この複数の画素の配列は、行方向Xに並ぶ複数の画素からなる画素行が列方向Yに複数個並べられ、かつ、この複数個の画素行のうち奇数行にある画素行が偶数行にある画素行に対し、各画素行における画素の行方向Xの配列ピッチの1/2だけ行方向Xにずれたものとなっている。
 この複数の画素は、撮影光学系1の異なる瞳領域を通過した一対の光束のうちの一方を検出する第一の画素(画素20R,20G,20B)と、当該一対の光束のうちの他方を検出する第二の画素(画素21R,21G,21B)とを含む。なお、撮像素子100bには、撮影光学系1の異なる瞳領域を通過した一対の光束の両方を検出することのできる画素は設けられていない。
 図4の例では、各画素20R,20G,20Bは、光を受光して光電変換する領域である受光領域(図4中の白い三角形(中にR,G,Bの文字を含む)で示した部分)が、該当画素の中心に対して右方向に偏心した構成となっている。各画素20R,20G,20Bにおいて受光領域以外の領域(ハッチングを付した領域)は遮光膜によって遮光されている。
 また、各画素21R,21G,21Bは、光を受光して光電変換する領域である受光領域(図4中の白い三角形(中にR,G,Bの文字を含む)で示した部分)が、該当画素の中心に対して左方向に偏心した構成となっている。各画素21R,21G,21Bにおいて受光領域以外の領域(ハッチングを付した領域)は遮光膜によって遮光されている。
 各画素20R,20G,20Bと各画素21R,21G,21Bは、図2に示した画素10及び画素11と同じように、周知の構成を採用することができる。
 画素20R,21Rには、それぞれ、赤色(R)光を透過するカラーフィルタが受光領域上方に設けられている。画素20G,21Gには、それぞれ、緑色(G)光を透過するカラーフィルタが受光領域上方に設けられている。画素20B,21Bには、それぞれ、青色(B)光を透過するカラーフィルタが受光領域上方に設けられている。
 図4では、各画素に含まれるカラーフィルタの色を、各画素の受光領域を示す三角形の中に“R”、“G”、“B”の文字で示している。図4の例では、撮像素子100bに含まれる複数の画素のうち、奇数行にある画素に搭載されるカラーフィルタの配列がベイヤ配列となっており、偶数行にある画素に搭載されるカラーフィルタの配列もベイヤ配列となっている。
 また、撮像素子100bでは、行方向Xに対して斜め45°の方向Fに画素の配列を見たときに、第一の画素(受光領域が行方向Xの右側に偏心した画素)からなる列と第二の画素(受光領域が行方向Xの左側に偏心した画素)からなる列とが、方向Fに直交する方向Gに交互に並んでいる。そして、第一の画素からなる列に含まれる各画素と、当該各画素に対して方向Gにおける所定方向(右方向)に隣接する第二の画素とは、同じ色を検出するものとなっている。
 このような構成の撮像素子100bは、各画素20R,20G,20Bに注目したとき、注目した画素において受光領域が偏心している方向(注目した画素の右側)には、当該注目した画素とは種類の異なる第二の画素(画素21R,21G,21B)が2つ以上隣接して配置されていない。例えば、図4の撮像素子100bにおいて、偶数行の画素を第一の画素とし、奇数行の画素を第二の画素とした撮像素子を参考として図5,6に示す。
 図5,6において太線で囲った第一の画素の右側には、第二の画素が2つ隣接して配置されている。このような構成だと、図5,6において太線で囲った第一の画素の受光領域には、この右側に隣接する2つの第二の画素からの漏れ光が入射するため、当該第一の画素から得られる信号の信頼性が低下する。
 一方、図4において太線で囲った画素20Bの右側には、画素21Bと画素20Gが隣接して配置されている。このため、図4において太線で囲った画素20Bの受光領域には、この右側に隣接する画素21Bからの漏れ光だけが入射することになる。図4において太線で囲った画素20Bからの信号は、この漏れ光によって多少は相殺される。しかし、この漏れ光は、画素21Bから漏れ出す光の約半分の量であり、図5,6に示した構成よりも、その相殺される量は少なくなる。また、この漏れ光の色は、図4において太線で囲った画素20Bで検出される光と同じ色である。このため、図4において太線で囲った画素20Bで検出される光と漏れ光の色が異なる場合と比べると、漏れ光による影響は軽減される。したがって、図4に示す撮像素子100bによれば、第一の画素から得られる信号の信頼性低下を防ぐことができる。
 また、撮像素子100bは、各画素21R,21G,21Bに注目したとき、注目した画素において受光領域が偏心している方向(注目した画素の左側)には、当該注目した画素とは種類の異なる第一の画素(画素20R,20G,20B)が2つ以上隣接して配置されていない。このため、各画素20R,20G,20Bと同様に、第二の画素から得られる信号についても、その信頼性が低下するのを防ぐことができる。
 図4は、撮像素子の平面図を模式的に示しているため、行方向Xにおいて受光領域同士が向かい合う2つの画素間の距離が狭くなっているが、実際にはこの距離はもっと大きい。このため、この2つの画素間におけるクロストークによる影響は無視できるほど小さい。
 なお、撮像素子100bは、周囲に4つの画素が隣接する各画素を注目画素としたときに、この注目画素に隣接する4つの画素のうち、この注目画素よりも注目画素における受光領域の偏心方向側にある画素が、少なくとも注目画素と同じ種類の画素を含むという条件を満たすように、第一の画素と第二の画素のレイアウトが決められたものであれば、上述したような効果を得ることができる。
 撮像素子100bにおいて、周囲に4つの画素が隣接しない画素(図4において最外周にある画素)については、周囲に4つの画素が隣接する各画素に対する条件は崩さないように、適宜レイアウトを決めればよい。
 例えば、図4の1行目にある各画素20Gは、ペアを組む画素21Gが近傍に存在せず、また、左右には他の画素の遮光領域が隣接しているため、これを画素21Gに置換しても問題はない。また、図4の最終行にある各画素21Gは、ペアを組む画素20Gが近傍に存在せず、また、左右には他の画素の遮光領域が隣接しているため、これを画素20Gに置換しても問題はない。
 図7は、図1に示すデジタルカメラに搭載される撮像素子100の変形例である撮像素子100cの平面模式図である。
 撮像素子100cは、各画素に含まれるカラーフィルタの配列と、第一の画素及び第二の画素の配置とが異なる点を除いては、撮像素子100bと同じ構成である。
 撮像素子100cでは、行方向Xに対して斜め45°の方向Fに画素の配列を見たときに、第一の画素からなる列と第二の画素からなる列とが、方向Fに直交する方向Gに、それぞれ2つずつ交互に並んでいる。そして、第一の画素からなる列に含まれる各画素と、当該各画素に対して方向Gにおける所定方向(右方向)に隣接する第二の画素とは、同じ色を検出するものとなっている。また、第一の画素からなる列に含まれる各画素と、当該各画素に対して方向Gにおける所定方向と逆方向(左方向)に隣接する第二の画素とは、同じ色を検出するものとなっている。
 図7に示した構成であっても、周囲に4つの画素が隣接する各画素を注目画素としたときに、この注目画素に隣接する4つの画素のうち、この注目画素よりも注目画素における受光領域の偏心方向側にある画素が、少なくとも注目画素と同じ種類の画素を含むという条件を満たす。つまり、撮像素子100cは、各画素に対し、該当画素において受光領域が偏心している方向には、該当画素とは種類の異なる画素が2つ以上隣接して配置されていない。したがって、撮像素子100cによれば、撮像素子100bと同様に、第一の画素及び第二の画素からそれぞれ得られる信号の信頼性が低下するのを防ぐことができる。
 なお、図7において太枠で囲った画素については、その種類を異なる種類の画素に置換してもよい。ただし、一行目にある画素20B,20Rと、最終行にある画素21B,21Rについては、これらを逆の種類の画素に置換すると、これらに隣接する画素に漏れ光が入射してしまうため、図7のままとするのが好ましい。置換を行った場合でも、これらに隣接する画素に入射する漏れ光は図5,6の構成に比べて少なくなるため、効果は得ることができる。
 また、図7において、画素20Rを画素20Bに置き換え、画素20Bを画素20Rに置き換え、画素21Rを画素21Bに置き換え、画素21Bを画素21Rに置き換えた構成であってもよい。
 図1に示すデジタルカメラの撮像素子駆動部10は、デジタルカメラが撮像素子100bを搭載している場合は、図8に示したように、図8中の破線で結んだ画素から得られる撮像画像信号を読み出す駆動と、それ以外の画素から得られる撮像画像信号を読み出す駆動とを独立に行う。このように、2つの撮像画像信号を分けて読み出すことで、後の信号処理が容易となる。また、撮像素子100bでは、例えば図8中の黒丸で囲った画素同士の信号を加算することで、画素加算が可能である。
 撮像素子駆動部10は、デジタルカメラが撮像素子100cを搭載している場合は、図9に示したように、図9中の破線で結んだ画素から得られる撮像画像信号を読み出す駆動と、それ以外の画素から得られる撮像画像信号を読み出す駆動とを独立に行う。このように、2つの撮像画像信号を分けて読み出すことで、後の信号処理が容易となる。また、撮像素子100cでは、例えば図9中の黒丸で囲った画素同士の信号を加算することで、画素加算が可能である。
 また、撮像素子駆動部10は、デジタルカメラが撮像素子100aを搭載している場合は、図10に示したように、図10中の破線で結んだ画素から得られる撮像画像信号を読み出す駆動と、それ以外の画素から得られる撮像画像信号を読み出す駆動とを独立に行う。また、撮像素子100aでは、例えば図10中の黒丸で囲った画素同士の信号を加算することで、画素加算が可能である。
 図9と図8及び図10を比較して分かるように、撮像素子100a,100bによれば、画素加算を行う2つの信号の列方向Yの距離を撮像素子100cよりも短くすることができるため、画素加算を行う場合に有利となる。一方、撮像素子100cは、同色光を検出する近接する第一の画素と第二の画素のペアとして、受光領域が互いに近づいた画素のペアと、受光領域が互いに離れた画素のペアとが混在する。受光領域が互いに離れた画素のペアは、受光領域が互いに近づいた画素のペアよりもクロストークの影響が少ない。このため、受光領域が互いに近づいた画素のペアしかない撮像素子100bと比べると、撮像素子100cは、第一の画素と第二の画素からそれぞれ得られる撮像画像信号の信頼性を高くすることが可能である。
 なお、撮像素子100bと撮像素子100cのいずれも、各画素にカラーフィルタは設けなくてもよい。カラーフィルタがない場合でも、クロストークを低減できるという効果は得ることができる。
 以上説明してきたように、本明細書には以下の事項が開示されている。
 開示された撮像素子は、撮影光学系の異なる瞳領域を通過した一対の光束のうちの一方を受光する第一の画素と当該一対の光束のうちの他方を受光する第二の画素との2種類の画素を含む複数の画素を有し、複数の画素が二次元状に配置された撮像素子であって、第一の画素の受光領域は、第一の画素の中心に対して一方向に偏心しており、第二の画素の受光領域は、第二の画素の中心に対して一方向の反対方向に偏心しており、周囲に3つ又は4つの画素が隣接する各画素を注目画素としたときに、注目画素に隣接する3つ又は4つの画素のうち、注目画素よりも注目画素における受光領域の偏心方向側にある画素は、少なくとも注目画素と同じ種類の画素を含むものである。
 開示された撮像素子は、複数の画素は正方格子状(ここで格子状とは、チェッカーフラッグ状ともいう)に配列されており、正方格子状の配列における奇数行に第一の画素が配列され、正方格子状の配列における偶数行に第二の画素が配列されているものである。
 開示された撮像素子は、列方向に隣接する第一の画素と第二の画素のペアが同じ色の光を検出するものであり、正方格子状の配列には、第一の色の光を検出するペアと、第一の色の光とは異なる色の第二の色の光を検出するペアと、第一の色の光及び第二の色の光りとは異なる色の第三の色の光を検出するペアとの複数色のペアが含まれ、3種類のペアがベイヤ状に配置されているものである。具体的には、第一の色の光を検出するペアが赤色の光を検出するペアであり、第二の色の光を検出するペアが緑色の光を検出するペアとなっており、第三の色の光を検出するペアが青色の光を検出するペアとなっている。なお、3種類のペア以外の色として補色でもよく、または白色でもよい。
 開示された撮像素子は、複数の画素は、行方向に並ぶ複数の画素からなる画素行が、行方向と直交する列方向に複数個並べられ、かつ、複数個の画素行のうち奇数行にある画素行が、偶数行にある画素行に対し、各画素行における画素の行方向の配列ピッチの1/2だけ行方向にずれた配置となっているものである。
 開示された撮像素子は、複数の画素の配列を、行方向に対して斜め45°の方向に見たときに、第一の画素からなる列と第二の画素からなる列とが、斜め45°の方向に直交する方向に交互に並んでいるものである。
 開示された撮像素子は、第一の画素と第二の画素は、それぞれ、赤色の光を検出する画素と、緑色の光を検出する画素と、青色の光を検出する画素との3種類の画素を含み、第一の画素からなる列に含まれる各画素と、各画素に対して斜め45°の方向に直交する方向における所定方向に隣接する第二の画素とは、同じ色を検出するものとなっているものである。なお、3種類の画素以外に補色の光を検出する画素でもよく、または白色の光を検出する画素でもよい。
 開示された撮像素子は、複数の画素の配列を、行方向に対して斜め45°の方向に見たときに、第一の画素からなる列と第二の画素からなる列とが、斜め45°の方向に直交する方向に2列おきに交互に並んでいるものである。
 開示された撮像素子は、第一の画素と第二の画素は、それぞれ、赤色の光を検出する画素と、緑色の光を検出する画素と、青色の光を検出する画素との3種類の画素を含み、第一の画素からなる列に含まれる各画素と、各画素に対して斜め45°の方向に直交する方向における所定方向に隣接する第二の画素とは、同じ色を検出するものとなっており、第一の画素からなる列に含まれる各画素と、各画素に対して斜め45°の方向に直交する方向における所定方向の反対方向に隣接する第二の画素とは、同じ色を検出するものとなっているものである。なお、3種類の画素以外に補色の光を検出する画素でもよく、または白色の光を検出する画素でもよい。
 開示された撮像装置は、撮像素子と、単一の撮影光学系と、撮像素子の第一の画素から出力される撮像画像信号に基づく画像データと、撮像素子の第二の画素から出力される撮像画像信号に基づく画像データとを用いて立体画像データを生成する立体画像データ生成部とを備えるものである。
1 撮影光学系
10,11 画素
100 撮像素子

Claims (9)

  1.  単一撮影光学系の異なる瞳領域を通過した一対の光束のうちの一方の光束を検出する第一の画素と当該一対の光束のうちの他方の光束を検出する第二の画素を含む複数の画素を有し、前記複数の画素が二次元状に配置された撮像素子であって、
     前記第一の画素の受光領域は、前記第一の画素の中心に対して一方向に偏心しており、
     前記第二の画素の受光領域は、前記第二の画素の中心に対して前記一方向の反対方向に偏心しており、
     周囲に4つの前記画素が隣接する全ての画素を注目画素としたときに、前記注目画素に隣接する前記4つの画素のうち、前記注目画素よりも前記注目画素における前記受光領域の偏心方向側にある画素は、前記注目画素と同じ種類の画素を含む撮像素子。
  2.  請求項1記載の撮像素子であって、
     前記複数の画素は正方格子状に配列されており、
     前記正方格子状の配列における奇数行に前記第一の画素が配列され、前記正方格子状の配列における偶数行に前記第二の画素が配列されている撮像素子。
  3.  請求項2記載の撮像素子であって、
     列方向に隣接する前記第一の画素と前記第二の画素のペアが同じ色の光を検出するものであり、
     前記正方格子状の配列には、第一の色の光を検出するペアと、前記第一の色の光とは異なる色の第二の色の光を検出するペアと、前記第一の色の光及び第二の色の光とは異なる色の第三の色の光を検出するペアとの複数色のペアが含まれ、
     前記複数色のペアがベイヤ状に配置されている撮像素子。
  4.  請求項1記載の撮像素子であって、
     前記複数の画素は、行方向に並ぶ複数の前記画素からなる画素行が、前記行方向と直交する列方向に複数個並べられ、かつ、前記複数個の画素行のうち奇数行にある画素行が、偶数行にある画素行に対し、各画素行における前記画素の前記行方向の配列ピッチの1/2だけ前記行方向にずれた配置となっている撮像素子。
  5.  請求項4記載の撮像素子であって、
     前記複数の画素の配列を、前記行方向に対して斜め45°の方向に見たときに、前記第一の画素からなる列と前記第二の画素からなる列とが、前記斜め45°の方向に直交する方向に交互に並んでいる撮像素子。
  6.  請求項5記載の撮像素子であって、
     前記第一の画素と前記第二の画素は、それぞれ、第一の色の光を検出する画素と、前記第一の色の光とは異なる色の第二の色の光を検出する画素と、前記第一の色の光及び第二の色の光りとは異なる色の第三の色の光を検出する画素との複数色の画素を含み、
     前記第一の画素からなる列に含まれる各画素と、前記各画素に対して前記斜め45°の方向に直交する方向における所定方向に隣接する前記第二の画素とは、同じ色を検出するものとなっている撮像素子。
  7.  請求項4記載の撮像素子であって、
     前記複数の画素の配列を、前記行方向に対して斜め45°の方向に見たときに、前記第一の画素からなる列と前記第二の画素からなる列とが、前記斜め45°の方向に直交する方向に2列おきに交互に並んでいる撮像素子。
  8.  請求項7記載の撮像素子であって、
     前記第一の画素と前記第二の画素は、それぞれ、赤色の光を検出する画素と、緑色の光を検出する画素と、青色の光を検出する画素との複数色の画素を含み、
     前記第一の画素からなる列に含まれる各画素と、前記各画素に対して前記斜め45°の方向に直交する方向における所定方向に隣接する前記第二の画素とは、同じ色を検出するものとなっており、
     前記第一の画素からなる列に含まれる各画素と、前記各画素に対して前記斜め45°の方向に直交する方向における前記所定方向の反対方向に隣接する前記第二の画素とは、同じ色を検出するものとなっている撮像素子。
  9.  請求項1~8のいずれか1項記載の撮像素子と、
     単一の前記撮影光学系と、
     前記撮像素子の前記第一の画素から出力される撮像画像信号に基づく画像データと、前記撮像素子の前記第二の画素から出力される撮像画像信号に基づく画像データとを用いて立体画像データを生成する立体画像データ生成部とを備える撮像装置。
PCT/JP2012/072735 2011-09-29 2012-09-06 撮像素子及び撮像装置 WO2013047141A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201280047716.6A CN103843319B (zh) 2011-09-29 2012-09-06 摄像元件及摄像装置
EP12836605.1A EP2763400B1 (en) 2011-09-29 2012-09-06 Imaging element, and imaging device
JP2013536126A JP5634614B2 (ja) 2011-09-29 2012-09-06 撮像素子及び撮像装置
US14/229,078 US9215447B2 (en) 2011-09-29 2014-03-28 Imaging device and imaging apparatus including a pixel with light receiving region on one side of a center of the pixel

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011215640 2011-09-29
JP2011-215640 2011-09-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/229,078 Continuation US9215447B2 (en) 2011-09-29 2014-03-28 Imaging device and imaging apparatus including a pixel with light receiving region on one side of a center of the pixel

Publications (1)

Publication Number Publication Date
WO2013047141A1 true WO2013047141A1 (ja) 2013-04-04

Family

ID=47995181

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/072735 WO2013047141A1 (ja) 2011-09-29 2012-09-06 撮像素子及び撮像装置

Country Status (5)

Country Link
US (1) US9215447B2 (ja)
EP (1) EP2763400B1 (ja)
JP (1) JP5634614B2 (ja)
CN (1) CN103843319B (ja)
WO (1) WO2013047141A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6466656B2 (ja) * 2014-06-19 2019-02-06 オリンパス株式会社 撮像素子および撮像装置
EP3633462B1 (en) 2014-10-31 2021-07-28 Canon Kabushiki Kaisha Image forming apparatus and image processing apparatus that specify pixels to be subjected to correction, and correct exposure amount
JP6457822B2 (ja) * 2015-01-21 2019-01-23 キヤノン株式会社 光電変換装置及び撮像システム
CN105093550A (zh) * 2015-09-02 2015-11-25 京东方科技集团股份有限公司 一种3d显示装置及其驱动方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003007994A (ja) 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2008017116A (ja) * 2006-07-05 2008-01-24 Nikon Corp 撮像素子および撮像装置
JP2011044820A (ja) * 2009-08-19 2011-03-03 Nikon Corp 撮像装置
JP2011103335A (ja) * 2009-11-10 2011-05-26 Fujifilm Corp 撮像素子及び撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4500434B2 (ja) * 2000-11-28 2010-07-14 キヤノン株式会社 撮像装置及び撮像システム、並びに撮像方法
US7551214B2 (en) * 2005-12-01 2009-06-23 Megachips Lsi Solutions Inc. Pixel interpolation method
JP2009246745A (ja) * 2008-03-31 2009-10-22 Panasonic Corp 撮像装置、撮像モジュール、電子スチルカメラ、及び電子ムービーカメラ
US8742309B2 (en) * 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003007994A (ja) 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2008017116A (ja) * 2006-07-05 2008-01-24 Nikon Corp 撮像素子および撮像装置
JP2011044820A (ja) * 2009-08-19 2011-03-03 Nikon Corp 撮像装置
JP2011103335A (ja) * 2009-11-10 2011-05-26 Fujifilm Corp 撮像素子及び撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2763400A4

Also Published As

Publication number Publication date
CN103843319B (zh) 2015-09-09
EP2763400A1 (en) 2014-08-06
EP2763400A4 (en) 2015-07-22
JP5634614B2 (ja) 2014-12-03
CN103843319A (zh) 2014-06-04
JPWO2013047141A1 (ja) 2015-03-26
US20140210954A1 (en) 2014-07-31
EP2763400B1 (en) 2017-04-19
US9215447B2 (en) 2015-12-15

Similar Documents

Publication Publication Date Title
JP5589146B2 (ja) 撮像素子及び撮像装置
JP5572765B2 (ja) 固体撮像素子、撮像装置、及び合焦制御方法
US8723991B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
EP2720455B1 (en) Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
JP5597777B2 (ja) カラー撮像素子及び撮像装置
US8736743B2 (en) Color imaging element, imaging device, and storage medium storing a control program for imaging device
US8842214B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
US8723992B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
WO2012147515A1 (ja) 撮像装置及び撮像方法
JP5634614B2 (ja) 撮像素子及び撮像装置
WO2012169301A1 (ja) 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置
US8804016B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
JP2007235877A (ja) 多板式固体撮像素子モジュール及び撮像装置
WO2013047080A1 (ja) 立体画撮像装置
JP2015161727A (ja) 撮像素子および撮像装置
JP2011199426A (ja) 固体撮像素子、撮像装置、及びスミア補正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12836605

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013536126

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2012836605

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012836605

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE