WO2013038598A1 - 撮像素子、撮像装置および画像処理装置 - Google Patents

撮像素子、撮像装置および画像処理装置 Download PDF

Info

Publication number
WO2013038598A1
WO2013038598A1 PCT/JP2012/005187 JP2012005187W WO2013038598A1 WO 2013038598 A1 WO2013038598 A1 WO 2013038598A1 JP 2012005187 W JP2012005187 W JP 2012005187W WO 2013038598 A1 WO2013038598 A1 WO 2013038598A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
pixel
photoelectric conversion
image data
image
Prior art date
Application number
PCT/JP2012/005187
Other languages
English (en)
French (fr)
Inventor
浜島　宗樹
清茂 芝崎
晋 森
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN201280053315.1A priority Critical patent/CN103907188B/zh
Priority to JP2013533471A priority patent/JP5874729B2/ja
Publication of WO2013038598A1 publication Critical patent/WO2013038598A1/ja
Priority to US14/204,556 priority patent/US9414046B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects

Definitions

  • the present invention relates to an imaging device, an imaging apparatus, and an image processing apparatus.
  • a stereo imaging device that captures a stereo image composed of a right-eye image and a left-eye image using two imaging optical systems is known. Such a stereo imaging device causes parallax to occur in two images obtained by imaging the same subject by arranging two imaging optical systems at regular intervals.
  • An imaging element includes a two-dimensionally arranged photoelectric conversion element that photoelectrically converts incident light into an electric signal, and an aperture mask provided in the photoelectric conversion element, and n (n Is an integer greater than or equal to 4), a group of photoelectric conversion elements each having a set of photoelectric conversion elements is periodically arranged, and the opening of the aperture mask is formed by two orthogonal axes defined with respect to the two-dimensional array of photoelectric conversion element groups. They are offset and positioned so as to be symmetrical with each other.
  • An imaging apparatus includes a two-dimensionally arranged photoelectric conversion element that photoelectrically converts incident light into an electric signal, and an aperture mask provided in the photoelectric conversion element, and n (n Is an integer of 4 or more), and a group of photoelectric conversion elements each having a set of photoelectric conversion elements is periodically arranged, and the aperture of the aperture mask is virtually one while maintaining a relative position with respect to each photoelectric conversion element.
  • n an integer of 4 or more
  • An image pickup apparatus includes the above-described image pickup device, a posture detection unit that detects the posture of the image pickup device, and a specific photoelectric conversion element in a selection circuit based on the posture detected by the detection unit.
  • a control unit that causes the adder to add an electrical signal from a specific photoelectric conversion element; and an image processing unit that processes an image signal output from the adder of the imaging element.
  • An image processing apparatus acquires an output image data acquisition unit that acquires output image data based on an electrical signal output from the image sensor, and acquires aperture position information related to the aperture position of the image sensor.
  • An aperture information acquisition unit that performs the output image data processing based on the aperture position information, and a parallax image data generation unit that generates parallax image data.
  • the digital camera according to the present embodiment which is a form of the imaging device, is configured to generate a plurality of viewpoint images for one scene by one shooting. Each image having a different viewpoint is called a parallax image.
  • FIG. 1 is a diagram illustrating a configuration of a digital camera 10 according to an embodiment of the present invention.
  • the digital camera 10 includes a photographic lens 20 as a photographic optical system, and guides a subject light beam incident along the optical axis 21 to the image sensor 100.
  • the photographing lens 20 may be an interchangeable lens that can be attached to and detached from the digital camera 10.
  • the digital camera 10 includes an image sensor 100, a control unit 201, an A / D conversion circuit 202, a memory 203, a drive unit 204, an image processing unit 205, a memory card IF 207, an operation unit 208, a display unit 209, an LCD drive circuit 210, AF.
  • a sensor 211, a ROM 221 and an attitude sensor 222 are provided.
  • the direction parallel to the optical axis 21 toward the image sensor 100 is defined as the + Z-axis direction
  • the direction toward the front of the paper on the plane orthogonal to the Z-axis is the + X-axis direction
  • the upward direction on the paper is the + Y-axis direction. It is determined.
  • the X axis is the horizontal direction
  • the Y axis is the vertical direction.
  • the coordinate axes are displayed so that the orientation of each figure can be understood with reference to the coordinate axes of FIG.
  • the photographing lens 20 is composed of a plurality of optical lens groups, and forms an image of a subject light flux from the scene in the vicinity of its focal plane.
  • the photographic lens 20 is represented by a single virtual lens arranged in the vicinity of the pupil.
  • the image sensor 100 is disposed near the focal plane of the photographic lens 20.
  • the image sensor 100 is an image sensor such as a CCD or CMOS sensor in which a plurality of photoelectric conversion elements are two-dimensionally arranged.
  • the image sensor 100 is controlled in timing by the drive unit 204, converts the subject image formed on the light receiving surface into an image signal, and outputs the image signal to the A / D conversion circuit 202.
  • the A / D conversion circuit 202 converts the image signal output from the image sensor 100 into a digital image signal and outputs the digital image signal to the memory 203.
  • the image processing unit 205 performs various image processing using the memory 203 as a work space, and generates image data.
  • the image processing unit 205 also has general image processing functions such as adjusting image data according to the selected image format.
  • the generated image data is converted into a display signal by the LCD drive circuit 210 and displayed on the display unit 209.
  • the data is recorded on the memory card 220 attached to the memory card IF 207.
  • the AF sensor 211 is a phase difference sensor in which a plurality of distance measuring points are set with respect to the subject space, and detects the defocus amount of the subject image at each distance measuring point.
  • a series of shooting sequences is started when the operation unit 208 receives a user operation and outputs an operation signal to the control unit 201.
  • Various operations such as AF and AE accompanying the imaging sequence are executed under the control of the control unit 201.
  • the control unit 201 analyzes the detection signal of the AF sensor 211 and executes focus control for moving a focus lens that constitutes a part of the photographing lens 20.
  • the ROM 221 is a non-volatile memory, and stores a program for controlling the digital camera 10, various parameters, and the like.
  • FIG. 2 is a schematic diagram illustrating a cross section of the image sensor according to the present embodiment.
  • FIG. 2A is a schematic cross-sectional view of the image sensor 100 in which the color filter 102 and the aperture mask 103 are separately formed.
  • FIG. 2B is a schematic cross-sectional view of an image pickup device 120 including a screen filter 121 in which a color filter portion 122 and an opening mask portion 123 are integrally formed as a modification of the image pickup device 100.
  • the image sensor 100 is configured by arranging a micro lens 101, a color filter 102, an aperture mask 103, a wiring layer 105, and a photoelectric conversion element 108 in order from the subject side.
  • the photoelectric conversion element 108 is configured by a photodiode that converts incident light into an electrical signal.
  • a plurality of photoelectric conversion elements 108 are two-dimensionally arranged on the surface of the substrate 109.
  • the image signal converted by the photoelectric conversion element 108, the control signal for controlling the photoelectric conversion element 108, and the like are transmitted / received via the wiring 106 provided in the wiring layer 105.
  • an opening mask 103 having openings 104 provided in one-to-one correspondence with each photoelectric conversion element 108 is provided in contact with the wiring layer.
  • the opening 104 is shifted for each corresponding photoelectric conversion element 108 so that the relative position is precisely determined.
  • parallax occurs in the subject light beam received by the photoelectric conversion element 108 by the action of the opening mask 103 including the opening 104.
  • the aperture mask 103 does not exist on the photoelectric conversion element 108 that does not generate parallax.
  • the aperture mask 103 having the aperture 104 that does not limit the subject luminous flux incident on the corresponding photoelectric conversion element 108, that is, allows the entire effective luminous flux to pass therethrough is provided.
  • the aperture 107 formed by the wiring 106 defines the subject luminous flux that is incident, so the wiring 106 is regarded as an aperture mask that allows the entire effective luminous flux that does not cause parallax to pass.
  • the opening mask 103 may be arranged separately and independently corresponding to each photoelectric conversion element 108, or may be formed collectively for a plurality of photoelectric conversion elements 108 in the same manner as the manufacturing process of the color filter 102. .
  • the color filter 102 is provided on the opening mask 103.
  • the color filter 102 is a filter provided in a one-to-one correspondence with each photoelectric conversion element 108, which is colored so as to transmit a specific wavelength band to each photoelectric conversion element 108.
  • These color filters can be said to be primary color filters for generating a color image.
  • the primary color filter combination is, for example, a red filter that transmits the red wavelength band, a green filter that transmits the green wavelength band, and a blue filter that transmits the blue wavelength band.
  • these color filters are arranged in a lattice pattern corresponding to the photoelectric conversion elements 108.
  • the color filter may be not only a combination of primary colors RGB but also a combination of YeCyMg complementary color filters.
  • the microlens 101 is provided on the color filter 102.
  • the microlens 101 is a condensing lens for guiding more incident subject light flux to the photoelectric conversion element 108.
  • the microlenses 101 are provided in a one-to-one correspondence with the photoelectric conversion elements 108.
  • the optical axis of the microlens 101 is shifted so that more subject light flux is guided to the photoelectric conversion element 108. It is preferable.
  • the arrangement position may be adjusted so that more specific subject light beam, which will be described later, is incident along with the position of the opening 104 of the opening mask 103.
  • one unit of the aperture mask 103, the color filter 102, and the microlens 101 provided on a one-to-one basis corresponding to each photoelectric conversion element 108 is referred to as a pixel.
  • a pixel provided with the opening mask 103 that generates parallax is referred to as a parallax pixel
  • a pixel that is not provided with the opening mask 103 that generates parallax is referred to as a non-parallax pixel.
  • the effective pixel area of the image sensor 100 is about 24 mm ⁇ 16 mm, the number of pixels reaches about 12 million.
  • the microlens 101 may not be provided.
  • the wiring layer 105 is provided on the side opposite to the photoelectric conversion element 108.
  • the color filter 102 and the opening mask 103 can be integrally formed if the opening 104 of the opening mask 103 has a color component.
  • the corresponding color filter 102 may not be provided for the pixel. Or you may arrange
  • the screen filter 121 is formed by, for example, blue-green-red coloring in the color filter portion 122 and black in the opening mask portion 123 except for the opening portion 104. Since the image sensor 120 that employs the screen filter 121 has a shorter distance from the microlens 101 to the photoelectric conversion element 108 than the image sensor 100, the light collection efficiency of the subject light flux is high.
  • FIG. 3 is a schematic diagram showing a state in which a part of the image sensor 800 is enlarged.
  • the image sensor 800 is different from the image sensor 100 employed in the present embodiment, the image sensor 800 will be described first for convenience of explanation.
  • the color arrangement of the color filter 102 is not considered until the reference is resumed later.
  • the repetitive pattern described below may be considered as an adjacent pixel in the color filter 102 of the same color.
  • the opening 104 of the opening mask 103 is provided with a relative shift with respect to each pixel.
  • the openings 104 are provided at positions displaced from each other.
  • a photoelectric conversion element group including a set of six parallax pixels each having an aperture mask 103 that gradually shifts from the ⁇ X side to the + X side is two-dimensionally and periodically arranged. ing. That is, it can be said that the imaging element 800 is configured by periodically laying a repeating pattern 110 including a set of photoelectric conversion element groups.
  • FIG. 4 is a conceptual diagram illustrating the relationship between the parallax pixels and the subject.
  • FIG. 4A shows a photoelectric conversion element group of a repeating pattern 110t arranged at the center orthogonal to the imaging optical axis 21 in the image pickup element 800
  • FIG. 4B shows repetitions arranged at the peripheral portion.
  • the photoelectric conversion element group of the pattern 110u is typically shown.
  • the subject 30 in FIGS. 4A and 4B is in the in-focus position with respect to the photographic lens 20.
  • FIG. 4C schematically shows a relationship when the subject 31 existing at the out-of-focus position with respect to the photographing lens 20 is captured corresponding to FIG.
  • the subject luminous flux passes through the pupil of the photographic lens 20 and is guided to the image sensor 800.
  • Six partial areas Pa to Pf are defined for the entire cross-sectional area through which the subject luminous flux passes.
  • the position of the opening 104f of the opening mask 103 is determined.
  • the position of the opening 104e corresponding to the partial area Pe the position of the opening 104d corresponding to the partial area Pd, and the opening corresponding to the partial area Pc toward the pixel at the end on the + X side.
  • the position of 104c is determined corresponding to the partial area Pb, and the position of the opening 104b is determined corresponding to the partial area Pa.
  • the position of the opening 104f is determined by the inclination of the principal ray Rf of the subject luminous flux emitted from the partial area Pf, which is defined by, for example, the relative positional relationship between the partial area Pf and the pixel at the ⁇ X side end. It may be said that is defined. Then, when the photoelectric conversion element 108 receives the subject luminous flux from the subject 30 existing at the in-focus position via the opening 104f, the subject luminous flux is coupled on the photoelectric conversion element 108 as shown by the dotted line. Image.
  • the position of the opening 104e is determined by the inclination of the principal ray Re
  • the position of the opening 104d is determined by the inclination of the principal ray Rd
  • the position of the opening 104c is determined by the inclination of the principal ray Rc.
  • the position of the opening 104b is determined by the inclination of the principal ray Rb
  • the position of the opening 104a is determined by the inclination of the principal ray Ra.
  • the light beam emitted from the minute region Ot on the subject 30 that intersects the optical axis 21 among the subject 30 existing at the in-focus position passes through the pupil of the photographing lens 20. Then, each pixel of the photoelectric conversion element group constituting the repetitive pattern 110t is reached. That is, each pixel of the photoelectric conversion element group constituting the repetitive pattern 110t receives the light beam emitted from one minute region Ot through the six partial regions Pa to Pf.
  • the minute region Ot has an extent corresponding to the positional deviation of each pixel of the photoelectric conversion element group constituting the repetitive pattern 110t, it can be approximated to substantially the same object point. Similarly, as shown in FIG.
  • the light beam emitted from the minute region Ou on the subject 30 that is separated from the optical axis 21 among the subject 30 that exists at the in-focus position passes through the pupil of the photographing lens 20. It passes through and reaches each pixel of the photoelectric conversion element group constituting the repetitive pattern 110u. That is, each pixel of the photoelectric conversion element group constituting the repetitive pattern 110u receives a light beam emitted from one minute region Ou via each of the six partial regions Pa to Pf.
  • the micro area Ou has an extent corresponding to the positional deviation of each pixel of the photoelectric conversion element group constituting the repetitive pattern 110u, but substantially the same object point. Can be approximated.
  • the minute area captured by the photoelectric conversion element group differs according to the position of the repetitive pattern 110 on the image sensor 800 and each pixel constituting the photoelectric conversion element group Captures the same minute region through different partial regions.
  • corresponding pixels receive the subject luminous flux from the same partial area. That is, in the drawing, for example, the pixels on the ⁇ X side end of each of the repetitive patterns 110t and 110u receive the subject luminous flux from the same partial region Pf.
  • each of the parallax pixels arranged on the image sensor 800 includes one of six types of aperture masks.
  • the subject luminous flux from the subject 31 existing at the out-of-focus position passes through the six partial areas Pa to Pf of the pupil of the photographing lens 20 and reaches the image sensor 800.
  • the subject light flux from the subject 31 existing at the out-of-focus position forms an image at another position, not on the photoelectric conversion element 108.
  • the subject luminous flux forms an image on the subject 31 side with respect to the photoelectric conversion element 108.
  • the subject luminous flux forms an image on the opposite side of the subject 31 from the photoelectric conversion element 108.
  • the subject luminous flux radiated from the minute region Ot ′ among the subjects 31 existing at the out-of-focus position depends on which of the six partial regions Pa to Pf, the corresponding pixels in different sets of repetitive patterns 110.
  • the subject luminous flux that has passed through the partial region Pd is incident on the photoelectric conversion element 108 having the opening 104d included in the repeated pattern 110t ′ as the principal ray Rd ′.
  • the subject light beam that has passed through another partial region does not enter the photoelectric conversion element 108 included in the repetitive pattern 110t ′, and the repetitive pattern in the other repetitive pattern.
  • the subject luminous flux reaching each photoelectric conversion element 108 constituting the repetitive pattern 110t ′ is a subject luminous flux radiated from different minute areas of the subject 31. That is, a subject luminous flux having a principal ray as Rd ′ is incident on 108 corresponding to the opening 104d, and the principal rays are incident on Ra + , Rb + , Rc + , Re to the photoelectric conversion elements 108 corresponding to the other openings. +, although subject light flux to Rf + is incident, these object light is a subject light flux emitted from different micro region of the object 31. Such a relationship is the same in the repeated pattern 110u arranged in the peripheral portion in FIG.
  • the subject image A captured by the photoelectric conversion element 108 corresponding to the opening 104a and the subject image D captured by the photoelectric conversion element 108 corresponding to the opening 104d are: If the image is for the subject present at the in-focus position, there is no shift, and if the image is for the subject present at the out-of-focus position, there is a shift. Then, the direction and amount of the shift are determined by how much the subject existing at the out-of-focus position is shifted from the focus position and by the distance between the partial area Pa and the partial area Pd. That is, the subject image A and the subject image D are parallax images. Since this relationship is the same for the other openings, six parallax images are formed in the X-axis direction corresponding to the openings 104a to 104f.
  • a parallax image is obtained by gathering together the outputs of pixels corresponding to each other in each of the repetitive patterns 110 configured as described above. That is, the output of the pixel that has received the subject light beam emitted from a specific partial area among the six partial areas Pa to Pf forms a parallax image.
  • FIG. 5 is a conceptual diagram illustrating processing for generating a parallax image.
  • the figure shows, in order from the left column in the drawing, the generation of the parallax image data Im_f generated by collecting the outputs of the parallax pixels corresponding to the opening 104f, the generation of the parallax image data Im_e by the output of the opening 104e, the opening The generation of the parallax image data Im_d by the output of the section 104d, the generation of the parallax image data Im_c by the output of the opening 104c, the generation of the parallax image data Im_b by the output of the opening 104b, and the output of the opening 104a This represents how the parallax image data Im_a is generated. First, how the parallax image data Im_f is generated by the output of the opening 104f will be described.
  • the repetitive pattern 110 composed of a group of photoelectric conversion elements each including six parallax pixels is arranged in the X-axis direction. Accordingly, the parallax pixels having the opening 104f exist every six pixels in the X-axis direction and continuously in the Y-axis direction on the image sensor 800. Each of these pixels receives the subject luminous flux from different microregions as described above. Therefore, when the outputs of these parallax pixels are collected and arranged, an X-axis direction, that is, a horizontal parallax image is obtained.
  • each pixel of the image sensor 800 is a square pixel, if the pixels are simply collected, the number of pixels in the X-axis direction is reduced to 1/6, and vertically long image data is generated. Therefore, by performing an interpolation process so that the number of pixels is 6 times in the X-axis direction, parallax image data Im_f is generated as an image with an original aspect ratio.
  • the parallax image data before interpolation processing is an image that is thinned out to 1/6 in the X-axis direction, the resolution in the X-axis direction is lower than the resolution in the Y-axis direction. That is, it can be said that the number of generated parallax image data and the improvement in resolution are in a conflicting relationship.
  • parallax image data Im_e to parallax image data Im_a are obtained. That is, the digital camera 10 can generate a six-view horizontal parallax image having parallax in the X-axis direction.
  • the repeating pattern 110 in the X-axis direction in which the opening 104 has a set of six parallax pixels each having the opening mask 103 that gradually shifts from the ⁇ X side to the + X side is periodically arranged.
  • six parallax images giving horizontal parallax that is parallax in the X-axis direction are obtained.
  • a parallax image that gives vertical parallax that is parallax in the Y-axis direction can be obtained.
  • FIG. 6 is a schematic diagram illustrating a state in which a part of the image sensor 900 that provides vertical parallax is enlarged.
  • the entire image pickup device 900 has a two-dimensional and periodic arrangement of photoelectric conversion element groups each including a set of six parallax pixels each having an aperture mask 103 that gradually shifts from the + Y side to the ⁇ Y side. ing.
  • the imaging device 900 is configured by periodically laying the repeating pattern 110 in the Y-axis direction including a set of photoelectric conversion element groups.
  • FIG. 7 is a conceptual diagram illustrating processing for generating a parallax image in the Y-axis direction.
  • the figure shows, in order from the left column in the drawing, the generation of the parallax image data Im_f generated by collecting the outputs of the parallax pixels corresponding to the opening 104f, the generation of the parallax image data Im_e by the output of the opening 104e, the opening The generation of the parallax image data Im_d by the output of the section 104d, the generation of the parallax image data Im_c by the output of the opening 104c, the generation of the parallax image data Im_b by the output of the opening 104b, and the output of the opening 104a This represents how the parallax image data Im_a is generated. First, how the parallax image data Im_f is generated by the output of the opening 104f will be described.
  • the repetitive pattern 110 composed of a group of photoelectric conversion elements including a set of six parallax pixels is arranged in the Y-axis direction. Accordingly, the parallax pixels having the opening 104f exist every six pixels in the Y-axis direction and continuously in the X-axis direction on the image sensor 900. Each of these pixels receives the subject luminous flux from different microregions as described above. Therefore, when the outputs of these parallax pixels are collected and arranged, a Y-axis direction, that is, a vertical parallax image is obtained.
  • each pixel of the image sensor 900 is a square pixel, if the pixels are simply gathered, the number of pixels in the Y-axis direction is reduced to 1/6, and horizontally long image data is generated. Therefore, by performing an interpolation process so that the number of pixels is 6 times in the Y-axis direction, parallax image data Im_f is generated as an image with an original aspect ratio. However, since the parallax image data before interpolation processing is an image that is thinned out to 1/6 in the Y-axis direction, the resolution in the Y-axis direction is lower than the resolution in the horizontal direction.
  • parallax image data Im_e to parallax image data Im_a are obtained. That is, the digital camera 10 can generate a 6-viewpoint vertical parallax image having parallax in the Y-axis direction.
  • the image sensor 800 in FIG. 3 and the image sensor 900 in FIG. 6 have the openings 104 shifted in the direction of one row, and output a parallax image group that gives parallax along that direction.
  • the imaging element outputs a parallax image group that gives parallax in the XY two-dimensional direction depending on the arrangement of the repeated patterns 110 and the arrangement of the openings 104 in the opening mask 103 corresponding to each photoelectric conversion element 108.
  • the image sensor 100 employed in the present embodiment is such an image sensor.
  • FIG. 8 is a schematic diagram showing a state in which a part of the image sensor 100 according to the present embodiment is enlarged.
  • a repeating pattern 110 having a set of photoelectric conversion element groups constituting four parallax pixels each having two vertical and two horizontal pixels is periodically arranged.
  • Each parallax pixel included in one repeating pattern 110 includes an opening mask 103 having openings 104 that are displaced in different directions.
  • FIG. 9 is a diagram showing parallax pixels corresponding to one repetitive pattern 110.
  • the four parallax pixels are composed of UR pixels arranged on the upper right side with respect to the repetitive pattern 110, DR pixels arranged on the lower right side, DL pixels arranged on the lower left side, and UL pixels arranged on the upper left side.
  • the UR pixel includes an opening mask 103 having an opening 1041 displaced in the upper right direction with respect to the pixel center.
  • the DR pixel includes an opening mask 103 having an opening 1042 displaced in the lower right direction with respect to the pixel center.
  • the DL pixel includes an opening mask 103 having an opening 1043 that is displaced in the lower left direction with respect to the pixel center.
  • the UL pixel includes an opening mask 103 having an opening 1044 displaced in the upper left direction with respect to the pixel center.
  • Each of these openings 1041 to 1044 is arranged at a position that is line-symmetric with respect to each of the x-axis defined as the horizontal axis passing through the center of the repeated pattern 110 and the y-axis defined as the vertical axis. Yes. In other words, each of the openings 1041 to 1044 is offset so as to be symmetrical with respect to each of the two orthogonal vertical and horizontal axes defined with respect to the two-dimensional arrangement of the photoelectric conversion element groups constituting the repetitive pattern 110. Is positioned.
  • the pair of the opening 1041 and the opening 1042 and the pair of the opening 1044 and the opening 1043 are arranged at positions that are line-symmetric with respect to the x-axis, and the opening 1044 and the opening 1041
  • the pair and the pair of the opening 1043 and the opening 1042 are arranged at positions that are line-symmetric with respect to the y-axis.
  • FIG. 10 is a conceptual diagram illustrating the relationship between the parallax pixels included in the repetitive pattern 110 and the subject 30.
  • Each of the openings 1041 to 1044 in the repetitive pattern 110 passes a partial light beam that passes through one of four partial areas defined in a two-dimensional direction in the cross-sectional area of the entire subject light beam, and guides it to each photoelectric conversion element. .
  • the opening 1041 in the UR pixel passes through the partial region P UR in the pupil of the photographing lens 20 out of the light flux emitted from the minute region O of the subject 30. Only the partial light beam that has been transmitted is allowed to pass to the photoelectric conversion element 108 of the UR pixel.
  • opening 1042 in DR pixel, out of the light beam irradiated from the minute region O of the object 30, is passed through only the partial light flux passing through the partial region P DR in the pupil of the taking lens 20, a photoelectric the DR pixels Lead to the conversion element 108.
  • the opening 1043 in the DL pixel, out of the light beam irradiated from the minute region O of the object 30, is passed through only the partial light flux passing through the partial region P DL in the pupil of the taking lens 20, a photoelectric conversion of DL pixel Lead to element 108.
  • the opening 1044 in the UL pixel allows only the partial light beam that has passed through the partial region P UL in the pupil of the photographing lens 20 out of the light beam emitted from the minute region O of the subject 30 to pass through the photoelectric conversion of the UL pixel. Lead to element 108.
  • the image processing unit 205 generates the parallax image data Im_UR by collecting the outputs of the UR pixels, generates the parallax image data Im_DR by collecting the outputs of the DR pixels, and collects the outputs of the DL pixels.
  • the parallax image data Im_DL is generated, and the outputs of the UL pixels are collected to generate the parallax image data Im_UL. If the subject exists on the focal plane between these parallax images, the images appear relatively at the same position. On the other hand, if it exists at a position far from the focal plane, for example, as shown in FIG.
  • the image is relative to Im_UR in the upper right direction, Im_DR in the lower right direction, Im_DL in the lower left direction, and Im_UL in the upper left direction. Appears at a position deviated. Further, if the image is present at a position closer to the focal plane, the image appears at a position relatively shifted in the lower left direction by Im_UR, in the upper left direction by Im_DR, in the upper right direction by Im_DL, and in the lower right direction by Im_UL. Note that each of the four types of parallax image data is generated by collecting any of the upper, lower, left, and right parallax pixels that are square pixels, although the number of pixels is 1 ⁇ 4 of the total number of pixels. Therefore, the aspect ratio is maintained.
  • the image processing unit 205 may generate four parallax images by separately collecting the outputs of the respective parallax pixels, but the visual characteristics of the human being who is the observer It is more preferable to generate a parallax image according to the above. Specifically, since the human eyeball is arranged in the left-right direction, it is preferable that the observed parallax image also gives the parallax in the left-right direction corresponding to the arrangement of the eyeball. On the other hand, at the time of shooting, the user may hold the digital camera 10 at a horizontal angle of view or a vertical angle of view with respect to the subject.
  • the parallax image data generated by the image processing unit 205 give a parallax in the horizontal direction at the time of observation regardless of whether the image is shot with a horizontal angle of view or a vertical angle of view. Therefore, the imaging device 100 according to the present embodiment performs a parallax pixel addition process so as to output a parallax image that gives parallax in a direction that matches such visual characteristics.
  • FIG. 11 is a conceptual diagram illustrating the relationship between parallax pixel addition that gives parallax in the horizontal direction and the output parallax image.
  • FIG. 11A shows a pair of parallax pixels to be added.
  • the output of the UR pixel and the output of the DR pixel are added, and the output of the UL pixel and the output of the DL pixel are added. That is, the combination of the UR pixel and the DR pixel, and the combination of the UL pixel and the DL pixel are each treated as a pair pixel.
  • the combination of the opening 1041 of the UR pixel and the opening 1042 of the DR pixel is regarded as a GR opening 1101 that is one opening displaced to the right side in the repetitive pattern 110, and the UR pixel and the DR pixel are combined.
  • the added output is treated as if it were an output from one right parallax pixel.
  • a combination of the opening 1044 of the UL pixel and the opening 1043 of the DL pixel is regarded as a GL opening 1102 that is one opening displaced to the left side in the repetitive pattern 110, and the added output of the UL pixel and the DL pixel Are treated as if they were output from one left parallax pixel.
  • parallax is given in the horizontal direction as shown in FIG. 11B.
  • Right parallax image data Im_GR and left parallax image data Im_GL as images can be acquired. If these parallax image data are generated when the user shoots the digital camera 10 with a horizontal angle of view, the reproduced image becomes a so-called stereo image that gives parallax in the horizontal direction.
  • FIG. 12 is a conceptual diagram illustrating the relationship between the parallax pixel addition that gives the parallax in the vertical direction and the output parallax image.
  • FIG. 12A shows a pair of parallax pixels to be added.
  • the output of the UL pixel and the output of the UR pixel are added, and the output of the DL pixel and the output of the DR pixel are added. That is, the combination of the UL pixel and the UR pixel, and the combination of the DL pixel and the DR pixel are each treated as a pair pixel.
  • the combination of the opening 1044 of the UL pixel and the opening 1041 of the UR pixel is regarded as a GU opening 1103 that is one opening displaced upward in the repetitive pattern 110, and the UL pixel and the UR pixel are combined.
  • the added output is treated as if it were an output from one upper parallax pixel.
  • a combination of the DL pixel opening 1043 and the DR pixel opening 1042 is regarded as a GD opening 1104 that is one opening shifted downward in the repetitive pattern 110, and the addition of the DL pixel and the DR pixel is performed.
  • the output is treated as if it were output from one lower parallax pixel.
  • parallax is given in the vertical direction as shown in FIG.
  • Upper parallax image data Im_GU and lower parallax image data Im_GD can be acquired as images.
  • these image data are reproduced in the vertical direction during observation.
  • these reproduced images are stereo images that give parallax in the horizontal direction by rotating the parallax image of FIG. 12B by 90 degrees.
  • these parallax images can be handled as right parallax image data Im_GR and left parallax image data Im_GL having a vertical angle of view that can provide parallax in the horizontal direction.
  • FIG. 13 is a conceptual diagram showing a circuit configuration of the image sensor 100.
  • the photoelectric conversion elements 108 corresponding to each of the UR pixel, the DR pixel, the DL pixel, and the UL pixel are connected to the amplifier 610, respectively.
  • a gate switch 611 is connected to the output side of the amplifier 610, and the gate switch 611 is opened and closed by a selection control signal from the control line 612. When the gate switch 611 is closed, the amplified image signal reaches the adder 614 through the signal line 613.
  • One gate switch 611 is closed with respect to one signal line 613.
  • the selection control signal is transmitted from the control unit 201 via the drive unit 204.
  • the image signal digitized by the A / D conversion circuit 202 is sent to the image processing unit 205 as image data, and the image processing unit 205 converts the image signal into image data of a predetermined format to convert the parallax image data Im_UR. Finalize.
  • the parallax image data Im_DR, Im_DL, and Im_UL can be generated similarly.
  • the image signal from the photoelectric conversion element 108 of the UR pixel is selected by the selection control signal and transferred to the signal line 613.
  • the adder 614 holds this UR image signal.
  • the image signal from the photoelectric conversion element 108 of the paired DR pixel is selected by the selection control signal and transferred to the signal line 613.
  • the adder 614 adds the transferred DR image signal to the held UR image signal and outputs the result to the A / D conversion circuit 202. This is repeated for each paired pixel.
  • the selection control signal is transmitted from the control unit 201 via the drive unit 204.
  • the image signal digitized by the A / D conversion circuit 202 is sent to the image processing unit 205 as image data, and the image processing unit 205 converts the image signal into image data of a predetermined format to convert the parallax image data Im_GR. Finalize.
  • the parallax image data Im_GL can be generated similarly.
  • an image signal from the photoelectric conversion element 108 of the UR pixel is selected by the selection control signal and transferred to the signal line 613.
  • the adder 614 holds this UR image signal.
  • the image signal from the photoelectric conversion element 108 of the paired UL pixel is selected by the selection control signal and transferred to the signal line 613.
  • the adder 614 adds the transferred UL image signal to the held UR image signal and outputs the result to the A / D conversion circuit 202. This is repeated for each paired pixel.
  • the selection control signal is transmitted from the control unit 201 via the drive unit 204.
  • the image signal digitized by the A / D conversion circuit 202 is sent to the image processing unit 205 as image data, and the image processing unit 205 converts the image signal into image data of a predetermined format to convert the parallax image data Im_GU. Finalize.
  • the parallax image data Im_GD can be generated similarly.
  • the control unit 201 outputs, as parallax image data, a combination of Im_GR and Im_GL, or a combination of Im_GU and Im_GD, and detects the attitude of the digital camera 10 (and thus the image sensor 100) detected by the attitude sensor 222. Determined by That is, when it is detected that the orientation of the digital camera 10 is horizontal, the output image is observed at a horizontal angle of view, and output as parallax image data in a combination of Im_GR and Im_GL. On the other hand, when it is detected that the orientation of the digital camera 10 is vertical, the output image is observed at a vertical angle of view, and is output as parallax image data in a combination of Im_GU and Im_GD.
  • the control unit 201 provides an output based on the above combination by giving a selection control signal to the control line 612 via the driving unit 204.
  • FIG. 14 is a diagram illustrating a pixel array of a repetitive pattern 110 including a set of photoelectric conversion element groups as another example.
  • a repeating pattern 110 having a set of photoelectric conversion element groups constituting nine parallax pixels each having three vertical and three horizontal rows is periodically arranged.
  • the nine parallax pixels are UR pixels, UC pixels, UL pixels arranged from the upper right to the left with respect to the repetitive pattern 110, CR pixels, CC pixels arranged from the right to the left in the middle stage,
  • the pixel consists of a CL pixel, a DR pixel, a DC pixel, and a DL pixel arranged from the lower right to the left.
  • the UR pixel includes an opening mask 103 having an opening 1051 displaced in the upper right direction with respect to the pixel center.
  • the CR pixel includes an opening mask 103 having an opening 1052 that is displaced rightward with respect to the pixel center.
  • the DR pixel includes an opening mask 103 having an opening 1053 that is displaced in the lower right direction with respect to the pixel center.
  • the DC pixel includes an opening mask 103 having an opening 1054 that is displaced downward with respect to the pixel center.
  • the DL pixel includes an opening mask 103 having an opening 1055 that is displaced in the lower left direction with respect to the pixel center.
  • the CL pixel includes an opening mask 103 having an opening 1056 that is displaced to the left with respect to the pixel center.
  • the UL pixel includes an opening mask 103 having an opening 1057 displaced in the upper left direction with respect to the pixel center.
  • the UC pixel includes an opening mask 103 having an opening 1058 that is displaced upward with respect to the pixel center.
  • the CC pixel includes an opening mask 103 having an opening 1050 located at the center of the pixel.
  • Each of these openings 1050 to 1058 is arranged at a position that is line-symmetric with respect to each of the x-axis defined as the horizontal axis passing through the center of the repeated pattern 110 and the y-axis defined as the vertical axis. Yes. In other words, each of the openings 1050 to 1058 is deviated so as to be line-symmetric with respect to each of two orthogonal vertical and horizontal axes defined with respect to the two-dimensional arrangement of the photoelectric conversion element groups constituting the repetitive pattern 110. Is positioned.
  • the group of openings 1051, 1052, and 1053, the group of openings 1058, 1050, and 1054, and the group of openings 1057, 1056, and 1055 are arranged at positions that are line-symmetric with respect to the x axis.
  • the group of the opening portions 1057, 1058, and 1051, the group of the opening portions 1056, 1050, and 1052, and the group of the opening portions 1055, 1054, and 1053 are arranged at positions that are line-symmetric with respect to the y-axis. .
  • FIG. 15 is a conceptual diagram illustrating parallax pixel addition for providing parallax in different directions in the image sensor 100 of FIG. If the outputs of the parallax pixels of the image sensor 100 are individually collected for each type of opening, nine pieces of parallax image data can be acquired. In addition, if parallax pixel addition is performed according to the concept described with reference to FIGS. 11 and 12, parallax image data that gives parallax to a direction that matches the visual characteristics can be acquired.
  • FIG. 15A is a diagram showing a group of parallax pixels to be added with respect to parallax pixel addition that gives parallax in the horizontal direction.
  • the output of the UL pixel, the output of the CL pixel, and the output of the DL pixel are added. That is, a combination of UR pixels, CR pixels, and DR pixels, a combination of UC pixels, CC pixels, and DC pixels, and a combination of UL pixels, CL pixels, and DL pixels are treated as group pixels.
  • each group pixel is gathered as if it were output from one right parallax pixel, middle parallax pixel, and left parallax pixel, and when an interpolation process for aspect adjustment is performed, an image that gives parallax in the horizontal direction is obtained.
  • Right parallax image data Im_GR, middle parallax image data Im_GC, and left parallax image data Im_GL can be acquired. If the parallax image data is generated when the user shoots the digital camera 10 with a horizontal angle of view, the reproduced image reproduced at the horizontal angle of view becomes a three-parallax image that gives parallax in the horizontal direction.
  • each of the openings 1058, 1050, and 1054 of the UC pixel, the CC pixel, and the DC pixel is not displaced in the left-right direction, but guides the partial light flux from the partial region to the photoelectric conversion element 108. Therefore, these group pixels are also treated as parallax pixels (medium parallax pixels).
  • FIG. 15B is a diagram illustrating a group of parallax pixels to be added with respect to parallax pixel addition that gives parallax in the vertical direction.
  • the output of the UL pixel, the output of the UC pixel, and the output of the UR pixel are added, and the output of the CL pixel, the output of the CC pixel, and the output of the CR pixel are added.
  • the output of the DL pixel, the output of the DC pixel, and the output of the DR pixel are added.
  • the reproduced image reproduced at the vertical angle of view becomes a three-parallax image that gives the parallax in the horizontal direction.
  • each of the openings 1056, 1050, and 1052 of the LC pixel, CC pixel, and RC pixel is not displaced in the vertical direction, but guides the partial light flux from the partial region to the photoelectric conversion element 108. Therefore, these group pixels are also handled as parallax pixels.
  • FIG. 15C and FIG. 15D are diagrams showing groups of parallax pixels to be added for parallax pixel addition that gives parallax in an oblique direction.
  • the central group pixel is a combination of 3 parallax pixels
  • the group pixel on both sides is a combination of 2 parallax pixels, and therefore processing for adjusting the luminance value of the added image signal is performed.
  • the image sensor 100 is assumed to be an image sensor including only parallax pixels having the color filter 102 of the same color (including the case of being transparent). However, when the image sensor 100 is a color image sensor having the structure shown in FIG. 2, the image sensor 100 has a structure in which a parallax pixel and a non-parallax pixel are mixed by combining a color filter pattern and a repeating pattern 110. . Specific examples are shown below.
  • FIG. 16 is a diagram for explaining an example of the combination of the color filter pattern 1100 and the repeated pattern 1110.
  • the UR pixel, DR pixel, DL pixel, and UL pixel shown in FIG. 9 will be described.
  • the Bayer array is an array in which a green filter is assigned to two pixels at the upper left and lower right, a red filter is assigned to one lower left pixel, and a blue filter is assigned to one upper right pixel.
  • the upper left pixel to which the green filter is assigned is the Gb pixel
  • the lower right pixel to which the green filter is assigned is the Gr pixel.
  • a pixel to which a red filter is assigned is an R pixel
  • a pixel to which a blue filter is assigned is a B pixel.
  • the UR pixel, DR pixel, DL pixel, and UL pixel, which are parallax pixels, are all assigned to the Gb pixel.
  • the UR pixel is arranged to overlap the Gb pixel in the upper right color filter pattern 1100
  • the DR pixel is arranged to overlap the Gb pixel in the lower right color filter pattern 1100
  • the DL pixel is arranged to the lower left.
  • the UL pixel is arranged so as to overlap the Gb pixel in the upper left color filter pattern 1100
  • the UL pixel is arranged so as to overlap the Gb pixel in the upper left color filter pattern 1100. Therefore, a periodic pattern 1120 in which four sets of color filter patterns 1100 are arranged vertically and horizontally is a minimum period unit for a combination of a color filter and a parallax pixel.
  • each of these openings 1041 to 1044 is also in each of the x axis defined as the horizontal axis passing through the center of the repetitive pattern 1110 and the y axis defined as the vertical axis. Are arranged at positions that are line-symmetric with each other. Therefore, the above-described parallax image can be output by adding these pixels to each other.
  • a 2D image can be generated if pixels with no parallax are gathered together with respect to the arrangement of the image sensor 100.
  • the Gb pixel is a parallax pixel
  • the pixel value of the Gb pixel that becomes an empty grid as 2D image data is interpolated by the pixel value of the Gr pixel.
  • the color filter pattern 1100 may not be a Bayer array, and the Gb pixel may be changed to a W pixel to which no color filter is assigned.
  • the W pixel may be arranged with a transparent filter that is not colored so as to transmit substantially all the wavelength band of visible light.
  • the image pickup device 100 includes the control line 612 and the adder 614, so that pixel addition can be performed using an analog signal.
  • the image sensor 100 that does not include the adder 614 by performing image processing on the output image data, digital pixel addition is performed to newly add parallax image data. Can be generated.
  • Such processing can be completed by the digital camera 10 through the cooperation of the control unit 201 and the image processing unit 205, or can be performed by an external device such as a personal computer.
  • devices such as the digital camera 10 and an external personal computer function as an image processing apparatus.
  • a personal computer or the like as an image processing apparatus includes an output image data acquisition unit that acquires output image data formed by an electrical signal output from the image sensor 100, An aperture information acquisition unit that acquires aperture position information regarding the position of the aperture 104 and a parallax image data generation unit that generates parallax image data by processing output image data with reference to the aperture information.
  • the output image data acquisition unit is a personal computer, it corresponds to an external communication unit, a memory card reading unit, or the like.
  • the output image data acquisition unit acquires, for example, parallax image data Im_UR, Im_DR, Im_DL, and Im_UL that are not subjected to addition processing, for example, as illustrated in FIG.
  • the opening information acquisition unit may share these units for data reception, or may provide an acquisition unit separately.
  • the aperture information is information describing the type and position of the parallax pixel, such as which pixel is the UR pixel.
  • the parallax image data generation unit performs addition processing on each pixel according to the aperture information from the parallax image data Im_UR, Im_DR, Im_DL, and Im_UL, and at least one of the parallax image data Im_GR and Im_GL, and Im_UG and Im_DG Is generated.
  • the parallax image data generation unit can determine which parallax image data to generate from various information. For example, if the image processing apparatus includes an acquisition unit that acquires the posture information of the image sensor 100 at the time of outputting the image signal, the parallax image data generation unit uses the combination of Im_GR and Im_GL according to the posture information. It is possible to determine whether to generate data or to generate parallax image data by a combination of Im_UG and Im_DG.
  • the image processing apparatus includes a depth map generation unit that generates a depth map indicating the depth information of the subject by processing, for example, the parallax image data Im_UR, Im_DR, Im_DL, and Im_UL, based on the generated depth map.
  • a depth map generation unit that generates a depth map indicating the depth information of the subject by processing, for example, the parallax image data Im_UR, Im_DR, Im_DL, and Im_UL, based on the generated depth map.
  • Which parallax image data is to be generated may be determined.
  • the parallax image data generation unit searches for a direction orthogonal to the boundary where the depth difference appears the largest in the depth map, and generates parallax image data that gives parallax in this direction.
  • the parallax image data generation unit does not acquire the output signal from the image sensor 100 separately as parallax image data, but acquires RAW image data indicating pixel values in the array as it is, Which parallax image data is to be generated may be determined with reference to the pixel value. Specifically, the parallax image data generation unit calculates a pixel value difference between adjacent parallax pixels, searches for a direction in which the difference is statistically largest, and calculates parallax image data that gives parallax in this direction. Generate.
  • each of the openings is in a position that is line-symmetric with respect to each of the x-axis defined as the horizontal axis passing through the center of the repeated pattern 110 and the y-axis defined as the vertical axis.
  • each of the openings is displaced so as to be symmetrical with respect to each of two orthogonal vertical and horizontal axes defined with respect to the two-dimensional arrangement of the photoelectric conversion element groups constituting the repetitive pattern 110. It was positioned.
  • the image pickup element may have an opening displacement structure as described below. For example, as with the above-described image sensor, parallax image data that gives parallax to a direction that matches the visual characteristics can be acquired.
  • FIG. 17 is a schematic diagram showing a state in which a part of another image sensor 1200 is enlarged.
  • the image sensor 1200 is an image sensor having a so-called honeycomb structure in which each pixel is arranged in a hexagonal close-packed lattice.
  • adjacent six pixels are defined as parallax pixels constituting the repetitive pattern 110.
  • the six parallax pixels are UR pixels, UC pixels, UL pixels arranged from right to left in the upper stage with respect to the repetitive pattern 110, and DR pixels, DC pixels arranged from right to left in the lower stage, respectively. It consists of DL pixels.
  • the UR pixel includes an opening mask 103 having a triangular opening 104 that is displaced in the upper right direction with respect to the pixel center.
  • the DR pixel includes an opening mask 103 having a triangular opening 104 that is displaced in the lower right direction with respect to the pixel center.
  • the DC pixel includes an opening mask 103 having a triangular opening 104 that is displaced downward with respect to the pixel center.
  • the DL pixel includes an opening mask 103 having a triangular opening 104 that is displaced in the lower left direction with respect to the pixel center.
  • the UL pixel includes an opening mask 103 having a triangular opening 104 that is displaced in the upper left direction with respect to the pixel center.
  • the UC pixel includes an opening mask 103 having a triangular opening 104 that is displaced upward with respect to the pixel center.
  • the color filter is provided in a non-parallax pixel adjacent to the parallax pixel constituting the repetitive pattern 110. As shown in the figure, a B pixel to which a blue filter is assigned, a G pixel to which a green filter is assigned, and an R pixel to which a red filter is assigned are arranged adjacent to each other.
  • FIG. 18 is a diagram showing a repetitive pattern 110 including a set of photoelectric conversion element groups.
  • FIG. 18A is a diagram in which one repetitive pattern 110 is extracted and shown.
  • each of the openings is axisymmetric with respect to the y-axis. Although it is arranged at a position, it is not arranged at a position that is line-symmetric with respect to the x-axis.
  • each pixel is arranged in a hexagonal close-packed lattice, the UC pixel and the DC pixel are shifted by half a pixel in the y-axis direction from the pixels adjacent to the left and right, and are symmetrical with respect to the x-axis Sex is broken.
  • each opening when each opening is virtually superimposed on one photoelectric conversion element while maintaining the relative position with respect to each photoelectric conversion element, the opening Can be said to be displaced so as to be symmetrical with respect to each of the orthogonal x-axis and y-axis determined with respect to the virtual photoelectric conversion element.
  • the entire opening gathered in this way is preferably substantially the same as the opening of the non-parallax pixel, as shown in the right diagram of FIG. That is, it is preferable that each opening has a size that is 1/6 of the opening of the non-parallax pixel.
  • each opening part of the parallax pixel which comprises the repeating pattern 110 is positioned so that the light beams from mutually different partial areas in the cross-sectional area of the incident light may pass through similarly to the above-described imaging element.
  • FIG. 19 is a conceptual diagram illustrating parallax pixel addition that gives parallax in different directions in the image sensor 1200. If the outputs of the parallax pixels of the image sensor 1200 are individually collected for each type of opening, six pieces of parallax image data can be acquired. In addition, if parallax pixel addition is performed according to the concept described with reference to FIGS. 11 and 12, parallax image data that gives parallax to a direction that matches the visual characteristics can be acquired.
  • FIG. 19A is a diagram showing a group of parallax pixels to be added with respect to parallax pixel addition that gives parallax in the horizontal direction.
  • the output of the UR pixel and the output of the DR pixel are added, the output of the UC pixel and the output of the DC pixel are added, and the output of the UL pixel and the output of the DL pixel Is added. That is, a combination of UR pixels and DR pixels, a combination of UC pixels and DC pixels, and a combination of UL pixels and DL pixels are treated as group pixels, respectively.
  • each group pixel is gathered as if it were output from one right parallax pixel, middle parallax pixel, and left parallax pixel, and when an interpolation process for aspect adjustment is performed, an image that gives parallax in the horizontal direction is obtained.
  • Right parallax image data Im_GR, middle parallax image data Im_GC, and left parallax image data Im_GL can be acquired. If the parallax image data is generated when the user shoots the digital camera 10 with a horizontal angle of view, the reproduced image reproduced at the horizontal angle of view becomes a three-parallax image that gives parallax in the horizontal direction.
  • FIG. 19B is a diagram showing a group of parallax pixels to be added with respect to parallax pixel addition that gives parallax in the vertical direction.
  • the output of the UL pixel, the output of the UC pixel, and the output of the UR pixel are added, and the output of the DL pixel, the output of the DC pixel, and the output of the DR pixel are added.
  • the parallax image data is generated when the user shoots the digital camera 10 with the vertical angle of view, the reproduced image reproduced at the vertical angle of view becomes a two-parallax image that gives the parallax in the horizontal direction.
  • FIG. 19C and FIG. 19D are diagrams illustrating groups of parallax pixels to be added for parallax pixel addition that gives parallax in an oblique direction.
  • the above-described imaging element 1200 having the honeycomb structure described above has the color filter assigned to the non-parallax pixel, but may of course have a configuration in which the color filter is assigned to the parallax pixel.
  • a color filter of a certain color may be assigned to a pixel without parallax, and a color filter of another color may be assigned to a parallax pixel.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　上下方向の視差画像データおよび左右方向の視差画像データを取得するには、それぞれの視点に対応する位置に個別に撮像装置を用意する必要があった。　そこで、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、光電変換素子に設けられる開口マスクとを備え、ｎ個（ｎは４以上の整数）の光電変換素子を一組とする光電変換素子群が周期的に配列され、開口マスクの開口は、光電変換素子群の二次元配列に対して定められる直交する２軸のそれぞれについて互いに線対称となるように偏位して位置づけられた撮像素子を提供する。

Description

撮像素子、撮像装置および画像処理装置
　本発明は、撮像素子、撮像装置および画像処理装置に関する。
　２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を撮像するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
　　［特許文献１］　特開平８－４７００１号公報
　上下方向の視差画像データおよび左右方向の視差画像データを取得するには、それぞれの視点に対応する位置に個別に撮像装置を用意する必要があった。
　本発明の第１の態様における撮像素子は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、光電変換素子に設けられる開口マスクとを備え、ｎ個（ｎは４以上の整数）の光電変換素子を一組とする光電変換素子群が周期的に配列され、開口マスクの開口は、光電変換素子群の二次元配列に対して定められる直交する２軸のそれぞれについて互いに線対称となるように偏位して位置づけられている。
　本発明の第２の態様における撮像装置は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、光電変換素子に設けられる開口マスクとを備え、ｎ個（ｎは４以上の整数）の光電変換素子を一組とする光電変換素子群が周期的に配列され、開口マスクの開口は、それぞれの光電変換素子に対する相対的な位置を維持したまま仮想的に一つの光電変換素子上に重ね合わせると、当該仮想的な光電変換素子に対して定められる直交する２軸のそれぞれについて互いに線対称となるように偏位して位置づけられている。
　本発明の第３の態様における撮像装置は、上記の撮像素子と、撮像素子の姿勢を検出する姿勢検出部と、検出部により検出された姿勢に基づいて、選択回路に特定の光電変換素子を選択させ、加算器に特定の光電変換素子からの電気信号を加算させる制御部と、撮像素子の加算器から出力される画像信号を処理する画像処理部とを備える。
　本発明の第４の態様における画像処理装置は、上記の撮像素子から出力される電気信号に基づく出力画像データを取得する出力画像データ取得部と、撮像素子の開口の位置に関する開口位置情報を取得する開口情報取得部と、開口位置情報に基づいて出力画像データを処理することにより視差画像データを生成する視差画像データ生成部とを備える。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明の実施形態に係るデジタルカメラの構成を説明する図である。 本発明の実施形態に係る撮像素子の断面を表す概略図である。 撮像素子の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概念図である。 視差画像を生成する処理を説明する概念図である。 垂直視差を与える撮像素子の一部を拡大した様子を表す概略図である。 Ｙ方向の視差画像を生成する処理を説明する概念図である。 本実施形態に係る撮像素子の一部を拡大した様子を表す概略図である。 一組の光電変換素子群を含む繰り返しパターンを示す図である。 繰り返しパターンに含まれる視差画素と被写体の関係を説明する概念図である。 横方向に視差を与える視差画素加算と出力される視差画像の関係を説明する概念図である。 縦方向に視差を与える視差画素加算と出力される視差画像の関係を説明する概念図である。 撮像素子の回路構成を示す概念図である。 他の例としての一組の光電変換素子群を含む繰り返しパターンの画素配列を示す図である。 異なる方向の視差を与える視差画素加算を説明する概念図である。 カラーフィルタパターンと繰り返しパターンの組み合わせの例を説明する図である。 他の撮像素子の一部を拡大した様子を表す概略図である。 一組の光電変換素子群を含む繰り返しパターンを示す図である。 異なる方向の視差を与える視差画素加算を説明する概念図である。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
　図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０、ＡＦセンサ２１１、ＲＯＭ２２１および姿勢センサ２２２を備える。
　なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向を＋Ｚ軸方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向を＋Ｘ軸方向、紙面上方向を＋Ｙ軸方向と定める。撮影における構図との関係はＸ軸が水平方向、Ｙ軸が垂直方向となる。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
　撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
　Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。
　画像処理部２０５は、選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
　ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。ＲＯＭ２２１は、不揮発性メモリであり、デジタルカメラ１０を制御するプログラム、各種パラメータ等を記憶している。
　次に、撮像素子１００の構成について詳細に説明する。図２は、本実施形態に係る撮像素子の断面を表す概略図である。図２（ａ）は、カラーフィルタ１０２と開口マスク１０３が別体で構成される撮像素子１００の断面概略図である。また、図２（ｂ）は、撮像素子１００の変形例として、カラーフィルタ部１２２と開口マスク部１２３が一体的に構成されたスクリーンフィルタ１２１を備える撮像素子１２０の断面外略図である。
　図２（ａ）に示すように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。
　光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。
　一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。
　カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも３種類のカラーフィルタが配列されれば良い。これらのカラーフィルタは、カラー画像を生成するための原色フィルタと言える。原色フィルタの組み合わせは、例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタである。これらのカラーフィルタは、後述するように、光電変換素子１０８に対応して格子状に配列される。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹｅＣｙＭｇの補色フィルタの組合せであっても良い。
　マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。
　このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
　なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。
　カラーフィルタ１０２と開口マスク１０３の組み合わせには、さまざまなバリエーションが存在する。図２（ａ）において、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することができる。また、特定の画素を被写体の輝度情報を取得する画素とする場合、その画素には、対応するカラーフィルタ１０２を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。
　輝度情報を取得する画素を視差画素とする場合、つまり、視差画像を少なくとも一旦はモノクロ画像として出力するのであれば、図２（ｂ）として示す撮像素子１２０の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部１２２と、開口部１０４を有する開口マスク部１２３とが一体的に構成されたスクリーンフィルタ１２１を、マイクロレンズ１０１と配線層１０５の間に配設することができる。
　スクリーンフィルタ１２１は、カラーフィルタ部１２２において例えば青緑赤の着色が施され、開口マスク部１２３において開口部１０４以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ１２１を採用する撮像素子１２０は、撮像素子１００に比較して、マイクロレンズ１０１から光電変換素子１０８までの距離が短いので、被写体光束の集光効率が高い。
　次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子８００の一部を拡大した様子を表す概略図である。撮像素子８００は、本実施形態おいて採用される撮像素子１００とは異なるが、説明の都合上、まず撮像素子８００について説明する。また、ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色（透明である場合を含む）のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。
　図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。
　図の例においては、それぞれの画素に対する開口部１０４の位置として、互いにＸ軸方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子８００の全体は、－Ｘ側から＋Ｘ側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子８００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められて構成されていると言える。
　図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子８００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。
　まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子８００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ～Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の－Ｘ側の端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、＋Ｘ側の端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。
　別言すれば、例えば部分領域Ｐｆと－Ｘ側の端の画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、＋Ｘ側の端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。
　図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ～Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ～Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
　つまり、被写体３０が合焦位置に存在する限りは、撮像素子８００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの－Ｘ側の端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。
　撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて－Ｘ側の端の画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて－Ｘ側の端の画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子８００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。
　次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ～Ｐｆを通過して、撮像素子８００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子８００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子８００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。
　したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ～Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ＋、Ｒｂ＋、Ｒｃ＋、Ｒｅ＋、Ｒｆ＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。
　すると、撮像素子８００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、Ｘ軸方向に６つの視差像が形成されることになる。
　したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ～Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。
　図５は、視差画像を生成する処理を説明する概念図である。図は、紙面左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。
　６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、Ｘ軸方向に配列されている。したがって、開口部１０４ｆを有する視差画素は、撮像素子８００上において、Ｘ軸方向に６画素おき、かつ、Ｙ軸方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、Ｘ軸方向、つまり水平視差画像が得られる。
　しかし、撮像素子８００の各画素は正方画素であるので、単に寄せ集めただけでは、Ｘ軸方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施してＸ軸方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データがＸ軸方向に１／６に間引かれた画像であるので、Ｘ軸方向の解像度は、Ｙ軸方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。
　同様にして、視差画像データＩｍ＿ｅ～視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、Ｘ軸方向に視差を有する６視点の水平視差画像を生成することができる。
　上記の例では、開口部１０４が－Ｘ側から＋Ｘ側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とするＸ軸方向の繰り返しパターン１１０が周期的に配列される例を説明した。この場合、図５を用いて説明したようにＸ軸方向の視差である水平視差を与える６つの視差画像が得られる。一方、開口部１０４のシフト方向と繰り返しパターン１１０の配列を変更すれば、Ｙ軸方向の視差である垂直視差を与える視差画像を得ることができる。図６は、垂直視差を与える撮像素子９００の一部を拡大した様子を表す概略図である。
　図の例においては、それぞれの画素に対する開口部１０４の位置として、互いにＹ軸方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子９００の全体は、＋Ｙ側から－Ｙ側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子９００は、一組の光電変換素子群を含むＹ軸方向の繰り返しパターン１１０が、周期的に敷き詰められて構成されていると言える。
　図６における撮像素子９００は、繰り返しパターン１１０の単位で見れば、図３で説明した撮像素子８００における繰り返しパターン１１０を９０度回転した繰り返しパターン１１０を有すると言える。したがって、図４で説明した光学的な関係は、図６における撮像素子９００に対しても同様である。すなわち、Ｙ軸方向に配列される繰り返しパターン１１０の開口部１０４ａから１０４ｆに対応して、Ｙ軸方向に６つの視差像が形成されることになる。したがって、それぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、垂直方向に視差を与える視差画像が得られる。
　図７は、Ｙ軸方向の視差画像を生成する処理を説明する概念図である。図は、紙面左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。
　６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、Ｙ軸方向に配列されている。したがって、開口部１０４ｆを有する視差画素は、撮像素子９００上において、Ｙ軸方向に６画素おき、かつ、Ｘ軸方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、Ｙ軸方向、つまり垂直視差画像が得られる。
　しかし、撮像素子９００の各画素は正方画素であるので、単に寄せ集めただけでは、Ｙ軸方向の画素数が１／６に間引かれた結果となり、横長の画像データが生成されてしまう。そこで、補間処理を施してＹ軸方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データがＹ軸方向に１／６に間引かれた画像であるので、Ｙ軸方向の解像度は、横方向の解像度よりも低下している。
　同様にして、視差画像データＩｍ＿ｅ～視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、Ｙ軸方向に視差を有する６視点の垂直視差画像を生成することができる。
　図３における撮像素子８００および図６における撮像素子９００は、一列方向に開口部１０４がシフトさせており、その方向に沿った視差を与える視差画像群を出力した。しかし、撮像素子は、繰り返しパターン１１０の配列と、それぞれの光電変換素子１０８に対応する開口マスク１０３における開口部１０４の配置によっては、ＸＹの二次元方向に視差を与える視差画像群を出力することができる。本実施形態で採用する撮像素子１００は、このような撮像素子である。
　図８は、本実施形態に係る撮像素子１００の一部を拡大した様子を表す概略図である。撮像素子１００は、縦２つ横２つから成る４つの視差画素を構成する光電変換素子群を一組とする繰り返しパターン１１０が、周期的に配列されている。そして、一つの繰り返しパターン１１０に含まれるそれぞれの視差画素は、互いに異なる方向へ偏位した開口部１０４を有する開口マスク１０３を備える。
　図９は、一つの繰り返しパターン１１０に対応する視差画素を示す図である。４つの視差画素は、繰り返しパターン１１０に対して右上に配列されているＵＲ画素、右下に配列されているＤＲ画素、左下に配列されているＤＬ画素および左上に配列されているＵＬ画素から成る。ＵＲ画素は、画素中心に対して右上方向へ偏位した開口部１０４１を有する開口マスク１０３を備える。ＤＲ画素は、画素中心に対して右下方向へ偏位した開口部１０４２を有する開口マスク１０３を備える。ＤＬ画素は、画素中心に対して左下方向へ偏位した開口部１０４３を有する開口マスク１０３を備える。ＵＬ画素は、画素中心に対して左上方向へ偏位した開口部１０４４を有する開口マスク１０３を備える。
　これらの開口部１０４１～１０４４のそれぞれは、繰り返しパターン１１０の中心を通る横軸として定められるｘ軸と、縦軸として定められるｙ軸のそれぞれに対して、互いに線対称となる位置に配置されている。換言すれば、開口部１０４１～１０４４のそれぞれは、繰り返しパターン１１０を構成する光電変換素子群の二次元配列に対して定められる直交する縦横の２軸のそれぞれについて、互いに線対称となるように偏位して位置づけられている。つまり、開口部１０４１と開口部１０４２のペアおよび開口部１０４４と開口部１０４３のペアは、それぞれｘ軸に対して線対称となる位置に配置されており、また、開口部１０４４と開口部１０４１のペアおよび開口部１０４３と開口部１０４２のペアは、それぞれｙ軸に対して線対称となる位置に配置されている。
　図１０は、繰り返しパターン１１０に含まれる視差画素と被写体３０の関係を説明する概念図である。繰り返しパターン１１０における開口部１０４１～１０４４のそれぞれは、被写体光束全体の断面領域において二次元方向に規定される４つの部分領域のいずれかを通過する部分光束を通過させて各々の光電変換素子へ導く。
　具体的には、図１０（ａ）に示すように、例えばＵＲ画素における開口部１０４１は、被写体３０の微小領域Ｏから放射された光束のうち、撮影レンズ２０の瞳における部分領域ＰＵＲを通過した部分光束のみを通過させて、ＵＲ画素の光電変換素子１０８へ導く。同様に、ＤＲ画素における開口部１０４２は、被写体３０の微小領域Ｏから放射された光束のうち、撮影レンズ２０の瞳における部分領域ＰＤＲを通過した部分光束のみを通過させて、ＤＲ画素の光電変換素子１０８へ導く。また、ＤＬ画素における開口部１０４３は、被写体３０の微小領域Ｏから放射された光束のうち、撮影レンズ２０の瞳における部分領域ＰＤＬを通過した部分光束のみを通過させて、ＤＬ画素の光電変換素子１０８へ導く。また、ＵＬ画素における開口部１０４４は、被写体３０の微小領域Ｏから放射された光束のうち、撮影レンズ２０の瞳における部分領域ＰＵＬを通過した部分光束のみを通過させて、ＵＬ画素の光電変換素子１０８へ導く。
　したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、４つの部分領域ＰＵＲ、ＰＤＲ、ＰＤＬおよびＰＵＬのうちのいずれかの部分領域から射出された被写体光束を受光した画素の出力は、それぞれ視差画像を形成する。
　具体的には、画像処理部２０５は、ＵＲ画素の出力を寄せ集めて視差画像データＩｍ＿ＵＲを生成し、ＤＲ画素の出力を寄せ集めて視差画像データＩｍ＿ＤＲを生成し、ＤＬ画素の出力を寄せ集めて視差画像データＩｍ＿ＤＬを生成し、ＵＬ画素の出力を寄せ集めて視差画像データＩｍ＿ＵＬを生成する。これらの視差画像間において、被写体が焦点面に存在すれば、その像は、相対的に同一位置に現れる。一方、焦点面より遠い位置に存在すれば、例えば図１０（ｂ）に示すように、その像は、Ｉｍ＿ＵＲで右上方向、Ｉｍ＿ＤＲで右下方向、Ｉｍ＿ＤＬで左下方向、Ｉｍ＿ＵＬで左上方向へ相対的にずれた位置に現れる。また、焦点面より近い位置に存在すれば、その像は、Ｉｍ＿ＵＲで左下方向、Ｉｍ＿ＤＲで左上方向、Ｉｍ＿ＤＬで右上方向、Ｉｍ＿ＵＬで右下方向へ相対的にずれた位置に現れる。なお、このような４つの視差画像データのそれぞれは、画素数は全体の画素数に対して１／４になるものの、正方画素である上下左右の視差画素のいずれかを寄せ集めて生成されるので、アスペクト比は維持されている。
　もちろん、図１０（ｂ）で示すように、画像処理部２０５は、それぞれの視差画素の出力を別個に寄せ集めて４つの視差画像を生成しても良いが、観察者である人間の視覚特性に合わせて視差画像を生成することがより好ましい。具体的には、人間の眼球は左右方向に配置されているので、観察される視差画像も眼球の配置に対応する左右方向に視差を与えるほうが好ましい。一方、撮影時においてユーザは、デジタルカメラ１０を被写体に対して横画角に構える場合もあれば、縦画角に構える場合もある。したがって、横画角で撮影された場合でも、縦画角で撮影された場合でも、画像処理部２０５が生成する視差画像データは、観察時において横方向に視差を与えることが好ましい。そこで、本実施形態における撮像素子１００は、このような視覚特性に合致する方向に対して視差を与える視差画像を出力すべく、視差画素の加算処理を行う。
　図１１は、横方向に視差を与える視差画素加算と出力される視差画像の関係を説明する概念図である。図１１（ａ）は、加算する視差画素のペアを示す図である。横方向に視差を与える視差画像を出力する場合には、ＵＲ画素の出力とＤＲ画素の出力を加算し、ＵＬ画素の出力とＤＬ画素の出力を加算する。すなわち、ＵＲ画素とＤＲ画素の組み合わせ、およびＵＬ画素とＤＬ画素の組み合わせを、それぞれペア画素として扱う。
　具体的には、ＵＲ画素の開口部１０４１とＤＲ画素の開口部１０４２の組み合わせを、繰り返しパターン１１０において右側へ偏位した一つの開口部であるＧＲ開口部１１０１とみなし、ＵＲ画素とＤＲ画素の加算出力を、あたかも一つの右視差画素からの出力であると扱う。同様に、ＵＬ画素の開口部１０４４とＤＬ画素の開口部１０４３の組み合わせを、繰り返しパターン１１０において左側へ偏位した一つの開口部であるＧＬ開口部１１０２とみなし、ＵＬ画素とＤＬ画素の加算出力を、あたかも一つの左視差画素からの出力であると扱う。
　このように仮想的な右視差画素からの出力および左視差画素からの出力をそれぞれ寄せ集め、アスペクト調整のための補間処理を施すと、図１１（ｂ）に示すような左右方向に視差を与える画像としての右視差画像データＩｍ＿ＧＲと左視差画像データＩｍ＿ＧＬを取得できる。ユーザがデジタルカメラ１０を横画角で構えて撮影した場合にこれらの視差画像データが生成されれば、再生画像は、横方向に視差を与えるいわゆるステレオ画像となる。
　図１２は、縦方向に視差を与える視差画素加算と出力される視差画像の関係を説明する概念図である。図１２（ａ）は、加算する視差画素のペアを示す図である。縦方向に視差を与える視差画像を出力する場合には、ＵＬ画素の出力とＵＲ画素の出力を加算し、ＤＬ画素の出力とＤＲ画素の出力を加算する。すなわち、ＵＬ画素とＵＲ画素の組み合わせ、およびＤＬ画素とＤＲ画素の組み合わせを、それぞれペア画素として扱う。
　具体的には、ＵＬ画素の開口部１０４４とＵＲ画素の開口部１０４１の組み合わせを、繰り返しパターン１１０において上側へ偏位した一つの開口部であるＧＵ開口部１１０３とみなし、ＵＬ画素とＵＲ画素の加算出力を、あたかも一つの上視差画素からの出力であると扱う。同様に、ＤＬ画素の開口部１０４３とＤＲ画素の開口部１０４２の組み合わせを、繰り返しパターン１１０において下側へ偏位した一つの開口部であるＧＤ開口部１１０４とみなし、ＤＬ画素とＤＲ画素の加算出力を、あたかも一つの下視差画素からの出力であると扱う。
　このように仮想的な上視差画素からの出力および下視差画素からの出力をそれぞれ寄せ集め、アスペクト調整のための補間処理を施すと、図１２（ｂ）に示すような上下方向に視差を与える画像としての上視差画像データＩｍ＿ＧＵと下視差画像データＩｍ＿ＧＤを取得できる。ただし、ユーザがデジタルカメラ１０を縦画角で構えて撮影した場合は、これらの画像データは、観察時において縦方向に再生される。すなわち、これらの再生画像は、図１２（ｃ）に示すように、図１２（ｂ）の視差画像が９０度回転させた、横方向に視差を与えるステレオ画像となる。この場合、これらの視差画像は、横方向に視差を与ええる縦画角の右視差画像データＩｍ＿ＧＲと左視差画像データＩｍ＿ＧＬとして扱うことができる。
　図１３は、撮像素子１００の回路構成を示す概念図である。ＵＲ画素、ＤＲ画素、ＤＬ画素およびＵＬ画素のそれぞれに対応する光電変換素子１０８は、それぞれ増幅器６１０に接続されている。増幅器６１０の出力側にはゲートスイッチ６１１が連接されており、ゲートスイッチ６１１は、制御線６１２からの選択制御信号により開閉される。ゲートスイッチ６１１が閉じられると、増幅された画像信号は信号線６１３を通って加算器６１４へ到達する。
　一つの信号線６１３に対して閉じられるゲートスイッチ６１１は一つである。例えば、図１０で説明した視差画像データＩｍ＿ＵＲを生成する場合は、ＵＲ画素の光電変換素子１０８からの画像信号のみを選択制御信号により一つずつ選択して順次信号線６１３へ転送し、加算器６１４で何ら加算することなく、Ａ／Ｄ変換回路２０２へ出力する。なお、選択制御信号は、駆動部２０４を介して制御部２０１から伝送される。Ａ／Ｄ変換回路２０２でデジタル化された画像信号は画像データとして画像処理部２０５へ送られ、画像処理部２０５は、これを予め定められたフォーマットの画像データへ変換して視差画像データＩｍ＿ＵＲを完成させる。視差画像データＩｍ＿ＤＲ、Ｉｍ＿ＤＬおよびＩｍ＿ＵＬも同様に生成できる。
　一方、例えば図１１で説明した視差画像データＩｍ＿ＧＲを生成する場合は、まず、ＵＲ画素の光電変換素子１０８からの画像信号を選択制御信号により選択して信号線６１３へ転送する。加算器６１４は、このＵＲ画像信号を保持する。次に、ペアとなるＤＲ画素の光電変換素子１０８からの画像信号を選択制御信号により選択して信号線６１３へ転送する。そして加算器６１４は、保持していたＵＲ画像信号に、転送されてきたＤＲ画像信号を加算して、Ａ／Ｄ変換回路２０２へ出力する。これをペア画素ごとに繰り返す。なお、この場合も選択制御信号は、駆動部２０４を介して制御部２０１から伝送される。Ａ／Ｄ変換回路２０２でデジタル化された画像信号は画像データとして画像処理部２０５へ送られ、画像処理部２０５は、これを予め定められたフォーマットの画像データへ変換して視差画像データＩｍ＿ＧＲを完成させる。視差画像データＩｍ＿ＧＬも同様に生成できる。
　また、例えば図１２で説明した視差画像データＩｍ＿ＧＵを生成する場合は、まず、ＵＲ画素の光電変換素子１０８からの画像信号を選択制御信号により選択して信号線６１３へ転送する。加算器６１４は、このＵＲ画像信号を保持する。次に、ペアとなるＵＬ画素の光電変換素子１０８からの画像信号を選択制御信号により選択して信号線６１３へ転送する。そして加算器６１４は、保持していたＵＲ画像信号に、転送されてきたＵＬ画像信号を加算して、Ａ／Ｄ変換回路２０２へ出力する。これをペア画素ごとに繰り返す。なお、この場合も選択制御信号は、駆動部２０４を介して制御部２０１から伝送される。Ａ／Ｄ変換回路２０２でデジタル化された画像信号は画像データとして画像処理部２０５へ送られ、画像処理部２０５は、これを予め定められたフォーマットの画像データへ変換して視差画像データＩｍ＿ＧＵを完成させる。視差画像データＩｍ＿ＧＤも同様に生成できる。
　制御部２０１は、視差画像データとしてＩｍ＿ＧＲとＩｍ＿ＧＬの組み合わせで出力させるか、あるいは、Ｉｍ＿ＧＵとＩｍ＿ＧＤの組み合わせで出力させるかを、姿勢センサ２２２によって検出されるデジタルカメラ１０（ひいては撮像素子１００）の姿勢により決定する。すなわち、デジタルカメラ１０の向きが横向きであると検出された場合は、出力される画像は横画角で観察されるものとして、視差画像データとしてＩｍ＿ＧＲとＩｍ＿ＧＬの組み合わせで出力する。一方、デジタルカメラ１０の向きが縦向きであると検出された場合は、出力される画像は縦画角で観察されるものとして、視差画像データとしてＩｍ＿ＧＵとＩｍ＿ＧＤの組み合わせで出力する。制御部２０１は、駆動部２０４を介して制御線６１２に選択制御信号を与えることにより、上記の組み合わせによる出力を実現する。
　本実施形態に係る撮像素子１００の画素配列は、図９で示す縦２つ横２つから成る４つの視差画素を一つの繰り返しパターン１１０とする画素配列に限らない。図１４は、他の例としての一組の光電変換素子群を含む繰り返しパターン１１０の画素配列を示す図である。この例における撮像素子１００は、縦３つ横３つから成る９つの視差画素を構成する光電変換素子群を一組とする繰り返しパターン１１０が、周期的に配列されている。
　９つの視差画素は、繰り返しパターン１１０に対して、上段の右から左へそれぞれ配列されているＵＲ画素、ＵＣ画素、ＵＬ画素、中段の右から左へそれぞれ配列されているＣＲ画素、ＣＣ画素、ＣＬ画素、下段の右から左へそれぞれ配列されているＤＲ画素、ＤＣ画素、ＤＬ画素から成る。ＵＲ画素は、画素中心に対して右上方向へ偏位した開口部１０５１を有する開口マスク１０３を備える。ＣＲ画素は、画素中心に対して右方向へ偏位した開口部１０５２を有する開口マスク１０３を備える。ＤＲ画素は、画素中心に対して右下方向へ偏位した開口部１０５３を有する開口マスク１０３を備える。ＤＣ画素は、画素中心に対して下方向へ偏位した開口部１０５４を有する開口マスク１０３を備える。ＤＬ画素は、画素中心に対して左下方向へ偏位した開口部１０５５を有する開口マスク１０３を備える。ＣＬ画素は、画素中心に対して左方向へ偏位した開口部１０５６を有する開口マスク１０３を備える。ＵＬ画素は、画素中心に対して左上方向へ偏位した開口部１０５７を有する開口マスク１０３を備える。ＵＣ画素は、画素中心に対して上方向へ偏位した開口部１０５８を有する開口マスク１０３を備える。ＣＣ画素は、画素中心に位置する開口部１０５０を有する開口マスク１０３を備える。
　これらの開口部１０５０～１０５８のそれぞれは、繰り返しパターン１１０の中心を通る横軸として定められるｘ軸と、縦軸として定められるｙ軸のそれぞれに対して、互いに線対称となる位置に配置されている。換言すれば、開口部１０５０～１０５８のそれぞれは、繰り返しパターン１１０を構成する光電変換素子群の二次元配列に対して定められる直交する縦横の２軸のそれぞれについて、互いに線対称となるように偏位して位置づけられている。つまり、開口部１０５１、１０５２、１０５３のグループ、開口部１０５８、１０５０、１０５４のグループ、および開口部１０５７、１０５６、１０５５のグループは、それぞれｘ軸に対して線対称となる位置に配置されている。また、開口部１０５７、１０５８、１０５１のグループ、開口部１０５６、１０５０、１０５２のグループ、および開口部１０５５、１０５４、１０５３のグループは、それぞれｙ軸に対して線対称となる位置に配置されている。
　図１５は、図１４の撮像素子１００において、異なる方向の視差を与える視差画素加算を説明する概念図である。撮像素子１００の視差画素の出力を、その開口部の種類ごとに個別に寄せ集めれば、９つの視差画像データを取得することができる。また、図１１および図１２を用いて説明した概念により視差画素加算を行えば、視覚特性に合致する方向に対して視差を与える視差画像データを取得することもできる。
　図１５（ａ）は、横方向に視差を与える視差画素加算について、加算する視差画素のグループを示す図である。横方向に視差を与える視差画像を出力する場合には、ＵＲ画素の出力、ＣＲ画素の出力およびＤＲ画素の出力を加算し、ＵＣ画素の出力、ＣＣ画素の出力およびＤＣ画素の出力を加算し、ＵＬ画素の出力、ＣＬ画素の出力およびＤＬ画素の出力を加算する。すなわち、ＵＲ画素、ＣＲ画素およびＤＲ画素の組み合わせ、ＵＣ画素、ＣＣ画素およびＤＣ画素の組み合わせ、ＵＬ画素、ＣＬ画素およびＤＬ画素の組み合わせを、それぞれグループ画素として扱う。
　それぞれのグループ画素の加算出力をあたかも一つの右視差画素、中視差画素および左視差画素からの出力として、それぞれ寄せ集め、アスペクト調整のための補間処理を施すと、左右方向に視差を与える画像としての右視差画像データＩｍ＿ＧＲ、中視差画像データＩｍ＿ＧＣおよび左視差画像データＩｍ＿ＧＬを取得できる。ユーザがデジタルカメラ１０を横画角で構えて撮影した場合にこれらの視差画像データが生成されれば、横画角で再生される再生画像は、横方向に視差を与える三視差画像となる。なお、ＵＣ画素、ＣＣ画素およびＤＣ画素の開口部１０５８、１０５０、１０５４のそれぞれは、左右方向に対しては偏位していないが、部分領域からの部分光束を光電変換素子１０８へ導いていることから、これらのグループ画素も視差画素（中視差画素）として扱う。
　図１５（ｂ）は、縦方向に視差を与える視差画素加算について、加算する視差画素のグループを示す図である。縦方向に視差を与える視差画像を出力する場合には、ＵＬ画素の出力、ＵＣ画素の出力およびＵＲ画素の出力を加算し、ＣＬ画素の出力、ＣＣ画素の出力およびＣＲ画素の出力を加算し、ＤＬ画素の出力、ＤＣ画素の出力およびＤＲ画素の出力を加算する。ユーザがデジタルカメラ１０を縦画角で構えて撮影した場合にこれらの視差画像データが生成されれば、縦画角で再生される再生画像は、横方向に視差を与える三視差画像となる。なお、ＬＣ画素、ＣＣ画素およびＲＣ画素の開口部１０５６、１０５０、１０５２のそれぞれは、上下方向に対しては偏位していないが、部分領域からの部分光束を光電変換素子１０８へ導いていることから、これらのグループ画素も視差画素として扱う。
　また、この配列においては、斜め方向に視差を与える視差画素加算も行い得る。図１５（ｃ）および図１５（ｄ）は、斜め方向に視差を与える視差画素加算について、加算する視差画素のグループを示す図である。この場合、中央のグループ画素が３視差画素の組み合わせであるのに対して、両脇のグループ画素が２視差画素の組み合わせであるので、加算された画像信号の輝度値を調整する処理を施す。
　以上の説明においては、撮像素子１００は、同色（透明である場合を含む）のカラーフィルタ１０２を有する視差画素のみから成るイメージセンサであるとした。しかし、撮像素子１００が図２に示す構造を有するカラーイメージセンサである場合は、撮像素子１００は、カラーフィルタパターンと繰り返しパターン１１０が組み合わされて、視差画素と視差なし画素が混在する構造となる。以下にその具体例を示す。
　図１６は、カラーフィルタパターン１１００と繰り返しパターン１１１０の組み合わせの例を説明する図である。ここでは、図９で示したＵＲ画素、ＤＲ画素、ＤＬ画素およびＵＬ画素がカラーフィルタパターン１１００と組み合わされる例により説明する。
　カラーフィルタパターン１１００として、ここではベイヤー配列を採用する。ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色フィルタが割り当てられた画素をＢ画素とする。
　視差画素であるＵＲ画素、ＤＲ画素、ＤＬ画素およびＵＬ画素は、いずれもＧｂ画素に割り当てられる。具体的には、ＵＲ画素は、右上のカラーフィルタパターン１１００におけるＧｂ画素に重ねて配置され、ＤＲ画素は、右下のカラーフィルタパターン１１００におけるＧｂ画素に重ねて配置され、ＤＬ画素は、左下のカラーフィルタパターン１１００におけるＧｂ画素に重ねて配置され、ＵＬ画素は、左上のカラーフィルタパターン１１００におけるＧｂ画素に重ねて配置されている。したがって、カラーフィルタパターン１１００が上下左右に４組連なった周期パターン１１２０が、カラーフィルタおよび視差画素の組み合わせに対する最小周期単位となる。
　この場合の繰り返しパターン１１１０においても、やはり、これらの開口部１０４１～１０４４のそれぞれは、繰り返しパターン１１１０の中心を通る横軸として定められるｘ軸と、縦軸として定められるｙ軸のそれぞれに対して、互いに線対称となる位置に配置されている。したがって、これらの画素を互いに加算することにより、上述のような視差画像を出力することができる。
　この撮像素子１００の配列に対して、視差なし画素を寄せ集めれば２Ｄ画像を生成することができる。ただし、Ｇｂ画素は視差画素であるので、２Ｄ画像データとして空格子となるＧｂ画素の画素値は、Ｇｒ画素の画素値によって補間する。また、カラーフィルタパターン１１００はベイヤー配列でなくても良く、Ｇｂ画素をカラーフィルタが割り当てられないＷ画素に変更しても良い。なお、Ｗ画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。
　以上の実施形態においては、撮像素子１００が制御線６１２と加算器６１４を備えることにより、アナログ信号により画素加算を行うことができた。しかし、例えば加算器６１４を備えない撮像素子１００が組み込まれたデジタルカメラ１０であっても、出力画像データに対して画像処理を施すことにより、デジタル的に画素加算を行って視差画像データを新たに生成することができる。
　このような処理は、制御部２０１と画像処理部２０５の協働によりデジタルカメラ１０で完結して行うこともできるし、外部のパーソナルコンピュータなどの機器で行っても良い。この場合、デジタルカメラ１０、外部のパーソナルコンピュータ等の機器は画像処理装置として機能する。
　このような後処理を実行する場合、画像処理装置としてのパーソナルコンピュータ等は、撮像素子１００から出力される電気信号によって形成された出力画像データを取得する出力画像データ取得部と、撮像素子１００の開口部１０４の位置に関する開口位置情報を取得する開口情報取得部と、当該開口情報を参照して出力画像データを処理することにより視差画像データを生成する視差画像データ生成部を備える。
　出力画像データ取得部は、パーソナルコンピュータであれば、外部通信ユニット、メモリカード読取ユニット等が相当する。出力画像データ取得部は、加算処理が施されていない、例えば図１０（ｂ）に示す視差画像データＩｍ＿ＵＲ、Ｉｍ＿ＤＲ、Ｉｍ＿ＤＬ、Ｉｍ＿ＵＬを取得する。開口情報取得部は、データの受け取りについてこれらのユニットを共用しても良いし、別個に取得部を設けても良い。開口情報は、例えば、いずれの画素がＵＲ画素であるかといった、視差画素の種類と位置が記述された情報である。視差画像データ生成部は、例えば視差画像データＩｍ＿ＵＲ、Ｉｍ＿ＤＲ、Ｉｍ＿ＤＬ、Ｉｍ＿ＵＬから、開口情報に従ってそれぞれの画素に対して加算処理を施し、視差画像データＩｍ＿ＧＲとＩｍ＿ＧＬ、および、Ｉｍ＿ＵＧとＩｍ＿ＤＧの少なくともいずれかを生成する。
　このとき、視差画像データ生成部は、いずれの視差画像データを生成するかを、さまざまな情報から決定することができる。例えば、画像処理装置が、画像信号を出力した時点における撮像素子１００の姿勢情報を取得する取得部を備えれば、視差画像データ生成部は、その姿勢情報に従って、Ｉｍ＿ＧＲとＩｍ＿ＧＬの組み合わせで視差画像データを生成するか、Ｉｍ＿ＵＧとＩｍ＿ＤＧの組み合わせで視差画像データを生成するかを決定することができる。
　また、画像処理装置が、例えば視差画像データＩｍ＿ＵＲ、Ｉｍ＿ＤＲ、Ｉｍ＿ＤＬ、Ｉｍ＿ＵＬを処理することにより被写体の奥行き情報を示すデプスマップを生成するデプスマップ生成部を備えるのであれば、生成したデプスマップに基づいていずれの視差画像データを生成するかを決定しても良い。例えば、視差画像データ生成部は、デプスマップにおいて奥行き差が最も大きく現れる境界に対して直交する方向を探索し、この方向に視差を与える視差画像データを生成する。
　また、視差画像データ生成部は、撮像素子１００からの出力信号を、視差画像データに分けて取得するのではなく、そのままの配列における画素値を示すＲＡＷ画像データを取得し、そのうちの視差画素の画素値を参照していずれの視差画像データを生成するかを決定しても良い。具体的には、視差画像データ生成部は、隣接する視差画素間の画素値の差を算出し、統計的に差が最も大きくなる方向を探索して、この方向に視差を与える視差画像データを生成する。
　以上説明した実施形態においては、開口部のそれぞれは、繰り返しパターン１１０の中心を通る横軸として定められるｘ軸と、縦軸として定められるｙ軸のそれぞれに対して、互いに線対称となる位置に配置されていた。換言すれば、開口部のそれぞれは、繰り返しパターン１１０を構成する光電変換素子群の二次元配列に対して定められる直交する縦横の２軸のそれぞれについて、互いに線対称となるように偏位して位置づけられていた。しかし、繰り返しパターン１１０を構成する光電変換素子群の二次元配列に対して直接的に２軸を定義しなくても、撮像素子が以下に説明するような開口部の偏位構造を有するのであれば、上述の撮像素子と同様に、視覚特性に合致する方向に対して視差を与える視差画像データを取得することもできる。
　図１７は、他の撮像素子１２００の一部を拡大した様子を表す概略図である。撮像素子１２００は、それぞれの画素が六方最密充填格子に配列された、いわゆるハニカム構造を有する撮像素子である。そして、図示するように隣接する６画素が繰り返しパターン１１０を構成する視差画素として定義される。６つの視差画素は、繰り返しパターン１１０に対して、上段の右から左へそれぞれ配列されているＵＲ画素、ＵＣ画素、ＵＬ画素、下段の右から左へそれぞれ配列されているＤＲ画素、ＤＣ画素、ＤＬ画素から成る。
　ＵＲ画素は、画素中心に対して右上方向へ偏位した、三角形の開口部１０４を有する開口マスク１０３を備える。ＤＲ画素は、画素中心に対して右下方向へ偏位した、三角形の開口部１０４を有する開口マスク１０３を備える。ＤＣ画素は、画素中心に対して下方向へ偏位した、三角形の開口部１０４を有する開口マスク１０３を備える。ＤＬ画素は、画素中心に対して左下方向へ偏位した、三角形の開口部１０４を有する開口マスク１０３を備える。ＵＬ画素は、画素中心に対して左上方向へ偏位した、三角形の開口部１０４を有する開口マスク１０３を備える。ＵＣ画素は、画素中心に対して上方向へ偏位した、三角形の開口部１０４を有する開口マスク１０３を備える。
　カラーフィルタは、繰り返しパターン１１０を構成する視差画素に隣接する視差なし画素に設けられる。図示するように、青色フィルタが割り当てられたＢ画素、緑色フィルタが割り当てられたＧ画素、赤色フィルタが割り当てられたＲ画素が上下に隣接して配列される。
　図１８は、一組の光電変換素子群を含む繰り返しパターン１１０を示す図である。特に、図１８（ａ）は、一つの繰り返しパターン１１０を抽出して示す図である。図示するように、繰り返しパターン１１０を構成する光電変換素子群の二次元配列に対して直交するｘ軸とｙ軸を定めても、開口部のそれぞれは、ｙ軸に対しては線対称となる位置に配置されているものの、ｘ軸に対しては線対称となる位置に配置されていない。つまり、各画素は、六方最密充填格子に配列されているので、ＵＣ画素とＤＣ画素が左右に隣接する画素よりもｙ軸方向に半画素分ずれており、ｘ軸に対しては線対称性が崩れている。
　しかし、図１８（ｂ）の左図に示すように、それぞれの開口部をそれぞれの光電変換素子に対する相対的な位置を維持したまま仮想的に一つの光電変換素子上に重ね合わせると、開口部のそれぞれは、当該仮想的な光電変換素子に対して定められる直交するｘ軸およびｙ軸のそれぞれについて互いに線対称となるように偏位して位置づけられていると言える。なお、このように寄せ集められた開口部の全体は、図１８（ｂ）の右図に示すように、視差なし画素の開口部とほぼ同一となることが好ましい。すなわち、各開口部は、視差無し画素の開口の１／６の大きさを有することが好ましい。なお、繰り返しパターン１１０を構成する視差画素のそれぞれの開口部は、上述の撮像素子と同様に、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられている。
　図１９は、撮像素子１２００において、異なる方向の視差を与える視差画素加算を説明する概念図である。撮像素子１２００の視差画素の出力を、その開口部の種類ごとに個別に寄せ集めれば、６つの視差画像データを取得することができる。また、図１１および図１２を用いて説明した概念により視差画素加算を行えば、視覚特性に合致する方向に対して視差を与える視差画像データを取得することもできる。
　図１９（ａ）は、横方向に視差を与える視差画素加算について、加算する視差画素のグループを示す図である。横方向に視差を与える視差画像を出力する場合には、ＵＲ画素の出力およびＤＲ画素の出力を加算し、ＵＣ画素の出力およびＤＣ画素の出力を加算し、ＵＬ画素の出力およびＤＬ画素の出力を加算する。すなわち、ＵＲ画素およびＤＲ画素の組み合わせ、ＵＣ画素およびＤＣ画素の組み合わせ、ＵＬ画素およびＤＬ画素の組み合わせを、それぞれグループ画素として扱う。
　それぞれのグループ画素の加算出力をあたかも一つの右視差画素、中視差画素および左視差画素からの出力として、それぞれ寄せ集め、アスペクト調整のための補間処理を施すと、左右方向に視差を与える画像としての右視差画像データＩｍ＿ＧＲ、中視差画像データＩｍ＿ＧＣおよび左視差画像データＩｍ＿ＧＬを取得できる。ユーザがデジタルカメラ１０を横画角で構えて撮影した場合にこれらの視差画像データが生成されれば、横画角で再生される再生画像は、横方向に視差を与える三視差画像となる。
　図１９（ｂ）は、縦方向に視差を与える視差画素加算について、加算する視差画素のグループを示す図である。縦方向に視差を与える視差画像を出力する場合には、ＵＬ画素の出力、ＵＣ画素の出力およびＵＲ画素の出力を加算し、ＤＬ画素の出力、ＤＣ画素の出力およびＤＲ画素の出力を加算する。ユーザがデジタルカメラ１０を縦画角で構えて撮影した場合にこれらの視差画像データが生成されれば、縦画角で再生される再生画像は、横方向に視差を与える二視差画像となる。
　また、この配列においては、斜め方向に視差を与える視差画素加算も行い得る。図１９（ｃ）および図１９（ｄ）は、斜め方向に視差を与える視差画素加算について、加算する視差画素のグループを示す図である。
　以上説明したハニカム構造における撮像素子１２００は、視差なし画素にカラーフィルタを割り当てたが、もちろん視差画素にカラーフィルタを割り当てる構成であっても良い。また、ある色のカラーフィルタを視差なし画素に割り当て、他の色のカラーフィルタを視差画素に割り当てても良い。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
１０　デジタルカメラ、２０　撮影レンズ、２１　光軸、３０　被写体、１００　撮像素子、１０１　マイクロレンズ、１０２　カラーフィルタ、１０３　開口マスク、１０４　開口部、１０５　配線層、１０６　配線、１０７　開口、１０８　光電変換素子、１０９　基板、１１０　繰り返しパターン、１２０　撮像素子、１２１　スクリーンフィルタ、１２２　カラーフィルタ部、１２３　開口マスク部、２０１　制御部、２０２　Ａ／Ｄ変換回路、２０３　メモリ、２０４　駆動部、２０５　画像処理部、２０７　メモリカードＩＦ、２０８　操作部、２０９　表示部、２１０　ＬＣＤ駆動回路、２１１　ＡＦセンサ、２２０　メモリカード、２２１　ＲＯＭ、６１０　増幅器、６１１　ゲートスイッチ、６１２　制御線、６１３　信号線、６１４　加算器、８００、９００　撮像素子、１０４１、１０４２、１０４３、１０４４、１０５０、１０５１、１０５２、１０５３、１０５４、１０５５、１０５６、１０５７、１０５８　開口部、１１００　カラーフィルタパターン、１１０１　ＧＲ開口部、１１０２　ＧＬ開口部、１１０３　ＧＵ開口部、１１０４　ＧＤ開口部、１１１０　繰り返しパターン、１１２０　周期パターン、１２００　撮像素子

Claims (10)

  1. 　入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
    　前記光電変換素子に設けられる開口マスクと
    を備え、
    　ｎ個（ｎは４以上の整数）の前記光電変換素子を一組とする光電変換素子群が周期的に配列され、
    　前記開口マスクの開口は、前記光電変換素子群の二次元配列に対して定められる直交する２軸のそれぞれについて互いに線対称となるように偏位して位置づけられた撮像素子。
  2. 　入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
    　前記光電変換素子に設けられる開口マスクと
    を備え、
    　ｎ個（ｎは４以上の整数）の前記光電変換素子を一組とする光電変換素子群が周期的に配列され、
    　前記開口マスクの開口は、それぞれの前記光電変換素子に対する相対的な位置を維持したまま仮想的に一つの光電変換素子上に重ね合わせると、当該仮想的な光電変換素子に対して定められる直交する２軸のそれぞれについて互いに線対称となるように偏位して位置づけられた撮像素子。
  3. 　前記開口マスクの開口は、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられた請求項１または請求項２に記載の撮像素子。
  4. 　それぞれの前記光電変換素子群から互いに対応する少なくとも２つの前記光電変換素子を選択する選択回路と、
    　前記選択回路により選択された前記少なくとも２つの前記光電変換素子からの前記電気信号を前記光電変換素子群ごとにそれぞれ加算する加算器と
    を備える請求項１から請求項３のいずれか一項に記載の撮像素子。
  5. 　請求項４に記載の撮像素子と、
    　前記撮像素子の姿勢を検出する姿勢検出部と、
    　前記検出部により検出された姿勢に基づいて、前記選択回路に特定の前記光電変換素子を選択させ、前記加算器に前記特定の前記光電変換素子からの前記電気信号を加算させる制御部と、
    　前記撮像素子の前記加算器から出力される画像信号を処理する画像処理部と
    を備える撮像装置。
  6. 　請求項１から３のいずれか一項に記載の撮像素子から出力される前記電気信号に基づく出力画像データを取得する出力画像データ取得部と、
    　前記撮像素子の前記開口の位置に関する開口位置情報を取得する開口情報取得部と、
    　前記開口位置情報に基づいて前記出力画像データを処理することにより視差画像データを生成する視差画像データ生成部と
    を備える画像処理装置。
  7. 　前記視差画像データ生成部は、前記出力画像データにおいて前記光電変換素子群に対応する画素群の、互いに対応する少なくとも２つの画素の画素値を、前記開口情報に基づいてそれぞれ加算して前記視差画像データを生成する請求項６に記載の画像処理装置。
  8. 　前記出力画像データを処理することにより被写体の奥行き情報を示すデプスマップを生成するデプスマップ生成部を備え、
    　前記視差画像データ生成部は、前記デプスマップに基づいて前記少なくとも２つの画素を選択する請求項７に記載の画像処理装置。
  9. 　前記視差画像データ生成部は、隣接する画素間の画素値の差に基づいて前記少なくとも２つの画素を選択する請求項７に記載の画像処理装置。
  10. 　前記撮像素子が前記電気信号を出力したときの前記撮像素子の姿勢に関する姿勢情報を取得する姿勢情報取得部を備え、
    　前記視差画像データ生成部は、前記姿勢情報に基づいて前記少なくとも２つの画素を選択する請求項７に記載の画像処理装置。
PCT/JP2012/005187 2011-09-14 2012-08-17 撮像素子、撮像装置および画像処理装置 WO2013038598A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280053315.1A CN103907188B (zh) 2011-09-14 2012-08-17 摄像元件、摄像装置及图像处理装置
JP2013533471A JP5874729B2 (ja) 2011-09-14 2012-08-17 撮像装置
US14/204,556 US9414046B2 (en) 2011-09-14 2014-03-11 Image sensor, imaging device and image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-201142 2011-09-14
JP2011201142 2011-09-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/204,556 Continuation US9414046B2 (en) 2011-09-14 2014-03-11 Image sensor, imaging device and image processing device

Publications (1)

Publication Number Publication Date
WO2013038598A1 true WO2013038598A1 (ja) 2013-03-21

Family

ID=47882851

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/005187 WO2013038598A1 (ja) 2011-09-14 2012-08-17 撮像素子、撮像装置および画像処理装置

Country Status (4)

Country Link
US (1) US9414046B2 (ja)
JP (1) JP5874729B2 (ja)
CN (1) CN103907188B (ja)
WO (1) WO2013038598A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184433A (ja) * 2014-03-24 2015-10-22 キヤノン株式会社 撮像素子、撮像装置、画像処理方法、並びにプログラム
JP2016162833A (ja) * 2015-02-27 2016-09-05 キヤノン株式会社 撮像素子、撮像装置および画像処理装置
JP2017229067A (ja) * 2016-06-23 2017-12-28 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 少なくとも１つのライトフィールドカメラにより一対の立体画像を生成する方法及び装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102299575B1 (ko) 2015-03-09 2021-09-07 삼성전자주식회사 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05145859A (ja) * 1991-11-25 1993-06-11 Hitachi Ltd 固体撮像装置およびその制御方法
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2010200196A (ja) * 2009-02-27 2010-09-09 Casio Computer Co Ltd 撮像装置、オートフォーカス方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3186448B2 (ja) 1994-08-01 2001-07-11 ミノルタ株式会社 立体テレビカメラ
JP2005031460A (ja) * 2003-07-07 2005-02-03 Canon Inc 複眼光学系
JP5045007B2 (ja) * 2006-07-05 2012-10-10 株式会社ニコン 撮像装置
JP5066851B2 (ja) * 2006-07-05 2012-11-07 株式会社ニコン 撮像装置
JP4826507B2 (ja) * 2007-02-27 2011-11-30 株式会社ニコン 焦点検出装置および撮像装置
US7989745B2 (en) * 2007-10-01 2011-08-02 Nikon Corporation Solid-state imaging device with focus detection and electronic camera with focus adjustment
CN103003944B (zh) * 2010-07-12 2016-01-20 富士胶片株式会社 固态成像装置
JP5611469B2 (ja) * 2011-09-09 2014-10-22 富士フイルム株式会社 立体撮像装置および方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05145859A (ja) * 1991-11-25 1993-06-11 Hitachi Ltd 固体撮像装置およびその制御方法
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2010200196A (ja) * 2009-02-27 2010-09-09 Casio Computer Co Ltd 撮像装置、オートフォーカス方法及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184433A (ja) * 2014-03-24 2015-10-22 キヤノン株式会社 撮像素子、撮像装置、画像処理方法、並びにプログラム
JP2016162833A (ja) * 2015-02-27 2016-09-05 キヤノン株式会社 撮像素子、撮像装置および画像処理装置
JP2017229067A (ja) * 2016-06-23 2017-12-28 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 少なくとも１つのライトフィールドカメラにより一対の立体画像を生成する方法及び装置

Also Published As

Publication number Publication date
JPWO2013038598A1 (ja) 2015-03-23
CN103907188A (zh) 2014-07-02
US9414046B2 (en) 2016-08-09
JP5874729B2 (ja) 2016-03-02
CN103907188B (zh) 2016-12-28
US20140333732A1 (en) 2014-11-13

Similar Documents

Publication Publication Date Title
JP5915537B2 (ja) 撮像素子、及び、撮像装置
JP5804055B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2013136819A1 (ja) 撮像素子、撮像装置および撮像システム
WO2013114895A1 (ja) 撮像装置
JP5979134B2 (ja) 画像処理装置および画像処理プログラム
JP5942984B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5874729B2 (ja) 撮像装置
WO2013057859A1 (ja) 撮像素子
JP6197316B2 (ja) 撮像素子および撮像装置
JP5979137B2 (ja) 撮像装置および撮像装置の制御プログラム
JP2013175812A (ja) 撮像素子および撮像装置
JP5874334B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム
JP5887845B2 (ja) 画像処理方法および画像処理プログラム
JP5978736B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2013236160A (ja) 撮像素子、撮像装置、画像処理方法およびプログラム
JP5978737B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6019611B2 (ja) 撮像装置
JP6205770B2 (ja) 撮像素子および撮像システム
JP5978738B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5978735B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6051568B2 (ja) 撮像素子および撮像装置
JP2013090265A (ja) 画像処理装置および画像処理プログラム
JP2013150055A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2013162362A (ja) 撮像装置および撮像プログラム
JP2013168879A (ja) 撮像ユニットおよび撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12831831

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013533471

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12831831

Country of ref document: EP

Kind code of ref document: A1