WO2012132270A1 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

画像処理装置、撮像装置および画像処理プログラム Download PDF

Info

Publication number
WO2012132270A1
WO2012132270A1 PCT/JP2012/001704 JP2012001704W WO2012132270A1 WO 2012132270 A1 WO2012132270 A1 WO 2012132270A1 JP 2012001704 W JP2012001704 W JP 2012001704W WO 2012132270 A1 WO2012132270 A1 WO 2012132270A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
image data
pixel
image
photoelectric conversion
Prior art date
Application number
PCT/JP2012/001704
Other languages
English (en)
French (fr)
Inventor
晋 森
浜島　宗樹
清茂 芝崎
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2013507129A priority Critical patent/JP5942984B2/ja
Priority to CN201280012222.4A priority patent/CN103430094B/zh
Priority to KR1020137028610A priority patent/KR20140023953A/ko
Priority to US14/008,838 priority patent/US9854224B2/en
Publication of WO2012132270A1 publication Critical patent/WO2012132270A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Definitions

  • the present invention relates to an image processing device, an imaging device, and an image processing program.
  • a stereo imaging device that captures a stereo image composed of a right-eye image and a left-eye image using two imaging optical systems is known. Such a stereo imaging device causes parallax to occur in two images obtained by imaging the same subject by arranging two imaging optical systems at regular intervals.
  • the difference in the incident angle at which the subject luminous flux enters each imaging element can be virtually ignored.
  • the difference between the incident angles at which the subject luminous flux is incident on each pixel of the image sensor causes a difference between the parallax images. There was a problem that a difference in color occurred.
  • the image processing apparatus includes a color filter and an aperture mask corresponding to each of at least some of the photoelectric conversion elements, and receives parallax image data from an imaging element that outputs at least two parallax image data.
  • An image pickup apparatus includes the image processing apparatus and the image pickup element, and the image pickup element corresponds to at least three of n adjacent (n is an integer of 3 or more) photoelectric conversion elements.
  • the apertures of the respective aperture masks provided as described above are included in one pattern of a color filter pattern composed of at least two types of color filters that transmit different wavelength bands, and each other in a cross-sectional area of incident light.
  • a photoelectric conversion element group that is positioned so as to pass light beams from different partial areas and includes a set of n photoelectric conversion elements is periodically arranged.
  • an imaging device outputs parallax image data based on the output signal of the photoelectric conversion element provided with the opening mask.
  • An image processing program includes a color filter and an aperture mask corresponding to each of at least some of the photoelectric conversion elements, and receives parallax image data from an imaging element that outputs at least two parallax image data.
  • the digital camera according to the present embodiment which is a form of the imaging device, is configured to generate a plurality of viewpoint images for one scene by one shooting. Each image having a different viewpoint is called a parallax image.
  • FIG. 1 is a diagram illustrating a configuration of a digital camera 10 according to an embodiment of the present invention.
  • the digital camera 10 includes a main unit 30 and a lens unit 50 that can be attached to and detached from the main unit 30.
  • the photographic lens 20 provided in the lens unit 50 guides the subject luminous flux incident along the optical axis 21 to the image sensor 100 provided in the main unit 30.
  • the digital camera 10 is described as an interchangeable lens camera in which the lens unit 50 can be replaced.
  • the lens unit 50 may be a type of camera that is configured integrally with the main unit 30.
  • the main unit 30 includes an image sensor 100, a control unit 201, an A / D conversion circuit 202, a memory 203, a drive unit 204, an image processing unit 205, a memory card IF 207, an operation unit 208, a display unit 209, an LCD drive circuit 210, and an AF.
  • a sensor 211 is provided.
  • the lens unit 50 includes a lens control unit 231 and a lens memory 232 in addition to the taking lens 20.
  • the direction parallel to the optical axis 21 toward the image sensor 100 is defined as the z-axis plus direction
  • the direction toward the front of the drawing in the plane orthogonal to the z-axis is the x-axis plus direction
  • the upward direction on the drawing is y.
  • the axis is defined as the plus direction.
  • the coordinate axes are displayed so that the orientation of each figure can be understood with reference to the coordinate axes of FIG.
  • the photographing lens 20 is composed of a plurality of optical lens groups, and forms an image of a subject light flux from the scene in the vicinity of its focal plane.
  • the photographic lens 20 is represented by a single virtual lens arranged in the vicinity of the pupil.
  • the image sensor 100 is disposed near the focal plane of the photographic lens 20.
  • the image sensor 100 is an image sensor such as a CCD or CMOS sensor in which a plurality of photoelectric conversion elements are two-dimensionally arranged.
  • the image sensor 100 is controlled in timing by the drive unit 204, converts the subject image formed on the light receiving surface into an image signal, and outputs the image signal to the A / D conversion circuit 202.
  • the A / D conversion circuit 202 converts the image signal output from the image sensor 100 into a digital image signal and outputs the digital image signal to the memory 203.
  • the image processing unit 205 performs various image processing using the memory 203 as a work space, and generates image data.
  • the image processing unit 205 generates 2D image data and parallax image data as non-parallax image data from an input image signal in accordance with the pixel arrangement of the image sensor 100, or selects a selected image format. It also functions to adjust image data according to the above.
  • the generated image data can be converted into a display signal by the LCD driving circuit 210 and displayed on the display unit 209. Further, it can be recorded on the memory card 220 attached to the memory card IF 207.
  • the AF sensor 211 is a phase difference sensor in which a plurality of distance measuring points are set with respect to the subject space, and detects the defocus amount of the subject image at each distance measuring point.
  • a series of shooting sequences is started when the operation unit 208 receives a user operation and outputs an operation signal to the control unit 201.
  • Various operations such as AF and AE accompanying the imaging sequence are executed under the control of the control unit 201.
  • the control unit 201 analyzes the detection signal of the AF sensor 211 and transmits a focus control signal for moving a focus lens that constitutes a part of the photographing lens 20 to the lens control unit 231.
  • the lens control unit 231 controls the lens unit 50.
  • the focus control signal is received from the control unit 201, and the focus lens is moved. Further, the current position of the taking lens 20 including the focus lens is detected and transmitted to the control unit 201.
  • the lens memory 232 is a nonvolatile memory that stores various characteristic values related to the lens unit 50. In accordance with a request from the control unit 201, the lens control unit 231 transmits position information of the photographing lens 20, various characteristic values stored in the lens memory 232, and the like as lens information to the control unit 201.
  • FIG. 2 is a schematic diagram showing a cross section of the image sensor according to the embodiment of the present invention.
  • the image sensor 100 is configured by arranging a micro lens 101, a color filter 102, an aperture mask 103, a wiring layer 105, and a photoelectric conversion element 108 in order from the subject side.
  • the photoelectric conversion element 108 is configured by a photodiode that converts incident light into an electrical signal.
  • a plurality of photoelectric conversion elements 108 are two-dimensionally arranged on the surface of the substrate 109.
  • the image signal converted by the photoelectric conversion element 108, the control signal for controlling the photoelectric conversion element 108, and the like are transmitted / received via the wiring 106 provided in the wiring layer 105.
  • an opening mask 103 having openings 104 provided in one-to-one correspondence with each photoelectric conversion element 108 is provided in contact with the wiring layer.
  • the opening 104 is shifted for each corresponding photoelectric conversion element 108 so that the relative position is precisely determined.
  • parallax occurs in the subject light beam received by the photoelectric conversion element 108 by the action of the opening mask 103 including the opening 104.
  • the aperture mask 103 does not exist on the photoelectric conversion element 108 that does not generate parallax.
  • the aperture mask 103 having the aperture 104 that does not limit the subject luminous flux incident on the corresponding photoelectric conversion element 108, that is, allows the entire effective luminous flux to pass therethrough is provided.
  • the aperture 107 formed by the wiring 106 defines the subject luminous flux that is incident, so the wiring 106 is regarded as an aperture mask that allows the entire effective luminous flux that does not cause parallax to pass.
  • the opening mask 103 may be arranged separately and independently corresponding to each photoelectric conversion element 108, or may be formed collectively for a plurality of photoelectric conversion elements 108 in the same manner as the manufacturing process of the color filter 102. .
  • the color filter 102 is provided on the opening mask 103.
  • the color filter 102 is a filter provided in a one-to-one correspondence with each photoelectric conversion element 108, which is colored so as to transmit a specific wavelength band to each photoelectric conversion element 108.
  • the microlens 101 is provided on the color filter 102.
  • the microlens 101 is a condensing lens for guiding more incident subject light flux to the photoelectric conversion element 108.
  • the microlenses 101 are provided in a one-to-one correspondence with the photoelectric conversion elements 108.
  • the optical axis of the microlens 101 is shifted so that more subject light flux is guided to the photoelectric conversion element 108. It is preferable.
  • the arrangement position may be adjusted so that more specific subject light beam, which will be described later, is incident along with the position of the opening 104 of the opening mask 103.
  • one unit of the aperture mask 103, the color filter 102, and the microlens 101 provided on a one-to-one basis corresponding to each photoelectric conversion element 108 is referred to as a pixel.
  • a pixel provided with the opening mask 103 that generates parallax is referred to as a parallax pixel
  • a pixel that is not provided with the opening mask 103 that generates parallax is referred to as a non-parallax pixel.
  • the effective pixel area of the image sensor 100 is about 24 mm ⁇ 16 mm, the number of pixels reaches about 12 million.
  • the microlens 101 may not be provided.
  • the wiring layer 105 is provided on the side opposite to the photoelectric conversion element 108.
  • FIG. 3 is a schematic diagram illustrating a state in which a part of the image sensor 100 is enlarged.
  • the color arrangement of the color filter 102 is not considered until the reference is resumed later.
  • the repetitive pattern described below may be considered as an adjacent pixel in the color filter 102 of the same color.
  • the opening 104 of the opening mask 103 is provided with a relative shift with respect to each pixel.
  • the openings 104 are provided at positions displaced from each other.
  • the entire image sensor 100 has a two-dimensional and periodic array of photoelectric conversion element groups each including a set of six parallax pixels each having an aperture mask 103 that gradually shifts from the left side to the right side of the drawing. . That is, it can be said that the image sensor 100 is configured by periodically repeating a repeating pattern 110 including a set of photoelectric conversion element groups.
  • FIG. 4 is a conceptual diagram illustrating the relationship between the parallax pixels and the subject.
  • FIG. 4A shows a photoelectric conversion element group of a repetitive pattern 110t arranged in the center orthogonal to the photographing optical axis 21 in the image pickup element 100
  • FIG. 4B shows a repetitive arrangement arranged in the peripheral portion.
  • the photoelectric conversion element group of the pattern 110u is typically shown.
  • the subject 90 in FIGS. 4A and 4B is in the in-focus position with respect to the photographic lens 20.
  • FIG. 4C schematically shows the relationship when the subject 91 existing at the out-of-focus position with respect to the photographing lens 20 is captured corresponding to FIG.
  • the subject luminous flux passes through the pupil of the photographic lens 20 and is guided to the image sensor 100.
  • Six partial areas Pa to Pf are defined for the entire cross-sectional area through which the subject luminous flux passes. For example, in the pixel at the left end of the sheet of the photoelectric conversion element group constituting the repetitive patterns 110t and 110u, only the subject luminous flux emitted from the partial region Pf reaches the photoelectric conversion element 108 as can be seen from the enlarged view.
  • the position of the opening 104f of the opening mask 103 is determined.
  • the position of the opening 104e corresponding to the partial area Pe the position of the opening 104d corresponding to the partial area Pd, and the position of the opening 104c corresponding to the partial area Pc.
  • the position of the opening 104b is determined corresponding to the partial area Pb
  • the position of the opening 104a is determined corresponding to the partial area Pa.
  • the position of the opening 104f is determined by the inclination of the principal ray Rf of the subject light beam emitted from the partial region Pf, which is defined by the relative positional relationship between the partial region Pf and the leftmost pixel, for example. You can say.
  • the photoelectric conversion element 108 receives the subject luminous flux from the subject 90 present at the in-focus position via the opening 104f, the subject luminous flux is coupled on the photoelectric conversion element 108 as shown by the dotted line. Image.
  • the position of the opening 104e is determined by the inclination of the principal ray Re
  • the position of the opening 104d is determined by the inclination of the principal ray Rd
  • the position of the opening 104c is determined by the inclination of the principal ray Rc.
  • the position of the opening 104b is determined by the inclination of the light ray Rb
  • the position of the opening 104a is determined by the inclination of the principal ray Ra.
  • the light beam emitted from the minute region Ot on the subject 90 that intersects the optical axis 21 among the subject 90 existing at the in-focus position passes through the pupil of the photographing lens 20. Then, each pixel of the photoelectric conversion element group constituting the repetitive pattern 110t is reached. That is, each pixel of the photoelectric conversion element group constituting the repetitive pattern 110t receives the light beam emitted from one minute region Ot through the six partial regions Pa to Pf.
  • the minute region Ot has an extent corresponding to the positional deviation of each pixel of the photoelectric conversion element group constituting the repetitive pattern 110t, it can be approximated to substantially the same object point. Similarly, as shown in FIG.
  • the luminous flux emitted from the minute region Ou on the subject 90 that is separated from the optical axis 21 among the subject 90 existing at the in-focus position passes through the pupil of the photographing lens 20. It passes through and reaches each pixel of the photoelectric conversion element group constituting the repetitive pattern 110u. That is, each pixel of the photoelectric conversion element group constituting the repetitive pattern 110u receives a light beam emitted from one minute region Ou via each of the six partial regions Pa to Pf.
  • the micro area Ou has an extent corresponding to the positional deviation of each pixel of the photoelectric conversion element group constituting the repetitive pattern 110u, but substantially the same object point. Can be approximated.
  • the minute area captured by the photoelectric conversion element group differs according to the position of the repetitive pattern 110 on the image sensor 100, and each pixel constituting the photoelectric conversion element group Captures the same minute region through different partial regions.
  • each repetitive pattern 110 corresponding pixels receive the subject luminous flux from the same partial area. That is, in the figure, for example, the leftmost pixel of each of the repeated patterns 110t and 110u receives the subject light flux from the same partial region Pf.
  • each of the parallax pixels arranged on the image sensor 100 includes one of six types of aperture masks.
  • the subject luminous flux from the subject 91 existing at the out-of-focus position passes through the six partial areas Pa to Pf of the pupil of the photographing lens 20 and reaches the image sensor 100.
  • the subject light flux from the subject 91 existing at the out-of-focus position forms an image at another position, not on the photoelectric conversion element 108.
  • the subject luminous flux forms an image on the subject 91 side with respect to the photoelectric conversion element 108.
  • the subject luminous flux forms an image on the opposite side of the subject 91 from the photoelectric conversion element 108.
  • the subject luminous flux radiated from the minute region Ot ′ among the subjects 91 present at the out-of-focus position depends on which of the six partial regions Pa to Pf, the corresponding pixels in different sets of repetitive patterns 110.
  • the subject luminous flux that has passed through the partial region Pd is incident on the photoelectric conversion element 108 having the opening 104d included in the repeated pattern 110t ′ as the principal ray Rd ′.
  • the subject light beam that has passed through another partial region does not enter the photoelectric conversion element 108 included in the repetitive pattern 110t ′, and the repetitive pattern in the other repetitive pattern.
  • the subject light flux that reaches each photoelectric conversion element 108 that constitutes the repetitive pattern 110t ′ is a subject light flux emitted from different minute regions of the subject 91. That is, a subject luminous flux having a principal ray as Rd ′ is incident on 108 corresponding to the opening 104d, and the principal rays are incident on Ra + , Rb + , Rc + , Re to the photoelectric conversion elements 108 corresponding to the other openings. +, although subject light flux to Rf + is incident, these object light is a subject light flux emitted from different micro region of the object 91. Such a relationship is the same in the repeated pattern 110u arranged in the peripheral portion in FIG.
  • the subject image A captured by the photoelectric conversion element 108 corresponding to the opening 104a and the subject image D captured by the photoelectric conversion element 108 corresponding to the opening 104d are: If the image is for the subject present at the in-focus position, there is no shift, and if the image is for the subject present at the out-of-focus position, there is a shift. Then, the direction and amount of the shift are determined by how much the subject existing at the out-of-focus position is shifted from the focus position and by the distance between the partial area Pa and the partial area Pd. That is, the subject image A and the subject image D are parallax images. Since this relationship is the same for the other openings, six parallax images are formed corresponding to the openings 104a to 104f.
  • a parallax image is obtained by gathering together the outputs of pixels corresponding to each other in each of the repetitive patterns 110 configured as described above. That is, the output of the pixel that has received the subject light beam emitted from a specific partial area among the six partial areas Pa to Pf forms a parallax image.
  • FIG. 5 is a conceptual diagram illustrating processing for generating a parallax image.
  • the figure shows, in order from the left column, the generation of the parallax image data Im_f generated by collecting the outputs of the parallax pixels corresponding to the opening 104f, the generation of the parallax image data Im_e by the output of the opening 104e, the opening State of generation of parallax image data Im_d by output of 104d, state of generation of parallax image data Im_c by output of opening 104c, state of generation of parallax image data Im_b by output of opening 104b, parallax by output of opening 104a
  • the parallax image data Im_f is generated by the output of the opening 104f will be described.
  • the repetitive pattern 110 composed of a group of photoelectric conversion elements including a set of six parallax pixels is arranged in a horizontal row. Accordingly, the parallax pixels having the opening 104f exist every six pixels in the left-right direction and continuously in the vertical direction on the image sensor 100. Each of these pixels receives the subject luminous flux from different microregions as described above. Therefore, when the outputs of these parallax pixels are collected and arranged, a parallax image is obtained.
  • each pixel of the image sensor 100 is a square pixel, simply gathering results in the result that the number of pixels in the horizontal direction is reduced to 1/6, and vertically long image data is generated. End up. Therefore, by performing an interpolation process to obtain the number of pixels 6 times in the horizontal direction, the parallax image data Im_f is generated as an image with an original aspect ratio.
  • the parallax image data before the interpolation processing is an image that is thinned by 1/6 in the horizontal direction, the resolution in the horizontal direction is lower than the resolution in the vertical direction. That is, it can be said that the number of generated parallax image data and the improvement in resolution are in a conflicting relationship.
  • parallax image data Im_e to parallax image data Im_a are obtained. That is, the digital camera 10 can generate a six-view parallax image having parallax in the horizontal direction.
  • FIG. 6 is a diagram illustrating another example of the repeated pattern 110.
  • FIG. 6A shows an example in which a vertical pattern of 110 pixels is used as 6 pixels.
  • the positions of the respective openings 104 are determined so as to gradually shift from the left side to the right side of the drawing from the parallax pixel at the top of the drawing to the bottom.
  • the repeated pattern 110 arranged in this way, it is possible to generate a six-view parallax image that gives parallax in the horizontal direction.
  • the repetitive pattern 110 in FIG. 3 it can be said that the repetitive pattern maintains the horizontal resolution instead of sacrificing the vertical resolution.
  • FIG. 6B is an example in which six pixels adjacent in an oblique direction are used as a repeated pattern 110.
  • the positions of the openings 104 are determined so as to gradually shift from the left side to the right side of the drawing from the parallax pixel at the upper left corner of the drawing toward the lower right.
  • the repeated pattern 110 arranged in this way, it is possible to generate a six-view parallax image that gives parallax in the horizontal direction.
  • the repetitive pattern 110 increases the number of parallax images while maintaining the vertical resolution and the horizontal resolution to some extent.
  • the repeating pattern 110 in FIG. 3 and the repeating pattern 110 in FIGS. 6A and 6B are respectively compared, when generating parallax images with six viewpoints, a single image is output from the whole that is not a parallax image. It can be said that this is the difference between sacrificing the resolution in the vertical direction and the horizontal direction with respect to the resolution in the case.
  • the horizontal resolution is set to 1/6.
  • the vertical resolution is 1/6.
  • 6B has a configuration in which the vertical direction is 1/3 and the horizontal direction is 1/2.
  • one opening 104a to 104f is provided corresponding to each pixel in one pattern, and the subject luminous flux is received from one of the corresponding partial areas Pa to Pf. It is configured as follows. Accordingly, the parallax amount is the same for any of the repeated patterns 110.
  • FIG. 7 is a diagram illustrating an example of a two-dimensional repetitive pattern 110.
  • the repetitive pattern 110 is formed using 36 pixels of 6 pixels in the vertical direction and 6 pixels in the horizontal direction as a set of photoelectric conversion element groups.
  • As the position of the opening 104 for each pixel 36 types of opening masks 103 that are shifted in the vertical and horizontal directions are prepared. Specifically, each opening 104 gradually shifts from the upper side to the lower side from the upper end pixel to the lower end pixel of the repetitive pattern 110, and at the same time, gradually from the left end pixel to the right end pixel, from the left side to the right side. Positioned to shift.
  • the image sensor 100 having such a repetitive pattern 110 can output a parallax image of 36 viewpoints that gives parallax in the vertical direction and the horizontal direction.
  • the pattern 110 is not limited to the example in FIG. 7, and the repetitive pattern 110 can be determined so as to output parallax images with various viewpoints.
  • a rectangle is adopted as the shape of the opening 104.
  • the amount of light guided to the photoelectric conversion element 108 is ensured by making the width in the vertical direction that is not shifted wider than the width in the horizontal direction that is the shift direction.
  • the shape of the opening 104 is not limited to a rectangle.
  • FIG. 8 is a diagram for explaining another shape of the opening 104.
  • the shape of the opening 104 is circular.
  • an unscheduled subject light beam can be prevented from entering the photoelectric conversion element 108 as stray light because of the relative relationship with the microlens 101 having a hemispherical shape.
  • FIG. 9 is a diagram illustrating the Bayer arrangement.
  • the Bayer array is an array in which the green filter is assigned to the upper left and lower right pixels, the red filter is assigned to the lower left pixel, and the blue filter is assigned to the upper right pixel.
  • the upper left pixel to which the green filter is assigned is the Gb pixel
  • the lower right pixel to which the green filter is assigned is the Gr pixel.
  • a pixel to which a red filter is assigned is an R pixel
  • a pixel to which blue is assigned is a B pixel.
  • a horizontal direction in which Gb pixels and B pixels are arranged is defined as Gb row, and a horizontal direction in which R pixels and Gr pixels are arranged is defined as Gr row.
  • a vertical direction in which Gb pixels and R pixels are arranged is a Gb column, and a vertical direction in which B pixels and Gr pixels are arranged is a Gr column.
  • a huge number of repetitive patterns 110 can be set for such an array of the color filters 102 depending on what color pixels the parallax pixels and non-parallax pixels are allocated to. If the outputs of pixels without parallax are collected, photographic image data having no parallax can be generated in the same way as normal photographic images. Therefore, if the ratio of pixels without parallax is relatively increased, a 2D image with high resolution can be output. In this case, since the number of parallax pixels is relatively small, the image quality is degraded as a 3D image including a plurality of parallax images. Conversely, if the ratio of the parallax pixels is increased, the image quality is improved as a 3D image, but the non-parallax pixels are relatively reduced, so that a 2D image with low resolution is output.
  • FIG. 10 is a diagram illustrating a variation in the case where there are two types of parallax pixels with respect to the allocation of parallax pixels to the Bayer array.
  • the parallax pixels are assumed to be a parallax L pixel whose opening 104 is decentered to the left of the center and a parallax R pixel decentered to the right. That is, the two viewpoint parallax images output from such parallax pixels realize so-called stereoscopic vision.
  • FIG. 11 is a diagram illustrating an example of a variation.
  • the variation in FIG. 11 corresponds to the repeated pattern classification A-1 in FIG.
  • the same four pixels as the Bayer array are used as the repeated pattern 110.
  • the R pixel and the B pixel are non-parallax pixels, and the Gb pixel is assigned to the parallax L pixel and the Gr pixel is assigned to the parallax R pixel.
  • the opening 104 is defined so that the parallax L pixel and the parallax R pixel included in the same repetitive pattern 110 respectively receive the subject light flux that passes through different partial areas on the pupil.
  • the Gb pixel and the Gr pixel which are green pixels having high visibility, are used as the parallax pixels, it is expected to obtain a parallax image with high contrast.
  • the Gb pixel and the Gr pixel which are the same green pixels are used as the parallax pixels, it is easy to perform a conversion operation from these two outputs to an output having no parallax, and the output of the R pixel and the B pixel which are non-parallax pixels is high. High-quality 2D image data can be generated.
  • FIG. 12 is a diagram showing an example of another variation.
  • the variation in FIG. 12 corresponds to the repeated pattern classification B-1 in FIG.
  • the repeated pattern 110 is 8 pixels in which 4 pixels in the Bayer array are two sets on the left and right.
  • the parallax L pixel is assigned to the left Gb pixel
  • the parallax R pixel is assigned to the right Gb pixel.
  • the Gr pixel is a non-parallax pixel, so that higher image quality of the 2D image can be expected than in the example of FIG.
  • FIG. 13 is a diagram showing an example of still another variation.
  • the variation in FIG. 13 corresponds to the repeated pattern classification D-1 in FIG.
  • the repeated pattern 110 is 8 pixels in which 4 pixels in the Bayer array are two sets on the left and right.
  • the parallax L pixel is assigned to the left Gb pixel
  • the parallax R pixel is assigned to the right Gb pixel.
  • the parallax L pixel is assigned to the left R pixel
  • the parallax R pixel is assigned to the right R pixel.
  • a parallax L pixel is assigned to the left B pixel
  • a parallax R pixel is assigned to the right B pixel.
  • Non-parallax pixels are assigned to the two Gr pixels.
  • the parallax L pixel and the parallax R pixel assigned to the two Gb pixels receive a light beam emitted from one minute region when capturing a subject existing on the focal plane.
  • the parallax L pixel and the parallax R pixel assigned to the two R pixels receive a light beam emitted from one minute region different from that of the Gb pixel, and the parallax assigned to the two B pixels.
  • the L pixel and the parallax R pixel receive a light beam emitted from one minute region different from that of the Gb pixel and the R pixel. Therefore, the resolution as a 3D image increases. Moreover, since RGB three-color output can be obtained, it is a high-quality 3D image as a color image.
  • parallax images of two viewpoints can be obtained.
  • the types of parallax pixels are set in accordance with the number of parallax images to be output, as shown in FIGS.
  • Various numbers as described above can be adopted. Even if the number of viewpoints is increased, various repeated patterns 110 can be formed. Therefore, it is possible to select the repetitive pattern 110 according to the specification, purpose, and the like.
  • each of the parallax pixels constituting the set of photoelectric conversion element groups may include an opening mask 103 having opening portions 104 facing different partial regions.
  • the image sensor 100 is provided in a one-to-one correspondence with each of at least a part of the photoelectric conversion elements 108 and the photoelectric conversion elements 108 that are two-dimensionally arranged to photoelectrically convert incident light into electric signals.
  • the aperture mask 103 and the color filters 102 provided in a one-to-one correspondence with each of at least a part of the photoelectric conversion elements 108 are provided, and n adjacent n (n is an integer of 3 or more) photoelectric conversion elements 108.
  • the opening 104 of each of the opening masks 103 provided corresponding to at least three is included in one pattern of a color filter pattern including at least two types of color filters 102 that transmit different wavelength bands.
  • the light beams from different partial areas in the cross-sectional area of the incident light are positioned to pass through.
  • the photoelectric conversion element group for the n-number of photoelectric conversion elements 108 and a set is only to be periodically arranged.
  • FIG. 14 is a conceptual diagram illustrating a process of generating a parallax image and a 2D image.
  • the repeated pattern classification D-1 described with reference to FIG. 13 will be described as an example.
  • the outputs of the parallax L pixels are gathered together while maintaining the relative positional relationship on the image sensor 100, and L image data is generated.
  • the parallax L pixels included in one repetitive pattern 110 are the left Gb pixel, R pixel, and B pixel among eight pixels in which four pixels in a Bayer array are arranged in two sets on the left and right. Therefore, the output of the Gb pixel is interpolated at the position of the left Gr pixel which is a non-parallax pixel.
  • the L image data generated in this way is lined up with image signals corresponding to the Bayer array, it is possible to generate L image data as a color image by employing image processing for the output of the Bayer array.
  • image processing for the output of the Bayer array.
  • a JPEG file as a visible image format can be generated.
  • the image signals corresponding to the positions of the left four pixels in one repetitive pattern 110 are gathered, the image signals corresponding to the right four pixels are missing, and the generated image is actually The image is compressed in the horizontal direction with respect to the subject image. Therefore, as described with reference to FIG. 5, the L image data is subjected to interpolation processing for adjusting the aspect ratio at any stage.
  • the outputs of the parallax R pixels are gathered together while maintaining the relative positional relationship on the image sensor 100, and R image data is generated.
  • R image data since the image signals corresponding to the positions of the four pixels on the right side of one repeating pattern 110 are gathered, the image signals corresponding to the four pixels on the left side are missing. Therefore, like the L image data, the R image data is subjected to an interpolation process for adjusting the aspect ratio at any stage.
  • the outputs of the pixels without parallax are gathered together while maintaining the relative positional relationship on the image sensor 100, and 2D image data is generated.
  • only two Gr pixels in one repetitive pattern 110 are non-parallax pixels. Therefore, an output without parallax at other pixel positions is generated by interpolation processing and averaging processing. Specifically, first, the output of the Gb pixel is interpolated by the output of the adjacent Gr pixel.
  • the R pixels included in the repetitive pattern 110 are the parallax L pixel and the parallax R pixel, the output of the two R pixels is averaged so that these outputs are averaged and regarded as respective parallax-free outputs. Apply.
  • the output of the two B pixels is averaged so that these outputs are averaged and regarded as the outputs without parallax. Apply.
  • 2D image data can be generated by employing the image process for the output of the Bayer array.
  • the image processing unit 205 receives the image signal output from the image sensor 100 via the control unit 201 and distributes the L image data, R image data, and 2D image data for each pixel output as described above. Generate.
  • FIG. 15 is a diagram for explaining the difference in the incident angle of the principal ray with respect to the color filter. As described above, the position of the opening 104 of the parallax pixel is determined so as to face the specific partial region set in the pupil.
  • the position of the opening 104 aR is defined towards the partial region P R and, the other parallax L pixels, the position of the opening 104 aL is defined towards the partial region P L.
  • the angle of incidence with respect to the color filter 102 of the principal ray R aR of the subject light flux through the partial area P R toward the parallax R pixel is theta aR.
  • the incident angle of the principal ray R aL of the subject luminous flux that passes through the partial area P L and travels toward the parallax L pixel is ⁇ aL .
  • the optical path length when the principal ray R aR passes through the color filter 102 is d / cos ⁇ aR
  • the optical path length when the principal ray R aL passes through the color filter 102 Is d / cos ⁇ aL . That is, the optical path length with respect to the color filter 102 is different in spite of corresponding parallax R pixels and parallax L pixels. If the optical path length with respect to the color filter 102 is different, a difference occurs in the amount of light reaching the photoelectric conversion element 108.
  • the parallax R pixel and the parallax L pixel have their respective output values while capturing the light beam emitted from the same minute area of the subject. Will be different. That is, different color signals are output.
  • the physical length of light passing through the color filter 102 will be described as the optical path length.
  • FIG. 16 is a diagram illustrating the concept of color balance disruption between parallax images. For example, when the parallax R pixel and the parallax L pixel output different signals while capturing a light beam emitted from the same minute area of the subject, for example, the color of the clothing 300 as the subject differs between the R image and the L image. . A stereoscopic image realized by using such two images causes a viewer to feel uncomfortable.
  • parallax L pixel near the optical axis attention is focused on the parallax L pixel near the optical axis and the above-described parallax L pixel having an image height with respect to the optical axis.
  • the parallax L pixel near the optical axis is also positioned at the opening 104 cL toward the partial area P L , but the main part of the subject luminous flux that passes through the partial area P L and goes to the parallax L pixel near the optical axis.
  • the incident angle of the light beam R cL with respect to the color filter 102 is ⁇ cL .
  • the incident angle with respect to the color filter 102 of the principal ray R aL of the subject light beam that passes through the partial region P L and travels toward the parallax L pixel having the image height is ⁇ aL .
  • the optical path length when the principal ray R cL passes through the color filter 102 is d / cos ⁇ cL
  • the principal ray R aL passes through the color filter 102.
  • the optical path length is d / cos ⁇ aL . That is, the optical path length with respect to the color filter 102 differs between the parallax L pixel near the optical axis and the parallax L pixel having the image height. Then, even when capturing the subject having the same color, each parallax L pixel outputs a different color signal. According to the example of FIG.
  • color balance may be lost due to the position of the photoelectric conversion element 108 on the light receiving surface of the image sensor 100 and the deviation of the opening 104 in the aperture mask 103. Therefore, in this embodiment, this color balance collapse is corrected.
  • FIG. 17 is a diagram showing the relationship between the incident angle of the principal ray with respect to the color filter 102 and the transmittance.
  • the horizontal axis represents the incident angle ⁇ of the principal ray with respect to the color filter 102
  • the vertical axis represents the transmittance, which is the ratio of the amount of light before incidence and after emission.
  • the correction process is performed by converting the pixel output of the subject light flux incident on the chief ray at the incident angle ⁇ to the pixel output when incident at the incident angle 0.
  • the image processor 205 executes a correction operation for conversion as I ( ⁇ ) for each pixel.
  • the incident angles of the principal rays with respect to the color filter 102 are known in the respective parallax pixels.
  • the incident angle of the principal ray at each parallax pixel is stored in advance in a system memory built in the control unit 201.
  • both the color balance collapse caused by the position of the photoelectric conversion element 108 on the light receiving surface of the image sensor 100 and the color balance collapse caused by the displacement of the opening 104 are corrected.
  • the camera 10 can output high-quality color parallax image data.
  • the correction process is performed by converting the pixel output when the incident angle is 0.
  • the condition used as a reference for the correction can be arbitrarily selected depending on the purpose of the process. For example, if one wants to mainly relieve the color balance disruption caused by the parallax R pixel and the parallax L pixel outputting different signals while capturing the light beam emitted from the same minute area of the subject, one incident A process for correcting the other incident angle with respect to the angle can be performed. In other words, this is a case where only the color balance disruption due to the deviation of the opening 104 is corrected. In this case, the calculation amount is halved because it is not necessary to perform the correction calculation on the reference parallax pixel. In addition, an improvement in processing speed can be expected.
  • the lens unit 50 serving as a reference is attached to the main unit 30 . That is, it has been described that the pupil position of the photographic lens 20 is constant, and the partial areas to which the respective openings 104 face are also fixed areas.
  • the aperture mask 103 of the image sensor 100 is provided with an aperture 104 corresponding to each photoelectric conversion element 108, assuming that such a reference lens unit 50 is mounted.
  • the pupil position may be different from the pupil position of the reference lens unit 50.
  • the lens unit whose pupil position substantially coincides with the pupil position of the reference lens unit 50 in a certain state the lens unit whose pupil position changes as the constituent lenses such as the focus lens and the zoom lens move. There are also 50.
  • FIG. 18 is a diagram for explaining a difference in incident angle of chief rays when a lens unit 50 having a pupil position different from the reference position is attached. Is a pupil position of the lens unit 50 the distance D 0 from the light receiving surface of the imaging element 100 is a reference, in the figure, the distance D 1 is on the assumption that the lens unit 50 as the pupil position is mounted Yes.
  • the drawing shows an enlarged example of the parallax L pixel near the optical axis, which is also noted in FIG.
  • the position of the opening 104 cL is determined toward the partial region P L , but when the lens unit 50 whose pupil position is the distance D 1 is attached, It mainly receives the light beam of the principal ray R ′ cL emitted from the partial area P ′ L in the pupil. Therefore, the principal ray R ′ cL is incident on the color filter 102 at an angle different from that of the principal ray R cL from the partial region P L. This incident angle is represented by ⁇ ′ cL as shown.
  • the pupil position D 0 of the reference lens unit 50 is known, and the incident angle ⁇ cL is expressed as a function of D 0 . Therefore, if detected pupil position D 1 of the lens unit 50 attached, it is possible to calculate the incident angle theta 'cL apply this function. If the incident angle ⁇ ′ cL can be calculated, as described above, it can be converted into a pixel output when the incident angle is 0.
  • the control unit 201 determines the distance D 1 that is the pupil position of the mounted lens unit 50 using the lens information received from the lens control unit 231. For example, when the pupil position of the lens unit 50 is constant regardless of the movement of the focus lens or the like, the control unit 201 receives the pupil position stored in the lens memory 232 as lens information, and determines the pupil position. determining a distance D 1. The control unit 201, when acquiring focus information at the time of acquisition of the parallax image data, determining the distance D 1 to calculate the displacement of the focus lens position.
  • the parallax L pixel in the vicinity of the optical axis is exemplified, but the parallax L pixel having the image height can similarly absorb the difference in the incident angle of the principal ray.
  • the difference in the incident angle of the principal ray at the parallax R pixel is the same as in the case of the above-described parallax L pixel, so that the R image data can be similarly corrected.
  • the parallax pixels are set so as to receive a light beam that passes through a specific partial region, such wavelength dependency may cause a color balance collapse. Therefore, in such a case, transmittance information for each wavelength with respect to the radial direction in the pupil of the photographing lens 20 acquired in advance experimentally and in simulation may be stored in the lens memory 232 as a lookup table. .
  • the control unit 201 can acquire the lookup table from the lens control unit 231 as lens information and apply it to the correction process.
  • control unit 201 can acquire aperture information at the time of acquiring parallax image data as lens information, and can apply it to correction processing.
  • the image processing unit 205 calculates the incident angle of the changed principal ray with respect to the color filter 102 by taking into account the light shielding region by the aperture based on the aperture information received from the control unit 201. If the incident angle of the changed principal ray is calculated, the correction process can be executed as described above.
  • correction processing is performed between parallax image data.
  • the 2D image data can also be referred to for correction processing.
  • the image processing unit 205 determines whether the output is a correct output based on the subject image or an output due to the influence of noise. Is determined with reference to the 2D image data. Specifically, the corresponding pixels are determined by matching the parallax image data and the 2D image data, and how much each pixel differs from the surrounding pixels is calculated. If the difference is greater than or equal to a preset threshold value, it is determined that the output of the specific pixel is abnormal. The output of the specific pixel determined to be abnormal is replaced with the pixel output of the compared 2D image data, for example.
  • FIG. 19 is a diagram illustrating a processing flow for correcting color balance loss. The flow starts, for example, from the time when the exposure operation is finished and the image sensor 100 outputs an image signal.
  • step S101 the image processing unit 205 acquires L image data, R image data, and 2D image data.
  • the image processing unit 205 may acquire the image data by receiving the image signal output from the image sensor 100 and distributing and generating three image data for each pixel output.
  • the image data recorded in the memory card 220 may be read out.
  • step S102 the control unit 201 acquires lens information stored in the lens memory 232 via the lens control unit 231.
  • lens information can be acquired from the header information of the file.
  • image data captured by another digital camera 10 may be assumed, and thus image sensor information is acquired from the header information in the same manner.
  • the image sensor information is information of the image sensor 100 and includes the above-described pixel arrangement information and the incident angle information of the principal ray at each parallax pixel with respect to the reference lens unit 50.
  • step S103 the image processing unit 205 executes a correction process for correcting the pixel value of the L image data by the above-described method.
  • step S104 matching processing is performed to refer to 2D image data. Specifically, as described above, the pixels of the L image data and the corresponding pixels of the 2D image data are compared. As a result, if it is determined in step S105 that the output is abnormal, the process proceeds to step S106, and a correction process for replacing with the corresponding pixel output of 2D image data is executed.
  • step S105 If it is determined in step S105 that there is no abnormal output, and if the correction process is completed in step S106, the process proceeds to step S107, and the control unit 201 determines whether or not there is no parallax image data to be processed. In this case, since the R image data has not been processed, the process returns to step S103 to execute the processing of the R image data. When all the parallax image data has been processed, a series of processing is finished. Note that the determination processing in step S105 is performed by performing contour extraction on each of the L image data, R image data, and 2D image data to divide the region, and if the correction processing is performed on pixels in the same region, color, transmission The change in luminance due to the correction of the rate may be corrected. In this case, if there is no contradiction in the similarity in the same area, it can be determined as normal output.
  • the processing for the L image data and the R image data described in FIG. 9 and after can be applied to the multi-parallax image data described in the first half.
  • the processing for the L image data and the R image data described in FIG. 9 and after can be applied to the multi-parallax image data described in the first half.
  • the processing for the L image data and the R image data described in FIG. 9 and after can be applied to the multi-parallax image data described in the first half.
  • the processing for the L image data and the R image data described in FIG. 9 and after can be applied to the multi-parallax image data described in the first half.
  • the digital camera 10 has been described as an example.
  • the color balance loss correction process is not limited to when shooting, and each image data can be read and executed after shooting.
  • the processing can also be performed in this device.
  • the PC functions as an image processing device instead of the digital camera 10 which is an imaging device.

Abstract

　ひとつの撮像系から一度の露光動作により出力される画像信号を用いて複数の視差画像を生成する場合、被写体光束が撮像素子の各画素へ入射する入射角の違いにより、視差画像間に色味の違いが生じるという課題が存在した。　そこで、少なくとも一部の光電変換素子のそれぞれに対応してカラーフィルタと開口マスクを備え、少なくとも２つの視差画像データを出力する撮像素子から視差画像データを取得する画像データ取得部と、撮像素子における光電変換素子の位置および開口マスクの開口偏位の少なくとも一方に基づいて、視差画像データ間に生じる対応画素の色バランス崩れを補正する補正部とを備える画像処理装置を提供する。

Description

画像処理装置、撮像装置および画像処理プログラム
　本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。
　２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を撮像するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
　　［特許文献１］　特開平８－４７００１号公報
　右目用の画像と左目用の画像を独立した２つの撮像系で取得する場合であれば、被写体光束がそれぞれの撮像素子へ入射する入射角の違いを事実上無視し得る。しかし、ひとつの撮像系から一度の露光動作により出力される画像信号を用いて複数の視差画像を生成する場合、被写体光束が撮像素子の各画素へ入射する入射角の違いにより、視差画像間に色味の違いが生じるという課題が存在した。
　本発明の第１の態様における画像処理装置は、少なくとも一部の光電変換素子のそれぞれに対応してカラーフィルタと開口マスクを備え、少なくとも２つの視差画像データを出力する撮像素子から視差画像データを取得する画像データ取得部と、撮像素子における光電変換素子の位置および開口マスクの開口偏位の少なくとも一方に基づいて、視差画像データ間に生じる対応画素の色バランス崩れを補正する補正部とを備える。
　本発明の第２の態様における撮像装置は、上記画像処理装置と撮像素子を含み、撮像素子は、隣接するｎ個（ｎは３以上の整数）の光電変換素子のうち、少なくとも３つに対応して設けられたそれぞれの開口マスクの開口は、互いに異なる波長帯域を透過させる少なくとも２種類のカラーフィルタから構成されるカラーフィルターパターンの一パターン内に含まれると共に、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子を一組とする光電変換素子群が周期的に配列されている。そして、撮像装置は、開口マスクが設けられた光電変換素子の出力信号に基づいて視差画像データを出力する。
　本発明の第３の態様における画像処理プログラムは、少なくとも一部の光電変換素子のそれぞれに対応してカラーフィルタと開口マスクを備え、少なくとも２つの視差画像データを出力する撮像素子から視差画像データを取得する画像データ取得ステップと、撮像素子における光電変換素子の位置および開口マスクの開口偏位の少なくとも一方に基づいて、視差画像データ間に生じる対応画素の色バランス崩れを補正する補正ステップとをコンピュータに実行させる。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明の実施形態に係るデジタルカメラの構成を説明する図である。 本発明の実施形態に係る撮像素子の断面を表す概略図である。 撮像素子の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概念図である。 視差画像を生成する処理を説明する概念図である。 繰り返しパターンの他の例を示す図である。 二次元的な繰り返しパターンの例を示す図である。 開口部の他の形状を説明する図である。 ベイヤー配列を説明する図である。 ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。 バリエーションの一例を示す図である。 他のバリエーションの一例を示す図である。 他のバリエーションの一例を示す図である。 視差画像と２Ｄ画像の生成過程を示す概念図である。 カラーフィルタに対する主光線の入射角の違いを説明する図である。 視差画像間における色バランス崩れの概念を示す図である。 カラーフィルタに対する主光線の入射角と透過率の関係を示す図である。 瞳位置の異なるレンズユニットが装着された場合における、主光線の入射角の違いを説明する図である。 色バランス崩れを補正する処理フローを示す図である。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
　図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、本体ユニット３０と本体ユニット３０に着脱できるレンズユニット５０とから構成される。レンズユニット５０が備える撮影レンズ２０は、光軸２１に沿って入射する被写体光束を、本体ユニット３０が備える撮像素子１００へ導く。本実施形態においては、デジタルカメラ１０を、レンズユニット５０が交換できるレンズ交換式カメラとして説明するが、レンズユニット５０が本体ユニット３０と一体的に構成されるタイプのカメラであっても良い。
　本体ユニット３０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。レンズユニット５０は、撮影レンズ２０に加え、レンズ制御部２３１、レンズメモリ２３２を備える。
　なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
　撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
　Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。画像処理部２０５は、他にも、撮像素子１００の画素配列に即して、入力される画像信号から非視差画像データとしての２Ｄ画像データおよび視差画像データを生成したり、選択された画像フォーマットに従って画像データを調整したりする機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示され得る。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録され得る。
　ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御信号をレンズ制御部２３１へ送信する。
　レンズ制御部２３１は、レンズユニット５０の制御を司る。例えば、合焦制御信号を制御部２０１から受信して、フォーカスレンズを移動させる。また、フォーカスレンズを含む撮影レンズ２０の現在位置を検出して制御部２０１へ送信する。レンズメモリ２３２は、レンズユニット５０に関する各種特性値を記憶している不揮発性メモリである。レンズ制御部２３１は、制御部２０１の要求に従って、撮影レンズ２０の位置情報、レンズメモリ２３２が記憶している各種特性値等をレンズ情報として制御部２０１へ送信する。
　次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子の断面を表す概略図である。図示するように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。
　光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。
　一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。
　カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列すると良い。具体的な配列については後述する。
　マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。
　このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
　なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。
　次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。
　図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。
　図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められて構成されていると言える。
　図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体９０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体９１を捉えた場合の関係を模式的に示している。
　まず、撮影レンズ２０が合焦状態に存在する被写体９０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ～Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。
　別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体９０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。
　図４（ａ）で示すように、合焦位置に存在する被写体９０のうち、光軸２１と交差する被写体９０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ～Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体９０のうち、光軸２１から離間した被写体９０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ～Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
　つまり、被写体９０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。
　撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。
　次に、撮影レンズ２０が非合焦状態に存在する被写体９１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体９１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ～Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体９１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体９１が被写体９０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体９１側で結像する。逆に、被写体９１が被写体９０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体９１とは反対側で結像する。
　したがって、非合焦位置に存在する被写体９１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ～Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体９１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ＋、Ｒｂ＋、Ｒｃ＋、Ｒｅ＋、Ｒｆ＋とする被写体光束が入射するが、これらの被写体光束は、被写体９１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。
　すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。
　したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ～Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。
　図５は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。
　６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。
　しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。
　同様にして、視差画像データＩｍ＿ｅ～視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。
　上記の例では、横一列を繰り返しパターン１１０として周期的に配列される例を説明したが、繰り返しパターン１１０はこれに限らない。図６は、繰り返しパターン１１０の他の例を示す図である。
　図６（ａ）は、縦６画素を繰り返しパターン１１０とした例である。ただし、それぞれの開口部１０４は、紙面上端の視差画素から下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、横方向に視差を与える６視点の視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、縦方向の解像度を犠牲にする代わりに横方向の解像度を維持する繰り返しパターンであると言える。
　図６（ｂ）は、斜め方向に隣接する６画素を繰り返しパターン１１０とした例である。それぞれの開口部１０４は、紙面左上端の視差画素から右下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、横方向に視差を与える６視点の視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、縦方向の解像度および横方向の解像度をある程度維持しつつ、視差画像の数を増やす繰り返しパターンであると言える。
　図３の繰り返しパターン１１０、および図６（ａ）（ｂ）の繰り返しパターン１１０をそれぞれ比較すると、いずれも６視点の視差画像を生成する場合において、視差画像でない全体から一枚の画像を出力する場合の解像度に対し、縦方向、横方向のいずれの方向の解像度を犠牲にするかの違いであると言える。図３の繰り返しパターン１１０の場合は、横方向の解像度を１／６とする構成である。図６（ａ）の繰り返しパターン１１０の場合は、縦方向の解像度を１／６とする構成である。また、図６（ｂ）の繰り返しパターン１１０の場合は、縦方向を１／３、横方向を１／２とする構成である。いずれの場合も、一つのパターン内には、各画素に対応して開口部１０４ａ～１０４ｆが一つずつ設けられており、それぞれが対応する部分領域Ｐａ～Ｐｆのいずれかから被写体光束を受光するように構成されている。したがって、いずれの繰り返しパターン１１０であっても視差量は同等である。
　上述の例では、左右方向に視差を与える視差画像を生成する場合について説明したが、もちろん上下方向に視差を与える視差画像を生成することもできるし、上下左右の二次元方向に視差を与える視差画像を生成することもできる。図７は、二次元的な繰り返しパターン１１０の例を示す図である。
　図７の例によれば、縦６画素横６画素の３６画素を一組の光電変換素子群として繰り返しパターン１１０を形成する。それぞれの画素に対する開口部１０４の位置として、互いに上下左右方向にシフトした３６種類の開口マスク１０３が用意されている。具体的には、各開口部１０４は、繰り返しパターン１１０の上端画素から下端画素に向かって、上側から下側へ徐々にシフトすると同時に、左端画素から右端画素に向かって、左側から右側へ徐々にシフトするように位置決めされている。
　このような繰り返しパターン１１０を有する撮像素子１００は、上下方向および左右方向に視差を与える、３６視点の視差画像を出力することができる。もちろん図７の例に限らず、さまざまな視点数の視差画像を出力するように繰り返しパターン１１０を定めることができる。
　以上の説明においては、開口部１０４の形状として矩形を採用した。特に、横方向に視差を与える配列においては、シフトさせる方向である左右方向の幅よりも、シフトさせない上下方向の幅を広くすることにより、光電変換素子１０８へ導く光量を確保している。しかし、開口部１０４の形状は矩形に限定されない。
　図８は、開口部１０４の他の形状を説明する図である。図においては、開口部１０４の形状を円形とした。円形とした場合、半球形状であるマイクロレンズ１０１との相対的な関係から、予定外の被写体光束が迷光となって光電変換素子１０８へ入射することを防ぐことができる。
　次に、カラーフィルタ１０２と視差画像について説明する。図９は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶ横方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶ横方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶ縦方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶ縦方向をＧｒ列とする。
　このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。
　このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン１１０が設定される。図１０は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌ画素と、同じく右側に偏心した視差Ｒ画素を想定している。つまり、このような視差画素から出力される２視点の視差画像は、いわゆる立体視を実現する。
　それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の２Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の２Ｄ画像データとなる。視差画素の出力も利用して２Ｄ画像データを生成する場合、ずれた被写体像を周辺画素の出力を参照して補正する。したがって、例えば全部のＲ画素が視差画素であったとしても２Ｄ画像を生成することはできるものの、その画質は自ずと低下する。
　一方、視差画素が多く割り振られていれば高解像度の３Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。視差なし画素の出力も利用して３Ｄ画像データを生成する場合、視差のない被写体像から周辺の視差画素の出力を参照してずれた被写体像を生成する。したがって、例えば全部のＲ画素が視差なし画素であったとしてもカラーの３Ｄ画像を生成することはできるものの、やはりその品質は低下する。
　以下にいくつかのバリエーションについて説明する。図１１は、バリエーションの一例を示す図である。図１１のバリエーションは、図１０における繰り返しパターン分類Ａ－１に相当する。
　図の例においては、ベイヤー配列と同じ４画素を繰り返しパターン１１０とする。Ｒ画素とＢ画素は視差なし画素であり、Ｇｂ画素を視差Ｌ画素に、Ｇｒ画素を視差Ｒ画素に割り当てる。この場合、同一の繰り返しパターン１１０に含まれる視差Ｌ画素と視差Ｒ画素は、瞳上の互いに異なる部分領域を通過する被写体光束をそれぞれ受光するように開口部１０４が定められる。
　図の例においては、視感度の高い緑画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、これら２つの出力から視差のない出力に変換演算がし易く、視差なし画素であるＲ画素およびＢ画素の出力と共に、高画質の２Ｄ画像データを生成できる。
　図１２は、他のバリエーションの一例を示す図である。図１２のバリエーションは、図１０における繰り返しパターン分類Ｂ－１に相当する。
　図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌ画素を、右側のＧｂ画素に視差Ｒ画素を割り当てる。このような配列においては、Ｇｒ画素を視差なし画素としたことにより、図１０の例よりも、更に２Ｄ画像の高画質化が望める。
　図１３は、更に他のバリエーションの一例を示す図である。図１３のバリエーションは、図１０における繰り返しパターン分類Ｄ－１に相当する。
　図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌ画素を、右側のＧｂ画素に視差Ｒ画素を割り当てる。さらに、左側のＲ画素に視差Ｌ画素を、右側のＲ画素に視差Ｒ画素を割り当てる。さらに、左側のＢ画素に視差Ｌ画素を、右側のＢ画素に視差Ｒ画素を割り当てる。２つのＧｒ画素には視差なし画素を割り当てる。
　２つのＧｂ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、焦点面に存在する被写体を捉える場合、一つの微小領域から放射される光束を受光する。また、２つのＲ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、同様に、Ｇｂ画素のそれとは異なる一つの微小領域から放射される光束を受光し、２つのＢ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、同様に、Ｇｂ画素およびＲ画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、３Ｄ画像としての解像度が増す。しかも、ＲＧＢの３色の出力が得られるので、カラー画像としての３Ｄ画像として高品質である。
　なお、上述のように視差画素の種類を２つにすれば２視点の視差画像が得られるが、もちろん視差画素の種類は、出力したい視差画像数に合わせて、図３、図７、図８などで説明したような様々な数を採用し得る。視点数が増えていっても、さまざまな繰り返しパターン１１０を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン１１０を選択することができる。
　上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。図３等を用いて説明したように、カラーフィルタ配列を構成するある１色に着目して寄せ集めた場合に、隣接する複数の画素を一組の光電変換素子群とする繰り返しパターンを形成し、視差画像を出力するように視差画素が割り当てられていれば良い。このとき、一組の光電変換素子群を構成する視差画素のそれぞれは、互いに異なる部分領域を向く開口部１０４を有する開口マスク１０３を備えると良い。
　したがって、撮像素子１００は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子１０８と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク１０３と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ１０２とを備え、隣接するｎ個（ｎは３以上の整数）の光電変換素子１０８のうち、少なくとも３つに対応して設けられたそれぞれの開口マスク１０３の開口部１０４は、互いに異なる波長帯域を透過させる少なくとも２種類のカラーフィルタ１０２から構成されるカラーフィルターパターンの一パターン内に含まれると共に、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子１０８を一組とする光電変換素子群が周期的に配列されていれば良い。
　ここで、カラー画像としての視差画像の生成と、カラー画像としての２Ｄ画像の生成について説明する。図１４は、視差画像と２Ｄ画像の生成過程を示す概念図である。ここでは、図１３を用いて説明した繰り返しパターン分類Ｄ－１を例に説明する。図示するように、視差Ｌ画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、Ｌ画像データが生成される。一つの繰り返しパターン１１０に含まれる視差Ｌ画素は、ベイヤー配列の４画素が左右に２組続く８画素のうち、左側のＧｂ画素、Ｒ画素、Ｂ画素である。そこで、視差なし画素である左側のＧｒ画素の位置には、Ｇｂ画素の出力を補間する。
　このようにして生成されたＬ画像データは、ベイヤー配列に相当する画像信号が並ぶことになるので、ベイヤー配列の出力に対する画像処理を採用してカラー画像としてのＬ画像データを生成することができる。例えば、可視画像形式としてのＪＰＥＧファイルを生成することができる。ただし、一つの繰り返しパターン１１０のうち左側の４画素の位置に相当する画像信号を寄せ集めたことになるので、右側の４画素に対応する画像信号が欠落しており、生成される画像は実際の被写体像に対して横方向に圧縮された画像となる。したがって、Ｌ画像データは、図５を用いて説明したように、いずれかの段階においてアスペクト比を調整する補間処理が施される。
　同様に、視差Ｒ画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、Ｒ画像データが生成される。Ｒ画像データの場合は、一つの繰り返しパターン１１０のうち右側の４画素の位置に相当する画像信号を寄せ集めたことになるので、左側の４画素に対応する画像信号が欠落している。したがって、Ｌ画像データと同様に、Ｒ画像データは、いずれかの段階においてアスペクト比を調整する補間処理が施される。
　また、視差なし画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、２Ｄ画像データが生成される。ただし、図の例では、一つの繰り返しパターン１１０のうち２つのＧｒ画素のみが視差なし画素である。そこで、他の画素位置における視差なしの出力を、補間処理および平均化処理により生成する。具体的には、まず、Ｇｂ画素の出力は、隣接するＧｒ画素の出力で補間する。また、２つのＲ画素の出力は、繰り返しパターン１１０に含まれるＲ画素がそれぞれ視差Ｌ画素と視差Ｒ画素であることから、これらの出力を平均化してそれぞれの視差なし出力とみなす平均化処理を施す。同様に、２つのＢ画素の出力は、繰り返しパターン１１０に含まれるＢ画素がそれぞれ視差Ｌ画素と視差Ｒ画素であることから、これらの出力を平均化してそれぞれの視差なし出力とみなす平均化処理を施す。このように、補間処理および平均化処理を施せば、ベイヤー配列の出力に対する画像処理を採用して２Ｄ画像データを生成することができる。
　なお、以上の画像処理は、画像処理部２０５によって実行される。画像処理部２０５は、制御部２０１を介して撮像素子１００から出力される画像信号を受け取り、上述のようにそれぞれの画素の出力ごとに分配してＬ画像データ、Ｒ画像データおよび２Ｄ画像データを生成する。
　次に、視差画像間に生じる色バランス崩れとその対処について説明する。図１５は、カラーフィルタに対する主光線の入射角の違いを説明する図である。上述のように、視差画素の開口部１０４は、瞳に設定された特定の部分領域を向くように、その位置が定められている。
　例えば、光軸２１に対して光軸外のほぼ同じ像高を有する２つの視差画素に着目した場合、一方の視差Ｒ画素は、部分領域ＰＲに向けて開口部１０４ａＲの位置が定められており、他方の視差Ｌ画素は、部分領域ＰＬに向けて開口部１０４ａＬの位置が定められている。このとき、部分領域ＰＲを通過して視差Ｒ画素へ向かう被写体光束の主光線ＲａＲのカラーフィルタ１０２に対する入射角はθａＲである。また、部分領域ＰＬを通過して視差Ｌ画素へ向かう被写体光束の主光線ＲａＬのカラーフィルタ１０２に対する入射角はθａＬである。
　カラーフィルタ１０２の厚さをｄとすると、主光線ＲａＲがカラーフィルタ１０２を通過するときの光路長は、ｄ／ｃｏｓθａＲであり、主光線ＲａＬがカラーフィルタ１０２を通過するときの光路長は、ｄ／ｃｏｓθａＬである。すなわち、対応する視差Ｒ画素と視差Ｌ画素でありながら、カラーフィルタ１０２に対する光路長が異なる。カラーフィルタ１０２に対する光路長が異なると光電変換素子１０８へ届く光量に差異が生じるので、視差Ｒ画素と視差Ｌ画素は、被写体の同じ微小領域から放射された光束を捉えながら、それぞれの出力値が異なることになる。つまり、異なった色信号を出力することになる。なお、ここでは、カラーフィルタ１０２を通過する光の物理的な長さを光路長として説明する。
　図１６は、視差画像間における色バランス崩れの概念を示す図である。被写体の同じ微小領域から放射された光束を捉えながら、視差Ｒ画素と視差Ｌ画素が互いに異なった信号を出力すると、例えば、被写体としての洋服３００の色がＲ画像とＬ画像で異なることになる。このような２つの画像を用いて実現される立体視映像は、鑑賞者に違和感を生じさせる。
　また、Ｒ画像およびＬ画像のそれぞれの面内で色バランス崩れが生じる場合がある。図１５に戻って、光軸近傍の視差Ｌ画素と、光軸に対してある像高を有する上述の視差Ｌ画素に着目する。光軸近傍の視差Ｌ画素も、部分領域ＰＬに向けて開口部１０４ｃＬの位置が定められているが、部分領域ＰＬを通過して光軸近傍の視差Ｌ画素へ向かう被写体光束の主光線ＲｃＬのカラーフィルタ１０２に対する入射角はθｃＬである。一方、上述のように、部分領域ＰＬを通過して像高を有する視差Ｌ画素へ向かう被写体光束の主光線ＲａＬのカラーフィルタ１０２に対する入射角はθａＬである。
　カラーフィルタ１０２の厚さが共にｄであれば、主光線ＲｃＬがカラーフィルタ１０２を通過するときの光路長は、ｄ／ｃｏｓθｃＬであり、主光線ＲａＬがカラーフィルタ１０２を通過するときの光路長は、ｄ／ｃｏｓθａＬである。すなわち、光軸近傍の視差Ｌ画素と像高を有する視差Ｌ画素で、カラーフィルタ１０２に対する光路長が異なる。すると、同じ色をした被写体を捉える場合であっても、それぞれの視差Ｌ画素は異なった色信号を出力することになる。図１６の例によれば、Ｌ画像における洋服３００に対して、実際には全体として同じ色であっても、画像には中央付近から周辺部へ向かってグラデーションとなって色むらが現れることになる。このような関係は視差Ｒ画素に対しても同様であり、Ｒ画像にもＬ画像に対応する色むらが現れることになる。また、Ｌ画像とＲ画像間でも異なった結果となる。
　すなわち、撮像素子１００の画素構造においては、撮像素子１００の受光面における光電変換素子１０８の位置、および開口マスク１０３における開口部１０４の偏位に起因して色バランス崩れが生じ得る。そこで、本実施形態においては、この色バランス崩れを補正する。
　図１７は、カラーフィルタ１０２に対する主光線の入射角と透過率の関係を示す図である。横軸は、カラーフィルタ１０２に対する主光線の入射角θを示し、縦軸は、入射前と射出後の光量の比である透過率を示す。図示するように、透過率Ｔ（θ）は、θ＝０を最大値とする曲線で表される。具体的には、カラーフィルタ１０２の吸収係数をαとし、厚さをｄとした場合に、Ｔ（θ）＝ｅ（－α・ｄ／ｃｏｓθ）で表される。
　本実施形態においては、主光線が入射角θで入射する被写体光束による画素出力を、入射角０で入射した場合の画素出力に換算することにより、補正処理を行う。具体的には、実際に検出された画素出力がＩ（θ）である場合に、補正された画素出力Ｉｃ（θ）を、Ｉｃ（θ）＝｛Ｔ（０）／Ｔ（θ）｝・Ｉ（θ）として換算する補正演算を画像処理部２０５が各画素に対して実行する。
　各視差画素の開口部１０４は、それぞれが対応する部分領域に向けてその位置が定められているので、主光線のカラーフィルタ１０２に対する入射角は、それぞれの視差画素において既知である。それぞれの視差画素における主光線の入射角は、制御部２０１が内蔵するシステムメモリ内に予め記憶されている。
　以上の補正処理を実行することにより、撮像素子１００の受光面における光電変換素子１０８の位置に起因する色バランス崩れも、開口部１０４の偏位に起因する色バランス崩れも補正されるので、デジタルカメラ１０は、品位の高いカラー視差画像データを出力することができる。
　なお、上記の補正処理においては、入射角０で入射した場合の画素出力に換算することにより補正処理を行ったが、補正の基準とする条件は、処理の目的によって任意に選択され得る。例えば、被写体の同じ微小領域から放射された光束を捉えながら、視差Ｒ画素と視差Ｌ画素が互いに異なった信号を出力することに起因する色バランス崩れを主に緩和したいのであれば、一方の入射角を基準として他方の入射角を補正する処理を行うことができる。つまり、開口部１０４の偏位に起因する色バランス崩れのみを補正する場合であるが、この場合は、基準となる視差画素に対しては補正演算を行わなくて良いので演算量が半分になり、処理速度の向上も併せて期待できる。
　以上の説明においては、ある基準となるレンズユニット５０が本体ユニット３０に装着されている場合について説明した。つまり、撮影レンズ２０の瞳位置は一定であり、それぞれの開口部１０４が向く部分領域も固定された領域であるとして説明した。そもそも撮像素子１００の開口マスク１０３は、このような基準となるレンズユニット５０が装着された場合を想定して、それぞれの光電変換素子１０８に対応する開口部１０４が設けられている。
　したがって、基準となるレンズユニット５０でない他のレンズユニット５０が本体ユニット３０に装着されたときは、その瞳位置が基準となるレンズユニット５０の瞳位置とは異なる場合がある。また、ある状態において瞳位置が基準となるレンズユニット５０の瞳位置とほぼ一致するレンズユニット５０であっても、フォーカスレンズ、ズームレンズなどの構成レンズの移動に伴って瞳位置が変化するレンズユニット５０も存在する。
　このように、基準となる瞳位置とは異なる位置に瞳が存在する場合には、上述の補正処理に瞳位置の変化分を加味すると良い。図１８は、瞳位置が基準位置と異なるレンズユニット５０が装着された場合における、主光線の入射角の違いを説明する図である。撮像素子１００の受光面からの距離Ｄ０が基準となるレンズユニット５０の瞳位置であるが、図においては、距離Ｄ１が瞳位置となるレンズユニット５０が装着されている場合を想定している。特に図は、図１５でも着目した光軸近傍の視差Ｌ画素を例として拡大して示している。
　この光軸近傍の視差Ｌ画素は、部分領域ＰＬに向けて開口部１０４ｃＬの位置が定められているが、瞳位置が距離Ｄ１となるレンズユニット５０が装着された場合には、この瞳における部分領域Ｐ'Ｌから射出される主光線Ｒ'ｃＬの光束を主に受光する。したがって、主光線Ｒ'ｃＬは、部分領域ＰＬからの主光線ＲｃＬとは異なる角度でカラーフィルタ１０２へ入射する。この入射角を図示するようにθ'ｃＬで表す。
　ここで、基準となるレンズユニット５０の瞳位置Ｄ０は既知であり、入射角θｃＬは、Ｄ０の関数として表される。したがって、装着されたレンズユニット５０の瞳位置Ｄ１が検出できれば、この関数を適用して入射角θ'ｃＬを算出することができる。入射角θ'ｃＬが算出できれば、上述のように、入射角０で入射した場合の画素出力に換算することができる。
　制御部２０１は、装着されたレンズユニット５０の瞳位置である距離Ｄ１を、レンズ制御部２３１から受信するレンズ情報を用いて決定する。例えば、レンズユニット５０の瞳位置がフォーカスレンズ等のレンズ移動に関わらず一定の場合は、制御部２０１は、レンズメモリ２３２が記憶している当該瞳位置をレンズ情報として受信し、当該瞳位置を距離Ｄ１として決定する。また、制御部２０１は、視差画像データの取得時における合焦情報を取得した場合には、フォーカスレンズ位置の変位を算出して距離Ｄ１を決定する。
　以上のように、装着したレンズユニット５０の瞳位置が基準とする瞳位置と異なる場合であっても、色バランス崩れを補正することができる。なお、上述においては光軸近傍の視差Ｌ画素を例示したが、像高を有する視差Ｌ画素においても同様に主光線の入射角の違いを吸収し得る。もちろん、視差Ｒ画素における主光線の入射角の違いは上述の視差Ｌ画素の場合と同様であるので、Ｒ画像データに対しても同様に補正処理と施すことができる。
　色バランス崩れに影響を与えるパラメータは、他にも存在し得る。例えば、レンズ硝材の特性に起因して、瞳の光軸近傍を透過する光束と周辺部を透過する光束とで、透過時の減衰に波長依存性が存在する場合がある。本実施形態においては、特定の部分領域を透過する光束を受光するように視差画素が設定されているので、このような波長依存性は色バランス崩れの原因となり得る。そこで、このような場合には、予め実験的、シミュレーション的に取得された、撮影レンズ２０の瞳における径方向に対する波長ごとの透過率情報をルックアップテーブルとしてレンズメモリ２３２に記憶しておくと良い。制御部２０１は、レンズ制御部２３１から当該ルックアップテーブルをレンズ情報として取得し、補正処理に適用することができる。
　また、制御部２０１は、レンズ情報として視差画像データの取得時における絞り情報を取得し、補正処理に適用することもできる。本実施形態においては、特定の部分領域を透過する光束を受光するように視差画素が設定されているので、絞り値によっては特定の部分領域が絞りにより遮られる場合がある。そこで、画像処理部２０５は、制御部２０１から受信する絞り情報により絞りによる遮光領域を加味して、カラーフィルタ１０２に対する変化した主光線の入射角を算出する。変化した主光線の入射角が算出されれば、上述の通り補正処理を実行することができる。
　上述の説明においては、視差画像データ間で補正処理を実行した。しかし、撮像素子１００から出力される画像信号により、同一被写体を捉えた２Ｄ画像データも生成されるので、補正処理に２Ｄ画像データを参照することもできる。例えば、画像処理部２０５は、視差画像データにおいて、特定画素の出力が周辺画素の出力と閾値以上に異なるような場合に、その出力が被写体像による正しい出力であるか、それともノイズの影響による出力であるかを、２Ｄ画像データを参照して判断する。具体的には、視差画像データと２Ｄ画像データをマッチング処理して対応する画素を定め、それぞれの画素が周辺画素とどれくらいの差異を有するかを算出する。そして、当該差異が予め設定された閾値以上であれば、特定画素の出力が異常であると判断する。異常であると判断された特定画素の出力は、例えば、比較された２Ｄ画像データの画素出力に置き換えられる。
　次に、補正処理のフローについて説明する。図１９は、色バランス崩れを補正する処理フローを示す図である。フローは、例えば露光動作を終え撮像素子１００が画像信号を出力する時点から開始する。
　ステップＳ１０１において、画像処理部２０５は、Ｌ画像データ、Ｒ画像データおよび２Ｄ画像データを取得する。なお、画像処理部２０５は、これらの画像データを取得するにあたり、撮像素子１００から出力される画像信号を受け取って画素の出力ごとに３つの画像データに分配して生成することにより取得しても良いし、メモリカード２２０に記録されているこれらの画像データを読み出すことにより取得しても良い。
　ステップＳ１０２へ進み、制御部２０１は、レンズ制御部２３１を介してレンズメモリ２３２に記憶されているレンズ情報を取得する。メモリカード２２０から撮影済みの画像データを読み出した場合には、ファイルのヘッダ情報からレンズ情報を取得することができる。なお、メモリカード２２０から撮影済みの画像データを読み出す場合には、他のデジタルカメラ１０により撮影された画像データである場合も想定されるので、同様にヘッダ情報から撮像素子情報を取得する。撮像素子情報は、撮像素子１００の情報であり、上述の画素配列情報、基準となるレンズユニット５０に対する各視差画素における主光線の入射角情報を含む。
　画像処理部２０５は、ステップＳ１０３で、上述の手法によりＬ画像データの画素値を補正する補正処理を実行する。さらにステップＳ１０４で、マッチング処理を施して２Ｄ画像データを参照する。具体的には、上述のように、Ｌ画像データの画素と２Ｄ画像データの対応画素を比較する。その結果、ステップＳ１０５で異常出力であると判断した場合には、ステップＳ１０６へ進み、２Ｄ画像データの対応画素出力で置き換える修正処理を実行する。ステップＳ１０５で異常出力でないと判断した場合、およびステップＳ１０６で修正処理を終えた場合には、ステップＳ１０７へ進み、制御部２０１は処理すべき視差画像データが残っていないか否かを判断する。この場合、Ｒ画像データが未処理であるので、ステップＳ１０３へ戻ってＲ画像データの処理を実行する。すべての視差画像データの処理が終了したら一連の処理を終える。なお、ステップＳ１０５の判断処理は、Ｌ画像データ、Ｒ画像データおよび２Ｄ画像データのそれぞれで輪郭抽出を施して領域分けを行い、同一の領域内にある画素の補正処理であれば，色、透過率の補正による輝度の変化を補正しても良い。この場合、同一領域内の類似性に矛盾がなければ正常出力と判断すれば良い。
　以上の実施形態において、図９以降に説明したＬ画像データとＲ画像データに対する処理は、前半で説明した多視差画像データに対してももちろん適用できる。例えば、図７および図８で示したような、縦方向にも視差を与える視差画像データを出力する場合には、主光線のカラーフィルタ１０２に対する入射角を、ｘ方向に０に換算するだけではなく、ｙ方向にも０に換算すれば良い。もちろん、横方向に視差を与える視差画像データのみが生成される場合であっても、ｙ方向に０に換算する処理を加えても良い。
　また、上記実施形態においては、デジタルカメラ１０を例に説明したが、色バランス崩れの補正処理は、撮影時に限らず、撮影後にそれぞれの画像データを読み出して実行することもできるので、例えばＰＣ等の機器においても処理を行うことができる。この場合、撮像装置であるデジタルカメラ１０に代わってＰＣが画像処理装置として機能する。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０　デジタルカメラ、２０　撮影レンズ、２１　光軸、３０　本体ユニット、５０　レンズユニット、９０、９１　被写体、１００　撮像素子、１０１　マイクロレンズ、１０２　カラーフィルタ、１０３　開口マスク、１０４　開口部、１０５　配線層、１０６　配線、１０７　開口、１０８　光電変換素子、１０９　基板、１１０　繰り返しパターン、２０１　制御部、２０２　Ａ／Ｄ変換回路、２０３　メモリ、２０４　駆動部、２０５　画像処理部、２０７　メモリカードＩＦ、２０８　操作部、２０９　表示部、２１０　ＬＣＤ駆動回路、２１１　ＡＦセンサ、２２０　メモリカード、２３１　レンズ制御部、２３２　レンズメモリ、３００　洋服

Claims (9)

  1. 　少なくとも一部の光電変換素子のそれぞれに対応してカラーフィルタと開口マスクを備え、少なくとも２つの視差画像データを出力する撮像素子から前記視差画像データを取得する画像データ取得部と、
    　前記撮像素子における前記光電変換素子の位置および前記開口マスクの開口偏位の少なくとも一方に基づいて、前記視差画像データ間に生じる対応画素の色バランス崩れを補正する補正部と
    を備える画像処理装置。
  2. 　前記視差画像データの取得時における撮影レンズのレンズ情報を取得するレンズ情報取得部を備え、
    　前記補正部は、前記レンズ情報を加味して前記色バランス崩れを補正する請求項１に記載の画像処理装置。
  3. 　前記レンズ情報は、前記撮影レンズの瞳位置情報を含む請求項２に記載の画像処理装置。
  4. 　前記レンズ情報は、前記視差画像データの取得時における絞り情報を含む請求項２または３に記載の画像処理装置。
  5. 　前記レンズ情報は、前記撮影レンズの瞳における径方向に対する透過率情報を含む請求項２から４のいずれか１項に記載の画像処理装置。
  6. 　前記視差画像データの取得時における合焦情報を取得する合焦情報取得部を備え、
    　前記補正部は、前記合焦情報を加味して前記色バランス崩れを補正する請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記画像データ取得部は、前記撮像素子から前記視差画像データと共に出力される非視差画像データを取得し、
    　前記補正部は、前記非視差画像データの対応画素を参照して前記色バランス崩れを補正する請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　前記撮像素子と請求項１から７のいずれか１項に記載の画像処理装置を含む撮像装置であって、
    　前記撮像素子は、
    　隣接するｎ個（ｎは３以上の整数）の前記光電変換素子のうち、少なくとも３つに対応して設けられたそれぞれの前記開口マスクの開口は、互いに異なる波長帯域を透過させる少なくとも２種類の前記カラーフィルタから構成されるカラーフィルターパターンの一パターン内に含まれると共に、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記ｎ個の前記光電変換素子を一組とする光電変換素子群が周期的に配列されており、
    　前記開口マスクが設けられた前記光電変換素子の出力信号に基づいて前記視差画像データを出力する撮像装置。
  9. 　少なくとも一部の光電変換素子のそれぞれに対応してカラーフィルタと開口マスクを備え、少なくとも２つの視差画像データを出力する撮像素子から前記視差画像データを取得する画像データ取得ステップと、
    　前記撮像素子における前記光電変換素子の位置および前記開口マスクの開口偏位の少なくとも一方に基づいて、前記視差画像データ間に生じる対応画素の色バランス崩れを補正する補正ステップと
    をコンピュータに実行させる画像処理プログラム。
PCT/JP2012/001704 2011-03-30 2012-03-12 画像処理装置、撮像装置および画像処理プログラム WO2012132270A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013507129A JP5942984B2 (ja) 2011-03-30 2012-03-12 画像処理装置、撮像装置および画像処理プログラム
CN201280012222.4A CN103430094B (zh) 2011-03-30 2012-03-12 图像处理装置、拍摄装置以及图像处理程序
KR1020137028610A KR20140023953A (ko) 2011-03-30 2012-03-12 화상 처리 장치, 촬상 장치 및 화상 처리 프로그램
US14/008,838 US9854224B2 (en) 2011-03-30 2012-03-12 Image processing apparatus, image capturing apparatus, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-076408 2011-03-30
JP2011076408 2011-03-30

Publications (1)

Publication Number Publication Date
WO2012132270A1 true WO2012132270A1 (ja) 2012-10-04

Family

ID=46930064

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/001704 WO2012132270A1 (ja) 2011-03-30 2012-03-12 画像処理装置、撮像装置および画像処理プログラム

Country Status (5)

Country Link
US (1) US9854224B2 (ja)
JP (1) JP5942984B2 (ja)
KR (1) KR20140023953A (ja)
CN (1) CN103430094B (ja)
WO (1) WO2012132270A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014107593A (ja) * 2012-11-22 2014-06-09 Nikon Corp 撮像装置およびレンズユニット
JP2015070612A (ja) * 2013-09-28 2015-04-13 株式会社リコー プレノプティックｘｙｚ画像化システム用カラーフィルタモジュールのデザイン

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018181358A1 (ja) * 2017-03-27 2018-10-04 株式会社ニコン 撮像装置および撮像素子
IL257635A (en) * 2018-02-20 2018-04-30 Tech Innovation Momentum Fund Israel Limited Partnership System and method for light field imaging
CN114467127A (zh) * 2019-08-20 2022-05-10 科技创新动量基金(以色列)参股有限公司 用于认证三维物体的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02228191A (ja) * 1989-02-28 1990-09-11 Toshiba Corp 立体カメラの色信号処理回路
JP2000278719A (ja) * 1999-03-24 2000-10-06 Ricoh Co Ltd 両眼立体視画像評価装置、両眼立体視画像評価方法及び記録媒体
JP2003047028A (ja) * 2001-08-01 2003-02-14 Olympus Optical Co Ltd 撮像装置及び立体画像撮影方法
JP2004246153A (ja) * 2003-02-14 2004-09-02 Canon Inc 立体画像表示装置
JP2008524673A (ja) * 2004-12-06 2008-07-10 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート ステレオカメラの画像の歪み補正装置、及びその方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2562733B2 (ja) * 1991-02-19 1996-12-11 三洋電機株式会社 白バランス調整装置
JP3186448B2 (ja) 1994-08-01 2001-07-11 ミノルタ株式会社 立体テレビカメラ
JPH11209144A (ja) * 1998-01-21 1999-08-03 Hoya Corp 近赤外吸収フィルター用ガラスおよびそれを用いた近赤外吸収フィルター
US6518640B2 (en) 1999-12-02 2003-02-11 Nikon Corporation Solid-state image sensor, production method of the same, and digital camera
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2003161912A (ja) * 2001-09-13 2003-06-06 Hit Design:Kk ３次元画像表示装置および３次元画像表示における色再現方法
EP2482316B1 (en) 2006-04-03 2013-10-16 Toppan Printing Co., Ltd. Color imaging device manufacturing method
JP4710693B2 (ja) * 2006-04-03 2011-06-29 凸版印刷株式会社 カラー撮像素子及びカラー撮像素子製造方法
JP2007304525A (ja) * 2006-05-15 2007-11-22 Ricoh Co Ltd 画像入力装置および電子機器および画像入力方法
US7989745B2 (en) * 2007-10-01 2011-08-02 Nikon Corporation Solid-state imaging device with focus detection and electronic camera with focus adjustment
JP4905326B2 (ja) * 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
CN100581265C (zh) * 2008-01-16 2010-01-13 宁波大学 一种多视点视频的处理方法
JP2011223562A (ja) * 2010-03-23 2011-11-04 Fujifilm Corp 撮像装置
JP2012212975A (ja) * 2011-03-30 2012-11-01 Nikon Corp 撮像装置および撮像装置の制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02228191A (ja) * 1989-02-28 1990-09-11 Toshiba Corp 立体カメラの色信号処理回路
JP2000278719A (ja) * 1999-03-24 2000-10-06 Ricoh Co Ltd 両眼立体視画像評価装置、両眼立体視画像評価方法及び記録媒体
JP2003047028A (ja) * 2001-08-01 2003-02-14 Olympus Optical Co Ltd 撮像装置及び立体画像撮影方法
JP2004246153A (ja) * 2003-02-14 2004-09-02 Canon Inc 立体画像表示装置
JP2008524673A (ja) * 2004-12-06 2008-07-10 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート ステレオカメラの画像の歪み補正装置、及びその方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014107593A (ja) * 2012-11-22 2014-06-09 Nikon Corp 撮像装置およびレンズユニット
JP2015070612A (ja) * 2013-09-28 2015-04-13 株式会社リコー プレノプティックｘｙｚ画像化システム用カラーフィルタモジュールのデザイン

Also Published As

Publication number Publication date
KR20140023953A (ko) 2014-02-27
CN103430094A (zh) 2013-12-04
US9854224B2 (en) 2017-12-26
US20140055571A1 (en) 2014-02-27
JPWO2012132270A1 (ja) 2014-07-24
CN103430094B (zh) 2017-03-01
JP5942984B2 (ja) 2016-06-29

Similar Documents

Publication Publication Date Title
JP5915537B2 (ja) 撮像素子、及び、撮像装置
JP5804055B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2013136819A1 (ja) 撮像素子、撮像装置および撮像システム
JP5942984B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
WO2013114895A1 (ja) 撮像装置
WO2012140917A1 (ja) 画像処理装置および画像処理プログラム
WO2013057859A1 (ja) 撮像素子
JP6197316B2 (ja) 撮像素子および撮像装置
JP5874729B2 (ja) 撮像装置
JP5874334B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム
JP5979137B2 (ja) 撮像装置および撮像装置の制御プログラム
JP5887845B2 (ja) 画像処理方法および画像処理プログラム
JP6476630B2 (ja) 撮像装置
JP5978737B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2012212975A (ja) 撮像装置および撮像装置の制御プログラム
JP6205770B2 (ja) 撮像素子および撮像システム
JP2014107594A (ja) 撮像素子および撮像装置
JP2013090265A (ja) 画像処理装置および画像処理プログラム
JP6051568B2 (ja) 撮像素子および撮像装置
JP5978735B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5991461B2 (ja) 撮像装置およびその撮像プログラム
JP2013150055A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2014085608A (ja) 撮像装置
JP2013219180A (ja) 撮像素子および撮像装置
JP2013162362A (ja) 撮像装置および撮像プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12765902

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013507129

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14008838

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20137028610

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 12765902

Country of ref document: EP

Kind code of ref document: A1