WO2013136809A1 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

画像処理装置、撮像装置および画像処理プログラム Download PDF

Info

Publication number
WO2013136809A1
WO2013136809A1 PCT/JP2013/001746 JP2013001746W WO2013136809A1 WO 2013136809 A1 WO2013136809 A1 WO 2013136809A1 JP 2013001746 W JP2013001746 W JP 2013001746W WO 2013136809 A1 WO2013136809 A1 WO 2013136809A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
parallax
color
image
pixel value
Prior art date
Application number
PCT/JP2013/001746
Other languages
English (en)
French (fr)
Inventor
石賀　健一
清茂 芝崎
浜島　宗樹
晋 森
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN201380014377.6A priority Critical patent/CN104170377B/zh
Publication of WO2013136809A1 publication Critical patent/WO2013136809A1/ja
Priority to US14/482,397 priority patent/US10027942B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Definitions

  • the present invention relates to an image processing device, an imaging device, and an image processing program.
  • Patent Literature Japanese Patent Application Laid-Open No. 2003-7994
  • an unbalance such as illuminance mismatch occurs between parallax images as a unique phenomenon that occurs when a parallax pixel is combined with a single optical system.
  • the imbalance between the parallax images has an adverse effect.
  • An image processing apparatus includes a first filter having a first filter of a first component color among a plurality of color components constituting a color of a subject image and a first pixel having a non-parallax opening corresponding to a reference direction.
  • An acquisition unit that acquires first image data including a third pixel value of a third pixel having a parallax opening that generates parallax in a direction opposite to one direction, and the pixel position of the second pixel A fourth pixel value obtained by averaging the second pixel value at the pixel position and the virtual third pixel value calculated using the third pixel value of the surrounding third pixel, and the pixel position of the third pixel
  • the third pixel value at the pixel position and the surrounding A calculation unit for calculating a fifth pixel value obtained by averaging the virtual second pixel value calculated using the second pixel value of the second pixel, a first pixel value, a fourth pixel value, and a fifth pixel value;
  • An image generation unit configured to generate second
  • An imaging device is an imaging device including an imaging device that captures a subject image and the above-described image processing device, and the first image data is generated based on an output of the imaging device.
  • An image processing program includes a first filter of a first component color among a plurality of color components constituting a color of a subject image and a first pixel having an opening with no parallax corresponding to a reference direction.
  • FIG. 6 is a diagram for explaining a blurred subject image. It is a figure which shows the pixel arrangement
  • 1 is a diagram illustrating a configuration of a digital camera 10.
  • FIG. 2 is a diagram illustrating a cross-sectional configuration of an image sensor 100.
  • FIG. 2 is a schematic diagram illustrating a state in which a part of the image sensor 100 is enlarged.
  • FIG. It is a conceptual diagram explaining the relationship between a parallax pixel and a to-be-photographed object. It is a conceptual diagram explaining the process which produces
  • the digital camera according to the present embodiment which is a form of the image processing apparatus and the imaging apparatus, is configured to be able to generate images with a plurality of viewpoints for one scene by one shooting. Each image having a different viewpoint is called a parallax image.
  • Patent Document 1 a single-plate type Bayer array type color solid-state imaging device has a parallax pixel having only a left aperture spread on half of the pixels and a parallax pixel having only a right aperture spread on the other half of the pixels.
  • An imaging method capable of forming a stereoscopic image by one imaging with a single camera is disclosed.
  • Patent Document 1 does not clearly describe a specific method for generating left-eye and right-eye color images from imaging data. What kind of sensor characteristics the imaging element of a half-opening parallax pixel has, There is a problem that there is no description about what kind of problems are encountered in order to obtain a resolving stereoscopic image and what must be dealt with.
  • An object of the present invention is to provide a method for generating a high-resolution stereoscopic image based on the optical system and sensor characteristics.
  • the present invention solves the problem of illuminance distribution mismatch that occurs between left-eye and right-eye pixels when a three-dimensional image is captured using a single-plate image sensor having left-eye and right-eye half-opening parallax pixels. Appropriately handled, high-resolution right-eye and left-eye images can be generated.
  • the color filter array has a Bayer array structure, and one G pixel is provided with a left-opening parallax pixel, and the other G pixel is provided with a right-opening parallax pixel as an opening mask. Further, the R pixel and the B pixel are provided with pixels with no parallax of all openings.
  • the resolution related to the spatial frequency of this array is shown in Fig. 1 (bottom).
  • the types of color filters and aperture masks are multiplexed on one sensor surface, when they are separated into specific colors of specific aperture masks and the critical resolution frequency is viewed, they are the Nyquist of the original pixel. It only has a resolution that never reaches the frequency.
  • the final left-view color image is output to the original Nyquist frequency by superimposing the left-view image, which has only a small resolving power in the frequency space, and the intermediate image without parallax. can do.
  • the color image of the right viewpoint is output to the original Nyquist frequency by superimposing the left-view image, which has only a small resolving power in the frequency space, and the intermediate image without parallax. can do.
  • the color image of the right viewpoint is output to the original Nyquist frequency by superimposing the left-view image, which has only a small resolving power in the frequency space, and the intermediate image without parallax. can do.
  • the color image of the right viewpoint is output to the original Nyquist frequency by superimposing the left-view image, which has only a small resolving power in the frequency space, and the intermediate image without parallax.
  • the left parallax pixel is bright on the right side and dark on the left side of the image capturing the subject image.
  • the right parallax pixel is brighter on the left side of the image and darker on the right side. That is, even if the subject image is the same, the right parallax pixel and the left parallax pixel are captured as images with completely different illuminance.
  • a method for simultaneously solving the problem of illuminance mismatch between parallax pixels and the problem of subject position mismatch due to parallax based on the characteristics of the subject image of the monocular pupil division method. That is, as shown in FIG. 14, in the monocular pupil division imaging, the focused subject image does not cause a parallax shift in the left and right parallax pixels, and only the subject image at the out-of-focus position, A parallax shift occurs. That is, the parallax is included only in the blur. As shown in FIG. 3, the blurred subject image can generate an image without parallax by simply taking an average.
  • the imaging signal is generated as it is without changing even if the parallax average between the left and right is taken, while at the position of the blurred subject image,
  • the parallax average between the left and right disappears completely, and the problem of gain mismatch due to illuminance unevenness also disappears completely and can be solved simultaneously.
  • arithmetic mean a subject image with a large blur width, which is the sum of the two blur widths, is generated at an intermediate position.
  • geometric mean a subject image having the same blur width as the blur width divided into two is generated at the intermediate position.
  • a subject image having the same blur width as that of the pixels with no parallax of the entire aperture is formed, and in the case of the geometric average, a subject image having the same blur width as that of the parallax pixels of the half aperture is formed.
  • the intermediate image without parallax can be used as a conventional high-resolution two-dimensional image for monitor display and print output.
  • a left parallax image and a right parallax image with low spatial frequency resolution are generated. Performs simple average interpolation in the G color plane, where only the left parallax pixels are collected. Linear interpolation is performed according to the ratio of distances using adjacent pixel values. Similarly, simple average interpolation in the G color plane in which only the right parallax pixels are collected is performed. That, Lt mosaic (x, y) Lt from (x, y) and, Rt mosaic (x, y) from the Rt (x, y) to produce a.
  • Temporary left parallax image Lt (x, y)
  • Temporary right parallax image Rt (x, y)
  • step 4 Generation of parallax-free color mosaic image by correcting left and right illumination distribution (local gain balance correction)
  • local gain correction is performed in units of pixels to match the illuminance of the left parallax pixel in the screen and the right parallax pixel in the screen.
  • a new Bayer surface with gain matching is created. This is equivalent to replacing with an average value, and a Bayer surface in which the parallax disappears is created.
  • M N x, y
  • target value setting methods to be used as reference points for each pixel there are two types of target value setting methods to be used as reference points for each pixel: a method of selecting an arithmetic mean and a method of selecting a geometric mean.
  • the process of applying local gain correction to each pixel is actually only necessary to substitute the average value of each pixel obtained first.
  • the local gain correction is a modulation process for eliminating the parallax.
  • an arithmetic average is employed. In this way, the Bayer plane data is rewritten using the average value of the left viewpoint image and the right viewpoint image as the non-parallax pixel value of the new G pixel position, and the Bayer plane image M N (x, y) without parallax is output. To do.
  • the technology USP6,836,572 for increasing the resolution of the direction determination of the same inventor as the present applicant and resolving the vertical and horizontal Nyquist frequencies
  • the technology USP7,236,628 for increasing the resolution in the oblique direction when calculating the interpolation value
  • adaptive false color countermeasure technology USP7,391,903 by color gradient judgment method and technology to increase resolution of direction judgment The best high-performance demosaic technology used in is introduced.
  • the positive offset value ⁇ is set to a larger value as the imaging condition with higher sensitivity increases the dark current noise component.
  • step S4 the CPU performs an interpolation process as follows.
  • a pixel having R component color information is referred to as an R pixel
  • a pixel having B component color information is referred to as a B pixel
  • a pixel having G component color information is referred to as a G pixel.
  • the signal value of the R component corresponding to the pixel indicated by i, j] is R [i, j]
  • the signal value of the G component is G [i, j]
  • the signal value of the B component is B [i, j]. I will represent it.
  • the CPU determines the vertical similarity CvN [i, j] and the horizontal similarity ChN [i, j] for the pixel (R pixel or B pixel) that is not the G pixel indicated by the pixel position [i, j].
  • Z [i, j] is the signal value of the R component or B component indicated by the pixel position [i, j].
  • the first term is the similarity between the same colors that represents the similarity between the same colors at two pixel intervals
  • the second term is the similarity between the different colors that represents the similarity between the different colors at the adjacent pixel intervals.
  • the similarity between different colors has the ability to resolve vertical and horizontal Nyquist frequencies.
  • the absolute value of the first term in the above equations (3) and (4) is to detect rough directionality by comparing the G color components.
  • the absolute values of the second and third terms in the above equations (3) and (4) detect fine similarities that cannot be detected by the first term.
  • the CPU calculates the vertical similarity and the horizontal similarity obtained by the above formulas (3) and (4) for each coordinate, and calculates the vertical and horizontal similarity in the target coordinates [i, j]. Based on the following equation (5), the direction of similarity is determined.
  • Th is a determination threshold value used to avoid erroneous determination due to noise included in the signal value, and is changed according to the ISO sensitivity.
  • the CPU interpolates the G component using the unevenness information of the R component or the B component. That is, information on whether or not to interpolate to an external dividing point that cannot be predicted only by interpolation of the inner G component of the surrounding G component, information on the same color component that is located in the vicinity of information on other color components existing at the interpolation target position And determining whether the image structure is convex upward or downward. That is, the information of the high frequency component obtained by sampling other color components is superimposed on the interpolation target color component.
  • the G color complement is calculated by the following formulas (6) and (9) when the vertical direction is similar to the position [i, j] of the center R pixel shown in FIG.
  • Z [i, j] is the signal value of the R component or B component indicated by the pixel position [i, j].
  • the first term in the above equation (9) is calculated from the G component signal values G [i, j-1] and G [i, j + 1] arranged vertically with respect to the pixel position [i, j]. Represents the average value.
  • the second term in the above equation (9) is the amount of change calculated from the R component signal values R [i, j], R [i, j-2] and R [i, j + 2] arranged vertically. To express. By adding the amount of change in the R component signal value to the average value of the G component signal value, the G component interpolation value G [i, j] is obtained. Since such interpolation can be predicted except for the internal dividing point of the G component, it will be referred to as extrapolation for convenience.
  • the above equation (10) performs extrapolation in the horizontal direction using the signal values of the pixels arranged horizontally with respect to the pixel position [i, j], as in the case of the extrapolation in the vertical direction described above. It is.
  • the CPU calculates the G color interpolation values by the above formulas (9) and (10), and takes the average of the two calculated G color interpolation values. Let it be a G color interpolation value.
  • R interpolation For R color interpolation, pixel positions [i + 1, j], [i, j + 1], [i + 1, j other than the R pixel position [i, j] shown in FIG. +1] is calculated by the following equations (11) to (13), respectively. At this time, unevenness information of G component signal values (FIG. 7 of WO2006 / 006373) corresponding to all pixel positions obtained by the G interpolation described above is used.
  • the first term in the above equations (11) to (13) represents an average value calculated from the R component signal value adjacent to the coordinates to be subjected to R component interpolation, and the first term in the above equations (11) to (13).
  • B interpolation For the B component interpolation, interpolation processing is performed in the same manner as the R component. For example, for pixel positions [i + 1, j], [i, j + 1], [i + 1, j + 1] other than the position [i, j] of the B pixel shown in FIG. 8 of WO2006 / 006373 Are calculated by the following equations (14) to (16), respectively. At this time, the unevenness information of the G component signal values (FIG. 9 of WO2006 / 006373) corresponding to all the pixel positions obtained by the G interpolation described above is used.
  • the change amount of the G component signal value is added to the average value of the B component signal value to obtain the B component interpolation value.
  • step 5-3 Transition to original linear gradation space by inverse gradation conversion
  • the inverse gradation conversion of step 5-1 is performed on each Bayer-interpolated RGB color plane to return to linear gradation RGB data.
  • the obtained RGB color image without parallax is represented by R N (x, y), G N (x, y), and B N (x, y). These are RGB data expressed in linear gradation.
  • This can be called parallax modulation because the displacement processing is realized by superimposing the parallax components of the temporary parallax image.
  • parallax modulation methods There are two types of parallax modulation methods: a method using an arithmetic average as a reference point and a method using a geometric average as a reference point. Both can obtain a parallax modulation effect, but when the aperture mask of pixels without parallax of the image sensor is full aperture, a method using an arithmetic average as a reference point is adopted, and the aperture mask of pixels without parallax is a pixel with parallax. It is better to adopt a method using the geometric mean as a reference point when the same half aperture is used. Therefore, in this embodiment, a method using an arithmetic mean as a reference point is used.
  • step 6 the parallax modulation calculation formula defined in step 6 and the parallax extinction calculation formula (local gain balance correction) for correcting illuminance unevenness between the left and right defined in step 4 are just in inverse relationship. It can be seen that modulation is applied by multiplying. Therefore, in step 6, it works in the direction in which the parallax is applied, and in step 4, it works in the direction in which the parallax disappears.
  • Effect 1 As a solution based on the characteristics peculiar to the monocular pupil division method, the effect of simultaneously eliminating the illuminance distribution mismatch between the left and right and the subject position mismatch due to the presence of parallax.
  • the two problems of parallax shift and illuminance difference are matched, and there is no parallax Intermediate images can be generated.
  • Effect 2 The assets of the conventional demosaic technology can be used as they are, and a high-resolution image can be generated.
  • the non-parallax pixel has a blur width at the time of the full opening that is the sum of the opening areas of the left parallax pixel and the right parallax pixel.
  • a measure was taken to match the blur width of the captured subject image of the non-parallax pixels by taking the arithmetic mean of the left and right parallax pixel values.
  • the color image without parallax forms a subject image that matches the blur width of the entire aperture, so the left and right viewpoint images are used as the denominator of the parallax modulation that keeps the ratio constant.
  • An image having the blur width of the full aperture by the arithmetic average of the above is taken as a reference point, and the left and right color images after parallax modulation are modulated again so as to become an image having the blur width of the half aperture.
  • Embodiments 1 to 3 has the same shape as the left parallax pixel and the right parallax pixel, and an aperture mask having the same aperture area is arranged at the center of the pixel, there is no parallax in the pixel with parallax.
  • a measure is taken to use the geometric average as the average value of the left and right parallax pixel values to match the blur width of the captured subject image of the non-parallax pixel.
  • the color image without parallax forms a subject image that matches the half-openness blur width, so the left and right viewpoint images are used as the denominator of the parallax modulation that keeps the ratio constant.
  • An image having a half-aperture blur width based on the geometric average is taken as a reference point, and the left and right color images after parallax modulation are again modulated so as to become an image having a half-aperture blur width.
  • both the parallax extinction process for correcting illuminance unevenness and the process of adding parallax modulation at the end are all performed using the arithmetic mean as a reference point. It is good.
  • the non-parallax pixel has a half-aperture mask area
  • the calculation is performed using the geometric mean as a reference point in both the parallax extinction process for correcting illuminance unevenness and the final parallax modulation process. It is good.
  • Flow chart the same as in the first embodiment.
  • R N_mosaic (x, y) R Lt_mosaic (x, y), the signal surface of the left parallax pixel of R component, R Rt_mosaic (x, y), the signal surface of the right parallax pixel of the R component, G N_mosaic (x, y), the signal plane of the left parallax pixel of G component, G Lt_mosaic (x, y) G Rt_mosaic (x, y), the signal plane of the right parallax pixel of G component, B N_mosaic (x, y)
  • B Lt_mosaic (x, y) be the signal surface of the left parallax pixel of the B component, B Rt_mosaic (x, y) It will be expressed as
  • a temporary left parallax image and a temporary right parallax image with low spatial frequency resolution are generated. Performs simple average interpolation in the G color plane, where only the left parallax pixels are collected. Linear interpolation is performed according to the distance ratio using pixel values that are close to each other. Similarly, simple average interpolation in the G color plane in which only the right parallax pixels are collected is performed. Similarly, simple average interpolation in the G color plane in which only non-parallax pixels are collected is performed. Similar processing is performed for each of R, G, and B.
  • Temporary R component-free parallax image R N (x, y) Temporary G component parallax-free image: G N (x, y) Temporary B component non-parallax image: B N (x, y) Temporary R component left parallax image: R Lt (x, y) Temporary G component left parallax image: G Lt (x, y) Temporary B component left parallax image: B Lt (x, y) Temporary R component right parallax image: R Rt (x, y) Temporary G component right parallax image: G Rt (x, y) Temporary B component right parallax image: B Rt (x, y) When creating temporary non-parallax images R N (x, y), G N (x, y), and B N (x, y), high-definition is performed by introducing direction determination in the signal plane. May be.
  • the Bayer plane data is rewritten by using the pixel value obtained by averaging the average value of the left viewpoint image and the right viewpoint image with the reference viewpoint image having no parallax as a new non-parallax pixel value. None Outputs the Bayer plane image M N (x, y).
  • the provisional right parallax color images R Rt (x, y), G Rt (x, y), B Rt (x, y) generated in step 3 and intermediate processing in step 5 are generated.
  • color image R N without high resolution parallax (x, y), G N (x, y), using B N (x, y), color image actually output to high right parallax resolving power R 'Rt (x, y), G ′ Rt (x, y), and B ′ Rt (x, y) are generated.
  • parallax modulation methods There are two types of parallax modulation methods: a method using an arithmetic average as a reference point and a method using a geometric average as a reference point. Both can obtain a parallax modulation effect, but when the aperture mask of pixels without parallax of the image sensor is full aperture, a method using an arithmetic average as a reference point is adopted, and the aperture mask of pixels without parallax is a pixel with parallax. A method using the geometric mean as the reference point for the same half aperture is adopted. Therefore, in this embodiment, a method using an arithmetic mean as a reference point is used.
  • a temporary left parallax image and a temporary right parallax image with low spatial frequency resolution are generated.
  • Simple average interpolation is performed in the signal plane that collects only the left parallax pixels. Linear interpolation is performed according to the distance ratio using pixel values that are close to each other. Similarly, simple average interpolation is performed in the signal plane in which only the right parallax pixels are collected. Similarly, simple average interpolation is performed in the signal plane in which only non-parallax pixels are collected.
  • parallax modulation methods There are two types of parallax modulation methods: a method using an arithmetic average as a reference point and a method using a geometric average as a reference point. Both can obtain a parallax modulation effect, but when the aperture mask of pixels without parallax of the image sensor is full aperture, a method using an arithmetic average as a reference point is adopted, and the aperture mask of pixels without parallax is a pixel with parallax. A method using the geometric mean as the reference point for the same half aperture is adopted. Therefore, in this embodiment, a method using an arithmetic mean as a reference point is used.
  • an image obtained by performing conventional Bayer interpolation is generated as an intermediate image, and a parallax image having a low resolution obtained from each of R, G, and B is used to perform parallax modulation using the same method as in the second embodiment.
  • a high-resolution left parallax color image and a right parallax color image can be created. In this way, it is possible to cope with the uneven illuminance problem between the left and right parallax pixels that occurs in the conventional image sensor.
  • the left and right parallax pixels have been described. However, even if these image sensors are rotated 90 ° to obtain a vertical parallax, the uneven illuminance correction is performed in exactly the same manner. be able to. The same applies to an image sensor that rotates 45 ° and has an oblique parallax.
  • FIG. 7 is a diagram illustrating the configuration of the digital camera 10.
  • the digital camera 10 includes a photographic lens 20 as a photographic optical system, and guides a subject light beam incident along the optical axis 21 to the image sensor 100.
  • the photographing lens 20 may be an interchangeable lens that can be attached to and detached from the digital camera 10.
  • the digital camera 10 includes an image sensor 100, a control unit 201, an A / D conversion circuit 202, a memory 203, a drive unit 204, an image processing unit 205, a memory card IF 207, an operation unit 208, a display unit 209, an LCD drive circuit 210, and an AF.
  • a sensor 211 is provided.
  • the direction parallel to the optical axis 21 toward the image sensor 100 is defined as the Z-axis plus direction
  • the direction toward the front of the drawing on the plane orthogonal to the Z-axis is the X-axis plus direction
  • the upward direction on the drawing is Y.
  • the axis is defined as the plus direction.
  • the coordinate axes are displayed so that the orientation of each figure can be understood with reference to the coordinate axes in FIG.
  • the photographing lens 20 is composed of a plurality of optical lens groups, and forms an image of a subject light flux from the scene in the vicinity of its focal plane.
  • the photographic lens 20 is represented by a single virtual lens arranged in the vicinity of the pupil.
  • the image sensor 100 is disposed near the focal plane of the photographic lens 20.
  • the image sensor 100 is an image sensor such as a CCD or CMOS sensor in which a plurality of photoelectric conversion elements are two-dimensionally arranged.
  • the image sensor 100 is controlled in timing by the drive unit 204, converts the subject image formed on the light receiving surface into an image signal, and outputs the image signal to the A / D conversion circuit 202.
  • the A / D conversion circuit 202 converts the image signal output from the image sensor 100 into a digital image signal and outputs the digital image signal to the memory 203.
  • the image processing unit 205 performs various image processing using the memory 203 as a work space, and generates image data. In particular, the image processing unit 205 extracts a pixel value from the target pixel position of the color image data and the parallax image data, and extracts a pixel value as color image data at the target pixel position using the extracted pixel value.
  • a calculation unit 233 for calculating is provided. Details of each processing will be described later.
  • the image processing unit 205 also has general image processing functions such as adjusting image data according to the selected image format.
  • the generated image data is converted into a display signal by the LCD drive circuit 210 and displayed on the display unit 209.
  • the data is recorded on the memory card 220 attached to the memory card IF 207.
  • the AF sensor 211 is a phase difference sensor in which a plurality of distance measuring points are set with respect to the subject space, and detects the defocus amount of the subject image at each distance measuring point.
  • a series of shooting sequences is started when the operation unit 208 receives a user operation and outputs an operation signal to the control unit 201.
  • Various operations such as AF and AE accompanying the imaging sequence are executed under the control of the control unit 201.
  • the control unit 201 analyzes the detection signal of the AF sensor 211 and executes focus control for moving a focus lens that constitutes a part of the photographing lens 20.
  • FIG. 8 is a schematic diagram illustrating a cross section of the image sensor 100.
  • the imaging element 100 is configured by arranging a micro lens 101, a color filter 102, an aperture mask 103, a wiring layer 105, and a photoelectric conversion element 108 in order from the subject side.
  • the photoelectric conversion element 108 is configured by a photodiode that converts incident light into an electrical signal.
  • a plurality of photoelectric conversion elements 108 are two-dimensionally arranged on the surface of the substrate 109.
  • the image signal converted by the photoelectric conversion element 108, the control signal for controlling the photoelectric conversion element 108, and the like are transmitted / received via the wiring 106 provided in the wiring layer 105.
  • an opening mask 103 having openings 104 provided in one-to-one correspondence with each photoelectric conversion element 108 is provided in contact with the wiring layer.
  • the opening 104 is shifted for each corresponding photoelectric conversion element 108 so that the relative position is precisely determined.
  • parallax occurs in the subject light beam received by the photoelectric conversion element 108 by the action of the opening mask 103 including the opening 104.
  • the aperture mask 103 does not exist on the photoelectric conversion element 108 that does not generate parallax.
  • an aperture mask 103 having an aperture 104 that does not limit the subject luminous flux incident on the corresponding photoelectric conversion element 108, that is, allows the entire incident luminous flux to pass therethrough is provided.
  • the aperture 107 formed by the wiring 106 defines the incident light flux that is incident, so the wiring 106 is regarded as an aperture mask that allows the entire incident light flux that does not cause parallax to pass.
  • the opening mask 103 may be arranged separately and independently corresponding to each photoelectric conversion element 108, or may be formed collectively for a plurality of photoelectric conversion elements 108 in the same manner as the manufacturing process of the color filter 102. .
  • the color filter 102 is provided on the opening mask 103.
  • the color filter 102 is a filter provided in a one-to-one correspondence with each photoelectric conversion element 108, which is colored so as to transmit a specific wavelength band to each photoelectric conversion element 108.
  • the microlens 101 is provided on the color filter 102.
  • the microlens 101 is a condensing lens for guiding more incident subject light flux to the photoelectric conversion element 108.
  • the microlenses 101 are provided in a one-to-one correspondence with the photoelectric conversion elements 108.
  • the optical axis of the microlens 101 is shifted so that more subject light flux is guided to the photoelectric conversion element 108. It is preferable.
  • the arrangement position may be adjusted so that more specific subject light beam, which will be described later, is incident along with the position of the opening 104 of the opening mask 103.
  • one unit of the aperture mask 103, the color filter 102, and the microlens 101 provided on a one-to-one basis corresponding to each photoelectric conversion element 108 is referred to as a pixel.
  • a pixel provided with the opening mask 103 that generates parallax is referred to as a parallax pixel
  • a pixel that is not provided with the opening mask 103 that generates parallax is referred to as a non-parallax pixel.
  • the effective pixel area of the image sensor 100 is about 24 mm ⁇ 16 mm, the number of pixels reaches about 12 million.
  • the microlens 101 may not be provided.
  • the wiring layer 105 is provided on the side opposite to the photoelectric conversion element 108. Further, if the opening 104 of the opening mask 103 has a color component, the color filter 102 and the opening mask 103 can be formed integrally.
  • the opening mask 103 and the wiring 106 are provided as separate bodies, but the wiring 106 may be responsible for the function of the opening mask 103 in the parallax pixels. That is, a prescribed opening shape is formed by the wiring 106, and the incident light beam is limited by the opening shape to guide only a specific partial light beam to the photoelectric conversion element 108. In this case, the wiring 106 that forms the opening shape is preferably closest to the photoelectric conversion element 108 in the wiring layer 105.
  • the opening mask 103 may be formed by a permeation blocking film provided to overlap the photoelectric conversion element 108.
  • the opening mask 103 is formed, for example, by sequentially laminating a SiN film and a SiO 2 film to form a permeation blocking film and removing a region corresponding to the opening 104 by etching.
  • FIG. 9 is a schematic diagram illustrating a state in which a part of the image sensor 100 is enlarged.
  • the color arrangement of the color filter 102 is not considered until the reference is resumed later.
  • the repetitive pattern described below may be considered as an adjacent pixel in the color filter 102 of the same color.
  • the opening 104 of the opening mask 103 is provided with a relative shift with respect to each pixel.
  • the openings 104 are provided at positions displaced from each other.
  • the entire image sensor 100 has a two-dimensional and periodic array of photoelectric conversion element groups each including a set of six parallax pixels each having an aperture mask 103 that gradually shifts from the left side to the right side of the drawing. .
  • FIG. 10 is a conceptual diagram illustrating the relationship between the parallax pixels and the subject.
  • FIG. 10A shows a photoelectric conversion element group of a repetitive pattern 110t arranged at the center orthogonal to the photographing optical axis 21 in the image pickup element 100
  • FIG. 10B shows a repetitive arrangement arranged in the peripheral portion.
  • the photoelectric conversion element group of the pattern 110u is typically shown.
  • the subject 30 in FIGS. 10A and 10B is in the in-focus position with respect to the photographic lens 20.
  • FIG. 10C schematically shows the relationship when the subject 31 existing at the out-of-focus position with respect to the photographing lens 20 is captured corresponding to FIG.
  • the subject luminous flux passes through the pupil of the photographic lens 20 and is guided to the image sensor 100.
  • Six partial areas Pa to Pf are defined for the entire cross-sectional area through which the subject luminous flux passes. For example, in the pixel at the left end of the sheet of the photoelectric conversion element group constituting the repetitive patterns 110t and 110u, only the subject luminous flux emitted from the partial region Pf reaches the photoelectric conversion element 108 as can be seen from the enlarged view.
  • the position of the opening 104f of the opening mask 103 is determined.
  • the position of the opening 104e corresponding to the partial area Pe the position of the opening 104d corresponding to the partial area Pd, and the position of the opening 104c corresponding to the partial area Pc.
  • the position of the opening 104b is determined corresponding to the partial area Pb
  • the position of the opening 104a is determined corresponding to the partial area Pa.
  • the position of the opening 104f is determined by the inclination of the principal ray Rf of the subject light beam (partial light beam) emitted from the partial region Pf, which is defined by the relative positional relationship between the partial region Pf and the leftmost pixel, for example. It may be said that it is established. Then, when the photoelectric conversion element 108 receives the subject luminous flux from the subject 30 existing at the in-focus position via the opening 104f, the subject luminous flux is coupled on the photoelectric conversion element 108 as shown by the dotted line. Image.
  • the position of the opening 104e is determined by the inclination of the principal ray Re
  • the position of the opening 104d is determined by the inclination of the principal ray Rd
  • the position of the opening 104c is determined by the inclination of the principal ray Rc.
  • the position of the opening 104b is determined by the inclination of the light ray Rb
  • the position of the opening 104a is determined by the inclination of the principal ray Ra.
  • the light beam emitted from the minute region Ot on the subject 30 that intersects the optical axis 21 among the subject 30 existing at the in-focus position passes through the pupil of the photographing lens 20.
  • each pixel of the photoelectric conversion element group constituting the repetitive pattern 110t is reached. That is, each pixel of the photoelectric conversion element group constituting the repetitive pattern 110t receives the light beam emitted from one minute region Ot through the six partial regions Pa to Pf.
  • the minute region Ot has an extent corresponding to the positional deviation of each pixel of the photoelectric conversion element group constituting the repetitive pattern 110t, it can be approximated to substantially the same object point.
  • the luminous flux emitted from the minute region Ou on the subject 30 that is separated from the optical axis 21 among the subject 30 that exists at the in-focus position is reflected on the pupil of the photographing lens 20. It passes through and reaches each pixel of the photoelectric conversion element group constituting the repetitive pattern 110u. That is, each pixel of the photoelectric conversion element group constituting the repetitive pattern 110u receives a light beam emitted from one minute region Ou via each of the six partial regions Pa to Pf.
  • the micro area Ou has an extent corresponding to the positional deviation of each pixel of the photoelectric conversion element group constituting the repetitive pattern 110u, but substantially the same object point. Can be approximated.
  • the minute area captured by the photoelectric conversion element group differs according to the position of the repetitive pattern 110 on the image sensor 100, and each pixel constituting the photoelectric conversion element group Captures the same minute region through different partial regions.
  • each repetitive pattern 110 corresponding pixels receive the subject luminous flux from the same partial area. That is, in the drawing, for example, the leftmost pixel of each of the repeated patterns 110t and 110u receives a partial light beam from the same partial region Pf.
  • each of the parallax pixels arranged on the image sensor 100 includes one of six types of aperture masks.
  • the subject luminous flux from the subject 31 present at the out-of-focus position passes through the six partial areas Pa to Pf of the pupil of the photographing lens 20 and reaches the image sensor 100.
  • the subject light flux from the subject 31 existing at the out-of-focus position forms an image at another position, not on the photoelectric conversion element 108.
  • the subject luminous flux forms an image on the subject 31 side with respect to the photoelectric conversion element 108.
  • the subject luminous flux forms an image on the opposite side of the subject 31 from the photoelectric conversion element 108.
  • the subject luminous flux radiated from the minute region Ot ′ among the subjects 31 existing at the out-of-focus position depends on which of the six partial regions Pa to Pf, the corresponding pixels in different sets of repetitive patterns 110.
  • the subject luminous flux that has passed through the partial region Pd is incident on the photoelectric conversion element 108 having the opening 104d included in the repeated pattern 110t ′ as the principal ray Rd ′.
  • the subject light beam that has passed through another partial region does not enter the photoelectric conversion element 108 included in the repetitive pattern 110t ′, and the repetitive pattern in the other repetitive pattern.
  • the subject luminous flux reaching each photoelectric conversion element 108 constituting the repetitive pattern 110t ′ is a subject luminous flux radiated from different minute areas of the subject 31. That is, a subject luminous flux having a principal ray as Rd ′ is incident on 108 corresponding to the opening 104d, and the principal rays are incident on Ra + , Rb + , Rc + , Re to the photoelectric conversion elements 108 corresponding to the other openings. +, although subject light flux to Rf + is incident, these object light is a subject light flux emitted from different micro region of the object 31. Such a relationship is the same in the repeated pattern 110u arranged in the peripheral portion in FIG.
  • the subject image A captured by the photoelectric conversion element 108 corresponding to the opening 104a and the subject image D captured by the photoelectric conversion element 108 corresponding to the opening 104d are: If the image is for the subject present at the in-focus position, there is no shift, and if the image is for the subject present at the out-of-focus position, there is a shift. Then, the direction and amount of the shift are determined by how much the subject existing at the out-of-focus position is shifted from the focus position and by the distance between the partial area Pa and the partial area Pd. That is, the subject image A and the subject image D are parallax images. Since this relationship is the same for the other openings, six parallax images are formed corresponding to the openings 104a to 104f.
  • a parallax image is obtained by gathering together the outputs of pixels corresponding to each other in each of the repetitive patterns 110 configured as described above. That is, the output of the pixel that has received the subject light beam emitted from a specific partial area among the six partial areas Pa to Pf forms a parallax image.
  • FIG. 11 is a conceptual diagram illustrating processing for generating a parallax image.
  • the figure shows, in order from the left column, the generation of the parallax image data Im_f generated by collecting the outputs of the parallax pixels corresponding to the opening 104f, the generation of the parallax image data Im_e by the output of the opening 104e, the opening State of generation of parallax image data Im_d by output of 104d, state of generation of parallax image data Im_c by output of opening 104c, state of generation of parallax image data Im_b by output of opening 104b, parallax by output of opening 104a
  • the parallax image data Im_f is generated by the output of the opening 104f will be described.
  • the repetitive pattern 110 composed of a group of photoelectric conversion elements including a set of six parallax pixels is arranged in a horizontal row. Therefore, the parallax pixels having the opening 104f are present every six pixels in the left-right direction and continuously in the vertical direction on the virtual imaging element 100 excluding the pixels without parallax. Each of these pixels receives the subject luminous flux from different microregions as described above. Therefore, when the outputs of these parallax pixels are collected and arranged, a parallax image is obtained.
  • each pixel of the image sensor 100 according to the present embodiment is a square pixel, simply gathering results in the result that the number of pixels in the horizontal direction is reduced to 1/6, and vertically long image data is generated. End up. Therefore, by performing an interpolation process to obtain the number of pixels 6 times in the horizontal direction, the parallax image data Im_f is generated as an image with an original aspect ratio.
  • the parallax image data before the interpolation processing is an image that is thinned by 1/6 in the horizontal direction, the resolution in the horizontal direction is lower than the resolution in the vertical direction. That is, it can be said that the number of generated parallax image data and the improvement in resolution are in a conflicting relationship.
  • a specific interpolation process applied to this embodiment will be described later.
  • parallax image data Im_e to parallax image data Im_a are obtained. That is, the digital camera 10 can generate a six-view parallax image having parallax in the horizontal direction.
  • Im_af is image data obtained by calculating an arithmetic average between Im_f and Im_a in order to eliminate parallax.
  • an arithmetic mean between Im_e and Im_b is taken as Im_be.
  • Im_cd an arithmetic average between Im_d and Im_c.
  • Im_cd an arithmetic average between Im_d and Im_c.
  • the output image Im_out thus obtained is a 2D image without parallax from which the influence of the illuminance difference has been removed, and a wide blur width obtained by combining all the blur widths over 6 parallaxes, that is, a pixel with no parallax having a full aperture mask An image of the subject with the same blur width is obtained.
  • FIG. 12 is a diagram for explaining the Bayer arrangement.
  • the Bayer array is an array in which the green filter is assigned to the upper left and lower right pixels, the red filter is assigned to the lower left pixel, and the blue filter is assigned to the upper right pixel.
  • the upper left pixel to which the green filter is assigned is the Gb pixel
  • the lower right pixel to which the green filter is assigned is the Gr pixel.
  • a pixel to which a red filter is assigned is an R pixel
  • a pixel to which blue is assigned is a B pixel.
  • a horizontal direction in which Gb pixels and B pixels are arranged is defined as Gb row, and a horizontal direction in which R pixels and Gr pixels are arranged is defined as Gr row.
  • a vertical direction in which Gb pixels and R pixels are arranged is a Gb column, and a vertical direction in which B pixels and Gr pixels are arranged is a Gr column.
  • a huge number of repetitive patterns 110 can be set for such an array of the color filters 102 depending on what color pixels the parallax pixels and non-parallax pixels are allocated to. For example, if many non-parallax pixels are allocated, high-resolution 2D image data is obtained, and if all pixels of RGB are equally allocated, high-quality 2D image data with little color shift is obtained. . However, in this case, since the number of parallax pixels is relatively small, the image quality is degraded as a 3D image including a plurality of parallax images.
  • a repetitive pattern 110 having various characteristics is set depending on which pixel is a parallax pixel or a non-parallax pixel.
  • each of the parallax pixels is a parallax Lt pixel that is eccentric to the left side of the opening 104 and a parallax Rt pixel that is also eccentric to the right side.
  • the two viewpoint parallax images output from such parallax pixels realize so-called stereoscopic vision.
  • FIG. 13 is a diagram for explaining the concept of defocusing in a pixel without parallax.
  • FIG. 13A when an object point that is a subject exists at the focal position, the subject luminous flux that reaches the image sensor light receiving surface through the lens pupil is steep with the pixel at the corresponding image point as the center. The light intensity distribution is shown.
  • the subject luminous flux exhibits a gentle light intensity distribution on the light receiving surface of the image sensor as compared with the case where the object point exists at the focal position. . That is, the output value at the pixel of the corresponding image point is lowered, and a distribution having output values up to the peripheral pixels is shown.
  • the subject luminous flux when the object point further deviates from the focal position, the subject luminous flux exhibits a gentler light intensity distribution on the image sensor light receiving surface.
  • the output value at the pixel of the corresponding image point further decreases, and a distribution having output values up to the surrounding pixels is shown.
  • FIG. 14 is a diagram for explaining the concept of defocusing in a parallax pixel.
  • the parallax Lt pixel and the parallax Rt pixel receive the subject luminous flux that arrives from one of the two parallax virtual pupils set as the optical axis target as a partial region of the lens pupil.
  • the peak of the light intensity distribution indicated by the parallax Lt pixel corresponds to the image point, compared to the case where the object point exists at the focal position. Appearing at a position away from the pixel in one direction, and its output value decreases. In addition, the width of the pixel having the output value is increased. The peak of the light intensity distribution indicated by the parallax Rt pixel appears at a position away from the pixel corresponding to the image point in the opposite direction to the one direction in the parallax Lt pixel and at an equal distance, and the output value similarly decreases. Similarly, the width of the pixel having the output value is increased.
  • the same light intensity distribution that is gentler than that in the case where the object point exists at the focal position appears at an equal distance from each other. Further, as shown in FIG. 14C, when the object point is further deviated from the focal position, the same light intensity distribution that is more gentle than the state of FIG. 14B appears further apart. . That is, it can be said that the amount of blur and the amount of parallax increase as the object point deviates from the focal position.
  • FIG. 13 is a graph showing the change in the light intensity distribution described in FIG. 13 and the change in the light intensity distribution described in FIG.
  • the horizontal axis represents the pixel position, and the center position is the pixel position corresponding to the image point.
  • the vertical axis represents the output value of each pixel. Since this output value is substantially proportional to the light intensity, it is shown as the light intensity in the figure.
  • FIG. 15A is a graph showing changes in the light intensity distribution described in FIG.
  • a distribution curve 1801 represents the light intensity distribution corresponding to FIG. 13A and shows the steepest state.
  • a distribution curve 1802 represents a light intensity distribution corresponding to FIG. 13B, and a distribution curve 1803 represents a light intensity distribution corresponding to FIG.
  • the peak value gradually decreases and has a broadening.
  • FIG. 15B is a graph showing changes in the light intensity distribution described in FIG.
  • a distribution curve 1804 and a distribution curve 1805 represent the light intensity distribution of the parallax Lt pixel and the light intensity distribution of the parallax Rt pixel in FIG. As can be seen from the figure, these distributions have a line-symmetric shape with respect to the center position. Further, a combined distribution curve 1806 obtained by adding them shows a similar shape to the distribution curve 1802 in FIG. 13B, which is in the same defocused state as in FIG. 14B.
  • the distribution curve 1807 and the distribution curve 1808 represent the light intensity distribution of the parallax Lt pixel and the light intensity distribution of the parallax Rt pixel in FIG. As can be seen from the figure, these distributions are also symmetrical with respect to the center position. Further, a combined distribution curve 1809 obtained by adding them shows a similar shape to the distribution curve 1803 in FIG. 13C, which is in the same defocused state as in FIG. 14C.
  • FIG. 16 is a diagram illustrating the opening shape of the opening 104 when there are two types of parallax pixels.
  • the shape of the opening 104l of the parallax Lt pixel and the shape of the opening 104r of the parallax Rt pixel are obtained by dividing the shape of the opening 104n of the non-parallax pixel by the center line 322, respectively.
  • the example which is the same is shown. That is, in FIG. 16A, the area of the opening 104n of the non-parallax pixel is the sum of the area of the opening 104l of the parallax Lt pixel and the area of the opening 104r of the parallax Rt pixel.
  • the opening 104n of the non-parallax pixel is referred to as a full-opening opening, and the opening 104l and the opening 104r are referred to as half-opening openings.
  • the opening is directed to the reference direction.
  • the opening 104l of the parallax Lt pixel and the opening 104r of the parallax Rt pixel are displaced in opposite directions with respect to a virtual center line 322 passing through the center (pixel center) of the corresponding photoelectric conversion element 108. Yes.
  • the opening 104l of the parallax Lt pixel and the opening 104r of the parallax Rt pixel each generate parallax in one direction with respect to the reference direction and in the other direction opposite to the one direction.
  • FIG. 16B shows the light intensity distribution when the object point is deviated from the focal position in the pixel having each opening shown in FIG.
  • the curve Lt corresponds to the distribution curve 1804 in FIG. 15B
  • the curve Rt corresponds to the distribution curve 1805 in FIG.
  • a curve N corresponds to a pixel without parallax, and shows a similar shape to the combined distribution curve 1806 in FIG.
  • Each of the openings 104n, 104l, and 104r has an aperture stop function. Therefore, the blur width of the non-parallax pixel having the opening 104n having an area double the opening 104l (opening 104r) is the Lt pixel and the parallax Rt pixel indicated by the combined distribution curve 1806 in FIG. It is about the same as the blur width of the added curve.
  • FIG. 16C shows an example in which the shape of the opening 104l of the parallax Lt pixel, the shape of the opening 104r of the parallax Rt pixel, and the shape of the opening 104c of the parallax C pixel are all the same shape.
  • the parallax C pixel is a pixel having no eccentricity.
  • the parallax C pixel is a parallax pixel that outputs a parallax image, in that only the subject luminous flux having the central portion of the pupil as a partial region is guided to the photoelectric conversion element 108.
  • a pixel having an opening corresponding to the reference direction is defined as a non-parallax pixel.
  • the parallax C pixel in FIG. 16C having an opening at the center of the photoelectric conversion element is the non-parallax pixel as in the non-parallax pixel in FIG.
  • the opening 104l, the opening 104r, and the opening 104c are half the area of the opening 104n illustrated in FIG.
  • each of the openings 104 l and 104 r is in contact with a virtual center line 322 that passes through the center (pixel center) of the photoelectric conversion element 108.
  • FIG. 16D shows the light intensity distribution when the object point is deviated from the focal position in the pixel having each opening shown in FIG.
  • the curve Lt corresponds to the distribution curve 1804 in FIG. 15B
  • the curve Rt corresponds to the distribution curve 1805 in FIG.
  • Each of the openings 104c, 104l, and 104r has a function of an aperture stop. Therefore, the blur width of the parallax C pixel having the opening 104c having the same shape and the same area as the opening 104l and the opening 104r is approximately the same as the blur width of the parallax Lt pixel and the parallax Rt pixel.
  • FIG. 17 is a diagram illustrating an example of the repeating pattern 110 when there are two types of parallax pixels.
  • the coordinate system of the digital camera 10 is defined by the X axis, the Y axis, and the Z axis.
  • the x axis is defined in the right direction and the y axis is defined in the lower direction with reference to the left and upper end pixels. .
  • the same four pixels as the Bayer array are used as the repeated pattern 110.
  • the effective pixel area of the image sensor 100 is periodically arranged in the vertical and horizontal directions. In other words, the imaging device 100 uses a repetitive pattern 110 indicated by a thick line in the drawing as a basic lattice.
  • the R pixel and the B pixel are non-parallax pixels, and the Gb pixel is assigned to the parallax L pixel and the Gr pixel is assigned to the parallax R pixel.
  • the opening 104 is defined so that the parallax Lt pixel and the parallax Rt pixel included in the same repetitive pattern 110 receive the light beam emitted from the same minute region when the subject is in the in-focus position. .
  • the non-parallax pixel is the opening portion of the full opening
  • the parallax Lt pixel and the parallax Rt pixel are the opening portions of the half opening.
  • the pixel pitch is a.
  • the Gb pixel and the Gr pixel which are green pixels having high visibility, are used as the parallax pixels, it is expected to obtain a parallax image with high contrast.
  • the Gb pixel and the Gr pixel which are the same green pixels are used as the parallax pixels, it is easy to perform a conversion operation from these two outputs to an output having no parallax, and the output of the R pixel and the B pixel which are non-parallax pixels is high. High-quality 2D image data can be generated.
  • the left side is used as a virtual output of the parallax Lt pixel and the parallax Rt pixel that do not actually exist as the pixels of the image sensor 100 and have any of RGB color filters.
  • the color image data of the viewpoint and the right viewpoint is acquired by a relatively simple process by a conversion operation.
  • FIG. 1 (bottom) is a diagram showing the resolution related to the spatial frequency of an image captured by an image sensor employing the repetitive pattern 110 shown in FIG.
  • f shows a frequency.
  • the frequency resolution region is described by a first Brillouin zone representing a unit cell (Wigner-Zeilz cell) in a reciprocal lattice space.
  • k y [ ⁇ ⁇ / a, + ⁇ / a] in the range of resolution. That is, the range surrounded by the dotted line is the limit resolution frequency of the image.
  • the color filter and the aperture mask are arranged so as to overlap one sensor surface. Since the information captured by one sensor surface is constant, the amount of information is reduced by dividing the functions.
  • the number of pixels without parallax is relatively reduced, and thus the amount of information obtained by the pixels without parallax is reduced.
  • the color filter and the amount of individual information is reduced by the amount of R, G, B.
  • the limit resolution frequency of the image does not reach the inherent Nyquist frequency.
  • Image G Rt of the G component of the right-side perspective, the image R N of the R component of no parallax intermediate viewpoint, the image B N of the B component of intermediate viewpoint no disparity is the same.
  • the image processing unit 205 performs processing for increasing the resolution in order to compensate for the amount of information reduced by dividing the functions.
  • the G Lt pixel and G Rt pixel is parallax pixels, by replacing a virtual parallax without pixel G N, to produce a Bayer array of no parallax pixels only.
  • an original Nyquist frequency k x [ ⁇ ⁇ / a, + ⁇ / a]
  • k y [ ⁇ ⁇ / a, + ⁇ / a) as an intermediate image without parallax. ] Can be generated.
  • each pixel in the pixel array shown in FIG. 17 includes various parallax pixels and non-parallax pixels when focusing on the opening 104, and various R pixels, G pixels, and B pixels when focusing on the color filter 102. Characterized in combination. Therefore, even if the outputs of the image sensor 100 are aligned with the pixel arrangement, they are not image data representing a specific image. That is, only when the pixel outputs of the image sensor 100 are separated and collected for each pixel group characterized by the same, image data representing one image corresponding to the feature is formed. For example, as already described with reference to FIG.
  • the image processing unit 205 receives mosaic image data M mosaic (x, y), which is raw image data in which output values are arranged in the order of pixel arrangement of the image sensor 100.
  • M mosaic x, y
  • an image lacking at least one of R, G, and B information in each pixel is referred to as a mosaic image
  • data forming the mosaic image is referred to as mosaic image data.
  • At least one piece of information of R, G, and B is missing in each pixel, if it is not handled as an image in the first place, for example, if image data is composed of pixel values of monochrome pixels, it is treated as a mosaic image. Absent.
  • Each output value is a linear gradation value proportional to the amount of light received by each photoelectric conversion element of the image sensor 100.
  • the image processing unit 205 performs gain correction for matching the overall brightness between the left and right at this stage.
  • the illuminance of light incident on the left parallax pixel and the illuminance of light incident on the right parallax pixel have a large difference not only in the relative distribution between the left and right but also in the average signal level of the entire image. This is because it occurs.
  • the gain correction for matching the overall brightness between the left and right is called global gain correction.
  • FIG. 18 is a diagram for explaining the calculation of the gain value.
  • the mosaic image data of the left parallax pixel of the G component is Lt mosaic (x, y)
  • the mosaic image data of the right parallax pixel of the G component is Rt mosaic ( x, y)
  • FIG. 18 only the left and right parallax pixels are extracted and illustrated.
  • the pixel types are described so that the types of pixels can be understood in accordance with the example of FIG. 17, but output values corresponding to the respective pixels are actually arranged.
  • FIG. 19 is a diagram for explaining gain correction.
  • the calculation unit 233 of the image processing unit 205 calculates the Lt mosaic (x, y) and Rt mosaic (x, y) pixels as illustrated.
  • Gain correction is performed using the gain value. Specifically, gain correction for the left parallax pixel is performed by the following (Equation 1), and gain correction for the right parallax pixel is performed by (Equation 2).
  • the mosaic image data M ′ mosaic (x, y) the mosaic image data of the G component left parallax pixel is the Lt ′ mosaic (x, y), the mosaic image data of the G component right parallax pixel.
  • the calculation unit 233 of the image processing unit 205 performs mosaic image data M ′ mosaic in which the left parallax pixel and the right parallax pixel in M mosaic (x, y) are each corrected with one gain coefficient, as illustrated. (X, y) can be generated.
  • the image processing unit 205 generates a left parallax image and a right parallax image with low spatial frequency resolution as temporary parallax images.
  • FIG. 20 is a diagram for explaining generation of a temporary parallax image.
  • the image processing unit 205 separates the mosaic image data M ′ mosaic (x, y) into a plurality of plane data. Each plane data at this point has an output value only at a pixel position where the output value exists in the RAW original image data. Therefore, the image processing unit 205 performs an interpolation process based on each plane data, and generates plane data in which vacancies are filled.
  • the left side of the upper diagram shows Lt ′ mosaic (x, y), which is plain data obtained by extracting only the left parallax pixels from the mosaic image data M ′ mosaic (x, y), and the right side shows the right parallax.
  • Lt ′ mosaic (x, y) which is plain data obtained by extracting only the left parallax pixels from the mosaic image data M ′ mosaic (x, y)
  • Rt'mosaic (x, y) which is the plane data which extracted only the pixel.
  • it describes so that the kind of pixel may be understood according to the example of FIG. 17, but actually the output value corresponding to each pixel is arranged.
  • the calculation unit 233 of the image processing unit 205 uses the pixel values that have become empty grids as the pixel values of the surrounding left parallax pixels. And is calculated by interpolation processing. For example, the pixel value of the empty lattice P L1 is calculated by averaging pixel values of four left parallax pixels adjacent in the diagonal direction. The calculation unit 233 of the image processing unit 205 averages the pixel values of the surrounding left parallax pixels and performs an interpolation process on all the empty grids, as shown in the lower left diagram of FIG. Lt ′ (x, y) that is plane data in which the child is filled is generated. Note that the calculation unit 233 of the image processing unit 205 may further perform interpolation processing using the pixel values calculated by the interpolation processing, or perform interpolation using only output values existing at the stage of the RAW original image data. Processing may be performed.
  • the calculation unit 233 of the image processing unit 205 uses the pixel values that have become empty grids as peripheral right parallax pixels.
  • the pixel value is calculated by interpolation processing.
  • the pixel value of the empty grid PR1 is calculated by averaging pixel values of four right parallax pixels adjacent in the diagonal direction.
  • the calculation unit 233 of the image processing unit 205 averages the pixel values of the surrounding right parallax pixels and performs interpolation processing for all the empty grids, as shown in the lower right diagram of FIG. Rt ′ (x, y) that is plane data in which the child is filled is generated.
  • the calculation unit 233 of the image processing unit 205 performs gain correction on each pixel of Lt ′ (x, y) using the calculated gain value, and similarly, Rt ′ (x, y ), The gain correction is performed using the calculated gain value.
  • the gain correction using the gain value calculated for each pixel in this way is referred to as local gain correction in contrast to the above-described global gain correction.
  • FIG. 21 is a diagram for explaining the calculation of the gain value.
  • the calculation unit 233 of the image processing unit 205 calculates an average value for each pixel from Lt ′ (x, y) and Rt ′ (x, y).
  • arithmetic mean and geometric mean.
  • an arithmetic average is employed so that the blur width of the subject image in the non-parallax pixel of the G component where the parallax disappears matches the blur width of the subject image of the pixel without parallax.
  • the calculation unit 233 of the image processing unit 205 calculates the average value by the following (Equation 3).
  • FIG. 22 is a diagram for explaining the local gain correction.
  • the calculation unit 233 of the image processing unit 205 includes m (x m , y n ) and m (x) calculated by (Equation 3), respectively, as illustrated in FIG.
  • Local gain correction can be performed simply by replacing with ( m + 1 , y n + 1 ). In this sense, it can be said that the local gain correction is a modulation process for eliminating the parallax. Thereby, it is possible to obtain a Bayer array in which the pixel values of the parallax Gb pixel and the parallax Gr pixel are replaced with the pixel values of the non-parallax G pixel.
  • the calculation unit 233 of the image processing unit 205 generates M N (x, y) by replacing the pixel values of all the left and right parallax pixels with the corresponding average values calculated in (Equation 3). Note that local gain correction may be performed not on all the pixels of Lt ′ (x, y) and Rt ′ (x, y) but on the pixels corresponding to the positions of the left parallax pixel and the right parallax pixel in the Bayer array. Good.
  • the image processing unit 205 uses, as an intermediate image data, non-parallax color image data in which each pixel has a resolution from N N (x, y) to the Nyquist frequency using existing color interpolation technology. Generate.
  • FIG. 23 is a diagram for explaining interpolation of the G component.
  • the G color interpolation is calculated with reference to the pixel in the drawing with respect to the position [i, j] of the center R pixel shown in the left drawing of FIG.
  • the pixel position when G color interpolation is performed on the position of the B pixel is shown in the right diagram of FIG.
  • the image processing unit 205 performs Lt ′ (x, y), Rt ′ (x, y), R N (x, y), G N (x, y), B N (x, y). ) Color image data for the left viewpoint and color image data for the right viewpoint are generated. Specifically, the image processing unit 205 generates left and right color image data by superimposing the parallax component of the temporary parallax image on the non-parallax image. This generation process is called parallax modulation process.
  • the color image data of the left viewpoint includes R Lt (x, y) that is red plane data corresponding to the left viewpoint, G Lt (x, y) that is green plane data, and B Lt (x, y) that is blue plane data.
  • y three color parallax plane data.
  • the color image data of the right viewpoint is red plane data R Rt (x, y) corresponding to the right viewpoint, green plane data G Rt (x, y), and blue plane data B Rt. It is composed of three color parallax plane data of (x, y).
  • FIG. 24 is a diagram for explaining color parallax plane data generation processing.
  • a process for generating R Lt (x, y) and R Rt (x, y), which are red parallax planes among the color parallax planes, will be described.
  • red, green and blue are used as primary colors constituting the color of the subject image.
  • four or more colors including amber color may be used as primary colors.
  • red, green, and blue three primary colors that are complementary colors of yellow, magenta, and cyan can be used.
  • the pixel value extraction unit 231 and the calculation unit 233 included in the image processing unit 205 have described the respective processes as functions of the respective components constituting the digital camera 10.
  • the control program that operates the control unit 201 and the image processing unit 205 can cause each hardware component of the digital camera 10 to function as a component that executes the above-described processing.
  • these processes for generating color image data may be performed not by the digital camera 10 but by an external device such as a personal computer.
  • an external device such as a personal computer functions as an image processing apparatus.
  • the image processing apparatus acquires RAW original image data and generates color image data.
  • the image processing apparatus When the RAW original image data is acquired, the image processing apparatus also executes the above-described plane separation processing and plane data interpolation processing.
  • the image processing apparatus may acquire plane data that has undergone interpolation processing on the imaging apparatus side.
  • a program related to the above-described processing can be provided through a recording medium such as a CD-ROM or a data signal such as the Internet.
  • the geometric average is used for the purpose of making the blur width common in the operation of taking the average between the signal plane in which the parallax disappears between the left and right and the imaging signal plane of the non-parallax pixel.
  • the weight for the pixel value and the distribution of the weight for the average value were equal.
  • the number of parallax pixels is smaller than the number of non-parallax pixels.
  • the resolution of the parallax image is lower than the resolution of the image without parallax.
  • the resolution of the obtained image decreases as a whole due to the influence of the resolution of the parallax image. Therefore, it is necessary to devise as close as possible to the resolution of an image without parallax. Therefore, it is preferable to take a geometric average in consideration of the density ratio between the non-parallax pixels and the parallax pixels in the pixel array on the image sensor.
  • a method of selecting an arithmetic mean As described above, there are two methods for eliminating the parallax between the left and right, a method of selecting an arithmetic mean and a method of selecting a geometric mean. If all non-parallax pixels have a mask area with a full aperture, the arithmetic average type should be selected so that the blur width of the subject image with the parallax disappeared between the left and right matches the blur width of the full aperture. .
  • the following a) shows the case where the arithmetic mean type is selected.
  • the geometric average type may be selected so that the blur width of the subject image whose parallax disappeared between the left and right coincides with the blur width of the half aperture.
  • the following b) shows the case where the geometric average type is selected.
  • the following b) shows the parallax modulation using the geometric mean as a reference point.
  • the following a) shows a case where the arithmetic mean type is selected as a method for eliminating the parallax between the left and right.
  • the following b) shows a case where the geometric average type is selected as a method of eliminating the parallax between the left and right.
  • An arithmetic average may be taken in consideration of the density ratio between the non-parallax pixel and the parallax pixel in the pixel array on the image sensor. This is particularly effective when the operations described in the above-described embodiments are realized by hardware.
  • an average is taken between the signal plane in which the parallax disappears between the left and right and the imaging signal plane of the non-parallax pixel.
  • an arithmetic average can be similarly obtained even when a monochrome imaging element is used.
  • the following a) shows a case where the arithmetic mean type is selected as a method for eliminating the parallax between the left and right.
  • the following b) shows a case where the geometric average type is selected as a method of eliminating the parallax between the left and right.

Abstract

　被写体像のカラーを構成する色成分のうち第１成分色の第１フィルタ及び基準方向に対応する視差なし開口部を有する第１画素の第１画素値と、第２成分色の第２フィルタ及び基準方向に対する一方向に視差を生じさせる視差開口部を有する第２画素の第２画素値と、第２フィルタおよび一方向とは反対の他方向に視差を生じさせる視差開口部を有する第３画素の第３画素値とを含む第１画像データを取得し、第２画素の画素位置に対し、当該画素位置における第２画素値と仮想的な第３画素値とを平均化処理した第４画素値と、第３画素の画素位置に対し、当該画素位置における第３画素値と仮想的な第２画素値とを平均化処理した第５画素値とを算出し、第１画素値、第４画素値及び第５画素値を用いて、２Ｄ画像データである第２画像データを生成する。

Description

画像処理装置、撮像装置および画像処理プログラム
　本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。
　単一の撮像光学系を用いて、互いに視差を有する複数の視差画像を一度の撮影で生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
　　［特許文献１］　特開２００３－７９９４号公報
　この種の撮像装置においては、視差画素と単一の光学系との組み合せで生じる固有の現象として、視差画像間に照度の不一致等のアンバランスが生じていた。視差画像を利用して画像処理するにあたって、この視差画像間のアンバランスが悪影響を及ぼしていた。
　本発明の第１の態様における画像処理装置は、被写体像のカラーを構成する複数の色成分のうち第１成分色の第１フィルタおよび基準方向に対応する視差なし開口部を有する第１画素の第１画素値と、複数の色成分のうち第２成分色の第２フィルタおよび基準方向に対する一方向に視差を生じさせる視差開口部を有する第２画素の第２画素値と、第２フィルタおよび一方向とは反対の他方向に視差を生じさせる視差開口部を有する第３画素の第３画素値とを含む第１画像データを取得する取得部と、第２画素の画素位置に対し、当該画素位置における第２画素値と、周辺の第３画素の第３画素値を用いて算出した仮想的な第３画素値とを平均化処理した第４画素値と、第３画素の画素位置に対し、当該画素位置における第３画素値と、周辺の第２画素の第２画素値を用いて算出した仮想的な第２画素値とを平均化処理した第５画素値とを算出する算出部と、第１画素値、第４画素値および第５画素値を用いて、少なくとも第１成分色と第２成分色の色情報を含む基準方向における２Ｄ画像データである第２画像データを生成する画像生成部とを備える。
　本発明の第２の態様における撮像装置は、被写体像を撮像する撮像素子と、上述の画像処理装置とを備える撮像装置であって、第１画像データは、撮像素子の出力に基づいて生成される。
　本発明の第３の態様における画像処理プログラムは、被写体像のカラーを構成する複数の色成分のうち第１成分色の第１フィルタおよび基準方向に対応する視差なし開口部を有する第１画素の第１画素値と、複数の色成分のうち第２成分色の第２フィルタおよび基準方向に対する一方向に視差を生じさせる視差開口部を有する第２画素の第２画素値と、第２フィルタおよび前記一方向とは反対の他方向に視差を生じさせる視差開口部を有する第３画素の第３画素値とを含む第１画像データを取得する取得ステップと、第２画素の画素位置に対し、当該画素位置における第２画素値と、周辺の第３画素の第３画素値を用いて算出した仮想的な第３画素値とを平均化処理した第４画素値と、第３画素の画素位置に対し、当該画素位置における第３画素値と、周辺の第２画素の第２画素値を用いて算出した仮想的な第２画素値とを平均化処理した第５画素値とを算出する算出ステップと、第１画素値、第４画素値および第５画素値を用いて、少なくとも第１成分色と第２成分色の色情報を含む基準方向における２Ｄ画像データである第２画像データを生成する画像生成ステップとをコンピュータに実行させる。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
Bayer型G視差画素配列およびこの配列の周波数空間における分解能を示す図である。 左右の視差画素の間での照度不一致の問題を説明するための図である。 ボケた被写体像を説明するための図である。 画素配列図およびこの配列の周波数空間における分解能を示す図である。 画素配列図およびこの配列の周波数空間における分解能を示す図である。 視差なし画素を全開口から半開口に変える説明図である。 デジタルカメラ１０の構成を説明する図である。 撮像素子１００の断面の構成を説明する図である。 撮像素子１００の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概念図である。 視差画像を生成する処理を説明する概念図である。 ベイヤー配列を説明する図である。 視差なし画素におけるデフォーカスの概念を説明する図である。 視差画素におけるデフォーカスの概念を説明する図である。 視差なし画素と視差画素の光強度分布を示す図である。 視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。 視差画素の種類が２つである場合の繰り返しパターン１１０のバリエーションの一例を示す図である。 ゲイン値の算出を説明するための図である。 ゲイン補正を説明するための図である。 仮の視差画像の生成を説明するための図である。 ゲイン値の算出を説明するための図である。 ローカル・ゲイン補正を説明するための図である。 Ｇ成分の補間を説明する図である。 カラー視差プレーンデータの生成処理を説明する図である。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　画像処理装置および撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
　特許文献１には、単板式のBayer配列型のカラー固体撮像素子に、半分の画素には左開口のみの視差画素を敷き詰め、残りの半分の画素には右開口のみの視差画素を敷き詰めて、一台のカメラで一度の撮像により立体画像を形成することのできる撮像方式を開示している。しかしながら、特許文献１には撮像データから左目用と右目用のカラー画像を生成する具体的な方法が明示されておらず、半開口の視差画素の撮像素子がどのようなセンサー特性を持ち、高解像な立体画像を得るためにはどのような課題に遭遇し、対処していかなければならないかについて何ら記述がなされていないという問題があった。
　本発明では、光学系とセンサー特性を踏まえた高解像な立体画像を生成する方法を提供することを目的とする。本発明により、左目用と右目用の半開口の視差画素を持つ単板撮像素子を用いて、立体画像を撮像したときの左目用と右目用の画素の間で発生する照度分布不一致の問題を適切に対処して、高解像な右目用と左目用の画像を生成することができる。
　まず、単板撮像素子に左開口マスクと右開口マスクを備えた視差画素を持つセンサーの特性に関する実験事実と高解像な立体画像を得るためのアルゴリズムの思想を述べる。
　図１（上段）に示すようなBayer型G視差画素配列の場合を考えてみる。すなわち、カラーフィルタ配列はBayer配列構造をとり、一方のG画素には左開口の視差画素が、もう一方のG画素には右開口の視差画素が開口マスクとして設けられている。更に、R画素とB画素には全開口の視差なし画素が設けられている。
　この配列の空間周波数に関する分解能を図１（下段）に示す。画素間隔をaとすると、センサー画素が持つ限界解像周波数は、点線で囲われたナイキスト周波数kx=[-π/a,+π/a]、ky=[-π/a,+π/a]の範囲の解像力を持つ。しかしながら、１つのセンサー面にカラーフィルタと開口マスクの種類を多重化しているために、特定の開口マスクの特定色に分解して、限界解像周波数を見ると、それらは本来の画素が持つナイキスト周波数には全く届かない解像力しか保持していない。すなわち、左視点のG成分の画像、右視点のG成分の画像、視差なしの中間視点のR成分の画像、視差なしの中間視点のB成分の画像はそれぞれ、センサー画素のx,y両方向共に僅か半分の領域の、kx=[-π/(2a),+π/(2a)]、ky=[-π/(2a),+π/(2a)]の範囲の解像力しか持たない。このような状況から、左視点のRGBカラー画像と右視点のRGBカラー画像を生成したとしても、およそ期待できるのは、kx=[-π/(2a),+π/(2a)]、ky=[-π/(2a),+π/(2a)]の範囲の解像力程度の画像ができるだけであって、画素が本来持つナイキスト限界性能kx=[-π/a,+π/a]、ky=[-π/a,+π/a]まで上げることはできない。
　このような課題に対して、仮に左視差画素と右視差画素のG成分が共に、視差なしのG成分を捉えているような状況が作ることができれば、構造的に視差なしの通常のBayer配列と同じ状況が生まれ、既存のBayer補間のテクニックを動員して、視差なしの中間画像として画像本来のナイキスト周波数kx=[-π/a,+π/a]、ky=[-π/a,+π/a]の範囲にまで解像力を持つカラー画像を作り出すことができる。そうした後に、周波数空間で小さな面積の解像力しか持たない左視点の画像と視差なしの中間画像を重畳することによって、最終的な左視点のカラー画像が画像本来のナイキスト周波数まで解像した形で出力することができる。右視点のカラー画像についても同様である。
　上で述べた視差ありのG成分からなるBayer配列から全てが視差なしのBayer配列に移行するためには、左視差と右視差に相当する位置ずれを検知した上で、視差なしの状態に持ってくるのに必要な変位処理が必要になるという厄介な処理手続きが１つ増えることが予想される。すなわち、視差を消滅させるための視差検出と変位処理が必要になる。通常、位置ずれ検知には精度限界があり、実現する上でそれも大きな障害の１つに数えられる。
　仮に視差消滅のための変位処理がうまくいったとしても、実際はもう１つ大きな障害に遭遇することなる。すなわち、視差画素の仮想瞳位置は中央からずれているため、左視差画素は被写体像を捉えた画像の右側が明るくなり左側が暗くなる。反対に右視差画素は画像の左側が明るくなり右側が暗くなる。すなわち、同じ被写体像であっても右視差画素と左視差画素では全く異なる照度の画像として捉えていることになる。これがBayer配列として交互に並べると、ゲインバランスの全く異なるG画素が並んでいるため、通常のBayer補間を行うと、チェックパターン状の偽構造が発生することになる。実験的に、光学系の絞り値が大きくなればなるほど左右の視差画素の間での照度分布の不一致が大きくなることが判明している。したがって、事前に光学条件に応じて一様面を撮影して、照度ムラの特性を把握するような対策も、あらゆるレンズ毎に全ての補正データを備えている必要に迫られ、現実的に困難を伴う。これらの様子を図２に示す。
　実際に、撮像したデータの視差を無視して、それを視差なしのBayer配列と仮定して通常のBayer補間をしてみた実験結果は、G画素のゲイン不一致によって画像全面にチェックパターンが発生し、更に、視差ずれのためか、あるいはゲインの不一致性のためか画像の至る所に視差ずれ量に相当するような帯状の色斑偽色の発生を伴ってしまうことが確認されている。
　このように、視差画素の間での照度不一致の問題と、視差による被写体位置の不一致の問題を、単眼瞳分割方式の被写体像の特性を踏まえて同時に解決する方法を提案する。すなわち、図１４に示されるように、単眼瞳分割方式の撮像では、焦点の合った被写体像は、左右の視差画素では視差ずれが発生せず、非合焦位置の被写体像のみで、左右の視差ずれを生じる。すなわち、視差はボケの中にのみ含まれる。図３に示すようにボケた被写体像は、単純に平均をとることによって視差のない像を生成することができる。したがって、一画素単位の画像構造の変化を捉えるような焦点位置では、左右間の視差平均をとっても撮像信号がそのまま不変のままの構造を保って生成され、一方でボケた被写体像の位置では、左右間の視差平均をとることによって視差が完全に消滅し、かつ、照度ムラによるゲイン不一致の問題も完全に消滅し、同時に解決することができるようになる。実験的に驚くほど完璧に２つの問題を解決することを確認している。こうして、高解像な視差なしの中間画像を生成するための道が開けることになる。すなわち、事前に一様面の撮影をする煩わしさもなく、被写体像そのもののデータを直接利用して左右間の照度ムラを補正する、単眼瞳分割方式特有の非常に単純な解決策が実現できる。
　なお、平均の取り方として相加平均と相乗平均の２つの取り方があり、相加平均の場合は、２つに分離したボケ幅の合計の太いボケ幅の被写体像を中間位置に生成し、相乗平均の場合は、２つに分離したボケ幅と同じボケ幅の被写体像を中間位置に生成する。相加平均の場合は、全開口の視差なし画素と同じボケ幅を持つ被写体像を形成し、相乗平均の場合は、半開口の視差画素と同じボケ幅の被写体像を形成する。
　なお、視差なしの中間画像は、従来の高解像の２次元画像としてモニタ表示やプリント出力に使うこともできる。
＜実施形態1＞
－－－Bayer型G視差画素配列－－－
　図１の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。周波数をfとすると、k=2πfで表される波数kのk空間で記述している。周波数解像域は、逆格子空間の単位胞（ウィグナー・ザイツ・セル）を表す第一ブリルアンゾーンによって記述される。以下の処理によって、視差なしの中間画像（基準画像）で周波数解像が外側に伸びてナイキスト周波数に近づく効果を得ることができる。
フローチャート
１）色・視差多重化モザイク画像データ入力
２）色・視差モザイク画像のグローバル・ゲインバランス補正
３）仮の視差画像の生成
４）左右の局所照度分布補正による視差なし色モザイク画像の生成
　　　（ローカル・ゲインバランス補正）
５）視差なし基準画像の生成
６）実際の視差画像の生成
７）出力色空間への変換
詳細説明
１）色・視差多重化モザイク画像データ入力
　図１の色と視差の多重化された単板式モザイク画像：M(x,y)
階調はA/D変換によって出力された線形階調であるものとする。すなわち、光量に比例した画素値を持つ。これをRAWデータと呼ぶこともある。
Figure JPOXMLDOC01-appb-I000001
Figure JPOXMLDOC01-appb-I000002
Figure JPOXMLDOC01-appb-I000003
　本実施形態では、相加平均を採用する。こうして左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をM'(x,y)として出力する。なお、本ステップはステップ４のローカル・ゲイン補正を行うだけでも同時に実現できるので、場合によっては省いてもよい。
３）仮の視差画像の生成
　空間周波数解像度の低い分解能の左視差画像と右視差画像を生成する。
左視差画素ばかりを集めたG色面内の単純平均補間を行う。隣接に存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めたG色面内の単純平均補間を行う。すなわち、Ltmosaic(x,y)からLt(x,y)を、Rtmosaic(x,y)からRt(x,y)を生成する。
仮の左視差画像：Lt(x,y)
仮の右視差画像：Rt(x,y)
　なお、仮の左視差画像Lt(x,y)と仮の右視差画像Rt(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。
４）左右の照度分布補正による視差なし色モザイク画像の生成
　　（ローカル・ゲインバランス補正）
　次にステップ１で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、画面内の左視差画素と画面内の右視差画素の照度を合わせる。そうして、ゲイン整合のとれた新しいBayer面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したBayer面が出来上がる。これをMN(x,y)と書くことにする。
　この場合も、各画素の基準点として揃える目標値の設定方法に、相加平均を選ぶ方法と相乗平均を選ぶ方法の２種類が存在する。
Figure JPOXMLDOC01-appb-I000004
Figure JPOXMLDOC01-appb-I000005
　各画素にローカル・ゲイン補正を掛けている処理は、実際には最初に求めた各画素の平均値を代入するだけでよい。この意味で、ローカル・ゲイン補正は視差消滅させるための変調処理であるということができる。本実施形態では、相加平均を採用する。このように左視点の画像と右視点の画像の平均値を新たなG画素位置の視差なし画素値として、Bayer面のデータを書き換え、視差なしBayer面の画像MN(x,y)を出力する。
５）視差なし基準画像の生成
　こうしてG成分の照度バランスが揃い、視差の消滅したBayer面MN(x,y)から、従来の色補間の技術を用いてセンサーが持つ画素数相当のナイキスト周波数にまで分解能をもつ視差なしのカラー画像を中間画像として生成することができる。例えば、公知のBayer補間技術の最も優れた例として、本出願人と同一発明者のUS公開2010/021853に示される補間アルゴリズムがある。この技術には、本出願人と同一発明者の方向判定の分解能を上げて縦横のナイキスト周波数を解像する技術USP6,836,572や、補間値算出時の斜め方向の分解能を上げる技術USP7,236,628、色判定法による適応的偽色対策技術と方向判定の分解能を上げる技術USP7,565,007、色勾配判定法による適応的偽色対策技術USP7,391,903と方向判定の分解能を上げる技術への適用が総合的に用いられた最良の高性能デモザイク技術が導入されている。
　以下ではそれらの全てを示さずに、輝度を担うG成分の縦横ナイキスト解像と斜め解像を上げていく部分とR,B成分の分解能を上げるために色差補間を用いる部分だけを取り出して記述する。
５－１）階調変換によるガンマ空間への移行
　上述の高解像なBayer補間を行うために、更に均等ノイズ空間を実現する階調変換を行って、補間用のガンマ空間（画像処理空間）で、補間値の予測を行う。これは本出願人と同一発明者のUSP7,957,588によって導入された方法である。
　入力信号をx、出力信号をyとし、入力信号の階調と出力信号の階調が共に、[0,1]の範囲で定義されるものとする。入出力特性は(x,y)=(0,0)と(1,1)を通るように階調曲線（ガンマ曲線）を定義する。実際の入力階調Xの最大値をXmax、出力階調Yの最大値をYmaxとすると、x=X/Xmax、y=Y/Ymaxであり、階調変換は
Figure JPOXMLDOC01-appb-I000006
によって行われる。
　ここに、y=f(x)の階調特性は、
Figure JPOXMLDOC01-appb-I000007
である。正のオフセット値εは、暗電流ノイズ成分が増える高感度の撮影条件になるほど大きな値を設定する。
５－２）色補間処理
　色補間処理の部分については、本出願人と同一発明者のUSP7,957,588（WO2006/006373）に示された簡易な処理だけをもう一度、書き写す。ただし、(x,y)は[i,j]の記号を用いて説明する。また、階調変換後のMN面上のG成分はG、R,B成分はZの記号を用いて参照する。
　ステップＳ４において、ＣＰＵは以下のように補間処理を行う。ここで、Ｒ成分の色情報を有する画素をＲ画素、Ｂ成分の色情報を有する画素をＢ画素、Ｇ成分の色情報を有する画素をＧ画素と呼び、補間処理用の空間における画素位置[i,j]で示される画素に対応するＲ成分の信号値をＲ[i,j]、Ｇ成分の信号値をＧ[i,j]、Ｂ成分の信号値をＢ[i,j]で表すことにする。 
（方向判定） 
　ＣＰＵは、画素位置[i,j]で示されるＧ画素でない画素（Ｒ画素もしくはＢ画素）に関して、縦方向の類似度CvＮ[i,j]、および横方向の類似度ChＮ[i,j]をそれぞれ次式（３）、（４）により算出する。 
Figure JPOXMLDOC01-appb-M000001
 ただし、Z［i,j］は画素位置［i,j］で示されるＲ成分またはＢ成分の信号値である。 第一項は、２画素間隔の同色間の類似度を表す同色間類似度を、第二項は、隣接画素間隔の異色間の類似度を表す異色間類似度である。異色間類似度は、縦横のナイキスト周波数を解像する能力がある。
　上式(３)、(４)における第１項の絶対値は、Ｇ色成分同士で比較して大まかな方向性を検出するものである。上式(３)、(４)の第２項および第３項の絶対値は、第１項では検出できない細かな類似性を検出するものである。ＣＰＵは、上式(３)、(４)により得られた縦方向の類似度および横方向の類似度を各座標ごとに算出し、対象とする座標［i,j］における縦横の類似度に基づいて次式（５）により類似性の方向を判定する。 
Figure JPOXMLDOC01-appb-M000002
　ただし、Thは信号値に含まれるノイズによる誤判定を避けるために用いられる判定閾値であり、上記ＩＳＯ感度に応じて変化させる。HV［i,j］は画素位置［i,j］に関する類似性の方向を示し、HV［i,j］=0の場合は縦横両方向類似、HV［i,j］=1の場合は縦方向類似、HV［i,j］=-1の場合は横方向類似である。 
（Ｇ補間） 
　ＣＰＵは、判定した類似方向に基づき、Ｒ成分もしくはＢ成分の凸凹情報を利用してＧ成分の補間を行う。すなわち、周辺のＧ成分の内分点補間だけでは予測できない外分点に補間すべきか否かの情報を補間対象位置に存在する他の色成分の情報と近傍に位置するそれと同じ色成分の情報を見て、画像構造が上に凸なのか下に凸なのかを判断することによって得ることができる。すなわち、他の色成分のサンプリングによって得られた高周波成分の情報を補間対象色成分に重畳する。Ｇ色補完は、WO2006/006373のたとえば図４で示される中央のＲ画素の位置［i,j］に対して、縦方向類似の場合は次式(６)および（９）により算出し、横方向類似の場合は次式(７)および（１０）により算出する。Ｂ画素の位置に対してＧ色補間を行う場合の画素位置は、WO2006/006373の図５によって示される。 
Figure JPOXMLDOC01-appb-M000003
　ただし、Z［i,j］は画素位置［i,j］で示されるＲ成分またはＢ成分の信号値である。第一項の補間対象の色成分の平均値に対して、第二項の他の色成分による二次微分の補正項を加えることによって、斜め方向の空間分解能を上げる作用をする。
　上式(９)における第１項は、画素位置［i,j］に対して縦に並ぶＧ成分の信号値Ｇ［i,j-1］およびＧ［i,j+1］から算出される平均値を表す。上式(９)における第２項は、縦に並ぶＲ成分の信号値Ｒ［i,j］、Ｒ［i,j-2］およびＲ［i,j+2］から算出される変化量を表す。Ｇ成分の信号値の平均値にＲ成分の信号値の変化量を加えることにより、Ｇ成分の補間値Ｇ［i,j］が得られる。このような補間をＧ成分の内分点以外も予測可能なことから、便宜的に外挿補間と呼ぶことにする。
　上式(１０)は、上述した縦方向の外挿補間の場合と同様に、画素位置［i,j］に対して横に並ぶ画素の信号値を用いて横方向に外挿補間を行うものである。
　ＣＰＵは、類似の方向が縦横両方向と分類されている場合は、上式(９)および(１０)によりＧ色補間値をそれぞれ算出し、算出された２つのＧ色補間値の平均をとってＧ色補間値とする。 
（Ｒ補間） 
　Ｒ色補間は、WO2006/006373のたとえば図６で示されるＲ画素の位置［i,j］以外の画素位置［i+1,j］、［i,j+1］、［i+1,j+1］に対して、それぞれ次式(１１)～(１３)により算出される。このとき、上述したＧ補間により得られた全ての画素位置に対応するＧ成分信号値（WO2006/006373の図７）の凸凹情報が利用される。 
Figure JPOXMLDOC01-appb-M000004
　上式(１１)～(１３)における第１項は、Ｒ成分補間の対象とする座標に隣接するＲ成分信号値から算出される平均値を表し、上式(１１)～(１３)における第２項は、Ｒ成分補間の対象とする座標およびこの座標に隣接するＧ成分信号値から算出される変化量を表す。すなわち、Ｇ補間で行われた外挿補間と同様に、Ｒ成分信号値の平均値にＧ成分の信号値の変化量を加えてＲ成分の補間値を得る。これは、Ｒ位置で色差Ｃｒ＝Ｒ－Ｇを生成し、この色差面内で平均補間する方式と等価である。 
（Ｂ補間） 
　Ｂ成分補間についてもＲ成分と同様に補間処理を行う。WO2006/006373のたとえば図８で示されるＢ画素の位置［i,j］以外の画素位置［i+1,j］、［i,j+1］、［i+1,j+1］に対して、それぞれ次式(１４)～(１６)により算出される。このとき、上述したＧ補間により得られた全ての画素位置に対応するＧ成分信号値（WO2006/006373の図９）の凸凹情報が利用される。 
Figure JPOXMLDOC01-appb-M000005
　上式(１４)～(１６)によれば、Ｂ成分信号値の平均値にＧ成分の信号値の変化量を加えてＢ成分の補間値を得る。これは、Ｂ位置で色差Ｃｂ＝Ｂ－Ｇを生成し、この色差面内で平均補間する方式と等価である。Ｒ成分およびＢ成分は、Ｇ成分に比べてサンプル周波数が低いので、色差Ｒ－Ｇ、色差Ｂ－Ｇを利用してＧ成分信号値が有する高周波数成分を反映させる。よって、このようなクロマ成分に対する補間を便宜的に色差補間と呼ぶことにする。 
５－３）逆階調変換による元の線形階調空間への移行
　Bayer補間されたRGB各色面に対して、ステップ５－１の逆階調変換を施し、線形階調のRGBデータに戻す。
Figure JPOXMLDOC01-appb-I000008
　こうして、得られた視差なしのRGBカラー画像をRN(x,y)、GN(x,y)、BN(x,y)によって表す。これらは線形階調で表されたRGBデータである。
６）実際の視差画像の生成
　ステップ３で生成した解像力の低い仮の左視差画像Lt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)を生成する。同様に、ステップ３で生成した解像力の低い仮の右視差画像Rt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)を生成する。これは、仮の視差画像が持つ視差成分を重畳することによって変位処理を実現するため、視差変調と呼ぶことができる。
　視差変調の方式として、相加平均を基準点にとる方法と相乗平均を基準点にとる方法の２通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用するのがよい。したがって、本実施形態では相加平均を基準点とする方式を用いる。
Figure JPOXMLDOC01-appb-I000009
Figure JPOXMLDOC01-appb-I000010
　このように、ステップ６で定義した視差変調演算式と、ステップ４で定義した左右間の照度ムラ補正のための視差消滅演算式（ローカル・ゲインバランス補正）とがちょうど逆比の関係にある項を掛けて変調を加えていることがわかる。したがって、ステップ６では視差が加わる方向に働き、ステップ４では視差が消滅する方向に働く。
７）出力色空間への変換
　こうして得られた高解像な視差なしの中間カラー画像RN(x,y)、GN(x,y)、BN(x,y)と高解像の左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)、高解像の右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)のそれぞれをセンサーの分光特性のカメラRGBから標準的なsRGB色空間へ色マトリックス変換とガンマ変換を行って出力色空間の画像として出力する。
効果１
　単眼瞳分割方式特有の特性を踏まえた解決策として、左右間の照度分布の不一致と視差の存在による被写体位置の不一致を同時に消滅させる効果。すなわち、ボケの中にだけ視差が発生するという被写体像の性質をうまく利用して、平均操作によって空間解像をできるだけ落とすことなく、視差ずれと照度差の２つの問題を一致させて、視差なしの中間画像を生成することができる。
効果２
　従来のデモザイク技術の資産をそのまま引き継いで利用することができ、高解像な画像を生成することができる。
尚書き１
　視差なし画素を全開口から半開口に変える説明図。図６。
　実施形態１～３では視差なし画素が、左視差画素と右視差画素の開口面積の和である全開口のときのボケ幅を持っているので、視差あり画素において視差なし画素値を生成するための照度分布補正では、左と右の視差画素値の相加平均をとることによって、撮像された視差なし画素の被写体像のボケ幅と一致させる方策をとった。更に、最後に視差変調を加えるとき、視差なしカラー画像が全開口のボケ幅と一致する被写体像を形成しているので、比を一定に保つ視差変調の分母には左視点像と右視点像の相加平均による全開口のボケ幅を持った像を基準点にとり、視差変調後の左右のカラー画像が再度、半開口のボケ幅をもつ像となるように変調を加えた。
　これに対し、実施形態１～３の視差なし画素が、左視差画素と右視差画素と同じ形状で同じ開口面積の開口マスクが、画素の中央に配置されているとき、視差あり画素において視差なし画素値を生成するための照度分布補正では、左と右の視差画素値の平均値として相乗平均を用いて、撮像された視差なし画素の被写体像のボケ幅と一致させる対策をとる。更に、最後に視差変調を加えるとき、視差なしカラー画像が半開口のボケ幅と一致する被写体像を形成しているので、比を一定に保つ視差変調の分母には左視点像と右視点像の相乗平均による半開口のボケ幅を持った像を基準点にとり、視差変調後の左右のカラー画像も再度、半開口のボケ幅をもつ像となるように変調を加える。
　すなわち、視差なし画素が全開口のマスク面積を持つときは、照度ムラ補正のための視差消滅処理のときも最後に視差変調を加える処理のときも全て相加平均を基準点とした演算を行うのがよい。一方で、視差なし画素が半開口のマスク面積を持つときは、照度ムラ補正のための視差消滅処理のときも最後に視差変調を加える処理のときも全て相乗平均を基準点とした演算を行うのがよい。
　この考え方は、以下の実施形態でも全て共通である。
＜実施形態２＞
－－－Bayer型RGB疎な視差画素配列－－－
　図４の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。この配列は、単眼瞳分割方式のボケた被写体領域にしか視差を生じないという性質を捉えて、視差画素の密度を疎な配置にし、残りの画素を視差なし画素にできるだけ割り当てた構造をした撮像素子である。視差なし画素も視差あり画素もBayer配列を基本構造としており、左視差画素にも右視差画素にもR:G:B=1:2:1のカラーフィルタを配置した構造をしている。すなわち、実施形態１よりも更に原信号で捉える視差なしの中間画像の解像力を重視し、その高周波成分を視差変調によって、左視差画素と右視差画素に重畳することによって高解像な立体画像を得ようとするものである。したがって、非合焦域においても高解像な２D画像と３D画像を得る能力をもつ色・視差配列である。
フローチャート：実施形態１と同じ。
詳細説明
１）色・視差多重化モザイク画像データ入力
　図４の色と視差の多重化された単板式モザイク画像：M(x,y)
階調はA/D変換によって出力された線形階調であるものとする。
Figure JPOXMLDOC01-appb-I000011
　便宜的にモザイク画像M(x,y)の内、
R成分の視差なし画素の信号面をRN_mosaic(x,y)、
R成分の左視差画素の信号面をRLt_mosaic(x,y)、
R成分の右視差画素の信号面をRRt_mosaic(x,y)、
G成分の左視差画素の信号面をGN_mosaic(x,y)、
G成分の視差なし画素の信号面をGLt_mosaic(x,y)、
G成分の右視差画素の信号面をGRt_mosaic(x,y)、
B成分の視差なし画素の信号面をBN_mosaic(x,y)、
B成分の左視差画素の信号面をBLt_mosaic(x,y)、
B成分の右視差画素の信号面をBRt_mosaic(x,y)
と表すことにする。
Figure JPOXMLDOC01-appb-I000012
Figure JPOXMLDOC01-appb-I000013
Figure JPOXMLDOC01-appb-I000014
Figure JPOXMLDOC01-appb-I000015
Figure JPOXMLDOC01-appb-I000016
Figure JPOXMLDOC01-appb-I000017
　全ての視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。従って、本実施形態では相加平均型を採用する。こうして視差なし画素が１つのゲイン係数で、左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をM'(x,y)として出力する。
３）仮の視差画像の生成
　空間周波数解像度の低い分解能の仮の左視差画像と仮の右視差画像を生成する。
左視差画素ばかりを集めたG色面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めたG色面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めたG色面内の単純平均補間を行う。同様の処理をR,G,Bの各々について行う。すなわち、RLt_mosaic(x,y)からRLt(x,y)を、RRt_mosaic(x,y)からRRt(x,y)を、RN_mosaic(x,y)からRN(x,y)を、GLt_mosaic(x,y)からGLt(x,y)を、GRt_mosaic(x,y)からGRt(x,y)を、GN_mosaic(x,y)からGN(x,y)を、BLt_mosaic(x,y)からBLt(x,y)を、BRt_mosaic(x,y)からGRt(x,y)を、BN_mosaic(x,y)からGN(x,y)を生成する。
仮のR成分の視差なし画像：RN(x,y)
仮のG成分の視差なし画像：GN(x,y)
仮のB成分の視差なし画像：BN(x,y)
仮のR成分の左視差画像：RLt(x,y)
仮のG成分の左視差画像：GLt(x,y)
仮のB成分の左視差画像：BLt(x,y)
仮のR成分の右視差画像：RRt(x,y)
仮のG成分の右視差画像：GRt(x,y)
仮のB成分の右視差画像：BRt(x,y)
　なお、仮の視差なし画像RN(x,y)、GN(x,y)、BN(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。
４）左右の照度分布補正による視差なし色モザイク画像の生成
　　（ローカル・ゲインバランス補正）
　次にステップ１で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しいBayer面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したBayer面が出来上がる。これをMN(x,y)と書くことにする。
　この場合も、各画素の基準点として揃える目標値の設定方法に、左右間の視差を消滅させる方法に、相加平均を選ぶ方法と相乗平均を選ぶ方法の２種類が存在する。全ての視差なし画素が全開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅が全開口のボケ幅と一致させるために相加平均型を選ぶ必要がある。一方、全ての視差なし画素が半開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅が半開口のボケ幅と一致させるために相乗平均型を選ぶ必要がある。
　さらに、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる操作は、両者が既に同じボケ幅の被写体像に揃えられているから、そのボケ幅を保存する必要がある。したがって、このときには共通に相乗平均をとらなければならない。以下にそれらの具体式を挙げる。
Figure JPOXMLDOC01-appb-I000018
Figure JPOXMLDOC01-appb-I000019
Figure JPOXMLDOC01-appb-I000020
Figure JPOXMLDOC01-appb-I000021
Figure JPOXMLDOC01-appb-I000022
Figure JPOXMLDOC01-appb-I000023
　このように左視点の画像と右視点の画像の平均値を更に視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、Bayer面のデータを書き換え、視差なしBayer面の画像MN(x,y)を出力する。
５）視差なし基準画像の生成
　実施形態１と同様である。
６）実際の視差画像の生成
　ステップ３で生成した解像力の低い仮の左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い左視差のカラー画像R'Lt(x,y)、G'Lt(x,y)、B'Lt(x,y)を生成する。同様に、ステップ３で生成した解像力の低い仮の右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像R'Rt(x,y)、G'Rt(x,y)、B'Rt(x,y)を生成する。
　視差変調の方式として、相加平均を基準点にとる方法と相乗平均を基準点にとる方法の２通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用する。したがって、本実施形態では相加平均を基準点とする方式を用いる。
Figure JPOXMLDOC01-appb-I000024
Figure JPOXMLDOC01-appb-I000025
Figure JPOXMLDOC01-appb-I000026
７）出力色空間への変換
　実施形態１と同様である。
＜実施形態３＞
－－－モノクロ疎な視差画素配列－－－
　図５の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各視差の組み合わせについて示す。この配列は、単眼瞳分割方式のボケた被写体領域にしか視差を生じないという性質を捉えて、視差画素の密度を疎な配置にし、残りの画素を視差なし画素にできるだけ割り当てた構造をしたモノクロ撮像素子である。
フローチャート
１）視差多重化モザイク画像データ入力
２）視差モザイク画像のグローバル・ゲインバランス補正
３）仮の視差画像の生成
４）左右の局所照度分布補正による視差なし基準画像の生成
　　　（ローカル・ゲインバランス補正）
５）実際の視差画像の生成
７）出力空間への変換
Figure JPOXMLDOC01-appb-I000027
Figure JPOXMLDOC01-appb-I000028
Figure JPOXMLDOC01-appb-I000029
Figure JPOXMLDOC01-appb-I000030
　全ての視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。従って、本実施形態では相加平均型を採用する。こうして視差なし画素が１つのゲイン係数で、左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をM'(x,y)として出力する。
３）仮の視差画像の生成
　空間周波数解像度の低い分解能の仮の左視差画像と仮の右視差画像を生成する。
左視差画素ばかりを集めた信号面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めた信号面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めた信号面内の単純平均補間を行う。すなわち、Ltmosaic(x,y)からLt(x,y)を、Rtmosaic(x,y)からRt(x,y)を、Nmosaic(x,y)から N(x,y)を生成する。
仮の視差なし画像：N(x,y)
仮の左視差画像：Lt(x,y)
仮の右視差画像：Rt(x,y)
　なお、仮の視差なし画像N(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。
４）左右の照度分布補正による視差なし基準画像の生成
　　　（ローカル・ゲインバランス補正）
　次にステップ１で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しい視差なしの基準画像面を作成する。これは平均値と置き換えることと等価であり、視差の消滅した中間画像面が出来上がる。これをN(x,y)と書くことにする。
Figure JPOXMLDOC01-appb-I000031
Figure JPOXMLDOC01-appb-I000032
　このように左視点の画像と右視点の画像の平均値を更に視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、モノクロ面のデータを書き換え、視差なしモノクロ面の画像N(x,y)を出力する。
５）実際の視差画像の生成
　ステップ３で生成した解像力の低い仮の左視差画像Lt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのモノクロ画像N(x,y)を用いて、実際に出力する解像力の高い左視差のモノクロ画像Lt'(x,y)を生成する。同様に、ステップ３で生成した解像力の低い仮の右視差画像Rt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのモノクロ画像N(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像Rt'(x,y)を生成する。
　視差変調の方式として、相加平均を基準点にとる方法と相乗平均を基準点にとる方法の２通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用する。したがって、本実施形態では相加平均を基準点とする方式を用いる。
Figure JPOXMLDOC01-appb-I000033
Figure JPOXMLDOC01-appb-I000034
６）出力色空間への変換
　こうして得られた高解像な視差なしの中間モノクロ画像N(x,y)と高解像の左視差のモノクロ画像Lt'(x,y)、高解像の右視差のモノクロ画像Rt'(x,y)のそれぞれを適当なガンマ変換を行って出力空間の画像として出力する。
＜尚書き＞
－－－従来の全て視差画素配列－－－
　従来技術の特許文献１に示された左視差画素と右視差画素のみが敷き詰められたBayer配列の撮像素子に対しても、実施形態１で示したG視差画素と同様の処理をR視差画素とB視差画素に対しても行い、視差のないBayer配列を作ることができる。それに対して、従来のBayer補間を施したものを中間画像として生成し、R,G,B各々から得られる解像度の低い視差画像を利用して、実施形態２と同様の手法を用いて視差変調を加えて、高解像の左視差カラー画像と右視差カラー画像を作ることができる。こうして従来型の撮像素子で生じる左右の視差画素の間での照度ムラ問題に対処することができる。
　なお、実施形態１～３では、左右の視差画素の説明を行ってきたが、これらの撮像素子を９０°回転して上下に視差が得られるようにしても、照度ムラ補正は全く同様に行うことができる。また、４５°回転して斜めに視差がつく撮像素子でも全く同様である。
＜実施形態４＞
　図７は、デジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。
　なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。以降のいくつかの図においては、図７の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
　撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図７では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
　Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。特に、画像処理部２０５は、カラー画像データおよび視差画像データの対象画素位置から画素値を抽出する画素値抽出部２３１、抽出した画素値を用いて対象画素位置におけるカラー画像データとしての画素値を算出する算出部２３３を有する。それぞれの処理の詳細については、後述する。
　画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
　ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。
　次に、撮像素子１００の構成について詳細に説明する。図８は、撮像素子１００の断面を表す概略図である。
　撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。
　光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。
　一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない入射光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。
　カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列すると良い。具体的な配列については後述する。
　マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。
　このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
　なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。また、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することもできる。
　また、本実施形態においては、開口マスク１０３と配線１０６を別体として設けているが、視差画素における開口マスク１０３の機能を配線１０６が担っても良い。すなわち、規定される開口形状を配線１０６により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子１０８へ導く。この場合、開口形状を形成する配線１０６は、配線層１０５のうち最も光電変換素子１０８側であることが好ましい。
　また、開口マスク１０３は、光電変換素子１０８に重ねて設けられる透過阻止膜によって形成されても良い。この場合、開口マスク１０３は、例えば、ＳｉＮ膜とＳｉＯ２膜を順次積層して透過阻止膜とし、開口部１０４に相当する領域をエッチングで除去して形成される。
　次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図９は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。
　図９に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。
　図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。
　図１０は、視差画素と被写体の関係を説明する概念図である。特に図１０（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図１０（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図１０（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図１０（ｃ）は、図１０（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。
　まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ～Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。
　別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束（部分光束）の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。
　図１０（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ～Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図１０（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ～Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
　つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの部分光束を受光している。
　撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図１０の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。
　次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ～Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図１０（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。
　したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ～Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図１０（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ＋、Ｒｂ＋、Ｒｃ＋、Ｒｅ＋、Ｒｆ＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図１０（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。
　すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。
　したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ～Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。
　図１１は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。
　６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、視差なし画素を除いた仮想的な撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。
　しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。なお、本実施形態に適用する具体的な補間処理については後述する。
　同様にして、視差画像データＩｍ＿ｅ～視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。
　このようにモノクロ６視差の場合、視差なしの２Ｄ中間画像を作成するために、視差消滅と照度ムラに対処する方法は実施形態３の延長線上で考えることができる。すなわち、視差を消滅させるためにＩｍ＿ｆとＩｍ＿ａとの間で相加平均をとった画像データをＩｍ＿ａｆとする。同様にＩｍ＿ｅとＩｍ＿ｂとの間で相加平均をとったものをＩｍ＿ｂｅとする。更に、Ｉｍ＿ｄとＩｍ＿ｃとの間で相加平均をとったものをＩｍ＿ｃｄとする。これら視差の消滅した３つの画像の照度レベルを合わせるため最終出力画像Ｉｍ＿ｏｕｔとして、３つの画像の相加平均をとる。すなわち、Ｉｍ＿ｏｕｔ＝（Ｉｍ＿ａｆ+Ｉｍ＿ｂｅ+Ｉｍ＿ｃｄ）／３。こうして得られる出力画像Ｉｍ＿ｏｕｔは、照度差の影響が取り除かれた視差なしの２Ｄ画像で、６視差に亘るボケ幅を全て１つに合わせた広いボケ幅、すなわち全開口マスクを備えた視差なし画素と同じボケ幅の被写体の画像が得られる。
＜実施形態１の追加説明＞
　カラーフィルタ１０２と視差画像について説明する。図１２は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶ横方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶ横方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶ縦方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶ縦方向をＧｒ列とする。
　このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。例えば、視差なし画素が多く割り振られていれば高解像度の２Ｄ画像データとなり、さらにＲＧＢのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の２Ｄ画像データとなる。ただし、この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。一方、視差画素が多く割り振られていれば高解像度の３Ｄ画像データとなり、さらにＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。ただし、この場合、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。
　このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン１１０が設定される。繰り返しパターン１１０において、例えば２種類の視差画素が割り当てられている場合には、それぞれの視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌｔ画素と、同じく右側に偏心した視差Ｒｔ画素と想定することができる。つまり、このような視差画素から出力される２視点の視差画像は、いわゆる立体視を実現する。
　次に、視差Ｌｔ画素および視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する。まず、視差なし画素におけるデフォーカスの概念について簡単に説明する図である。図１３は、視差なし画素におけるデフォーカスの概念を説明する図である。図１３（ａ）で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。
　一方、図１３（ｂ）に示すように、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。
　また、図１３（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。
　図１４は、視差画素におけるデフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。
　図１４（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。
　一方、図１４（ｂ）に示すように、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。また、図１４（ｃ）に示すように、さらに物点が焦点位置からずれると、図１４（ｂ）の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。つまり、物点が焦点位置から大きくずれる程、ぼけ量と視差量が増すと言える。
　図１３で説明した光強度分布の変化と、図１４で説明した光強度分布の変化をそれぞれグラフ化すると、図１５のように表される。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表し、この出力値は実質的に光強度に比例するので、図においては光強度として示す。
　図１５（ａ）は、図１３で説明した光強度分布の変化を表すグラフである。分布曲線１８０１は、図１３（ａ）に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線１８０２は、図１３（ｂ）に対応する光強度分布を表し、また、分布曲線１８０３は、図１３（ｃ）に対応する光強度分布を表す。分布曲線１８０１に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。
　図１５（ｂ）は、図１４で説明した光強度分布の変化を表すグラフである。分布曲線１８０４と分布曲線１８０５は、それぞれ図１４（ｂ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図１４（ｂ）に対して同等のデフォーカス状態である図１３（ｂ）の分布曲線１８０２と相似形状を示す。
　分布曲線１８０７と分布曲線１８０８は、それぞれ図１４（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図１４（ｃ）に対して同等のデフォーカス状態である図１３（ｃ）の分布曲線１８０３と相似形状を示す。
　図１６は、視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。図１６（ａ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状とが、視差なし画素の開口部１０４ｎの形状を中心線３２２で分割したそれぞれの形状と同一である例を示している。つまり、図１６（ａ）では、視差なし画素の開口部１０４ｎの面積は、視差Ｌｔ画素の開口部１０４ｌの面積と視差Ｒｔ画素の開口部１０４ｒの面積の和になっている。本実施形態においては、視差なし画素の開口部１０４ｎを全開口の開口部といい、開口部１０４ｌおよび開口部１０４ｒを半開口の開口部という。また、開口部が光電変換素子の中央に位置する場合に、当該開口部が基準方向に向いているという。視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒは、それぞれ対応する光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２に対して、互いに反対方向に偏位している。したがって、視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒはそれぞれ、基準方向に対する一方向、当該一方向とは反対の他方向に視差を生じさせる。
　図１６（ｂ）は、図１６（ａ）で示した各開口部を有する画素において、物点が焦点位置からずれた場合の光強度分布を示す。図中において、曲線Ｌｔは図１５（ｂ）の分布曲線１８０４、曲線Ｒｔは図１５（ｂ）の分布曲線１８０５にそれぞれ相当する。曲線Ｎは視差なし画素に対応しており、図１５（ｂ）の合成分布曲線１８０６と相似形状を示す。また、それぞれの開口部１０４ｎ、開口部１０４ｌ、開口部１０４ｒは、開口絞りの機能を有する。したがって、開口部１０４ｌ（開口部１０４ｒ）の倍の面積を持つ開口部１０４ｎを有する視差なし画素のボケ幅は、図１５（ｂ）の合成分布曲線１８０６で示される、Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となる。
　図１６（ｃ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状と、視差Ｃ画素の開口部１０４ｃの形状とが、全て同形状である例を示している。ここで、視差Ｃ画素は、偏心のない画素をいう。視差Ｃ画素は、瞳の中心部分を部分領域とする被写体光束のみを光電変換素子１０８へ導く点で、厳密には、視差画像を出力する視差画素である。しかしながら、ここでは、基準方向に対応する開口部を有する画素を視差なし画素と定義する。したがって、基準方向として、図１６（ａ）の視差なし画素と同様に光電変換素子の中央に開口部を有する図１６（ｃ）の視差Ｃ画素は、視差なし画素である。また、開口部１０４ｌ、開口部１０４ｒ、開口部１０４ｃは、図１６（ａ）で示した開口部１０４ｎの半分の面積である。図１６（ａ）の場合と同様、開口部１０４ｌおよび１０４ｒのそれぞれは、光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２と接している。
　図１６（ｄ）は、図１６（ｃ）で示した各開口部を有する画素において、物点が焦点位置からずれた場合の光強度分布を示す。図中において、曲線Ｌｔは図１５（ｂ）の分布曲線１８０４、曲線Ｒｔは図１５（ｂ）の分布曲線１８０５にそれぞれ相当する。また、それぞれの開口部１０４ｃ、開口部１０４ｌ、開口部１０４ｒは、開口絞りの機能を有する。したがって、開口部１０４ｌおよび開口部１０４ｒと同形状、同面積である開口部１０４ｃを有する視差Ｃ画素のボケ幅は、視差Ｌｔ画素および視差Ｒｔ画素のボケ幅と同程度となる。
　図１７は、視差画素の種類が２つである場合の繰り返しパターン１１０の一例を示す図である。デジタルカメラ１０の座標系は、Ｘ軸、Ｙ軸、Ｚ軸で定義したが、撮像素子１００においては、左端かつ上端の画素を基準に右方向にｘ軸を、下方向にｙ軸を定義する。図の例においては、ベイヤー配列と同じ４画素を繰り返しパターン１１０とする。この繰り返しパターン１１０は、撮像素子１００の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子１００は、図の太線で示す繰り返しパターン１１０を基本格子とする。Ｒ画素とＢ画素は視差なし画素であり、Ｇｂ画素を視差Ｌ画素に、Ｇｒ画素を視差Ｒ画素に割り当てる。この場合、同一の繰り返しパターン１１０に含まれる視差Ｌｔ画素と視差Ｒｔ画素が、被写体が合焦位置に存在するときに、同じ微小領域から放射される光束を受光するように開口部１０４が定められる。また、この例では、図１６（ａ）で説明したように、視差なし画素が全開口の開口部であり、視差Ｌｔ画素および視差Ｒｔ画素が半開口の開口部であるとする。なお、画素ピッチをａとする。
　図の例においては、視感度の高い緑画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、これら２つの出力から視差のない出力に変換演算がし易く、視差なし画素であるＲ画素およびＢ画素の出力と共に、高画質の２Ｄ画像データを生成できる。なお、詳しくは後述するが、本実施の形態においては、実際には撮像素子１００の画素として存在しない、ＲＧＢいずれかのカラーフィルタを併せ持つ視差Ｌｔ画素および視差Ｒｔ画素の仮想的な出力として、左側視点および右側視点のカラー画像データを、変換演算によって比較的簡易な処理により取得する。
　図１（下段）は、図１７に示す繰り返しパターン１１０が採用された撮像素子で撮像された画像の空間周波数に関する分解能を示す図である。図１（下段）では、空間周波数に関する分解能は、ｋ＝２πｆで表される波数ｋのｋ空間（ｋ－ｓｐａｃｅ）で記述されている。ただし、ｆは周波数を示す。周波数解像域は、逆格子空間の単位胞（ウィグナー・ザイツ・セル）を表す第一ブリルアンゾーンによって記述される。
　上述のように画素ピッチをａとすると、カラーフィルタおよび開口マスクが配置されていなければ、撮像された画像は、点線で囲われたナイキスト周波数ｋｘ＝［－π／ａ，＋π／ａ］、ｋｙ＝［－π／ａ，＋π／ａ］の範囲の解像力を持つ。つまり、点線で囲われた範囲が、画像が持つ限界解像周波数となる。ただし、本実施の形態においては、カラーフィルタと開口マスクが、１つのセンサ面に重ね合わせて配置されている。１つのセンサ面で捉えられる情報は一定であるので、機能を分けることによってそれぞれの情報量が減ることになる。例えば、開口マスクによって視差画素が形成されることにより、相対的に視差なし画素数は減少するので、視差なし画素により得られる情報量は減ることになる。カラーフィルタについても同様であり、Ｒ，Ｇ，Ｂの３つに分けた分だけ、個々の情報量は減ることになる。
　したがって、特定の開口マスクにおける特定色の画像に着目すると、当該画像の限界解像周波数は、本来有するナイキスト周波数に達しない。具体的には、図示するように、例えば左側視点のＧ成分の画像ＧＬｔは、ｋｘ軸、ｋｙ軸の両方向に対して、本来有するナイキスト周波数の半分の領域である、ｋｘ＝［－π／（２ａ），＋π／（２ａ）］、ｋｙ＝［－π／（２ａ），＋π／（２ａ）］の範囲の解像力しか持たない。右側視点のＧ成分の画像ＧＲｔ、視差がない中間視点のＲ成分の画像ＲＮ、視差がない中間視点のＢ成分の画像ＢＮについても同様である。
　したがって、このままでは、左側視点のＲＧＢのカラー画像と右側視点のＲＧＢのカラー画像を生成したとしても、これらの画像の解像力は、ｋｘ＝［－π／（２ａ），＋π／（２ａ）］、ｋｙ＝［－π／（２ａ），＋π／（２ａ）］の範囲である。つまり、これらの画像は、本来有するナイキスト周波数ｋｘ＝［－π／ａ，＋π／ａ］、ｋｙ＝［－π／ａ，＋π／ａ］の範囲の解像力を持たない。
　本実施の形態においては、画像処理部２０５が、機能を分けることによって減少した情報量を補うべく、解像度を上げるための処理を行う。具体的には、視差画素であるＧＬｔ画素およびＧＲｔ画素を、仮想的な視差なし画素ＧＮで置き換えることで、視差なし画素のみからなるベイヤー配列を生成する。そうすると、既存のベイヤー補間の技術を利用して、視差がない中間画像として、本来のナイキスト周波数ｋｘ＝［－π／ａ，＋π／ａ］、ｋｙ＝［－π／ａ，＋π／ａ］の範囲の解像力を持つカラー画像を生成することができる。さらにその後、周波数空間において小さな解像力しか持たない左側視点の画像と視差がない中間画像を重畳することによって、最終的には、本来のナイキスト周波数の範囲の解像力を持つ左側視点のカラー画像を生成することができる。右側視点のカラー画像についても同様のことが言える。
　なお、図１７に示した画素配列における各画素は、開口部１０４に着目した場合の視差画素と視差なし画素、およびカラーフィルタ１０２に着目した場合のＲ画素、Ｇ画素、Ｂ画素が、さまざまに組み合わされて特徴付けられる。したがって、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。すなわち、撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、既に図１１を用いて説明したように、視差画素の出力をその開口部の種類ごとに寄せ集めると、互いに視差を有する複数の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。
　画像処理部２０５は、撮像素子１００の画素配列順にその出力値が羅列されたＲＡＷ元画像データであるモザイク画像データＭｍｏｓａｉｃ（ｘ，ｙ）を受け取る。ここで、各画素においてＲ、Ｇ、Ｂの少なくとも一つの情報が欠けている画像をモザイク画像といい、モザイク画像を形成するデータをモザイク画像データという。ただし、各画素においてＲ、Ｇ、Ｂの少なくとも一つの情報が欠けていたとしても、そもそも画像として扱わない場合、例えば画像データが単色の画素の画素値によって構成させる場合には、モザイク画像として扱わない。なお、各出力値は、撮像素子１００の各光電変換素子が受光する受光量に比例した線形階調の値である。
　本実施の形態においては、画像処理部２０５が、この段階で左右間の全体的な明るさの整合をとるためのゲイン補正を行う。左視差画素に入射する光の照度と右視差画素に入射する光の照度には、開口絞りを絞るほど、左右間の相対的な分布だけではなく、画像全体の平均信号レベルとしても大きな差が生じるためである。本実施形態において、左右間の全体的な明るさの整合をとるためのゲイン補正を、グローバル・ゲイン補正という。
　図１８は、ゲイン値の算出を説明するための図である。便宜的に、モザイク画像データＭｍｏｓａｉｃ（ｘ，ｙ）の内、Ｇ成分の左視差画素のモザイク画像データをＬｔｍｏｓａｉｃ（ｘ，ｙ）、Ｇ成分の右視差画素のモザイク画像データをＲｔｍｏｓａｉｃ（ｘ，ｙ）と表し、図１８においても、左右の視差画素のみを抽出して図示している。ただし、図においては、図１７の例に則して画素の種類が理解されるように記載するが、実際には各画素に対応した出力値が並ぶ。
　図１９は、ゲイン補正を説明するための図である。画像処理部２０５の算出部２３３は、左右の視差画素に対するゲイン値を算出すると、図示するように、Ｌｔｍｏｓａｉｃ（ｘ，ｙ）およびＲｔｍｏｓａｉｃ（ｘ，ｙ）の各画素に対して、算出したゲイン値を用いてゲイン補正を行う。具体的には、以下の（数１）により左視差画素に対するゲイン補正を、（数２）により右視差画素に対するゲイン補正を行う。なお、便宜的に、モザイク画像データＭ' ｍｏｓａｉｃ（ｘ，ｙ）の内、Ｇ成分の左視差画素のモザイク画像データをＬｔ'ｍｏｓａｉｃ（ｘ，ｙ）、Ｇ成分の右視差画素のモザイク画像データをＲｔ'ｍｏｓａｉｃ（ｘ，ｙ）と表す。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
 　これにより、画像処理部２０５の算出部２３３は、図示するように、Ｍｍｏｓａｉｃ（ｘ，ｙ）内の左視差画素および右視差画素がそれぞれ１つのゲイン係数で補正されたモザイク画像データＭ'ｍｏｓａｉｃ（ｘ，ｙ）を生成することができる。次に、画像処理部２０５は、仮の視差画像として、空間周波数解像度の低い左視差画像と右視差画像を生成する。
　図２０は、仮の視差画像の生成を説明するための図である。画像処理部２０５は、まず、モザイク画像データＭ'ｍｏｓａｉｃ（ｘ，ｙ）を複数のプレーンデータに分離する。この時点における各プレーンデータは、ＲＡＷ元画像データにおいて出力値が存在する画素位置にのみ出力値が存在する。そこで、画像処理部２０５は、各プレーンデータを基に補間処理を行い、空格子が埋められたプレーンデータを生成する。
　図２０において、上図の左側は、モザイク画像データＭ'ｍｏｓａｉｃ（ｘ，ｙ）から左視差画素のみを抽出したプレーンデータであるＬｔ'ｍｏｓａｉｃ（ｘ，ｙ）を示す図、右側は、右視差画素のみを抽出したプレーンデータであるＲｔ'ｍｏｓａｉｃ（ｘ，ｙ）を示す図である。各図においては、図１７の例に則して画素の種類が理解されるように記載するが、実際には各画素に対応した出力値が並ぶ。
　空間周波数解像度の低い左視差画像データであるＬｔ'（ｘ，ｙ）を生成するにあたり、画像処理部２０５の算出部２３３は、空格子となった画素値を、周辺の左視差画素の画素値を用いて補間処理により算出する。例えば、空格子ＰＬ１の画素値は、斜め方向に隣接する４つの左視差画素の画素値を平均化演算して算出される。画像処理部２０５の算出部２３３は、全ての空格子に対して、周辺の左視差画素の画素値を平均化演算し補間処理を行うことによって、図２０の下左図に示すように、空格子が埋められたプレーンデータであるＬｔ'（ｘ，ｙ）を生成する。なお、画像処理部２０５の算出部２３３は、補間処理により算出された画素値を用いて、さらに補間処理を行ってもよいし、ＲＡＷ元画像データの段階で存在する出力値のみを用いて補間処理を行ってもよい。
　同様に、空間周波数解像度の低い右視差画像データであるＲｔ'（ｘ，ｙ）を生成するにあたり、画像処理部２０５の算出部２３３は、空格子となった画素値を、周辺の右視差画素の画素値を用いて補間処理により算出する。例えば、空格子ＰＲ１の画素値は、斜め方向に隣接する４つの右視差画素の画素値を平均化演算して算出される。画像処理部２０５の算出部２３３は、全ての空格子に対して、周辺の右視差画素の画素値を平均化演算し補間処理を行うことによって、図２０の下右図に示すように、空格子が埋められたプレーンデータであるＲｔ'（ｘ，ｙ）を生成する。
　次に、画像処理部２０５の算出部２３３は、Ｌｔ'（ｘ，ｙ）の各画素に対して、それぞれ算出されたゲイン値を用いてゲイン補正を行い、同様に、Ｒｔ'（ｘ，ｙ）の各画素に対して、それぞれ算出されたゲイン値を用いてゲイン補正を行う。これにより、同一の画素位置における左視差画素と右視差画素の照度を合わせる。本実施形態において、このように、画素単位に算出されたゲイン値を用いたゲイン補正を、上述のグローバル・ゲイン補正に対し、ローカル・ゲイン補正という。
　図２１は、ゲイン値の算出を説明するための図である。図示するように、画像処理部２０５の算出部２３３は、Ｌｔ'（ｘ，ｙ）およびＲｔ'（ｘ，ｙ）から、画素毎の平均値を算出する。ローカル・ゲイン補正を行うにあたり、ここでも、平均値の算出方法として相加平均と相乗平均の２通りが考えられる。ここでは、視差が消滅したＧ成分の視差なし画素における被写体像のボケ幅を、視差なし画素の被写体像のボケ幅に一致させるべく、相加平均を採用する。この場合、具体的には、画像処理部２０５の算出部２３３は、以下の（数３）により平均値を算出する。
Figure JPOXMLDOC01-appb-M000008
　図２２は、ローカル・ゲイン補正を説明するための図である。上述のように、各画素に対してローカル・ゲイン補正を行う処理によって平均値が得られる。したがって、画像処理部２０５の算出部２３３は、図示するように、繰り返しパターン１１０の左右の視差画素の画素値をそれぞれ、（数３）で算出したｍ（ｘｍ、ｙｎ）、ｍ（ｘｍ＋１、ｙｎ＋１）に置き換えるだけで、ローカル・ゲイン補正を行うことができる。この意味で、ローカル・ゲイン補正は、視差を消滅させるための変調処理であると言える。これにより、視差Ｇｂ画素および視差Ｇｒ画素の画素値が視差なしＧ画素の画素値に置き換えられたベイヤー配列を得ることができる。
　画像処理部２０５の算出部２３３は、全ての左右の視差画素の画素値を（数３）で算出した対応する平均値に置き換えることによって、ＭＮ（ｘ、ｙ）を生成する。なお、ローカル・ゲイン補正は、Ｌｔ'（ｘ，ｙ）およびＲｔ'（ｘ，ｙ）の全ての画素ではなく、ベイヤー配列における左視差画素および右視差画素の位置に対応する画素について行ってもよい。
　次に、画像処理部２０５は、既存の色補間の技術を用いて、ＭＮ（ｘ、ｙ）から、各画素がナイキスト周波数までの分解能を持つ視差なしのカラー画像データを、中間画像データとして生成する。
　図２３は、Ｇ成分の補間を説明する図である。Ｇ色補間は、図２３左図で示される中央のＲ画素の位置［ｉ，ｊ］に対して、図中の画素を参照して算出する。Ｂ画素の位置に対してＧ色補間を行う場合の画素位置は、図２３右図によって示される。
　本実施形態においては、画像処理部２０５は、Ｌｔ'（ｘ、ｙ）、Ｒｔ'（ｘ、ｙ）、ＲＮ（ｘ、ｙ）、ＧＮ（ｘ、ｙ）、ＢＮ（ｘ、ｙ）の５つのプレーンデータを用いて、左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。具体的には、画像処理部２０５は、仮の視差画像が持つ視差成分を視差なし画像に重畳することによって、左右のカラー画像データを生成する。この生成処理を視差変調処理という。
　左側視点のカラー画像データは、左側視点に対応する赤色プレーンデータであるＲＬｔ（ｘ、ｙ）、緑色プレーンデータであるＧＬｔ（ｘ、ｙ）、および青色プレーンデータであるＢＬｔ（ｘ、ｙ）の３つのカラー視差プレーンデータによって構成される。同様に、右側視点のカラー画像データは、右側視点に対応する赤色プレーンデータであるＲＲｔ（ｘ、ｙ）、緑色プレーンデータであるＧＲｔ（ｘ、ｙ）、および青色プレーンデータであるＢＲｔ（ｘ、ｙ）の３つのカラー視差プレーンデータによって構成される。
　図２４は、カラー視差プレーンデータの生成処理を説明する図である。特に、カラー視差プレーンのうち赤色視差プレーンである、ＲＬｔ（ｘ、ｙ）とＲＲｔ（ｘ、ｙ）の生成処理について示す。
　以上の説明においては、被写体像のカラーを構成する原色として、赤色、緑色および青色の３つを用いた。しかし、翠色などを加えた４つ以上を原色としても良い。また、赤色、緑色および青色に代えて、イエロー、マゼンタ、シアンの組み合わせによる補色の３原色を採用することもできる。
　上述においては、例えば画像処理部２０５が含む画素値抽出部２３１および算出部２３３などは、デジタルカメラ１０を構成する各構成要素の機能としてそれぞれの処理を説明した。また、制御部２０１および画像処理部２０５を動作させる制御プログラムは、デジタルカメラ１０を構成する各ハードウェアを、上述の処理を実行させる構成要素として機能させ得る。また、カラー画像データを生成するこれらの処理は、デジタルカメラ１０で行わなくても、外部のパーソナルコンピュータなどの機器で行っても良い。この場合、外部のパーソナルコンピュータなどの機器は画像処理装置として機能する。画像処理装置は、例えばＲＡＷ元画像データを取得してカラー画像データを生成する。画像処理装置は、ＲＡＷ元画像データを取得した場合は、上述のプレーン分離処理、プレーンデータの補間処理も実行する。また、画像処理装置は、撮像装置側で補間処理が施されたプレーンデータを取得しても良い。パーソナルコンピュータなどに適用する場合、上述した処理に関するプログラムは、ＣＤ－ＲＯＭなどの記録媒体、インターネットなどのデータ信号を通じて提供することができる。
　以上の実施形態２に関する説明では、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる操作に、ボケ幅を共通にする目的で相乗平均を用いた。視差なし画素の画素値と左右の視差画素の平均値との相乗平均を算出する場合に、当該画素値に対する重みと当該平均値に対する重みの配分は均等であった。一方、視差画素の数は視差なし画素の数より少ない。加えて、視差画像の解像力は、視差なし画像の解像力より低い。上述したように、例えば視差なし画像であるＲＮ、ＢＮのナイキスト限界性能がkx=[-π/(2a),+π/(2a)]、ky=[-π/(2a),+π/(2a)]であるのに対し、視差画像であるＲＬｔ、ＢＬｔ、ＲＲｔ、ＢＲｔのナイキスト限界性能は、kx=[-π/(8a),+π/(8a)]、ky=[-π/(8a),+π/(8a)]である。したがって、視差なし画素の画素値と左右の視差画素の平均値とに対する重みの配分を均等にすると、得られる画像の解像力は、視差画像の解像力の影響により全体として低下する。よって、視差なし画像の解像力に可能な限り近づける工夫が必要になる。そこで、撮像素子上の画素配列における視差なし画素と視差画素の密度比を考慮に入れて相乗平均をとるとよい。具体的には、実施形態２で用いた視差なし画素（Ｎ）と左視差画素（Ｌｔ）と右視差画素（Ｒｔ）の比は、Ｎ：Ｌｔ：Ｒｔ＝１４：１：１、すなわち、Ｎ：(Ｌｔ＋Ｒｔ)＝７：１であるので、視差画素には７／８乗の重みを、視差なし画素には１／８乗の重みを与えて、密度の高い視差なし画素を重視した配分とする。
　上述したように、左右間の視差を消滅させる方法には、相加平均を選ぶ方法と相乗平均を選ぶ方法の２種類が存在する。全ての視差なし画素が全開口のマスク面積を持っている場合には、左右間で視差消滅させた被写体像のボケ幅が全開口のボケ幅と一致させるために相加平均型を選ぶとよい。以下のａ）は、相加平均型を選んだ場合について示す。
Figure JPOXMLDOC01-appb-I000035
Figure JPOXMLDOC01-appb-I000036
　一方、全ての視差なし画素が半開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅が半開口のボケ幅と一致させるために相乗平均型を選ぶとよい。以下のｂ）は、相乗平均型を選んだ場合について示す。
Figure JPOXMLDOC01-appb-I000037
Figure JPOXMLDOC01-appb-I000038
　また、視差変調を行うときも、撮像素子上の画素配列における各視差画素同士の間でのＲＧＢの密度比を考慮に入れた相乗平均をとることもできる。すなわち、左視差画素同士の間ではＲ：Ｇ：Ｂ＝１：２：１であり、右視差画素同士の間でもＲ：Ｇ：Ｂ＝１：２：１であるので、Ｒ成分による視差変調に１／４乗の重みを、Ｇ成分による視差変調に１／２乗の重みを、Ｂ成分による視差変調に１／４乗の重みを与えて、密度の高いＧ成分による視差変調を重視した配分をとる。以下のａ）は、相加平均を基準点とした視差変調について示す。
Figure JPOXMLDOC01-appb-I000039
　以下のｂ）は、相乗平均を基準点とした視差変調について示す。
Figure JPOXMLDOC01-appb-I000040
Figure JPOXMLDOC01-appb-I000041
　モノクロ撮像素子を用いた場合も撮像素子上の画素配列における視差なし画素と視差画素の密度比を考慮に入れた相乗平均をとることができる。具体的には、実施形態３で用いた視差なし画素（Ｎ）と左視差画素（Ｌｔ）と右視差画素（Ｒｔ）の比はＮ：Ｌｔ：Ｒｔ＝１４：１：１、すなわち、Ｎ：(Ｌｔ＋Ｒｔ)＝７：１であるので、視差なし画素には７／８乗の重みを、視差画素には１／８乗の重みを与えて、密度の高い視差なし画素を重視した配分とする。以下のａ）は、左右間の視差を消滅させる方法として相加平均型を選んだ場合について示す。
Figure JPOXMLDOC01-appb-I000042
　以下のｂ）は、左右間の視差を消滅させる方法として相乗平均型を選んだ場合について示す。
Figure JPOXMLDOC01-appb-I000043
　撮像素子上の画素配列における視差なし画素と視差画素の密度比を考慮に入れて相加平均をとることもできる。特に上述した各実施形態で説明した演算をハードウェアで実現する場合に有効である。ここでは、一例として、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる場合について示す。視差変調を行う場合、モノクロ撮像素子を用いた場合についても同様に相加平均をとることができる。以下のａ）は、左右間の視差を消滅させる方法として相加平均型を選んだ場合について示す。
Figure JPOXMLDOC01-appb-I000044
Figure JPOXMLDOC01-appb-I000045
　以下のｂ）は、左右間の視差を消滅させる方法として相乗平均型を選んだ場合について示す。
Figure JPOXMLDOC01-appb-I000046
Figure JPOXMLDOC01-appb-I000047
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０　デジタルカメラ、２０　撮影レンズ、２１　光軸、３０、３１　被写体、１００　撮像素子、１０１　マイクロレンズ、１０２　カラーフィルタ、１０３　開口マスク、１０４　開口部、１０５　配線層、１０６　配線、１０７　開口、１０８　光電変換素子、１０９　基板、１１０　繰り返しパターン、２０１　制御部、２０２　Ａ／Ｄ変換回路、２０３　メモリ、２０４　駆動部、２０５　画像処理部、２０７　メモリカードＩＦ、２０８　操作部、２０９　表示部、２１０　ＬＣＤ駆動回路、２１１　ＡＦセンサ、２２０　メモリカード、２３１　画素値抽出部、２３３　算出部、３２２　中心線、１８０１　分布曲線、１８０２　分布曲線、１８０３　分布曲線、１８０４　分布曲線、１８０５　分布曲線、１８０６　合成分布曲線、１８０７　分布曲線、１８０８　分布曲線、１８０９　合成分布曲線

Claims (24)

  1. 　第１～第n（n≧２）の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなり、第１の色成分を有する画素には、基準方向に対して左方向の視差を生み出す開口マスクを備えた左視差画素と右方向の視差を生み出す開口マスクを備えた右視差画素の少なくとも２種類の画素を配置し、第２～第nの色成分を有する画素には、基準方向の視点を生み出す開口マスクを備えた視差なし画素の少なくとも１種類の画素を配置した画素配列からなる撮像素子を用いて、１つの光学系を通して被写体像を左方向の視点と右方向の視点と基準方向の視点を同時にそれぞれ異なる画素に撮像した第１の画像を入力し、
    　前記各々の画素に対して、基準方向の視点に関する第１～第nの色成分の色情報を有する第２の画像に変換する画像処理方法であって、
    　第１の画像の第１の色成分の左視差画素の位置に、撮像された第１の色成分の右視差画素の色情報を用いて、右方向の視点に関する第１の色成分の色情報を生成する手順と、
    　第１の画像の第１の色成分の左視差画素の位置上で、撮像素子によって撮像された左方向の視点に関する第１色成分の色情報と、前記生成された右方向の視点に関する第１色成分の色情報との２視点の間の平均値を算出する手順と、
    　第１の画像の第１の色成分の右視差画素の位置に、撮像された第１の色成分の左視差画素の色情報を用いて、左方向の視点に関する第１の色成分の色情報を生成する手順と、
    　第１の画像の第１の色成分の右視差画素の位置上で、撮像素子によって撮像された右方向の視点に関する第１色成分の色情報と、前記生成された左方向の視点に関する第１色成分の色情報との２視点の間の平均値を算出する手順と、
    　前記算出された第１の色成分の２視点の間の平均値の色情報と、第１の画像の第２～第nの色成分の色情報を合わせて、１つの画素に１つの色成分の色情報を有する第３の画像を出力する手順と、
    　前記第３の画像の色情報に基づいて、前記第２の画像を生成する手順と
    を備えたことを特徴とする画像処理方法。
  2. 　第１～第n（n≧１）の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなり、第１の色成分を有する画素には、基準方向に対して左方向の視差を生み出す開口マスクを備えた左視差画素と、右方向の視差を生み出す開口マスクを備えた右視差画素と、基準方向の視点を生み出す開口マスクを備えた視差なし画素の少なくとも３種類の画素を配置した画素配列からなる撮像素子を用いて、１つの光学系を通して被写体像を左方向の視点と右方向の視点と基準方向の視点を同時にそれぞれ異なる画素に撮像した第１の画像を入力し、
    　前記各々の画素に対して、基準方向の視点に関する第１～第nの色成分の色情報を有する第２の画像に変換する画像処理方法であって、
    　第１の画像の第１の色成分の左視差画素の位置に、撮像された第１の色成分の右視差画素の色情報を用いて、右方向の視点に関する第１の色成分の色情報を生成する手順と、
    　第１の画像の第１の色成分の左視差画素の位置に、撮像された第１の色成分の視差なし画素の色情報を用いて、基準方向の視点に関する第１の色成分の色情報を生成する手順と、
    　第１の画像の第１の色成分の左視差画素の位置上で、撮像素子によって撮像された左方向の視点に関する第１色成分の色情報と、前記生成された右方向の視点に関する第１色成分の色情報との２視点の間の平均値を算出する手順と、
    　第１の画像の第１の色成分の左視差画素の位置上で、前記算出された左方向の視点と右方向の視点の２視点の間の第１色成分の平均値の色情報と、前記生成された基準方向の視点に関する第１色成分の色情報との３視点の間の平均値を算出する手順と、
    　第１の画像の第１の色成分の右視差画素の位置に、撮像された第１の色成分の左視差画素の色情報を用いて、左方向の視点に関する第１の色成分の色情報を生成する手順と、
    　第１の画像の第１の色成分の右視差画素の位置に、撮像された第１の色成分の視差なし画素の色情報を用いて、基準方向の視点に関する第１の色成分の色情報を生成する手順と、
    　第１の画像の第１の色成分の右視差画素の位置上で、撮像素子によって撮像された右方向の視点に関する第１色成分の色情報と、前記生成された左方向の視点に関する第１色成分の色情報との２視点の間の平均値を算出する手順と、
    　第１の画像の第１の色成分の右視差画素の位置上で、前記算出された左方向の視点と右方向の視点の２視点の間の第１色成分の平均値の色情報と、前記生成された基準方向の視点に関する第１色成分の色情報との３視点の間の平均値を算出する手順と、
    　第１の画像の第１の色成分の視差なし画素の位置に、撮像された第１の色成分の左視差画素の色情報を用いて、左方向の視点に関する第１の色成分の色情報を生成する手順と、
    　第１の画像の第１の色成分の視差なし画素の位置に、撮像された第１の色成分の右視差画素の色情報を用いて、右方向の視点に関する第１の色成分の色情報を生成する手順と、
    　第１の画像の第１の色成分の視差なし画素の位置上で、戦記生成された左方向の視点に関する第１色成分の色情報と、前記生成された右方向の視点に関する第１色成分の色情報との２視点の間の平均値を算出する手順と、
    　第１の画像の第１の色成分の視差なし画素の位置上で、前記算出された左方向の視点と右方向の視点の２視点の間の第１色成分の平均値の色情報と、撮像素子によって撮像された基準方向の視点に関する第１色成分の色情報との３視点の間の平均値を算出する手順と、
    　前記算出された第１の色成分の３視点の間の平均値の色情報と、第１の画像のその他の色成分の色情報を合わせて、１つの画素に１つの色成分の色情報を有する第３の画像を出力する手順と、
    　前記第３の画像の色情報に基づいて、前記第２の画像を生成する手順と
    を備えたことを特徴とする画像処理方法。
  3. 　請求項１、２に記載の画像処理方法は更に、
    　第１の色成分の左視差画素の色情報を用いて、各々の画素に第１の色成分の左方向の視点の画像を生成する手順と、
    　第１の色成分の右視差画素の色情報を用いて、各々の画素に第１の色成分の右方向の視点の画像を生成する手順と、
    　前記生成された第１の色成分の左方向の視点の画像と、前記第１～第nの色成分の基準方向の視点の第２の画像を少なくとも用いて、第１～第nの色成分を有した左方向の視点の画像を新たに生成する手順と、
    　前記生成された第１の色成分の右方向の視点の画像と、前記第１～第nの色成分の基準方向の視点の第２の画像を少なくとも用いて、第１～第nの色成分を有した右方向の視点の画像を新たに生成する手順と
    を備えたことを特徴とする。
  4. 　請求項１、２に記載の画像処理方法において、
    　前記撮像素子の視差なし画素の開口マスクが、左視差画素の開口マスク及び右視差の開口マスクを合わせた２倍の開口面積を有しているとき、前記左視点と右視点の２視点の間の平均値は相加平均を算出することを特徴とする。
  5. 　請求項１、２に記載の画像処理方法において、
    　前記撮像素子の視差なし画素の開口マスクが、左視差画素の開口マスク及び右視差の開口マスクと同一の開口面積を有しているとき、前記左視点と右視点の２視点の間の平均値は相乗平均を算出することを特徴とする。
  6. 　請求項２に記載の画像処理方法において、
    　前記３視点の間の平均値は相乗平均を算出することを特徴とする。
  7. 　請求項１、２に記載の画像処理方法において、
    　前記第３の画像から第２の画像を生成する手順は、
    　前記第３の画像の色情報を用いて、少なくとも２方向に関する類似度を算出する類似度算出手順と、
    　前記類似度の大きさを比較して類似性の高い方向を判定する類似性判定手順と、
    　前記類似性の高い方向の色情報を用いて第３の画像に欠落する色成分を補間する補間手順と
    を備えることを特徴とする。
  8. 　請求項７に記載の画像処理方法において、
    　前記類似度算出手順は、同じ色成分の間の類似度を算出する同色間類似度算出部と、異なる色成分間の類似度を算出する異色間類似度算出部を備える。
  9. 　請求項１、２に記載の画像処理方法において、
    　前記第３の画像から第２の画像を生成手順は、
    　第３の画像に欠落する色成分を、欠落する色成分の色情報の他に、欠落する色成分とは異なる他の色成分の色情報も同時に用いて補間値を算出する補間手順を備えることを特徴とする。
  10. 　被写体像のカラーを構成する複数の色成分のうち第１成分色の第１フィルタおよび基準方向に対応する視差なし開口部を有する第１画素の第１画素値と、前記複数の色成分のうち第２成分色の第２フィルタおよび前記基準方向に対する一方向に視差を生じさせる視差開口部を有する第２画素の第２画素値と、前記第２フィルタおよび前記一方向とは反対の他方向に視差を生じさせる視差開口部を有する第３画素の第３画素値とを含む第１画像データを取得する取得部と、
    　前記第２画素の画素位置に対し、当該画素位置における前記第２画素値と、周辺の前記第３画素の前記第３画素値を用いて算出した仮想的な前記第３画素値とを平均化処理した第４画素値と、前記第３画素の画素位置に対し、当該画素位置における前記第３画素値と、周辺の前記第２画素の前記第２画素値を用いて算出した仮想的な前記第２画素値とを平均化処理した第５画素値とを算出する算出部と、
    　前記第１画素値、前記第４画素値および前記第５画素値を用いて、少なくとも前記第１成分色と前記第２成分色の色情報を含む前記基準方向における２Ｄ画像データである第２画像データを生成する画像生成部と
    を備える画像処理装置。
  11. 　被写体像のカラーを構成する複数の色成分のうち第１成分色の第１フィルタおよび基準方向に対応する視差なし開口部を有する第１画素の第１画素値と、前記複数の色成分のうち第２成分色の第２フィルタおよび前記基準方向に対する一方向に視差を生じさせる視差開口部を有する第２画素の第２画素値と、前記第２フィルタおよび前記一方向とは反対の他方向に視差を生じさせる視差開口部を有する第３画素の第３画素値と、前記第２フィルタおよび前記基準方向に対応する視差なし開口部を有する第４画素の第４画素値とを含む第１画像データを取得する取得部と、
    　前記第２画素の画素位置に対し、当該画素位置における前記第２画素値と、周辺の前記第３画素の前記第３画素値を用いて算出した仮想的な前記第３画素値と、周辺の前記第４画素の前記第４画素値を用いて算出した仮想的な前記第４画素値とを平均化処理した第５画素値と、前記第３画素の画素位置に対し、当該画素位置における前記第３画素値と、周辺の前記第２画素の前記第２画素値を用いて算出した仮想的な前記第２画素値と、周辺の前記第４画素の前記第４画素値を用いて算出した仮想的な前記第４画素値とを平均化処理した第６画素値と、前記第４画素の画素位置に対し、当該画素位置における前記第４画素値と、周辺の前記第２画素の前記第２画素値を用いて算出した仮想的な前記第２画素値と、周辺の前記第３画素の前記第３画素値を用いて算出した仮想的な前記第３画素値とを平均化処理した第７画素値とを算出する算出部と、
    　前記第１画素値、前記第５画素値、前記第６画素値および前記第７画素値を用いて、少なくとも前記第１成分色と前記第２成分色の色情報を含む前記基準方向における２Ｄ画像データである第２画像データを生成する画像生成部と
    を備える画像処理装置。
  12. 　前記画像生成部は、前記第２画素値と前記算出部が算出した仮想的な前記第２画素値とを含む第１視差画像データ、前記第３画素値と前記算出部が算出した仮想的な前記第３画素値とを含む第２視差画像データ、および前記第２画像データを用いて、少なくとも前記第１成分色と前記第２成分色の色情報を含む、前記一方向と前記他方向における３Ｄ画像データである第３画像データを生成する請求項１０または１１に記載の画像処理装置。
  13. 　前記算出部は、前記平均化処理として相加平均を用いる請求項１０から１２のいずれか１項に記載の画像処理装置。
  14. 　前記算出部は、前記第１画素の視差なし開口部の開口面積が、前記第２画素の視差開口部の開口面積と前記第３画素の視差開口部の開口面積の和に等しい場合に、前記平均化処理として相加平均を用いる請求項１３に記載の画像処理装置。
  15. 　前記算出部は、前記平均化処理として相乗平均を用いる請求項１０から１２のいずれか１項に記載の画像処理装置。
  16. 　前記算出部は、前記第１画素の視差なし開口部の開口面積が、前記第２画素の視差開口部の開口面積、前記第３画素の視差開口部の開口面積と等しい場合に、前記平均化処理として相乗平均を用いる請求項１５に記載の画像処理装置。
  17. 　前記画像生成部は、各々の画素位置に前記複数の色成分のそれぞれに対する画素値を有する前記第２画像データを生成する場合は、対象画素位置に対して少なくとも２方向の画素位置に存在する画素の画素値を用いて演算される類似度に基づいて補間処理に用いる補間処理画素を定め、前記補間処理画素の画素値を用いて前記対象画素位置において欠落する色成分の画素値を算出する請求項１０から１６のいずれか１項に記載の画像処理装置。
  18. 　前記画像生成部は、前記類似度を、前記複数の色成分のうち同じ色成分の画素値を用いて演算する請求項１７に記載の画像処理装置。
  19. 　前記画像生成部は、前記類似度を、前記複数の色成分のうち異なる色成分の画素値を用いて演算する請求項１７に記載の画像処理装置。
  20. 　前記被写体像を撮像する撮像素子と、
    　請求項１０から１９のいずれか１項に記載の画像処理装置と
    を備える撮像装置であって、
    　前記第１画像データは、前記撮像素子の出力に基づいて生成される撮像装置。
  21. 　被写体像のカラーを構成する複数の色成分のうち第１成分色の第１フィルタおよび基準方向に対応する視差なし開口部を有する第１画素の第１画素値と、前記複数の色成分のうち第２成分色の第２フィルタおよび前記基準方向に対する一方向に視差を生じさせる視差開口部を有する第２画素の第２画素値と、前記第２フィルタおよび前記一方向とは反対の他方向に視差を生じさせる視差開口部を有する第３画素の第３画素値とを含む第１画像データを取得する取得ステップと、
    　前記第２画素の画素位置に対し、当該画素位置における前記第２画素値と、周辺の前記第３画素の前記第３画素値を用いて算出した仮想的な前記第３画素値とを平均化処理した第４画素値と、前記第３画素の画素位置に対し、当該画素位置における前記第３画素値と、周辺の前記第２画素の前記第２画素値を用いて算出した仮想的な前記第２画素値とを平均化処理した第５画素値とを算出する算出ステップと、
    　前記第１画素値、前記第４画素値および前記第５画素値を用いて、少なくとも前記第１成分色と前記第２成分色の色情報を含む前記基準方向における２Ｄ画像データである第２画像データを生成する画像生成ステップと
    をコンピュータに実行させる画像処理プログラム。
  22. 　被写体像のカラーを構成する複数の色成分のうち第１成分色の第１フィルタおよび基準方向に対応する視差なし開口部を有する第１画素の第１画素値と、前記複数の色成分のうち第２成分色の第２フィルタおよび前記基準方向に対する一方向に視差を生じさせる視差開口部を有する第２画素の第２画素値と、前記第２フィルタおよび前記一方向とは反対の他方向に視差を生じさせる視差開口部を有する第３画素の第３画素値と、前記第２フィルタおよび前記基準方向に対応する視差なし開口部を有する第４画素の第４画素値とを含む第１画像データを取得する取得ステップと、
    　前記第２画素の画素位置に対し、当該画素位置における前記第２画素値と、周辺の前記第３画素の前記第３画素値を用いて算出した仮想的な前記第３画素値と、周辺の前記第４画素の前記第４画素値を用いて算出した仮想的な前記第４画素値とを平均化処理した第５画素値と、前記第３画素の画素位置に対し、当該画素位置における前記第３画素値と、周辺の前記第２画素の前記第２画素値を用いて算出した仮想的な前記第２画素値と、周辺の前記第４画素の前記第４画素値を用いて算出した仮想的な前記第４画素値とを平均化処理した第６画素値と、前記第４画素の画素位置に対し、当該画素位置における前記第４画素値と、周辺の前記第２画素の前記第２画素値を用いて算出した仮想的な前記第２画素値と、周辺の前記第３画素の前記第３画素値を用いて算出した仮想的な前記第３画素値とを平均化処理した第７画素値とを算出する算出ステップと、
    　前記第１画素値、前記第５画素値、前記第６画素値および前記第７画素値を用いて、少なくとも前記第１成分色と前記第２成分色の色情報を含む前記基準方向における２Ｄ画像データである第２画像データを生成する画像生成ステップと
    をコンピュータに実行させる画像処理プログラム。
  23. 　前記３視点の間の平均値を、前記画素配列の中における左視差画素と右視差画素と視差なし画素との間の画素密度の分配比を加重することによって算出する請求項２または６に記載の画像処理方法。
  24. 　前記算出部は、前記第１画素および前記第４画素、前記第２画素、前記第３画素の数に応じて重み付けを施す請求項１１に記載の画像処理装置。
PCT/JP2013/001746 2012-03-16 2013-03-14 画像処理装置、撮像装置および画像処理プログラム WO2013136809A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201380014377.6A CN104170377B (zh) 2012-03-16 2013-03-14 图像处理装置、摄像装置
US14/482,397 US10027942B2 (en) 2012-03-16 2014-09-10 Imaging processing apparatus, image-capturing apparatus, and storage medium having image processing program stored thereon

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012-061012 2012-03-16
JP2012061012 2012-03-16
JP2012-183511 2012-08-22
JP2012183511A JP6131546B2 (ja) 2012-03-16 2012-08-22 画像処理装置、撮像装置および画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/482,397 Continuation US10027942B2 (en) 2012-03-16 2014-09-10 Imaging processing apparatus, image-capturing apparatus, and storage medium having image processing program stored thereon

Publications (1)

Publication Number Publication Date
WO2013136809A1 true WO2013136809A1 (ja) 2013-09-19

Family

ID=49160732

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/001746 WO2013136809A1 (ja) 2012-03-16 2013-03-14 画像処理装置、撮像装置および画像処理プログラム

Country Status (4)

Country Link
US (1) US10027942B2 (ja)
JP (1) JP6131546B2 (ja)
CN (1) CN104170377B (ja)
WO (1) WO2013136809A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112736101A (zh) * 2019-10-28 2021-04-30 豪威科技股份有限公司 在多个子像素之间具有共享微透镜的图像传感器

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104322061B (zh) * 2012-06-22 2017-01-18 株式会社尼康 图像处理装置、摄像装置及图像处理方法
WO2014024500A1 (ja) 2012-08-10 2014-02-13 株式会社ニコン 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
WO2014156202A1 (ja) 2013-03-29 2014-10-02 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5982601B2 (ja) * 2014-03-18 2016-08-31 富士フイルム株式会社 撮像装置及び合焦制御方法
JP6405243B2 (ja) * 2014-03-26 2018-10-17 キヤノン株式会社 焦点検出装置及びその制御方法
JP6354838B2 (ja) 2014-04-04 2018-07-11 株式会社ニコン 撮像素子、撮像装置および画像処理装置
JP6900161B2 (ja) * 2016-09-14 2021-07-07 キヤノン株式会社 焦点調節装置及び撮像装置
JP6723546B2 (ja) * 2016-10-07 2020-07-15 株式会社ディー・ディー・エス 情報処理プログラム及び情報処理装置
CN110176280B (zh) * 2019-05-10 2023-06-06 北京大学深圳研究生院 一种描述材料晶体结构的方法及其应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003523646A (ja) * 1999-02-25 2003-08-05 ヴィジョンセンス リミテッド 光学装置
JP2010081609A (ja) * 2008-09-25 2010-04-08 Samsung Electronics Co Ltd 立体イメージセンサ
WO2012002297A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 撮像装置および撮像方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6836572B2 (en) 1998-06-01 2004-12-28 Nikon Corporation Interpolation processing apparatus and recording medium having interpolation processing program recorded therein
JP4599672B2 (ja) 1999-12-21 2010-12-15 株式会社ニコン 補間処理装置および補間処理プログラムを記録した記録媒体
JP3985679B2 (ja) 2001-01-25 2007-10-03 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
WO2004112401A1 (ja) 2003-06-12 2004-12-23 Nikon Corporation 画像処理方法、画像処理プログラム、画像処理装置
EP1781043B1 (en) * 2004-07-07 2013-01-23 Nikon Corporation Image processor and computer program product
WO2007007878A1 (ja) * 2005-07-14 2007-01-18 Nikon Corporation 画像処理装置および画像処理方法
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7999873B2 (en) * 2005-11-22 2011-08-16 Panasonic Corporation Imaging device with plural lenses and imaging regions
US20090051790A1 (en) * 2007-08-21 2009-02-26 Micron Technology, Inc. De-parallax methods and apparatuses for lateral sensor arrays
WO2009066770A1 (ja) 2007-11-22 2009-05-28 Nikon Corporation デジタルカメラおよびデジタルカメラシステム
KR101697598B1 (ko) * 2008-10-27 2017-02-01 엘지전자 주식회사 가상 뷰 이미지 합성 방법 및 장치
JP5332978B2 (ja) * 2009-07-07 2013-11-06 ソニー株式会社 立体表示装置
US8508580B2 (en) * 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
US8611654B2 (en) * 2010-01-05 2013-12-17 Adobe Systems Incorporated Color saturation-modulated blending of exposure-bracketed images
JP5470458B2 (ja) 2010-06-30 2014-04-16 富士フイルム株式会社 撮像装置、画像処理装置および画像処理方法
CN102934024B (zh) 2010-06-30 2015-07-22 富士胶片株式会社 摄像装置及摄像方法
CN103081457B (zh) * 2010-08-24 2016-04-13 富士胶片株式会社 固态成像装置
JP5513326B2 (ja) * 2010-09-07 2014-06-04 キヤノン株式会社 撮像素子及び撮像装置
EP2618585B1 (en) 2010-09-13 2016-07-27 Fujifilm Corporation Monocular 3d-imaging device, shading correction method for monocular 3d-imaging device, and program for monocular 3d-imaging device
WO2012039346A1 (ja) 2010-09-22 2012-03-29 富士フイルム株式会社 立体撮像装置およびシェーディング補正方法
KR20120049636A (ko) * 2010-11-09 2012-05-17 삼성전자주식회사 영상 처리 장치 및 방법
US9532033B2 (en) 2010-11-29 2016-12-27 Nikon Corporation Image sensor and imaging device
US8742309B2 (en) * 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
CN104185983B (zh) 2012-03-16 2016-10-26 株式会社尼康 摄像元件、摄像装置以及摄像系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003523646A (ja) * 1999-02-25 2003-08-05 ヴィジョンセンス リミテッド 光学装置
JP2010081609A (ja) * 2008-09-25 2010-04-08 Samsung Electronics Co Ltd 立体イメージセンサ
WO2012002297A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 撮像装置および撮像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112736101A (zh) * 2019-10-28 2021-04-30 豪威科技股份有限公司 在多个子像素之间具有共享微透镜的图像传感器
CN112736101B (zh) * 2019-10-28 2023-10-17 豪威科技股份有限公司 在多个子像素之间具有共享微透镜的图像传感器

Also Published As

Publication number Publication date
US20150062307A1 (en) 2015-03-05
CN104170377B (zh) 2017-03-08
JP6131546B2 (ja) 2017-05-24
US10027942B2 (en) 2018-07-17
JP2013219737A (ja) 2013-10-24
CN104170377A (zh) 2014-11-26

Similar Documents

Publication Publication Date Title
JP6131546B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5904281B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5804055B2 (ja) 画像処理装置、画像処理方法およびプログラム
EP2845167A1 (en) CAMERA MODULES PATTERNED WITH pi FILTER GROUPS
JP6131545B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6003983B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
WO2013136819A1 (ja) 撮像素子、撮像装置および撮像システム
US9544570B2 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program
WO2013161313A1 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5979134B2 (ja) 画像処理装置および画像処理プログラム
JP5942984B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
WO2013057859A1 (ja) 撮像素子
JP6692749B2 (ja) マルチスペクトルカメラ
JP5978736B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5979137B2 (ja) 撮像装置および撮像装置の制御プログラム
JP5874334B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム
JP5978737B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5978738B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6205770B2 (ja) 撮像素子および撮像システム
JP5978735B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2013090265A (ja) 画像処理装置および画像処理プログラム
JP2013150055A (ja) 画像処理装置、画像処理方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13761494

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13761494

Country of ref document: EP

Kind code of ref document: A1