WO2013125398A1 - 撮像装置及びフォーカス制御方法 - Google Patents

撮像装置及びフォーカス制御方法 Download PDF

Info

Publication number
WO2013125398A1
WO2013125398A1 PCT/JP2013/053305 JP2013053305W WO2013125398A1 WO 2013125398 A1 WO2013125398 A1 WO 2013125398A1 JP 2013053305 W JP2013053305 W JP 2013053305W WO 2013125398 A1 WO2013125398 A1 WO 2013125398A1
Authority
WO
WIPO (PCT)
Prior art keywords
band
value
bands
component
pupil
Prior art date
Application number
PCT/JP2013/053305
Other languages
English (en)
French (fr)
Inventor
愼一 今出
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2013125398A1 publication Critical patent/WO2013125398A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals

Definitions

  • the present invention relates to an imaging apparatus, a focus control method, and the like.
  • a pupil division filter is configured by a partial pupil of a red filter and a partial pupil of a blue filter, and the pupil of the imaging optical system is divided by color by the pupil division filter.
  • a light shielding plate having a plurality of openings is arranged in an imaging optical system, a blue filter is attached to one of the openings, an orange filter is attached to the other, and the blue filter And a method of performing stereoscopic viewing by observing a captured image through glasses equipped with orange filters.
  • a three-color filter is provided for the first pupil of the pupil division filter, and a three-color filter whose transmission characteristics do not overlap with the first pupil filter is provided for the second pupil.
  • the second image sensor is provided with a color filter corresponding to the transmission wavelength band of the second pupil, and the transmitted light of the pupil division filter is divided by the beam splitter.
  • phase difference AF Auto-Focus
  • the conventional phase difference AF has problems such as the occurrence of color misregistration and the need for a special image sensor.
  • the method of Patent Document 1 there is a shift in the position of a red image and a blue image (that is, a phase difference) in an unfocused portion of the subject, resulting in a color shift.
  • the method of Patent Document 2 is applied to phase difference AF, similarly, a color shift occurs between a blue image and an orange image.
  • the method of Patent Document 3 is applied to phase difference AF, two image sensors provided with special color filters and a beam splitter are required.
  • an imaging apparatus and a focus control method that can perform phase difference AF without occurrence of color misregistration or the need for a special imaging element.
  • One aspect of the present invention is an optical filter that divides a pupil of an imaging optical system into a first pupil and a second pupil having a transmission wavelength band different from that of the first pupil, and a first transmittance characteristic.
  • An image pickup device including a color filter, a second color filter having a second transmittance characteristic, and a third color filter having a third transmittance characteristic; and overlapping portions and non-overlaps of the first to third transmittance characteristics; First to fifth bands corresponding to the portion are set, and component values of the first to fifth bands are estimated based on pixel values of first to third colors constituting an image picked up by the image pickup device.
  • a multiband estimator and a component value of a band corresponding to the transmission wavelength band of the first pupil among the first to fifth bands is acquired as a first subject image, and the first of the first to fifth bands
  • the component value of the band corresponding to the transmission wavelength band of two pupils is set as the second subject image.
  • Gets Te it detects the phase difference between the second object image and the first object image, related to the image pickup apparatus comprising: a focus control unit for performing focus control of the imaging optical system based on the phase difference.
  • the component values of the first to fifth bands are estimated based on the pixel values of the first to third colors, and the component value of the band corresponding to the transmission wavelength band of the first pupil is the first.
  • a component value of a band corresponding to the transmission wavelength band of the second pupil acquired as one subject image is acquired as a second subject image, and imaging optics based on the phase difference detected from the first subject image and the second subject image System focus control is performed. Accordingly, for example, phase difference AF can be performed without occurrence of color misregistration or the need for a special image sensor.
  • the multiband estimation unit may overlap the first band corresponding to a non-overlapping portion of the first transmittance characteristic, and the first transmittance characteristic and the second transmittance characteristic.
  • the second band corresponding to a portion, the third band corresponding to a non-overlapping portion of the second transmittance characteristic, and the overlapping portion of the second transmittance characteristic and the third transmittance characteristic.
  • a fourth band and the fifth band corresponding to a non-overlapping portion of the third transmittance characteristic may be set.
  • the first pupil transmits at least one of the first and second bands and one of the fourth and fifth bands
  • the second pupil includes the first and second bands.
  • the other of the second band and the other of the fourth and fifth bands are transmitted at least
  • the focus control unit is configured to transmit the one component value of the first and second bands and the fourth and fifth bands. Is acquired as the first subject image, and the other component value of the first and second bands and the other component value of the fourth and fifth bands are obtained as the second subject image. You may get as
  • the first to third color filters may be a blue filter, a green filter, and a red filter that transmit blue, green, and red wavelength bands, respectively, and the first pupil may be the first pupil.
  • One of the second bands, the third band, and one of the fourth and fifth bands are transmitted, and the second pupil is the other of the first and second bands, and the third band.
  • And may pass through the other of the fourth and fifth bands.
  • the first to third color filters may be a blue filter, a green filter, and a red filter that transmit blue, green, and red wavelength bands, respectively, and the transmittance characteristics of the red filter.
  • the third transmittance characteristic may be a characteristic that transmits a near-infrared light band.
  • the multiband estimation unit may set the near-infrared light band to the fifth band.
  • the multiband estimation unit may include the pixel values of the first color that are values obtained by adding the component values of the first and second bands, and the component values of the second to fourth bands.
  • the multiband estimation unit obtains the relational expression by using the component value of the first band as an unknown, and obtains the component values of the first and second bands expressed by the relational expression and the first band.
  • An error evaluation value representing an error between one added value and the pixel values of the first and second colors is obtained, the unknown number that minimizes the error evaluation value is determined, and the determined unknown number and the relational expression are determined.
  • the component values of the first and second bands and the first addition value may be determined.
  • the multiband estimation unit may include the pixel value of the second color, which is a value obtained by adding the component values of the second to fourth bands, and the component values of the fourth and fifth bands.
  • the pixel value of the third color that is a value obtained by adding the second and third band component values based on the pixel value of the third color, and the component values of the fourth band.
  • a relational expression between the component values of the fifth band is obtained, and the second addition value, the component value of the fourth band, and the component value of the fifth band are estimated based on the relational expression.
  • the component value of the third band may be obtained from the pixel value of the second color, the component value of the second band, and the component value of the fourth band.
  • the multiband estimation unit obtains the relational expression using the component value of the first band as an unknown number, generates a plurality of candidate values as the unknown number candidates, and the plurality of candidate values.
  • the candidate value satisfying the selection condition based on the definition area of the pixel values of the first and second colors is selected based on the relational expression, and the first band is selected based on the selected candidate value.
  • a component value, a component value of the second band, and the first addition value may be obtained.
  • the selection condition includes: a component value of the first band obtained by substituting the candidate value into the relational expression; a component value of the second band; and the first addition value.
  • the multiband estimation unit may determine a pixel value between the first color pixel value and the previous second color pixel value based on the transmittance characteristics of the first and second color filters.
  • the relative gain ratio may be corrected, and the component values of the first to fifth bands may be estimated using the corrected pixel values of the first and second colors.
  • the first to third color filters may be a blue filter, a green filter, and a red filter that transmit blue, green, and red wavelength bands, respectively
  • the multiband estimation unit may include the blue filter.
  • the component values of the first and second bands constituting the pixel value are obtained as first and second blue component values, respectively, and the component values of the second to fourth bands constituting the green pixel value are obtained,
  • the first to third green component values may be obtained respectively, and the fourth and fifth band component values constituting the red pixel value may be obtained as the first and second red component values, respectively.
  • a subject image transmitted through an optical filter that divides a pupil of an imaging optical system into a first pupil and a second pupil having a transmission wavelength band different from that of the first pupil An image is picked up by an imaging device including a first color filter having a transmittance characteristic, a second color filter having a second transmittance characteristic, and a third color filter having a third transmittance characteristic, and the first to third First to fifth bands corresponding to an overlap portion and a non-overlap portion of the transmittance characteristic are set, and the first to third colors are set based on the first to third color pixel values constituting the image captured by the image sensor.
  • a component value of a fifth band is estimated, a component value of a band corresponding to the transmission wavelength band of the first pupil among the first to fifth bands is acquired as a first subject image, and the first to fifth bands are obtained.
  • the component value of the band corresponding to the transmission wavelength band of the second pupil is It acquired as an object image, and detects the phase difference between the second object image and the first object image, related to the focus control method performing focus control of the imaging optical system based on the phase difference.
  • FIG. 1 is an explanatory diagram of a band division method.
  • FIG. 2 is a basic configuration example of an imaging optical system.
  • FIGS. 3A to 3F are explanatory diagrams of gain correction processing in the first multiband estimation processing.
  • FIG. 4 is an explanatory diagram of unknown quantity estimation processing in the first multiband estimation processing.
  • FIGS. 5A to 5F are explanatory diagrams of gain correction processing in the first multiband estimation processing.
  • FIG. 6 is an explanatory diagram of unknown quantity estimation processing in the first multiband estimation processing.
  • FIG. 7 is an explanatory diagram of focus control processing and distance measurement processing.
  • FIG. 8 shows a first configuration example of the imaging apparatus.
  • FIG. 9 shows a configuration example of the information processing apparatus.
  • FIG. 8 shows a first configuration example of the imaging apparatus.
  • FIG. 10 is an explanatory diagram of band component values in the second multiband estimation process.
  • FIG. 11 shows a first setting example of the lookup table.
  • FIG. 12 shows a second setting example of the lookup table.
  • FIGS. 13A and 13B are explanatory diagrams of the third multiband estimation process.
  • FIG. 14 shows a second configuration example of the imaging apparatus.
  • the in-focus position is obtained from the imaging information of multiple frames, so the speed can be increased by increasing the imaging frame rate, but basically it is necessary to frequently search for the peak of the contrast evaluation value, so the speed is increased. Has its own limits.
  • phase difference AF method since the in-focus position can be obtained directly from the phase difference, the speed can be increased compared to the contrast method.
  • the imaging optical path was previously branched and phase difference information was detected by a dedicated image sensor for phase difference detection.
  • a phase difference is detected only by the image sensor without providing a dedicated image sensor.
  • Various detection methods have been proposed.
  • the image sensor itself has a phase difference detection function (intra-imager phase difference method), and filters in different wavelength ranges are placed at the left and right pupil positions of the imaging optical system.
  • phase difference detection function intra-imager phase difference method
  • phase difference detection pixels that receive light beams from the left and right pupil positions are required, so half of the pixels that can be used as an imaged image have a resolution. With the sacrifice.
  • phase difference detection pixel is in a state of a pixel defect and causes deterioration in image quality, advanced correction processing is required.
  • the color phase difference method as in Patent Document 1 and the color phase difference method as in Patent Document 2 that is not directly related to AF can solve the problem of the in-imager phase difference method.
  • a normal three-primary-color image sensor for example, an R (red) filter is assigned to the right pupil passing light beam and a B (blue) filter is assigned to the left pupil passing light beam. It must be clearly separable by any of the three primary colors. Therefore, in the case of a single color image such as an image with only the red component R or an image with only the blue component B, only an image that has passed through one of the left and right pupils can be acquired, and the phase difference cannot be detected.
  • the accuracy of detecting the phase difference is poor even if the phase difference image is acquired by color separation.
  • the color phase difference method there may be a situation where the phase difference cannot be detected or the detection accuracy is extremely inferior.
  • a filter that passes only light beams of some colors of RGB is used, the light amount is reduced.
  • a color shift always occurs due to a phase difference in the captured image at the defocus position, a process for accurately correcting the color shift is required. For this reason, there are problems in terms of the quality of the corrected image, real-time processing, and cost reduction.
  • a method using a multiband filter for example, Japanese Patent Application Laid-Open No. 2005-286649
  • two wavelength-separated filters R1 and B1 are assigned to the right pupil light beam, and two color filters R2 and B2 that are wavelength separated are also assigned to the left pupil light beam.
  • a phase difference image is obtained.
  • the image sensor requires a multiband (multi-divided wavelength region) color filter for separating each color and an assigned pixel for each band color filter. Therefore, it is inevitable that the sampling of each band image (separated wavelength region image) becomes coarse, and the correlation accuracy for detecting the phase difference is lowered.
  • the resolution of a single band image also falls from the roughness of sampling, and the subject that the resolution as a captured image also deteriorates remains.
  • phase difference AF for example, occurrence of color misregistration, reduction in resolution, advanced correction of pixel defects are required, phase detection accuracy is lowered, and phase difference cannot be detected.
  • problems such as obtaining an image sensor having a multiband color filter.
  • the wavelength-separated two-color filters R1 and B1 are assigned to the right pupil (first pupil in a broad sense), and the left pupil (first in a broad sense is the first pupil).
  • Two-color filters R2 and B2 are assigned to the two pupils.
  • the image is picked up by an imaging element having a conventional RGB three primary color filter, that is, a three primary color filter in which the wavelength ranges of adjacent colors overlap, and five colors R1 are obtained from the obtained three R, G, and B pixel values.
  • B1, G, B1, and B2 are estimated by post-processing. If R1, B1, G, B1, and B2 are obtained, R1, G, and B1 can be separated as a right pupil image, and R2, G, and B2 can be separated as a left pupil image, and a phase difference between these images can be obtained.
  • FIG. 1 is an explanatory diagram for band division.
  • the 5-band components b R , b L , g, r R , and r L are components that are determined according to the spectral characteristics of the imaging system.
  • FIG. 1 shows the transmittance characteristics F R , F G , and F B of the color filter of the imaging sensor as the spectral characteristics of the imaging system.
  • the spectral characteristics of the imaging system are, for example, excluding color filters. It also includes the spectral characteristics of the image sensor, the spectral characteristics of the optical system, and the like. In the following, for the sake of simplicity, it is assumed that spectral characteristics of the image sensor or the like are included in the transmittance characteristics F R , F G , and F B of the color filter shown in FIG.
  • the band component corresponding to the overlapping portion of the transmittance characteristic F B of the blue filter and the transmittance characteristic F G of the green filter is b L
  • the non-contrast of the transmittance characteristic F B of the blue filter component of the band corresponding to the overlapping portion is b R
  • components of the band corresponding to the overlap between the transmittance characteristic F G of the transmittance characteristic F R and the green filters of the red filter is r R
  • corresponding to the non-overlapping portion of the transmission characteristic F R of the red filter component of the band is r L.
  • components of the band corresponding to non-overlapping portions of the transmission characteristic F G of the green filter is g.
  • the non-overlapping portion is a portion that does not overlap with the transmittance characteristics of other color filters.
  • the transmittance characteristic F R, F G may be determined depending on the shape and degree of overlap F B, need not be band itself bandwidth and the overlapping portion of the transmission characteristic .
  • the band of the overlapping part of the transmittance characteristics F G and F B is approximately 450 nm to 550 nm, but the band BD2 only needs to correspond to the overlapping part, and does not need to be 450 nm to 550 nm.
  • FIG. 2 shows a basic configuration example of the imaging optical system in the present embodiment.
  • the imaging optical system includes an imaging lens LNS that forms an image of a subject on the sensor surface of the imaging device, and an optical filter FLT that separates a band between the first pupil and the second pupil.
  • the first pupil is the right pupil and the second pupil is the left pupil.
  • the present embodiment is not limited to this. That is, the separation direction of the pupil is not limited to the left and right, and it is sufficient that the first pupil and the second pupil are separated in an arbitrary direction perpendicular to the optical axis of the imaging optical system.
  • the wavelength division light and the band corresponding to the five-band components ⁇ b R , b L , g, r R , r L ⁇ are appropriately set to the same code ⁇ b R , b L , g, r R , r L ⁇ .
  • the optical filter FLT transmits the right pupil filter FL1 (first filter in a broad sense) having a characteristic of transmitting the wavelength division light ⁇ b R , g, r R ⁇ and the wavelength division light ⁇ b L , g, r L ⁇ . And a left pupil filter FL2 (second filter in a broad sense).
  • the optical filter FLT is provided at a pupil position (for example, a diaphragm installation position) of the imaging optical system, and the filters FL1 and FL2 correspond to the right pupil and the left pupil, respectively.
  • the imaging light transmitted through the imaging lens LNS and the optical filter FLT is input to an RGB Bayer array image sensor, and the light intensity of red (R), green (G), and blue (B). Is converted into a signal and acquired as data.
  • a demosaicing process is performed on the acquired Bayer image to generate three images for each RGB (an image having an R pixel value, a G pixel value, and a B pixel value for all pixels).
  • the wavelength division light ⁇ b R , g, r R ⁇ that has passed through the right pupil and the wavelength division light ⁇ b L , g, r L ⁇ that has passed through the left pupil have distinct wavelength bands. It is separated.
  • the spectral characteristics ⁇ F R , F G , F B ⁇ of the color filter of the image sensor are characteristics in which the wavelength bands of adjacent spectral characteristics overlap.
  • the red, green, and blue pixel values R, G, and B in each pixel after the demosaicing process can be modeled as in the following equation (1).
  • R g R + r R R + r L R
  • G b L G + g G + r R G
  • B b R B + b L B + g B (1)
  • the component ⁇ b R B , b L B , g B ⁇ corresponds to the wavelength-divided light ⁇ b R , b L , g ⁇ that has passed through the blue filter having the spectral characteristic F B.
  • the component ⁇ b L G , g G , r R G ⁇ corresponds to the wavelength-divided light ⁇ b L , g, r R ⁇ that has passed through the green filter having the spectral characteristic F G. .
  • FIG. 3C the component ⁇ b R B , b L B , g B ⁇ corresponds to the wavelength-divided light ⁇ b R , b L , g ⁇ that has passed through the blue filter having the spectral characteristic F B.
  • the component ⁇ b L G , g G , r R G ⁇ corresponds to the wavelength-divided light ⁇ b L , g, r R ⁇ that has passed through the green filter having the spectral characteristic F G.
  • the component ⁇ g R, r R R, r L R ⁇ is the spectral characteristics F wavelength division light passed through the red filter R ⁇ g, r R, r L ⁇ in Correspond.
  • the superscript suffix for each component represents whether the right pupil “R” or the left pupil “L” has passed, and the subscript suffix represents the red filter “R”, the green filter “G”, and the blue filter It indicates which of “B” passed.
  • the wavelength band ⁇ b L , g ⁇ overlapping with the pixel value ⁇ B, G ⁇ is removed based on the difference between the pixel values ⁇ B, G ⁇ , and the component b R and A process of deriving a relational expression of the components ⁇ b R , b L , (g + r R ) ⁇ by obtaining the relationship of the component [g + r R ] is performed.
  • the wavelength band b L corresponds to the component b L B of the pixel value B and the component b of the pixel value G as shown in FIGS. it is a L G, component b L B, the b L G, the spectral characteristics F B, is that the relative gain of F G is multiplied. Therefore, the components b L B and b L G are different values by the relative gain, and it is necessary to correct the components b L B and b L G to be equal.
  • the pixel value G is a reference (for example, “1”)
  • the component ratio of (b L B + g B ) is k B1
  • the component ratio of b L G If k B2 , the following equation (2) is established.
  • k B1 / k B2 is, for example, the gain ratio of the spectral characteristics F B and F G in the band b L.
  • b L B + g B (k B1 / k B2 ) ⁇ b L G (2)
  • the component g B is considered to be sufficiently smaller than the component b L B. Therefore, in order to make the components b L B and b L G equal, the component ( b L B + g B ) and the component b L G should be substantially equal. If the value obtained by correcting the component (b L B + g B ) is (b L B '+ g B '), the correction shown in the following equation (3) may be performed using the above equation (2).
  • b L B '+ g B' ⁇ b L G (k B2 / k B1) ⁇ (b L B + g B) (3)
  • B 'components ⁇ b R B', b L B ', g B' ⁇ is the following formula (5).
  • b R B ' (k B2 / k B1) ⁇ b R B, b L B '+ g B ' ⁇ b L G (5)
  • FIG. 4 is a diagram showing this relationship in principle.
  • b R B ′ a value that minimizes the error between ⁇ b R B ′, b L G , (g G + r R G ) ⁇ and ⁇ B ′ / 2, G / 2 ⁇ .
  • E BG error evaluation value
  • ⁇ b R B ', b L G determines the value of (g G + r R G) ⁇ .
  • e B (B ′ / 2 ⁇ b R B ′) 2 + (B ′ / 2 ⁇ b L G ) 2
  • e G (G / 2 ⁇ b L G ) 2 + (G / 2 ⁇ (g G + r R G )) 2
  • E BG e B + e G (10)
  • the component ⁇ b R B ′, b L G , (g G + r R G ) ⁇ can be estimated from the 2-band pixel values ⁇ B ′, G ⁇ of each pixel.
  • ⁇ b R B ', b L G, (g G + r R G) ⁇ and ⁇ B' has been sought / 2, G / 2 ⁇ b R B when the error is minimized for ' in this embodiment
  • ⁇ b R B also seeking ', b L G, (g G + r R G) ⁇ and ⁇ B B', ⁇ Gb G ⁇ b R B when the error of the minimum ' Good.
  • ⁇ B and ⁇ Gb are values satisfying the following expression (11).
  • ⁇ B is for calculating an average value of ⁇ b R B ′, b L G ⁇ with respect to B ′, and ⁇ Gb is ⁇ b L G , (g G + r R G ) ⁇ with respect to G It is for calculating the average value of. If these are determined in consideration of the component ratio of ⁇ b R B ′, b L G ⁇ and ⁇ b L G , (g G + r R G ) ⁇ from the color filter characteristics of the image sensor as shown in FIG. Good. 0 ⁇ B ⁇ 1, 0 ⁇ Gb ⁇ 1 (11)
  • the component r R G of the pixel value G and the component r R R of the pixel value R correspond to the wavelength band r R , but the component r R G , R R R are multiplied by the relative gains of the spectral characteristics F G , F R. Therefore, the components r R G and r R R have different values corresponding to the relative gain, and it is necessary to correct the components r R G and r R R to be equal.
  • the pixel value G is a reference (for example, “1”)
  • the component ratio of (g R + r R R ) is k R1
  • the component ratio of r R G If k R2 , the following equation (12) is established.
  • k R1 / k R2 is, for example, the gain ratio of the spectral characteristics F G and F R in the band r R.
  • g R + r R R ( k R2 / k R1) ⁇ r R G (12)
  • FIG. 6 is a diagram showing this relationship in principle.
  • the unknown r L R ′ is a value that minimizes the error between ⁇ r L R ′, r R G , (b L G + g G ) ⁇ and ⁇ G / 2, R ′ / 2 ⁇ .
  • the component ⁇ r L R ′, r R G , (b L G + g G ) ⁇ can be estimated from the 2-band pixel value ⁇ G, R ′ ⁇ of each pixel.
  • alpha R is ' ⁇ r L R for'
  • r R G ⁇ R is for calculating an average value of
  • alpha Gr is for G ⁇ r R G, (b L G + g G) ⁇ It is for calculating the average value of. If these are determined in consideration of the component ratio of ⁇ r L R ′, r R G ⁇ and ⁇ r R G , (b L G + g G ) ⁇ from the color filter characteristics of the image sensor as shown in FIG. Good. 0 ⁇ R ⁇ 1, 0 ⁇ Gr ⁇ 1 (21)
  • the method of calculating the evaluation values E BG and E GR is not limited to the above method, and various methods are conceivable.
  • the evaluation value E BG as an example, ⁇ L, G, B ⁇ obtained from ⁇ R, G, B ⁇ obtained by capturing a large number of target subjects (for example, natural subjects or medical in-vivo subjects) in advance.
  • target subjects for example, natural subjects or medical in-vivo subjects
  • a pattern ⁇ b R B ′, b L G , (g G + r R G ) ⁇ indicating the average pattern of the pattern group is defined as a representative pattern. In this manner, a plurality of predetermined representative patterns are set.
  • the ⁇ B ′, G ⁇ representative pattern may be obtained from the ⁇ B ′, G ⁇ occurrence pattern of the target subject. Then, when estimating from ⁇ B ′, G ⁇ actually photographed, the Euclidean distance between ⁇ B ′, G ⁇ obtained by photographing and the representative pattern is obtained as an evaluation value, and ⁇ B ′ having the smallest evaluation value is obtained. , G ⁇ may be performed on the representative pattern to specify the final estimated pattern ⁇ b R B ′, b L G , (g G + r R G ) ⁇ .
  • b R B and r L R are obtained from the above equations (5) and (15) as in the following equation (22).
  • b L B and r R R are obtained as shown in the following equation (23) from g B ⁇ b R B , g R ⁇ r L R and the above equation (1).
  • b L B B ⁇ (b R B + g B ) ⁇ B ⁇ b R B
  • r R R R ⁇ (r L R + g R ) ⁇ R ⁇ r L R (23)
  • g G is obtained from the above equations (1) and (24) as in the following equation (25).
  • g G G- (b L G + r R G) (25)
  • the phase difference (image shift amount) at the defocus positions of the images I R and I L is obtained, the subject is measured using the principle of triangulation, and the AF control is performed based on the obtained distance information.
  • the images I R and I L are each composed of components in each of the RGB bands as indicated by the subscript suffix of the component values. Therefore, even when the color of the subject is extremely biased to any of RGB, the images I R and I L are not extremely dark, and the phase difference can be detected.
  • Multiband image during focus sensor surface acquisition process imaging element of the RGB image is in focus position PF, the image I R, the deviation of the I L is eliminated. That is, r R R and r L R , r R G and b L G , b R B and b L B , and g G in the same pixel all represent the color light of reflected light from the same minute region of the subject. That is, from the R, G, and B values of an arbitrary pixel of the image sensor at the time of image formation, a color image (multi-band) of five bands ⁇ R 1 , R 2 , G, B 1 , B 2 ⁇ shown in the following formula (27) Band image) can be obtained.
  • G r R G + g G + b L G
  • a normal RGB image (for example, an image for monitor display) may be acquired from the captured Bayer image by a demosaicing process.
  • the right pupil filter FL1 transmits the RGB band ⁇ b R , g, r R ⁇
  • the left pupil filter FL2 transmits the RGB band ⁇ b L , g, r L ⁇ .
  • the RGB components of the image include the right and left pupil transmission bands. Therefore, even if the right pupil image ⁇ b R , g, r R ⁇ and the left pupil image ⁇ b L , g, r L ⁇ are shifted at the defocus position (blurred area of the image), no color shift occurs in the RGB image. (Or can be kept very small), it is possible to view the image as it is without the need for color misregistration correction.
  • Focus Control Process and Distance Measurement Process A process for calculating the defocus amount based on the phase difference between the images I R and I L described above will be described in detail.
  • the aperture diameter when the aperture is opened is A
  • the distance between the center of gravity of the left and right pupils with respect to the aperture diameter A is q ⁇ A
  • the imaging element from the center of the imaging lens LNS on the optical axis is obtained by triangulation: It holds.
  • q is a coefficient that satisfies 0 ⁇ q ⁇ 1
  • q ⁇ A is a value that also varies depending on the aperture amount.
  • x is a value detected by a distance detection sensor (for example, the distance detection sensor 88 in FIG. 8).
  • b represents the distance from the center of the imaging lens LNS to the focus position PF on the optical axis.
  • ⁇ is obtained by correlation calculation (for example, known correlation calculation).
  • the defocus amount d is given by the following equation (29).
  • d ( ⁇ ⁇ x) / ⁇ (q ⁇ A) ⁇ (29)
  • FIG. 7 is a diagram viewed from the top of the imaging device (a direction perpendicular to the pupil division direction)
  • h is a coordinate axis in the horizontal direction (pupil division direction).
  • the shift amount ⁇ on the coordinate axis h is defined so as to be represented by a positive or negative sign with reference to either the right pupil image I R (h) or the left pupil image I L (h). It is identified whether the sensor surface PS is in front of or behind the focus position PF. If the front-rear relationship between the sensor surface PS and the focus position PF is known, it is easy to determine in which direction the focus lens should be moved when the sensor surface PS is made to coincide with the focus position PF.
  • the focus lens After obtaining the signs of the defocus amount d and the shift amount ⁇ , the focus lens is driven so as to make the defocus amount d zero based on them, and focusing is performed.
  • a correlation calculation may be performed by selecting a horizontal region to be focused in the captured image. Since the direction of pupil color division is not necessarily the horizontal direction, the direction for performing the correlation calculation may be appropriately set according to the setting condition (division direction) of the left and right band separation optical filter.
  • the target area for obtaining the defocus amount d is not limited to a partial area of the captured image, and may be the entire area of the captured image. In this case, since a plurality of defocus amounts d are obtained, a process for determining the final defocus amount using a predetermined evaluation function is necessary.
  • a is a distance corresponding to the focus position PF, and is a distance from the imaging lens LNS to the subject on the optical axis.
  • FIG. 8 shows a first configuration example of an imaging device that performs the focus control processing of the present embodiment.
  • the imaging apparatus in FIG. 8 includes an imaging lens LNS, an optical filter FLT, an imaging element 10 (imaging sensor), an imaging processing unit 20, an RGB image generation unit 30, a color correction processing unit 35, a monitor display unit 40, and RGB filter characteristic data.
  • a recording unit 50, a focus area selection unit 65, a multiband estimation unit 70, a focus control unit 80, a distance detection sensor 88 (distance measurement sensor), a data compression unit 90, and a data recording unit 100 are included.
  • the present embodiment is not limited to the configuration of FIG. 8, and some of the components are omitted (for example, the color correction processing unit 35 and the data compression unit 90) or other components are added. Various modifications are possible.
  • the imaging device 10 images a subject imaged by the imaging lens LNS and the optical filter FLT. As described with reference to FIG. 2, the optical filter FLT has different transmission bands for the right pupil and the left pupil.
  • the imaging processing unit 20 performs control of imaging operation by the imaging element 10, processing for A / D conversion of analog pixel signals, and the like.
  • the RGB image generation unit 30 performs a demosaicing process, an image quality improvement process, and the like of the RGB Bayer image obtained by imaging, and performs RGB3 plate image (pixel values R (i, j), G (i, j), B). (I, j)) is output.
  • i and j are natural numbers representing the position (coordinates) of the image in the horizontal scanning direction and the vertical scanning direction, respectively.
  • the color correction processing unit 35 performs color correction processing on the RGB3 plate image. Since the transmission wavelength bands of the right pupil and the left pupil are different, and the transmitted light of the right pupil and the left pupil is imaged close to each other in the defocus image area, the color balance may be lost in the defocus image area. Therefore, color correction processing is performed.
  • the monitor display unit 40 displays the RGB 3 plate image that has been subjected to the color correction processing on a monitor (display device).
  • the RGB filter characteristic data recording unit 50 stores data of transmittance characteristics (spectral characteristics) F R ( ⁇ ), F G ( ⁇ ), and F B ( ⁇ ) of the color filter of the image sensor 10. Data is output to the multiband estimation unit 70.
  • the RGB components to be imaged are determined not only by the color filter but also by the spectral sensitivity characteristics of the imaging device 10 and the spectral characteristics of the imaging lens LNS.
  • the transmittance characteristic of the color filter is described as being an RGB filter characteristic.
  • characteristic data including spectral characteristics of the image sensor 10 and the imaging lens LNS is defined as RGB filter characteristic data. is doing.
  • the focus area selection unit 65 extracts an image of an area selected by the user via a user interface (not shown) from the RGB3 plate image, and outputs the extracted image to the multiband estimation unit 70.
  • the multiband estimation unit 70 performs the multiband estimation processing of the present embodiment on the image of the region selected by the user, and obtains the right pupil image I R (i, j) and the left pupil image I L (i, j). Output.
  • the multiband estimation unit 70 generates a 5-band multiband image (component values R 1 (i, j), R 2 (i, j), G (i, j), B 1 (i, j), B 2 (i, j) is output, and the multiband estimation process may be performed on the entire RGB3 plate image without performing region selection.
  • the focus control unit 80 performs autofocus control based on the right pupil image I R (i, j) and the left pupil image I L (i, j).
  • the focus control unit 80 includes a phase difference detection unit 82, a focus control amount calculation unit 84, and a focus lens drive control unit 86.
  • the phase difference detector 82 detects information (phase difference information in a broad sense) of the shift amount ⁇ between the right pupil image I R (i, j) and the left pupil image I L (i, j).
  • the distance detection sensor 88 detects information on the distance x from the center of the imaging lens LNS to the sensor surface of the image sensor 10.
  • the focus control amount calculation unit 84 calculates the information of the defocus amount d from the information of the shift amount ⁇ and the information of the distance x, and determines the movement amount and the movement direction of the imaging lens LNS based on the information of the defocus amount d. Ask.
  • the focus lens drive control unit 86 performs control to move the focus lens based on the moving amount and moving direction of the imaging lens LNS.
  • the data compression unit 90 performs compression processing on the RGB 3 plate image data that has undergone color correction processing.
  • the data recording unit 100 records compressed RGB3 plate image data and color filter transmittance characteristic data. These recorded data can be used for multiband estimation processing and phase difference detection processing in post processing after photographing.
  • the post-processing may be performed by the imaging device, or may be performed by an information processing device configured separately from the imaging device.
  • FIG. 9 shows a configuration example of an information processing device configured separately from the imaging device.
  • 9 includes a data recording unit 200, a data decompression unit 210, a decompression data storage unit 220, a monitor image generation unit 230, a monitor image display unit 240, an image data selection unit 250, a selected frame storage unit 260, a multiband.
  • An estimation unit 270, a phase difference detection unit 290, and a phase difference processing unit 295 are included.
  • this information processing apparatus for example, an information processing apparatus such as a PC is assumed.
  • the data recording unit 200 is configured by, for example, an external storage device (for example, a memory card), and stores RGB3 plate image data and transmittance characteristic data recorded by the imaging device.
  • the data decompression unit 210 performs a process of decompressing the RGB3 plate image data compressed by the imaging apparatus.
  • the decompressed data storage unit 220 stores decompressed RGB3 plate image data.
  • the monitor image generation unit 230 generates an image for monitor display from the RGB3 plate image data.
  • the monitor image display unit 240 displays the monitor display image on the monitor.
  • the image data selection unit 250 outputs the ID of the frame selected by the user (operator) to the decompressed data storage unit 220 via a user interface (not shown).
  • the decompression data storage unit 220 outputs an image of a selected frame from among a plurality of RGB3 plate images (a plurality of still images or moving images).
  • the selected frame storage unit 260 stores an image of the selected frame.
  • the multiband estimator 270 selects the image of the selected frame (pixel values R (i, j), G (i, j), B (i, j)) and color filter transmittance characteristics F R ( ⁇ ), F Based on G ( ⁇ ) and F B ( ⁇ ), multiband images I R (i, j) and I L (i, j) are estimated.
  • the phase difference detection unit 290 detects the phase difference between the images I R (i, j) and I L (i, j), for example, for each pixel (or each minute divided region).
  • the phase difference processing unit 295 performs various application processes such as measurement of the three-dimensional shape of the subject based on the detected phase difference.
  • the imaging device includes the optical filter FLT, the imaging device 10, the multiband estimation unit 70, and the focus control unit 80.
  • the optical filter FLT divides the pupil of the imaging optical system into a first pupil (for example, the right pupil) and a second pupil (left pupil) having a transmission wavelength band different from that of the first pupil as described in FIG. To do.
  • the imaging device 10 includes a first color (e.g., blue) filter having a first transmission characteristic F B, and the second color (green) filter having a second transmission characteristic F G, third color having a third transmittance characteristic F R and a (red) filter.
  • the multiband estimator 70 sets first to fifth bands BD1 to BD5 corresponding to overlapping and non-overlapping portions of the first to third transmittance characteristics ⁇ F B , F G , F R ⁇ . As described with reference to FIG. 2 and the like, the multiband estimation unit 70 performs the first to third color based on the pixel values ⁇ R, G, B ⁇ of the first to third colors constituting the image captured by the image sensor 10.
  • the 5-band component values ⁇ b R , b L , g, r R , r L ⁇ are estimated.
  • phase difference AF it is possible to estimate the 5-band component values from the image composed of the pixel values of the first to third colors, and to separate the component values into the first subject image and the second subject image. Then, by detecting the phase difference between the first subject image and the second subject image, high-speed phase difference AF can be realized.
  • pixel defects due to phase difference detection pixels and reduction in the number of assigned pixels per color due to multiband color filters do not occur, and phase difference detection is possible. Accuracy and image resolution are not reduced.
  • the first pupil and the second pupil are set to transmit a plurality of colors, it is possible to suppress the color shift in the defocused image area and improve the phase difference detection accuracy in the subject having a biased color.
  • the multi-band estimator 70 includes a first band BD1 corresponding to the non-overlapping portions of the first transmission characteristic F B, the first transmittance characteristic F B No. a second band BD2 which corresponds to the overlapping portion of the two transmittance characteristics F G, the third band BD3 which corresponds to the non-overlapping portion of the second transmission characteristic F G, the second transmittance characteristic F G and third transmission setting a fourth band BD4 corresponding to the overlapping portion of the rate characteristic F R, and the fifth band BD5 corresponding to the non-overlapping portion of the third transmission characteristic F R.
  • the overlapping portion of the transmittance characteristics is a region where the transmittance characteristics adjacent to each other on the wavelength axis overlap when the transmittance characteristics are expressed with respect to the wavelength axis as shown in FIG. .
  • the overlapping portion is represented by a region where the transmittance characteristics overlap or a band where the bandwidths of the transmittance characteristics overlap.
  • the non-overlapping portion of the transmittance characteristic is a portion that does not overlap with other transmittance characteristics. That is, the portion obtained by removing the overlapping portion from the transmittance characteristic.
  • the band corresponding to the overlapping portion or the non-overlapping portion is not limited to the band itself of the overlapping portion or the non-overlapping portion, and may be any band set corresponding to the overlapping portion or the non-overlapping portion.
  • the first to fifth bands may be set by dividing the band at a wavelength at which a predetermined transmittance and transmittance characteristics intersect.
  • the first to fifth band component values ⁇ b R , b L , g, r R , r L ⁇ from the first to third color pixel values ⁇ R, G, B ⁇ of the captured image. can be estimated. That is, as described in the above equation (1), pixel values (eg, B, G) having adjacent transmittance characteristics include the component value (b L ) of the overlapping portion. By deleting the component value (b L ) of this overlapping portion by the difference (B′ ⁇ G) of the pixel values as shown in the above equation (7), the relational expression of the component values as shown in the above equation (9) is obtained. The component value can be estimated based on the relational expression.
  • the first pupil (right pupil filter FL1) transmits at least one BD1 of the first and second bands and one BD4 of the fourth and fifth bands
  • the second pupil (left pupil filter).
  • FL2) transmits at least the other BD2 of the first and second bands and the other BD5 of the fourth and fifth bands.
  • the first color corresponding to the first and second bands and the third color corresponding to the fourth and fifth bands can be included in both the first subject image and the second subject image. It can.
  • the first color and the third color are blue and red, even if the subject is extremely biased to blue or red, the biased color is included in both the first subject image and the second subject image. Therefore, it is possible to detect the phase difference with high accuracy.
  • the first to third color filters are a blue filter, a green filter, and a red filter that transmit blue, green, and red wavelength bands, respectively.
  • the first pupil transmits one of the first and second bands BD1, the third band BD3, and one of the fourth and fifth bands BD4, and the second pupil transmits the other BD2 of the first and second bands.
  • the third band BD3 and the other BD5 of the fourth and fifth bands are a blue filter, a green filter, and a red filter that transmit blue, green, and red wavelength bands, respectively.
  • the first to third colors are not limited to RGB, and may be any color corresponding to three color filters having adjacent overlapping transmittance characteristics on the wavelength axis.
  • the first pupil transmits the bands BD1 and BD4, and the second pupil transmits the bands BD2 and BD5.
  • the first pupil and the second pupil may transmit through any of the bands BD4 and BD5.
  • the pixel value B of the first color is a value obtained by adding the component values b R B and b L B of the first and second bands
  • the two-color pixel values G are values obtained by adding the component values b L G , g G , and r R G of the second to fourth bands.
  • the multiband estimation unit performs the first band component value b R B and the second band component based on the pixel values B and G of the first and second colors.
  • a relational expression between the value b L G and the first added value g G + r R G which is a value obtained by adding the component values g G and r R G of the third and fourth bands, is obtained.
  • the multiband estimation unit 70 estimates the first band component value b R B , the second band component value b L G , and the first addition value g G + r R G. To do.
  • the pixel value B of the first color is a value obtained by adding the component values b R B , b L B , and g B of the first to third bands.
  • g B is ignored on the assumption that g B is sufficiently smaller than b L B. That is, the pixel value B of the first color is a band component value g sufficiently smaller than b L B (or b R B ) to a value obtained by adding the component values b R B and b L B of the first and second bands.
  • a value obtained by further adding B may be used.
  • the state in which adjacent transmittance characteristics overlap can be expressed as an addition formula (the above formula (1)) of band component values. Then, a relational expression between band component values can be obtained from the addition expression, and the band component value can be estimated from the relational expression.
  • the multi-band estimator 70 obtains a relational expression component values b R B of the first band as unknown.
  • the multiband estimation unit represents the component values of the first and second bands and the first added value ⁇ b R B , b L G , g G represented by the relational expression.
  • one unknown number b R B necessary for determining three variables ⁇ b R B , b L G , g G + r R G ⁇ from the two pixel values ⁇ B, G ⁇ is determined as an error.
  • evaluation value can be determined based on the E BG, band component value by the determined unknown ⁇ b R B, b L G , g G + r R G ⁇ a can be determined.
  • the multiband estimation unit 70 obtains a relational expression (the above formula (19)), and based on the relational expression, component values b L G of the second and third bands. , G G is added, and the second added value b L G + g G , the fourth band component value r R G , and the fifth band component value r L R are estimated (formula (12) (20)). Then, as described in the above equation (25), from a second color pixel values G and component value b L G of the second band and the component value r R G of the fourth band, component of the third band g Find G.
  • the multiband estimation unit 70 is based on the transmittance characteristics F B and F G of the first and second color filters.
  • the relative gain ratio k B1 / k B2 between the pixel value B of the first color and the pixel value G of the second color is corrected, and the corrected pixel values B ′ and G of the first and second colors are corrected.
  • the multiband estimation unit 70 transmits the transmittance k B2 of the second color filter (F G ) in the second band (b L ). And the ratio k B2 / k B1 of the first color filter (F B ) with the transmittance k B1 in the second band (b L ) is multiplied by the pixel value B of the first color to correct the gain ratio. .
  • the transmittance characteristic generally differs depending on the color, and therefore the gain differs depending on the color.
  • the relative gain ratio k B2 / k B1 in the band can be obtained, and the gain ratio is used to change the color. Therefore, different gains can be corrected.
  • Second multiband estimation process 5.1 Next, a second multiband estimation process for generating a band component candidate value and selecting the candidate value based on a selection condition will be described.
  • the focus control process using the obtained estimated value is the same as the focus control process described above.
  • b R B ′ and r L R ′ are correction values of the divided band components b R B and r L R that should be detected, and the expressions (5) and (15) described in the first multiband estimation process Therefore, it is represented by the following formula (31).
  • ⁇ b R B ', b L G, (g G + r R G) ⁇ and ⁇ r L R', r R G, (b L G + g G) ⁇ is the component values of each pattern, positive Note that there is a limit to the range of values that can be taken.
  • the pixel values R, G, and B can take the range of the following expression (32). 0 ⁇ B ⁇ N, 0 ⁇ G ⁇ N, 0 ⁇ R ⁇ N (32)
  • the number of quantization steps for R, G, and B is generally set to the same N value because it is easy to handle if they are the same, but the number of quantization steps may be intentionally different for each color.
  • b R B and r L R are independent variables, and r L R and r R R are independent variables, b R B and r L R can take the range of the following equation (34). . 0 ⁇ b R B ⁇ N, 0 ⁇ r L R ⁇ N (34)
  • b R B ′ and r L R ′ can take the range of the following formula (35). 0 ⁇ b R B ′ ⁇ N ⁇ (k B2 / k B1 ), 0 ⁇ r L R ′ ⁇ N ⁇ (k R2 / k R1 ) (35)
  • b L G , g G , and r R G are independent variables
  • b L G , g G , and r R G can take the range of the following expression (37). 0 ⁇ b L G ⁇ N, 0 ⁇ g G ⁇ N, 0 ⁇ r R G ⁇ N (37)
  • each value within the range of 0 ⁇ b R B ′ ⁇ N ⁇ (k B2 / k B1 ) shown in the above equation (35) is generated as a candidate for the unknown b R B ′.
  • Each candidate is substituted into the above equation (9), and ⁇ b L G , (g G + r R G ) ⁇ is obtained using a known pixel value ⁇ B, G ⁇ .
  • ⁇ b L G , (g G + r R G) ⁇ is obtained using a known pixel value ⁇ B, G ⁇ .
  • candidates are also generated for the above equation (19), and only ⁇ r L R ′, r R G , (b L G + g G ) ⁇ satisfying the condition is left. There may be a plurality of candidates that satisfy the condition. When a plurality of candidates remain, for example, an average value thereof may be determined as a final value.
  • the pixel values ⁇ R, G, B ⁇ of the captured image are searched from the table and estimated patterns ⁇ b R B ′, b L G , (g G + r R G ) ⁇ , ⁇ r L R ', r R G, determines the (b L G + g G) ⁇ . Then, from the estimated pattern, the value of the component ⁇ b R B , b L B ⁇ constituting the pixel value B, the value of the component ⁇ b L G , g G , r R G ⁇ constituting the pixel value G, and the pixel value The values of the components ⁇ r R R , r L R ⁇ constituting R are finally calculated.
  • the estimated patterns obtained from the same combination pattern of ⁇ R, G, B ⁇ are not necessarily single but may be obtained in plural.
  • an average of these estimated patterns may be taken as a likelihood pattern, and a table may be created in advance.
  • the table is created using the restriction condition based on the domain, but the table creation method of the present embodiment is not limited to this.
  • an image to be imaged for example, a natural image in the case of a digital camera, an in-vivo image in the case of an endoscope, etc.
  • the pixel value ⁇ R, G, B ⁇ generated most probable likelihood patterns for ⁇ b R B ', b L G, r R G, r L R ', (g G + r R G), a correspondence table (b L G + g G) ⁇ , may be a reference table created in advance.
  • the multiband estimation unit 70 obtains a relational expression (the above formula (9)) using the first band component value b R B ′ as an unknown.
  • a plurality of candidate values are generated as candidates for the unknown b R B ′.
  • the multiband estimator calculates candidate values satisfying the selection condition based on the domain of the first and second color pixel values B and G (the above equation (32)) from among the plurality of candidate values. The selection is made based on the above formula (9)). Then, based on the selected candidate value, the multiband estimation unit, the first band component value, the second band component value, the first addition value, and ⁇ b R B ′, b L G , (g G + R RG ) ⁇ .
  • the selection condition is that the component value of the first band, the component value of the second band, the first addition value obtained by substituting the candidate value into the relational expression (the above equation (9)), ⁇ b R B ′, b L G , (g G + r R G ) ⁇ is consistent with the domain of the pixel values B and G of the first and second colors (formula (32)) (formula (35 ), (37), (38)).
  • the multiband estimation unit can take the component value b R B ′ of the first band based on the domain of the pixel values B and G of the first and second colors (the above equation (32)). A value within the range (the above formula (35)) is generated as a plurality of candidate values.
  • the candidate value is excluded, and the pixel A final estimate can be determined based on candidate values consistent with the value domain.
  • the spectral characteristic F R ( ⁇ ) of the red filter of the image sensor is set so as to cover (transmit) the near-infrared light band.
  • the transmission wavelength band is set wider than the conventional one so as to cover the spectral characteristic F G ( ⁇ ) of the green filter up to the spectral characteristic of the normal visible red filter.
  • the transmission wavelength band of the right pupil filter FL1 is ⁇ b R , g, r ⁇
  • the transmission wavelength band of the left pupil filter FL2 is ⁇ b L , g, r, r L ⁇ .
  • b R , b L , and g are, for example, the same band as b R , b L , and g in FIG. 1
  • r is a band wider on the longer wavelength side than r R in FIG. 1, for example, and r L is For example, it is a wide band that includes a longer wavelength side than r L in FIG.
  • the pixel values that have passed through the red (R) filter of the imaging sensor are the component values r G and r R of the common band r in which the wavelength range of the passing light by the left and right pupils is not assigned, and the wavelength of the passing light only in the left pupil Note that it is set to the component value r L R of the band r L allocated as a band.
  • the R image shifts with respect to the other G and B color images in the defocus region of the normal viewing image. Since it is thought to occur, the left and right pupils are not distinguished.
  • the phase difference between the image composed of r G or r R and the image composed of r L R can be obtained, and can be used for focus control.
  • the common component g in which the left and right pupils are not separated is configured not to be used for phase difference detection. In this case, by dividing r G or r R into left and right pupils, The color shift between the visible red color and the other colors is prevented from occurring.
  • the image r G or r R common to the left and right pupils and the image of the near infrared r L component value from one pupil are half the component value but a phase difference is generated. Focus control can be performed.
  • r R that is the transmission wavelength of the left and right pupils is a component in the visible light region (components near the near infrared are also included). Since r L R, which is obtained as red light and is transmitted only through the left pupil, is obtained as near infrared light, it is advantageous for phase difference detection in a dark environment. That is, distance measurement in a dark environment or autofocus using the distance measurement information can be performed effectively.
  • FIG. 14 shows a second configuration example of the imaging apparatus as a configuration example when the third multiband estimation process is performed.
  • 14 includes an imaging lens LNS, an optical filter FLT, an imaging element 10 (imaging sensor), an imaging processing unit 20, an RGB image generation unit 30, a monitor display unit 40, an RGB filter characteristic data recording unit 50, and a focus area.
  • a selection unit 65, a multiband estimation unit 70, an RG component reconstruction unit 75, a focus control unit 80, a distance detection sensor 88 (distance measurement sensor), a data compression unit 90, and a data recording unit 100 are included.
  • symbol is attached
  • the multiband estimation unit 70 outputs r R , r G , g G , and b L G among the estimated band components to the RG component reconstruction unit 75.
  • the data is output to the data compression unit 90.
  • the first to third color filters are a blue filter, a green filter, and a red filter that transmit blue, green, and red wavelength bands, respectively.
  • third transmittance characteristic F R the transmittance characteristics of the red filter is a property of transmitting the bandwidth r L R of the near-infrared light (e.g., 700nm ⁇ 950nm).
  • the multiband estimation unit 70 sets the near-infrared light band to the fifth band BD5.
  • the red filter does not need to transmit the entire near-infrared light band (for example, 700 nm to 2500 nm), and may transmit a part of the near-infrared light band (for example, 700 nm to 950 nm).
  • phase difference AF can be performed using a band component value including near-infrared light even in a dark environment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

　撮像装置は、撮像光学系の瞳を第１瞳と第２瞳に分割する光学フィルタＦＬＴと、第１～第３透過率特性の第１～第３色フィルタを有する撮像素子と、第１～第３透過率特性の重なり部分及び非重なり部分に対応する第１～第５バンドの成分値｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝を、第１～第３色の画素値に基づいて推定するマルチバンド推定部と、第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像ＩＲとして取得し、第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像ＩＬとして取得し、第１、第２被写体像ＩＲ、ＩＬの位相差を検出し、位相差に基づいて撮像光学系のフォーカス制御を行うフォーカス制御部と、を含む。

Description

撮像装置及びフォーカス制御方法
　本発明は、撮像装置及びフォーカス制御方法等に関する。
　特許文献１には、赤色フィルタの部分瞳と青色フィルタの部分瞳で瞳分割フィルタを構成し、その瞳分割フィルタにより撮像光学系の瞳を色で分割し、撮像画像の中の赤色画像と青色画像との間の位相差を検出し、その位相差に基づいてフォーカス制御を行う手法が開示されている。
　特許文献２には、複数の開口を設けた遮光板を撮像光学系に配置し、その複数の開口の中の１つに青色フィルタを取り付け、他の１つにオレンジ色フィルタを取り付け、青色フィルタとオレンジ色フィルタを取り付けた眼鏡を通して撮像画像を観察することで、立体視を行う手法が開示されている。
　特許文献３には、瞳分割フィルタの第１瞳には３色のフィルタを設け、第２瞳には、透過特性が第１瞳のフィルタと重ならない３色のフィルタを設け、第１撮像素子には第１瞳の透過波長帯域に対応する色フィルタを設け、第２撮像素子には第２瞳の透過波長帯域に対応する色フィルタを設け、瞳分割フィルタの透過光をビームスプリッタで分割して第１撮像素子と第２撮像素子に入射させ、立体視用の画像を撮影する手法が開示されている。
特開２００１－１７４６９６号公報 特開平４－２５１２３９号公報 特開平１０－２７６９６４号公報
　さて、瞳分割により得られた２画像の位相差を検出してフォーカス制御を行う、いわゆる位相差ＡＦ（Auto-Focus）が知られている。しかしながら、従来の位相差ＡＦでは、例えば色ずれの発生や特殊な撮像素子が必要となる等の課題がある。例えば特許文献１の手法では、被写体の中でピントの合っていない部分では赤色画像と青色画像の位置にずれ（即ち位相差）があるため、色ずれを生じてしまう。また、特許文献２の手法を仮に位相差ＡＦに適用した場合、同様に青色画像とオレンジ色画像に色ずれを生じてしまう。また、特許文献３の手法を仮に位相差ＡＦに適用した場合、特殊な色フィルタを設けた２つの撮像素子や、ビームスプリッタが必要となる。
　本発明の幾つかの態様によれば、例えば色ずれの発生や特殊な撮像素子の必要性等なく、位相差ＡＦを行うことが可能な撮像装置及びフォーカス制御方法等を提供できる。
　本発明の一態様は、撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタと、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子と、前記第１～第３透過率特性の重なり部分及び非重なり部分に対応する第１～第５バンドを設定し、前記撮像素子によって撮像された画像を構成する第１～第３色の画素値に基づいて前記第１～第５バンドの成分値を推定するマルチバンド推定部と、前記第１～第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像として取得し、前記第１～第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像として取得し、前記第１被写体像と前記第２被写体像の位相差を検出し、前記位相差に基づいて前記撮像光学系のフォーカス制御を行うフォーカス制御部と、を含む撮像装置に関係する。
　本発明の一態様によれば、第１～第３色の画素値に基づいて第１～第５バンドの成分値が推定され、第１瞳の透過波長帯域に対応するバンドの成分値が第１被写体像として取得され、第２瞳の透過波長帯域に対応するバンドの成分値が第２被写体像として取得され、第１被写体像と第２被写体像から検出された位相差に基づいて撮像光学系のフォーカス制御が行われる。これにより、例えば色ずれの発生や特殊な撮像素子の必要性等なく、位相差ＡＦを行うことが可能になる。
　また本発明の一態様では、前記マルチバンド推定部は、前記第１透過率特性の非重なり部分に対応する前記第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する前記第２バンドと、前記第２透過率特性の非重なり部分に対応する前記第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する前記第４バンドと、前記第３透過率特性の非重なり部分に対応する前記第５バンドとを設定してもよい。
　また本発明の一態様では、前記第１瞳は、前記第１、第２バンドの一方と、前記第４、第５バンドの一方とを少なくとも透過し、前記第２瞳は、前記第１、第２バンドの他方と、前記第４、第５バンドの他方とを少なくとも透過し、前記フォーカス制御部は、前記第１、第２バンドの前記一方の成分値と、前記第４、第５バンドの前記一方の成分値を前記第１被写体像として取得し、前記第１、第２バンドの前記他方の成分値と、前記第４、第５バンドの前記他方の成分値を前記第２被写体像として取得してもよい。
　また本発明の一態様では、前記第１～第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、前記第１瞳は、前記第１、第２バンドの一方と、前記第３バンドと、前記第４、第５バンドの一方とを透過し、前記第２瞳は、前記第１、第２バンドの他方と、前記第３バンドと、前記第４、第５バンドの他方とを透過してもよい。
　また本発明の一態様では、前記第１～第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、前記赤色フィルタの透過率特性である前記第３透過率特性は、近赤外光の帯域を透過する特性であってもよい。
　また本発明の一態様では、前記マルチバンド推定部は、前記近赤外光の帯域を前記第５バンドに設定してもよい。
　また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２バンドの成分値を加算した値である前記第１色の画素値と、前記第２～第４バンドの成分値を加算した値である前記第２色の画素値とに基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第３、第４バンドの成分値を加算した値である第１加算値との間の関係式を求め、前記関係式に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを推定してもよい。
　また本発明の一態様では、前記マルチバンド推定部は、前記第１バンドの成分値を未知数として前記関係式を求め、前記関係式で表した前記第１、第２バンドの成分値及び前記第１加算値と、前記第１、第２色の画素値との間の誤差を表す誤差評価値を求め、前記誤差評価値を最小にする前記未知数を決定し、決定した前記未知数及び前記関係式に基づいて、前記第１、第２バンドの成分値及び前記第１加算値を決定してもよい。
　また本発明の一態様では、前記マルチバンド推定部は、前記第２～第４バンドの成分値を加算した値である前記第２色の画素値と、前記第４、第５バンドの成分値を加算した値である前記第３色の画素値とに基づいて、前記第２、第３バンドの成分値を加算した値である前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値との間の関係式を求め、前記関係式に基づいて、前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値とを推定し、前記第２色の画素値と前記第２バンドの成分値と前記第４バンドの成分値とから、前記第３バンドの成分値を求めてもよい。
　また本発明の一態様では、前記マルチバンド推定部は、前記第１バンドの成分値を未知数として前記関係式を求め、前記未知数の候補として、複数の候補値を生成し、前記複数の候補値の中から、前記第１、第２色の画素値の定義域に基づく選択条件を満たす候補値を、前記関係式に基づいて選択し、選択した前記候補値に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを求めてもよい。
　また本発明の一態様では、前記選択条件は、前記関係式に前記候補値を代入して求めた前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とが、前記第１、第２色の画素値の定義域に矛盾しないという条件であってもよい。
　また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２色フィルタの透過率特性に基づいて、前記第１色の画素値と前第２色の画素値との間の相対的なゲイン比を補正し、補正後の前記第１、第２色の画素値を用いて前記第１～第５バンドの成分値を推定してもよい。
　また本発明の一態様では、前記第１～第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、前記マルチバンド推定部は、前記青色の画素値を構成する前記第１、第２バンドの成分値を、それぞれ第１、第２青色成分値として求め、前記緑色の画素値を構成する前記第２～第４バンドの成分値を、それぞれ第１～第３緑色成分値として求め、前記赤色の画素値を構成する前記第４、第５バンドの成分値を、それぞれ第１、第２赤色成分値として求めてもよい。
　また本発明の他の態様は、撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタを透過した被写体像を、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子により撮像し、前記第１～第３透過率特性の重なり部分及び非重なり部分に対応する第１～第５バンドを設定し、前記撮像素子によって撮像された画像を構成する第１～第３色の画素値に基づいて前記第１～第５バンドの成分値を推定し、前記第１～第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像として取得し、前記第１～第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像として取得し、前記第１被写体像と前記第２被写体像の位相差を検出し、前記位相差に基づいて前記撮像光学系のフォーカス制御を行うフォーカス制御方法に関係する。
図１は、バンド分割手法についての説明図。 図２は、撮像光学系の基本構成例。 図３（Ａ）～図３（Ｆ）は、第１のマルチバンド推定処理におけるゲイン補正処理についての説明図。 図４は、第１のマルチバンド推定処理における未知数推定処理についての説明図。 図５（Ａ）～図５（Ｆ）は、第１のマルチバンド推定処理におけるゲイン補正処理についての説明図。 図６は、第１のマルチバンド推定処理における未知数推定処理についての説明図。 図７は、フォーカス制御処理と測距処理についての説明図。 図８は、撮像装置の第１の構成例。 図９は、情報処理装置の構成例。 図１０は、第２のマルチバンド推定処理におけるバンド成分値についての説明図。 図１１は、ルックアップテーブルの第１設定例。 図１２は、ルックアップテーブルの第２設定例。 図１３（Ａ）、図１３（Ｂ）は、第３のマルチバンド推定処理についての説明図。 図１４は、撮像装置の第２の構成例。
　以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
　１．本実施形態の概要
　カメラ、顕微鏡、内視鏡などデジタル画像撮影において、撮像に係る各種機能の向上には目覚しいものがある。代表的機能としてＡＦの高速化が上げられる。ＡＦ方式は大きく分類すると、コントラスト方式と位相差方式の２つの方式に分類できる。
　コントラスト方式では、複数フレームの撮像情報から合焦位置を求めるので、撮像フレームの高レート化により高速化が図れるが、基本的にはコントラスト評価値のピークを頻繁に探索する必要があるので高速化には自ずと限界がある。
　一方、位相差ＡＦ方式では、位相差からダイレクトに合焦位置を求められるので、コントラスト方式に比べ高速化が図れる。位相差ＡＦ方式では、以前は撮像光学経路を分岐し、位相差検出用の専用撮像素子により位相差情報を検出していたが、昨今は専用撮像素子を設けずに撮像素子のみで位相差を検出する手法が種々提案されている。例えば、撮像素子自体に位相差検出機能を搭載した方式（イメージャ内位相差方式）や、結像光学系の左右の瞳位置に異なる波長域のフィルタを配置し、色の違いで左右の位相差画像（多重画像）を取得し位相差を演算により求める方式（カラー位相差方式）などがある。
　しかしながら、イメージャ内位相差方式では、左右の瞳位置からの光束をそれぞれ受光する独立した画素（位相差検出用画素）が必要となるため、結像画像として使用可能な画素は半数になり、解像度の犠牲が伴う。また、位相差検出用画素が画素欠陥のような状態になり画質劣化の要因となるため、高度な補正処理が必要になる。
　また、特許文献１のようなカラー位相差方式や、直接にＡＦに関するものでないが特許文献２のようなカラー位相差方式では、イメージャ内位相差方式の課題はクリアできる。しかしながら、通常の３原色カラー撮像素子を使用する場合、例えば右瞳通過光束用にはＲ（赤色）フィルタを割り当て、左瞳通過光束用にはＢ（青色）フィルタを割り当てるなど、位相差画像が３原色のいずれかによって明確に分離できるようにしなくてはならない。そのため、赤成分Ｒのみの画像や青成分Ｂだけの画像など単一色画像の場合には、左右瞳のうち一方の瞳を通過した画像しか取得できず、位相差を検出できない。また、ＲとＢの画像に相関性が低い場合には、色分離により位相差画像を取得しても、位相差を検出する精度が劣ってしまう。このように、カラー位相差方式では、位相差を検出できない状況、又は検出精度が著しく劣る状況が発生する可能性がある。さらには、ＲＧＢのうち一部の色の光束のみを通過させるフィルタを用いるので、光量低下が発生する。また、デフォーカス位置の撮像画像が位相差により必ず色ずれを起こすので、その色ずれを精度良く補正する処理が必要になってくる。そのため、補正画像の品質、処理のリアルタイム性、低コスト化の観点で課題がある。
　これらカラー位相差方式の課題を解決するために、多バンドフィルタを用いる手法（例えば特開２００５－２８６６４９号公報）が考えられる。この手法では、例えば、右瞳光束用には波長分離された２色のフィルタＲ１，Ｂ１を割り当て、左瞳光束用にも波長分離された２色のフィルタＲ２，Ｂ２を割り当てるなどして左右の位相差画像を得る。この場合、撮像素子には、各色を分離するための多バンド（多分割波長域）の色フィルタと、それぞれのバンドの色フィルタに対して割り当て画素が必要になる。そのため、一つ一つのバンド画像（分離波長域画像）のサンプリングが粗くなるのは必然であり、位相差検出のための相関精度を低下させる。また、サンプリングの粗さから単一バンド画像の解像度も低下し、撮像画像としての解像度も劣化するという課題が残る。
　このように、従来の位相差ＡＦでは、例えば色ずれの発生や、解像度の低下、画素欠陥の高度な補正が必要となること、位相差の検出精度の低下、位相差を検出できない状況があり得ること、多バンドの色フィルタを有する撮像素子が必要となること等の種々の課題がある。
　そこで本実施形態では、右瞳（広義には第１瞳）には、波長分離された２色のフィルタＲ１、Ｂ１（図１のｒＲ、ｂＲ）を割り当て、左瞳（広義には第２瞳）には、波長分離された２色のフィルタＲ２，Ｂ２（図１のｒＬ、ｂＬ）を割り当てる。そして、従来のＲＧＢの３原色フィルタ、即ち隣接する色の波長域が重なりをもつ３原色フィルタを有する撮像素子で撮像し、得られた３つのＲ，Ｇ，Ｂの画素値から５つの色Ｒ１、Ｂ１、Ｇ、Ｂ１、Ｂ２を後処理により推定する。Ｒ１、Ｂ１、Ｇ、Ｂ１、Ｂ２が得られれば、Ｒ１、Ｇ、Ｂ１を右瞳画像、Ｒ２、Ｇ、Ｂ２を左瞳画像として分離でき、これらの画像の位相差を求めることができる。
　このようにすれば、上述のような従来の位相差ＡＦにおける種々の課題を解決できる。即ち、右瞳画像及び左瞳画像のいずれにもＲＧＢ成分が含まれるため、デフォーカス位置の画像の色ずれが発生しない。また、特殊な撮像素子（例えば位相差検出用画素が配置された撮像素子や、５色を分離するための割当て画素が配置された撮像素子）を用いる必要がないため、従来どおりの解像度のＲＧＢ画像が得られる。また、ＲＧＢベイヤ画像のデモザイキングにより、位相差画像の解像度も落とすことなく得られるため位相差の検出精度も高くできる。また、右瞳画像及び左瞳画像のいずれにもＲＧＢ成分が含まれるため、位相差を検出できない状況が発生しにくくなる。
　２．第１のマルチバンド推定処理
　２．１．バンド分割手法
　次に、本実施形態の詳細について説明する。まず、位相差検出に用いる５バンドのマルチバンド画像をＲＧＢ画像から推定する処理について説明する。以下では、ＲＧＢベイヤ配列の撮像素子を例に説明するが、本実施形態はこれに限定されず、カラーフィルタの透過率特性に重なり部分がある撮像素子でさえあればよい。なお以下では、撮像素子を適宜、撮像センサとも呼ぶ。また、以下で用いる｛ＦＲ，ＦＧ，ＦＢ｝、｛ｒＲ，ｒＬ，ｇ，ｂＲ，ｂＬ｝は、いずれも波長λの関数であるが、表記を簡単にするために波長λを省略する。
　図１にバンド分割についての説明図を示す。図１に示すように、５バンドの成分ｂＲ、ｂＬ、ｇ、ｒＲ、ｒＬは、撮像系の分光特性に応じて定まる成分である。図１には、撮像系の分光特性として、撮像センサのカラーフィルタの透過率特性ＦＲ、ＦＧ、ＦＢを示すが、厳密には、撮像系の分光特性は、例えばカラーフィルタを除いた撮像センサがもつ分光特性や、光学系のもつ分光特性等も含んでいる。以下では説明を簡単にするため、撮像センサ等の分光特性が、図１に示すカラーフィルタの透過率特性ＦＲ、ＦＧ、ＦＢに含まれるものとする。
　図１に示すように、青色フィルタの透過率特性ＦＢと緑色フィルタの透過率特性ＦＧとの重なり部分に対応するバンドの成分がｂＬであり、青色フィルタの透過率特性ＦＢの非重なり部分に対応するバンドの成分がｂＲである。また、赤色フィルタの透過率特性ＦＲと緑色フィルタの透過率特性ＦＧとの重なり部分に対応するバンドの成分がｒＲであり、赤色フィルタの透過率特性ＦＲの非重なり部分に対応するバンドの成分がｒＬである。また、緑色フィルタの透過率特性ＦＧの非重なり部分に対応するバンドの成分がｇである。ここで、非重なり部分とは、他の色フィルタの透過率特性と重なっていない部分のことである。
　５バンドの帯域ＢＤ１～ＢＤ５は、透過率特性ＦＲ、ＦＧ、ＦＢの形状や重なり具合などに応じて決定すればよく、透過率特性の帯域や重なり部分の帯域そのものである必要はない。例えば、透過率特性ＦＧ、ＦＢの重なり部分の帯域は、およそ４５０ｎｍ～５５０ｎｍであるが、帯域ＢＤ２は重なり部分に対応するものであればよく、４５０ｎｍ～５５０ｎｍである必要はない。
　２．２．基本構成例
　図２に、本実施形態における撮像光学系の基本構成例を示す。図２に示すように、撮像光学系は、撮像素子のセンサ面に被写体を結像させる結像レンズＬＮＳと、第１瞳と第２瞳で帯域を分離する光学フィルタＦＬＴと、を含む。以下では、第１瞳を右瞳とし、第２瞳を左瞳として説明するが、本実施形態ではこれに限定されない。即ち、瞳の分離方向は左右に限定されず、撮像光学系の光軸に対して垂直な任意の方向に第１瞳と第２瞳が分離されていればよい。なお以下では、５バンドの成分｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝に対応する波長分割光や帯域を、適宜、同一の符号｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝で表す。
　光学フィルタＦＬＴは、波長分割光｛ｂＲ，ｇ，ｒＲ｝を透過する特性の右瞳フィルタＦＬ１（広義には第１フィルタ）と、波長分割光｛ｂＬ，ｇ，ｒＬ｝を透過する特性の左瞳フィルタＦＬ２（広義には第２フィルタ）とを有する。光学フィルタＦＬＴは、撮像光学系の瞳位置（例えば絞りの設置位置）に設けられ、フィルタＦＬ１、ＦＬ２がそれぞれ右瞳、左瞳に相当する。
　図２に示すように、結像レンズＬＮＳ及び光学フィルタＦＬＴを透過した結像光は、ＲＧＢベイヤ配列の撮像素子に入力され、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光強度として信号に変換されデータとして取得される。取得されたベイヤ画像に対してデモザイキング処理を行い、ＲＧＢ毎の３画像（全画素にＲ画素値、Ｇ画素値、Ｂ画素値が存在する画像）を生成する。図１に示すように、右瞳を通過した波長分割光｛ｂＲ，ｇ，ｒＲ｝と、左瞳を通過した波長分割光｛ｂＬ，ｇ，ｒＬ｝は、波長帯域が明確に分離されている。一方、撮像素子のカラーフィルタの分光特性｛ＦＲ，ＦＧ，ＦＢ｝は、隣接する分光特性の波長帯域が重複した特性となっている。この重複状態を考慮すると、デモザイキング処理後の各画素における赤色、緑色、青色の画素値Ｒ、Ｇ、Ｂを、下式（１）のようにモデル化することができる。
Ｒ＝ｇＲ＋ｒＲ Ｒ＋ｒＬ Ｒ，
Ｇ＝ｂＬ Ｇ＋ｇＧ＋ｒＲ Ｇ，
Ｂ＝ｂＲ Ｂ＋ｂＬ Ｂ＋ｇＢ　（１）
　図３（Ｃ）に示すように、成分｛ｂＲ Ｂ，ｂＬ Ｂ，ｇＢ｝は、分光特性ＦＢの青色フィルタを通過した波長分割光｛ｂＲ，ｂＬ，ｇ｝に対応する。図３（Ｄ）に示すように、成分｛ｂＬ Ｇ，ｇＧ，ｒＲ Ｇ｝は、分光特性ＦＧの緑色フィルタを通過した波長分割光｛ｂＬ，ｇ，ｒＲ｝に対応する。また、図３（Ｄ）に示すように、成分｛ｇＲ，ｒＲ Ｒ，ｒＬ Ｒ｝は、分光特性ＦＲの赤色フィルタを通過した波長分割光｛ｇ，ｒＲ，ｒＬ｝に対応する。各成分を表す符号の上付きサフィックスは、右瞳「Ｒ」及び左瞳「Ｌ」のいずれを通過したかを表し、下付サフィックスは、赤色フィルタ「Ｒ」、緑色フィルタ「Ｇ」、青色フィルタ「Ｂ」のいずれを通過したかを表している。
　２．３．｛ｂＲ，ｂＬ，（ｇ＋ｒＲ）｝の推定処理
　次に、図３（Ａ）～図６を用いて、画素値｛Ｒ，Ｇ，Ｂ｝から成分｛ｂＲ Ｂ，ｂＬ Ｂ，ｇＢ｝、｛ｂＬ Ｇ，ｇＧ，ｒＲ Ｇ｝、｛ｇＲ，ｒＲ Ｒ，ｒＬ Ｒ｝を推定する処理について説明する。
　まず上式（１）を用いて、画素値｛Ｂ，Ｇ｝で重複している波長帯域｛ｂＬ，ｇ｝を、画素値｛Ｂ，Ｇ｝の差分に基づいて取り除き、成分ｂＲと成分［ｇ＋ｒＲ］の関係を求めることにより成分｛ｂＲ，ｂＬ，（ｇ＋ｒＲ）｝の関係式を導き出す処理を行う。
　ここで注意しなければならないのは、図３（Ａ）～図３（Ｄ）に示すように、波長帯域ｂＬに対応するのは画素値Ｂの成分ｂＬ Ｂ及び画素値Ｇの成分ｂＬ Ｇであるが、成分ｂＬ Ｂ、ｂＬ Ｇには、分光特性ＦＢ、ＦＧの相対ゲインが乗じられていることである。そのため、成分ｂＬ Ｂ、ｂＬ Ｇは、相対ゲインの分だけ異なる値であり、成分ｂＬ Ｂ、ｂＬ Ｇが等しくなるように補正する必要がある。
　図３（Ｃ）、図３（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｂＬ Ｂ＋ｇＢ）の成分比をｋＢ１とし、ｂＬ Ｇの成分比をｋＢ２とすると、下式（２）が成り立つ。
　ここで、ｋＢ１／ｋＢ２は、例えば帯域ｂＬにおける分光特性ＦＢ、ＦＧのゲイン比である。
ｂＬ Ｂ＋ｇＢ＝（ｋＢ１／ｋＢ２）×ｂＬ Ｇ　（２）
　帯域ｂＬ、ｇにおける分光特性ＦＢのゲインを考慮すると、成分ｇＢは成分ｂＬ Ｂよりも十分小さいと考えられるため、成分ｂＬ Ｂ、ｂＬ Ｇを等しくするためには、成分（ｂＬ Ｂ＋ｇＢ）と成分ｂＬ Ｇがほぼ等しくなればよい。成分（ｂＬ Ｂ＋ｇＢ）を補正した値を（ｂＬ Ｂ’＋ｇＢ’）とすると、上式（２）を用いて下式（３）に示す補正を行えばよい。
ｂＬ Ｂ’＋ｇＢ’≒ｂＬ Ｇ＝（ｋＢ２／ｋＢ１）×（ｂＬ Ｂ＋ｇＢ）　（３）
　成分（ｂＬ Ｂ＋ｇＢ）は画素値Ｂに含まれるため、成分（ｂＬ Ｂ＋ｇＢ）を補正するためには、結局、画素値Ｂを補正することになる。この補正後のＢをＢ’とすると、下式（４）の関係が得られる。
Ｂ’＝（ｋＢ２／ｋＢ１）Ｂ　（４）
　上式（４）より、Ｂ’の成分｛ｂＲ Ｂ’，ｂＬ Ｂ’，ｇＢ’｝は下式（５）となる。
ｂＲ Ｂ’＝（ｋＢ２／ｋＢ１）×ｂＲ Ｂ，
ｂＬ Ｂ’＋ｇＢ’≒ｂＬ Ｇ　　　　　（５）
　上式（１）、（５）より、画素値Ｂ’と画素値Ｇを成分｛ｂＲ Ｂ’，ｂＬ Ｇ，ｇＧ，ｒＲ Ｇ｝を用いて表すと、下式（６）のようになる。
Ｂ’＝ｂＲ Ｂ’＋（ｂＬ Ｂ’＋ｇＢ’）＝ｂＲ Ｂ’＋ｂＬ Ｇ，
Ｇ　＝ｂＬ Ｇ＋（ｇＧ＋ｒＲ Ｇ）　　　　　　　　　　　（６）
　次に、下式（７）に示すように、補正後の画素値Ｂ’と画素値Ｇの差分を取ることにより、重複した成分ｂＬを取り除く。また上式（６）より下式（８）が成り立つ。
Ｂ’－Ｇ＝［ｂＲ Ｂ’＋ｂＬ Ｇ］－［ｂＬ Ｇ＋ｇＧ＋ｒＲ Ｇ］
　　　　＝ｂＲ Ｂ’－（ｇＧ＋ｒＲ Ｇ）　　　　　　　（７）
ｂＬ Ｇ＝Ｂ’－ｂＲ Ｂ’　　　　　　　　　　　　　（８）
　ｂＲ Ｂ’を未知数（支配変数）とすると、上式（７）、（８）より｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝の関係式を下式（９）のように求められる。
ｂＲ Ｂ’＝未知数（支配変数）
ｂＬ Ｇ＝Ｂ’－ｂＲ Ｂ’
ｇＧ＋ｒＲ Ｇ＝ｂＲ Ｂ’－（Ｂ’－Ｇ）　（９）
　｛Ｂ’，Ｇ｝は検出された既知の値であるので、上式（９）に基づき未知数ｂＲ Ｂ’が決まれば、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝が全て決まることになる。即ち、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝の尤度パターンを特定することができる。
　図４に、この関係を原理的に表した図を示す。図４に示すように、未知数ｂＲ Ｂ’として、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小になる値を求める。即ち、下式（１０）に示す誤差の評価値ＥＢＧが最小になる場合のｂＲ Ｂ’を求め、求めたｂＲ Ｂ’を上式（９）に代入することにより、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝の値を決定する。
ｅＢ＝（Ｂ’／２－ｂＲ Ｂ’）２＋（Ｂ’／２－ｂＬ Ｇ）２，
ｅＧ＝（Ｇ／２－ｂＬ Ｇ）２＋（Ｇ／２－（ｇＧ＋ｒＲ Ｇ））２，
ＥＢＧ＝ｅＢ＋ｅＧ　　　　　　　　　　　　　　　　　（１０）
　以上のようにして、各画素の２バンド画素値｛Ｂ’，Ｇ｝から成分｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝を推定することができる。
　なお、上記では｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小となる場合のｂＲ Ｂ’を求めたが、本実施形態では、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝と｛αＢＢ’，αＧｂＧ｝の誤差が最小となる場合のｂＲ Ｂ’を求めてもよい。ここで、αＢ、αＧｂは、下式（１１）を満たす値である。αＢは、Ｂ’に対する｛ｂＲ Ｂ’，ｂＬ Ｇ｝の平均的な値を算出するためのものであり、αＧｂは、Ｇに対する｛ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝の平均的な値を算出するためのものである。これらは、図１に示すような撮像素子のカラーフィルタ特性から｛ｂＲ Ｂ’，ｂＬ Ｇ｝及び｛ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝の成分比を考慮して決定すればよい。
０＜αＢ≦１，０＜αＧｂ≦１　（１１）
　２．４．｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝の推定処理
　次に、画素値｛Ｇ，Ｒ｝から成分｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝を推定する。具体的には、上式（１）を用いて、画素値｛Ｇ，Ｒ｝で重複している波長帯域｛ｇ，ｒＲ｝を、画素値｛Ｇ，Ｒ｝の差分に基づいて取り除き、成分［ｂＬ＋ｇ］と成分ｒＬの関係を求めることにより成分｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝の関係式を導き出す処理を行う。
　図５（Ａ）～図５（Ｄ）に示すように、波長帯域ｒＲに対応するのは画素値Ｇの成分ｒＲ Ｇ及び画素値Ｒの成分ｒＲ Ｒであるが、成分ｒＲ Ｇ、ｒＲ Ｒには、分光特性ＦＧ、ＦＲの相対ゲインが乗じられている。そのため、成分ｒＲ Ｇ、ｒＲ Ｒは、相対ゲインの分だけ異なる値であり、成分ｒＲ Ｇ、ｒＲ Ｒが等しくなるように補正する必要がある。
　図５（Ｃ）、図５（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｇＲ＋ｒＲ Ｒ）の成分比をｋＲ１とし、ｒＲ Ｇの成分比をｋＲ２とすると、下式（１２）が成り立つ。ｋＲ１／ｋＲ２は、例えば帯域ｒＲにおける分光特性ＦＧ、ＦＲのゲイン比である。
ｇＲ＋ｒＲ Ｒ＝（ｋＲ２／ｋＲ１）×ｒＲ Ｇ　（１２）
　帯域ｇ、ｒＲにおける分光特性ＦＲのゲインを考慮すると、成分ｇＲは成分ｒＲ Ｒよりも十分小さいと考えられるため、成分ｒＲ Ｇ、ｒＲ Ｒを等しくするためには、成分（ｇＲ＋ｒＲ Ｒ）と成分ｒＲ Ｇがほぼ等しくなればよい。成分（ｇＲ＋ｒＲ Ｒ）を補正した値を（ｇＲ’＋ｒＲ Ｒ’）とすると、上式（１２）を用いて下式（１３）に示す補正を行えばよい。
ｇＲ’＋ｒＲ Ｒ’≒ｒＲ Ｇ＝（ｋＲ２／ｋＲ１）×（ｇＲ＋ｒＲ Ｒ）　（１３）
　成分（ｇＲ＋ｒＲ Ｒ）は画素値Ｒに含まれるため、成分（ｇＲ＋ｒＲ Ｒ）を補正するためには、結局、画素値Ｒを補正することになる。この補正後のＲをＲ’とすると、下式（１４）の関係が得られる。
Ｒ’＝（ｋＲ２／ｋＲ１）Ｒ　（１４）
　上式（１４）より、Ｒ’の成分｛ｇＲ’，ｒＲ Ｒ’，ｒＬ Ｒ’｝は下式（１５）となる。
ｇＲ’＋ｒＲ Ｒ’≒ｒＲ Ｇ，
ｒＬ Ｒ’＝（ｋＲ２／ｋＲ１）×ｒＬ Ｒ　（１５）
　上式（１）、（１５）より、画素値Ｇと画素値Ｒ’を成分｛ｂＬ Ｇ，ｇＧ，ｒＲ Ｇ，ｒＬ Ｒ’｝を用いて表すと、下式（１６）のようになる。
Ｇ　＝ｂＬ Ｇ＋（ｇＧ＋ｒＲ Ｇ），
Ｒ’＝（ｇＲ’＋ｒＲ Ｒ’）＋ｒＬ Ｒ’＝ｒＲ Ｇ＋ｒＬ Ｒ’　（１６）
　次に、下式（１７）に示すように、画素値Ｇと補正後の画素値Ｒ’の差分を取ることにより、重複した成分ｒＲを取り除く。また上式（１６）より下式（１８）が成り立つ。
Ｇ－Ｒ’＝［ｂＬ Ｇ＋ｇＧ＋ｒＲ Ｇ）］－［ｒＲ Ｇ＋ｒＬ Ｒ’］
　　　　＝（ｂＬ Ｇ＋ｇＧ）－ｒＬ Ｒ’　　　　　　　　　（１７）
ｒＲ Ｇ＝Ｒ’－ｒＬ Ｒ’　　　　　　　　　　　　　　　（１８）
　ｒＬ Ｒ’を未知数（支配変数）とすると、上式（１７）、（１８）より｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝の関係式を下式（１９）のように求められる。
ｒＬ Ｒ’＝未知数（支配変数），
ｒＲ Ｇ＝Ｒ’－ｒＬ Ｒ’，
ｂＬ Ｇ＋ｇＧ＝ｒＬ Ｒ’＋（Ｇ－Ｒ’）　（１９）
　｛Ｇ，Ｒ’｝は検出された既知の値であるので、上式（１９）に基づき未知数ｒＬ Ｒ’が決まれば、｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝が全て決まることになる。即ち、｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝の尤度パターンを特定することができる。
　図６に、この関係を原理的に表した図を示す。図６に示すように、未知数ｒＬ Ｒ’として、｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小になる値を未知数ｒＬ Ｒ’として求める。即ち、下式（２０）に示す誤差の評価値ＥＧＲが最小になる場合のｒＬ Ｒ’を求め、求めたｒＬ Ｒ’を上式（１９）に代入することにより、｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝の値を決定する。
ｅＧ＝（Ｇ／２－（ｂＬ Ｇ＋ｇＧ））２＋（Ｇ／２－ｒＲ Ｇ）２，
ｅＧ＝（Ｒ’／２－ｒＲ Ｇ）２＋（Ｒ’／２－（ｒＬ Ｒ’））２，
ＥＧＲ＝ｅＧ＋ｅＲ　　　　　　　　　　　　　　　　　　（２０）
　以上のようにして、各画素の２バンド画素値｛Ｇ，Ｒ’｝から成分｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝を推定することができる。
　なお、上記では｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小となる場合のｒＬ Ｒ’を求めたが、本実施形態では、｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝と｛αＧｒＧ，αＲＲ’｝の誤差が最小となる場合のｒＬ Ｒ’を求めてもよい。ここで、αＲ、αＧｒは、下式（２１）を満たす値である。αＲは、Ｒ’に対する｛ｒＬ Ｒ’，ｒＲ Ｇ｝の平均的な値を算出するためのものであり、αＧｒは、Ｇに対する｛ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝の平均的な値を算出するためのものである。これらは、図１に示すような撮像素子のカラーフィルタ特性から｛ｒＬ Ｒ’，ｒＲ Ｇ｝及び｛ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝の成分比を考慮して決定すればよい。
０＜αＲ≦１，０＜αＧｒ≦１　（２１）
　また、評価値ＥＢＧ、ＥＧＲの算出手法は上記手法に限定されず、種々の方法が考えられることは言うまでもない。例えば、評価値ＥＢＧを例にとれば、予め対象とする被写体（例えば、自然被写体あるいは医療用の生体内被写体など）を多数撮像し、取得された｛Ｒ，Ｇ，Ｂ｝により得られる｛Ｂ’，Ｇ｝から、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝の値の生起パターンを上記のようにして求める。そして、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝の生起パターンの確率分布において、局所的に生起確率が高いピークを示すパターンか、又は部分的な確率分布領域を設定し、その中のパターン群の平均パターンを示すパターン｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝を代表パターンとして定める。このようにして、予め定めた複数の代表パターンを設定しておく。そして、改めて（実際の撮影で）取得された｛Ｂ，Ｇ｝から推定を行う際には、取得された｛Ｂ，Ｇ｝から上記のように｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝を計算し、その計算により求めた｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝と、予め設定した代表パターンとのユークリッド距離を評価値として求める。予め設定された代表パターンのうち最もユークリッド距離が小さい、即ち最も類似する代表パターンを推定パターンとし、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝の値として特定してもよい。なお、予め代表パターンを設定する際に、対象被写体の｛Ｂ’，Ｇ｝の生起パターンから｛Ｂ’，Ｇ｝の代表パターンを求めてもよい。そして、実際に撮影した｛Ｂ’，Ｇ｝から推定する際に、撮影で取得した｛Ｂ’，Ｇ｝と、代表パターンとのユークリッド距離を評価値として求め、評価値の最も小さい｛Ｂ’，Ｇ｝の代表パターンに対して上記の推定処理を行い、最終的な推定パターン｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝を特定してもよい。
　２．５．成分値の算出処理
　次に、上記で求めた値｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝、｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝を用いて、画素値Ｂを構成する成分｛ｂＲ Ｂ，ｂＬ Ｂ｝の値、画素値Ｇを構成する成分｛ｂＬ Ｇ，ｇＧ，ｒＲ Ｇ｝の値、画素値Ｒを構成する成分｛ｒＲ Ｒ，ｒＬ Ｒ｝の値を算出する。
　ｂＲ Ｂ，ｒＬ Ｒは、上式（５）、（１５）より、下式（２２）のように求められる。
ｂＲ Ｂ＝（ｋＢ１／ｋＢ２）×ｂＲ Ｂ’，
ｒＬ Ｒ＝（ｋＲ１／ｋＲ２）×ｒＬ Ｒ’　　（２２）
　ｂＬ Ｂ，ｒＲ Ｒは、ｇＢ≪ｂＲ Ｂ，ｇＲ≪ｒＬ Ｒであること及び上式（１）より、下式（２３）のように求められる。
ｂＬ Ｂ＝Ｂ－（ｂＲ Ｂ＋ｇＢ）≒Ｂ－ｂＲ Ｂ，
ｒＲ Ｒ＝Ｒ－（ｒＬ Ｒ＋ｇＲ）≒Ｒ－ｒＬ Ｒ　（２３）
　ｂＬ Ｇ，ｒＲ Ｇは、上式（１）より、下式（２４）のように求められる。
ｂＬ Ｇ＝Ｇ－（ｇＧ＋ｒＲ Ｇ），
ｒＲ Ｇ＝Ｇ－（ｇＧ＋ｂＬ Ｇ）　（２４）
　ｇＧは、上式（１）、（２４）より、下式（２５）のように求められる。
ｇＧ＝Ｇ－（ｂＬ Ｇ＋ｒＲ Ｇ）　（２５）
　２．６．右瞳画像と左瞳画像の取得処理
　図２に示すように、光学フィルタＦＬＴの透過光を撮像することで、右瞳を通過した被写体像ＩＲと、左瞳を通過した被写体像ＩＬを取得する。図２では、撮像素子のセンサ面がデフォーカス位置ＰＤにある場合を例にＩＲ、ＩＬを図示しており、ｈは水平方向（広義には瞳の分離方向）に沿った軸である。像ＩＲ、ＩＬのＲ、Ｇ、Ｂ成分は、上記で求めた成分から下式（２６）のように分離する。
ＩＲ＝（ｒＲ Ｒ，ｒＲ Ｇ，ｂＲ Ｂ），ＩＬ＝（ｒＬ Ｒ，ｂＬ Ｇ，ｂＬ Ｂ）　（２６）
　そして、像ＩＲ、ＩＬのデフォーカス位置での位相差（像のずれ量）を求め、３角測量の原理を用いて被写体の測距を行い、求めた距離情報に基づいてＡＦ制御を行う。像ＩＲ、ＩＬの位相差ＡＦへの適用については、図７等で詳細に後述する。上式（２６）に示すように、像ＩＲ、ＩＬはともに、その成分値の下付サフィックスに示すようにＲＧＢ各帯域の成分で構成されている。そのため、被写体の色がＲＧＢのいずれかに極端に偏っているような場合であっても、像ＩＲ、ＩＬが極端に暗くなることはなく、位相差を検出することが可能である。なお、本実施形態では画像内の各画素について距離情報を取得することが可能であり、この各画素についての距離情報を用いて、位相差ＡＦだけでなく種々の応用処理を行うことも可能である。
　２．７．マルチバンド画像、ＲＧＢ画像の取得処理
　撮像素子のセンサ面がフォーカス位置ＰＦにあるフォーカス時では、像ＩＲ、ＩＬのずれは無くなる。即ち、同一画素におけるｒＲ ＲとｒＬ Ｒ、ｒＲ ＧとｂＬ Ｇ、ｂＲ ＢとｂＬ Ｂ、ｇＧは、全て被写体の同一微小領域からの反射光の色光を表している。即ち、結像時の撮像素子の任意の画素のＲ、Ｇ、Ｂ値から、下式（２７）に示す５バンド｛Ｒ１，Ｒ２，Ｇ，Ｂ１，Ｂ２｝の色画像（マルチバンド画像）を得ることができる。
Ｒ１＝ｒＲ Ｒ，Ｒ２＝ｒＬ Ｒ，Ｇ＝ｒＲ Ｇ＋ｇＧ＋ｂＬ Ｇ，Ｂ１＝ｂＲ Ｂ，Ｂ２＝ｂＬ Ｂ
　（２７）
　通常のＲＧＢ画像（例えばモニタ表示用の画像）は、撮像されたベイヤ画像からデモザイキング処理により取得すればよい。図２に示すように、右瞳フィルタＦＬ１はＲＧＢの帯域｛ｂＲ，ｇ，ｒＲ｝を透過し、左瞳フィルタＦＬ２はＲＧＢの帯域｛ｂＬ，ｇ，ｒＬ｝を透過するため、上式（１）を見ても分かるように画像のＲＧＢ各成分には右瞳と左瞳の透過帯域が含まれている。そのため、デフォーカス位置（画像のボケ領域）において右瞳画像｛ｂＲ，ｇ，ｒＲ｝と左瞳画像｛ｂＬ，ｇ，ｒＬ｝がずれても、ＲＧＢ画像では色ずれが起きない（又は非常に小さく抑えられる）ので、色ずれ補正を行う必要がなくそのまま鑑賞することが可能である。
　３．フォーカス制御処理、測距処理
　上述した像ＩＲ、ＩＬの位相差に基づいてデフォーカス量を算出する処理について詳細に説明する。
　図７に示すように、絞りを開放した時の開口径をＡとし、開口径Ａに対する左右の瞳の重心間の距離をｑ×Ａとし、光軸上における結像レンズＬＮＳの中心から撮像素子のセンサ面ＰＳまでの距離をｘとし、センサ面ＰＳにおける右瞳画像ＩＲ（ｈ）と左瞳画像ＩＬ（ｈ）のずれ量をδとすると、三角測量法により下式（２８）が成り立つ。ｑは、０＜ｑ≦１を満たす係数であり、ｑ×Ａは、絞り量によっても変化する値である。ｘは、距離検出センサ（例えば図８の距離検出センサ８８）により検出される値である。ｂは、光軸上における結像レンズＬＮＳの中心からフォーカス位置ＰＦまでの距離を表す。δは、相関演算（例えば既知の相関演算）により求められる。
ｑ×Ａ：δ＝ｂ：ｄ，
ｂ＝ｘ＋ｄ　　　　（２８）
上式（２８）よりデフォーカス量ｄは下式（２９）で与えられる。
ｄ＝（δ×ｘ）／｛（ｑ×Ａ）－δ｝　（２９）
　図７が、例えば撮像装置の上部（瞳分割方向に垂直な方向）から見た図である場合、ｈは水平方向（瞳分割方向）の座標軸である。座標軸ｈでのずれ量δを、右瞳画像ＩＲ（ｈ）及び左瞳画像ＩＬ（ｈ）のいずれかを基準として正負の符号で表すように定義し、そのずれ量δの正負により、センサ面ＰＳがフォーカス位置ＰＦの前方にあるのか後方にあるのかを識別する。センサ面ＰＳとフォーカス位置ＰＦの前後関係が分かれば、フォーカス位置ＰＦにセンサ面ＰＳを一致させる際に、どちらの方向にフォーカスレンズを移動させれば良いのかが簡単に分る。
　デフォーカス量ｄ及びずれ量δの符号を求めた後、それらに基づいて、デフォーカス量ｄをゼロにするようにフォーカスレンズを駆動させ、フォーカシングを行う。本実施形態では、左右瞳により水平方向に色分割しているので、撮像画像の中のフォーカシングさせたい水平方向の領域を選択して相関演算を行えばよい。なお、瞳色分割の方向は水平方向とは限らないので、左右帯域分離光学フィルタの設定条件（分割方向）に合わせて適宜、相関演算を行う方向を設定すればよい。また、デフォーカス量ｄを求める対象領域は、撮像画像の一部領域に限らず、撮像画像の全領域を対象としてもよい。その場合は、複数のデフォーカス量ｄが求められるので、それらを所定の評価関数により最終的なデフォーカス量を決定するプロセスが必要である。
　次に、被写体までの距離ａを測距する処理について説明する。ａは、フォーカス位置ＰＦに対応する距離であり、光軸上における結像レンズＬＮＳから被写体までの距離である。一般的に結像光学系では、複数のレンズで構成される結像光学系の合成焦点距離をｆとすると、下式（３０）が成り立つ。
（１／ａ）＋（１／ｂ）＝１／ｆ　（３０）
　上式（２９）で求めたデフォーカス量ｄ及び検出可能な値ｘから、上式（２８）によりｂを求め、求めたｂと、結像光学構成により決まる合成焦点距離ｆとを上式（３０）に代入し、結像レンズＬＮＳと被写体位置との距離ａを算出する。任意の画像位置に対応する被写体までの距離ａを算出できるので、被写体までの距離計測や、被写体の３次元形状計測を行うことが可能である。
　４．撮像装置、情報処理装置
　図８に、本実施形態のフォーカス制御処理を行う撮像装置の第１の構成例を示す。図８の撮像装置は、結像レンズＬＮＳ、光学フィルタＦＬＴ、撮像素子１０（撮像センサ）、撮像処理部２０、ＲＧＢ画像生成部３０、色補正処理部３５、モニタ表示部４０、ＲＧＢフィルタ特性データ記録部５０、フォーカス領域選択部６５、マルチバンド推定部７０、フォーカス制御部８０、距離検出センサ８８（距離計測センサ）、データ圧縮部９０、データ記録部１００を含む。なお、本実施形態は図８の構成に限定されず、その構成要素の一部を省略（例えば色補正処理部３５、データ圧縮部９０）したり、他の構成要素を追加したりする等の種々の変形実施が可能である。
　撮像素子１０は、結像レンズＬＮＳ及び光学フィルタＦＬＴによって結像された被写体を撮像する。光学フィルタＦＬＴは、図２で説明したように右瞳と左瞳の透過帯域が異なる。撮像処理部２０は、撮像素子１０による撮像動作の制御や、アナログの画素信号をＡ／Ｄ変換する処理などを行う。
　ＲＧＢ画像生成部３０は、撮像により得られたＲＧＢベイヤ画像のデモザイキング処理や、高画質化処理などを行い、ＲＧＢ３板画像（画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ））を出力する。ｉ，ｊは、自然数であり、それぞれ画像の水平走査方向、垂直走査方向における位置（座標）を表す。色補正処理部３５は、ＲＧＢ３板画像に対して色補正処理を行う。右瞳と左瞳の透過波長帯域が異なり、且つデフォーカス画像領域では右瞳と左瞳の透過光が近接して撮像されるため、デフォーカス画像領域では色のバランスが崩れる可能性がある。そのため、色補正処理を行う。モニタ表示部４０は、色補正処理されたＲＧＢ３板画像をモニタ（表示装置）に表示する。
　ＲＧＢフィルタ特性データ記録部５０は、撮像素子１０がもつカラーフィルタの透過率特性（分光特性）ＦＲ（λ）、ＦＧ（λ）、ＦＢ（λ）のデータを記憶しており、そのデータをマルチバンド推定部７０に出力する。但し、撮像されるＲＧＢ成分は、厳密にはカラーフィルタのみならず撮像素子１０の分光感度特性や、結像レンズＬＮＳの分光特性によって決まるものである。上記ではカラーフィルタの透過率特性がＲＧＢフィルタ特性であるものとして説明したが、本実施形態では、当然、撮像素子１０や結像レンズＬＮＳの分光特性を含んだ特性データをＲＧＢフィルタ特性データとして定義している。
　フォーカス領域選択部６５は、図示しないユーザインターフェースを介してユーザが選択した領域の画像を、ＲＧＢ３板画像から抽出し、その抽出した画像をマルチバンド推定部７０に出力する。マルチバンド推定部７０は、ユーザが選択した領域の画像に対して本実施形態のマルチバンド推定処理を行い、右瞳画像ＩＲ（ｉ，ｊ）、左瞳画像ＩＬ（ｉ，ｊ）を出力する。また、マルチバンド推定部７０は、５バンドのマルチバンド画像（成分値Ｒ１（ｉ，ｊ）、Ｒ２（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ１（ｉ，ｊ）、Ｂ２（ｉ，ｊ）を出力する。なお、領域選択を行わず、ＲＧＢ３板画像の全体に対してマルチバンド推定処理を行ってもよい。
　フォーカス制御部８０は、右瞳画像ＩＲ（ｉ，ｊ）及び左瞳画像ＩＬ（ｉ，ｊ）に基づいてオートフォーカス制御を行う。具体的にはフォーカス制御部８０は、位相差検出部８２、フォーカス制御量算出部８４、フォーカスレンズ駆動制御部８６を含む。位相差検出部８２は、右瞳画像ＩＲ（ｉ，ｊ）と左瞳画像ＩＬ（ｉ，ｊ）のずれ量δの情報（広義には位相差情報）を検出する。距離検出センサ８８は、結像レンズＬＮＳの中心から撮像素子１０のセンサ面までの距離ｘの情報を検出する。フォーカス制御量算出部８４は、ずれ量δの情報と距離ｘの情報からデフォーカス量ｄの情報を算出し、そのデフォーカス量ｄの情報に基づいて結像レンズＬＮＳの移動量及び移動方向を求める。フォーカスレンズ駆動制御部８６は、結像レンズＬＮＳの移動量及び移動方向に基づいてフォーカスレンズを移動させる制御を行う。
　データ圧縮部９０は、色補正処理されたＲＧＢ３板画像のデータに対して圧縮処理を行う。データ記録部１００は、圧縮されたＲＧＢ３板画像データと、カラーフィルタの透過率特性データとを記録する。これらの記録データは、撮影後の事後処理においてマルチバンド推定処理や位相差検出処理に用いることが可能である。事後処理は、撮像装置で行ってもよいし、撮像装置と別体に構成された情報処理装置で行ってもよい。
　図９に、撮像装置と別体に構成された情報処理装置の構成例を示す。図９の情報処理装置は、データ記録部２００、データ伸張部２１０、伸張データ記憶部２２０、モニタ画像生成部２３０、モニタ画像表示部２４０、画像データ選択部２５０、選択フレーム記憶部２６０、マルチバンド推定部２７０、位相差検出部２９０、位相差処理部２９５を含む。この情報処理装置としては、例えばＰＣ等の情報処理装置が想定される。
　データ記録部２００は、例えば外部記憶装置（例えばメモリカード）により構成され、撮像装置により記録されたＲＧＢ３板画像データ及び透過率特性データを記憶している。データ伸張部２１０は、撮像装置により圧縮されたＲＧＢ３板画像データを伸張する処理を行う。伸張データ記憶部２２０は、伸張されたＲＧＢ３板画像データを記憶する。
　モニタ画像生成部２３０は、ＲＧＢ３板画像データからモニタ表示用の画像を生成する。モニタ画像表示部２４０は、そのモニタ表示用の画像をモニタに表示する。画像データ選択部２５０は、図示しないユーザインターフェースを介してユーザ（操作者）が選択したフレームのＩＤを、伸張データ記憶部２２０に出力する。伸張データ記憶部２２０は、複数のＲＧＢ３板画像（複数の静止画像、又は動画像）の中から、選択フレームの画像を出力する。選択フレーム記憶部２６０は、選択フレームの画像を記憶する。
　マルチバンド推定部２７０は、選択フレームの画像（画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ））と、カラーフィルタの透過率特性ＦＲ（λ）、ＦＧ（λ）、ＦＢ（λ）とに基づいて、マルチバンド画像ＩＲ（ｉ，ｊ）、ＩＬ（ｉ，ｊ）を推定する処理を行う。位相差検出部２９０は、画像ＩＲ（ｉ，ｊ）、ＩＬ（ｉ，ｊ）の位相差を、例えば各画素（又は各微小分割領域）について検出する。位相差処理部２９５は、検出された位相差に基づいて、例えば被写体の立体形状測定等の種々の応用処理を行う。
　以上の実施形態によれば、図８に示すように、撮像装置は光学フィルタＦＬＴと撮像素子１０とマルチバンド推定部７０とフォーカス制御部８０とを含む。光学フィルタＦＬＴは、撮像光学系の瞳を、図２で説明したように、第１瞳（例えば右瞳）と、第１瞳とは透過波長帯域が異なる第２瞳（左瞳）とに分割する。図１で説明したように、撮像素子１０は、第１透過率特性ＦＢを有する第１色（例えば青色）フィルタと、第２透過率特性ＦＧを有する第２色（緑色）フィルタと、第３透過率特性ＦＲを有する第３色（赤色）フィルタとを含む。マルチバンド推定部７０は、第１～第３透過率特性｛ＦＢ，ＦＧ，ＦＲ｝の重なり部分及び非重なり部分に対応する第１～第５バンドＢＤ１～ＢＤ５を設定する。図２等で説明したように、マルチバンド推定部７０は、撮像素子１０によって撮像された画像を構成する第１～第３色の画素値｛Ｒ，Ｇ，Ｂ｝に基づいて第１～第５バンドの成分値｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝を推定する。フォーカス制御部８０は、第１～第５バンドＢＤ１～ＢＤ５のうち第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像（右瞳画像）ＩＲ＝（ｒＲ Ｒ，ｒＲ Ｇ，ｂＲ Ｂ）として取得し、第１～第５バンドのうち第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像（左瞳画像）ＩＬ＝（ｒＬ Ｒ，ｂＬ Ｇ，ｂＬ Ｂ）として取得する。フォーカス制御部８０は、第１被写体像ＩＲと第２被写体像ＩＬの位相差（ずれ量δ）を検出し、位相差に基づいて撮像光学系のフォーカス制御を行う。
　このようにすれば、第１～第３色の画素値で構成される画像から５バンドの成分値を推定し、その成分値を第１被写体像と第２被写体像に分離することができる。そして、第１被写体像と第２被写体像の位相差を検出することで、高速な位相差ＡＦを実現することができる。また、通常のＲＧＢ撮像素子を用いることが可能となるため、位相差検出用画素による画素欠陥や、マルチバンドのカラーフィルタによる１色当たりの割り当て画素数の減少等が起きず、位相差の検出精度や画像の解像度が低下しない。また、第１瞳と第２瞳でそれぞれ複数色を透過するように設定すれば、デフォーカス画像領域における色ずれの抑制や、色が偏った被写体における位相差検出精度の向上を、実現できる。
　また本実施形態では、図１で説明したように、マルチバンド推定部７０は、第１透過率特性ＦＢの非重なり部分に対応する第１バンドＢＤ１と、第１透過率特性ＦＢと第２透過率特性ＦＧとの重なり部分に対応する第２バンドＢＤ２と、第２透過率特性ＦＧの非重なり部分に対応する第３バンドＢＤ３と、第２透過率特性ＦＧと第３透過率特性ＦＲとの重なり部分に対応する第４バンドＢＤ４と、第３透過率特性ＦＲの非重なり部分に対応する第５バンドＢＤ５とを設定する。
　ここで、透過率特性の重なり部分とは、図１に示すように波長軸に対して透過率特性を表した場合に、波長軸上で隣り合う透過率特性が重なっている領域のことである。重なり部分は、透過率特性が重なっている領域そのもの、あるいは透過率特性の帯域が重なっている帯域で表される。また、透過率特性の非重なり部分とは、他の透過率特性と重なっていない部分のことである。即ち、透過率特性から重なり部分を除いた部分のことである。なお、重なり部分又は非重なり部分に対応するバンドは、重なり部分又は非重なり部分の帯域そのものに限定されず、重なり部分又は非重なり部分に対応して設定されたバンドであればよい。例えば、所定の透過率と透過率特性が交わる波長でバンドを分割し、第１～第５バンドを設定してもよい。
　このようにすれば、撮像画像の第１～第３色の画素値｛Ｒ，Ｇ，Ｂ｝から第１～第５のバンド成分値｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝を推定することが可能となる。即ち、上式（１）で説明したように、透過率特性が隣り合う画素値（例えばＢ、Ｇ）には重なり部分の成分値（ｂＬ）が含まれる。この重なり部分の成分値（ｂＬ）を、上式（７）のように画素値の差分（Ｂ’－Ｇ）により消去することで、上式（９）のように成分値の関係式を求め、その関係式に基づいて成分値を推定することが可能となる。
　また本実施形態では、第１瞳（右瞳フィルタＦＬ１）は、第１、第２バンドの一方ＢＤ１と、第４、第５バンドの一方ＢＤ４とを少なくとも透過し、第２瞳（左瞳フィルタＦＬ２）は、第１、第２バンドの他方ＢＤ２と、第４、第５バンドの他方ＢＤ５とを少なくとも透過する。フォーカス制御部８０は、第１、第２バンドの一方ＢＤ１の成分値ｂＲと、第４、第５バンドの一方ＢＤ４の成分値ｒＲを第１被写体像ＩＲ＝（ｒＲ Ｒ，ｒＲ Ｇ，ｂＲ Ｂ）として取得し、第１、第２バンドの他方ＢＤ２の成分値ｂＬと、第４、第５バンドの他方ＢＤ５の成分値ｒＬを第２被写体像ＩＬ＝（ｒＬ Ｒ，ｂＬ Ｇ，ｂＬ Ｂ）として取得する。
　このようにすれば、第１、第２バンドに対応する第１色、及び第４、第５バンドに対応する第３色を、第１被写体像と第２被写体像の両方に含ませることができる。例えば第１色、第３色が青色、赤色である場合、青色又は赤色に極端に偏った被写体であっても、第１被写体像と第２被写体像の両方に、その偏った色が含まれるため、精度良く位相差を検出することが可能である。
　また本実施形態では、第１～第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタである。第１瞳は、第１、第２バンドの一方ＢＤ１と、第３バンドＢＤ３と、第４、第５バンドの一方ＢＤ４とを透過し、第２瞳は、第１、第２バンドの他方ＢＤ２と、第３バンドＢＤ３と、第４、第５バンドの他方ＢＤ５とを透過する。
　このようにすれば、例えばベイヤ配列等の既存のカメラシステムに搭載されたＲＧＢ撮像素子をそのまま利用して、位相差ＡＦを行うことが可能となる。また、第１瞳と第２瞳がともにＲＧＢ成分を透過するため、デフォーカス画像領域において色ずれが無い（又は抑制された）ＲＧＢ画像を撮影できる。これにより、高度な色ずれ補正等を行うことなく鑑賞に耐える画像を取得できる。
　なお、本実施形態では、第１～第３色はＲＧＢに限定されず、波長軸上において隣り合う透過率特性が重なり部分を有する３つのカラーフィルタに対応した色であればよい。また本実施形態では、第１瞳が帯域ＢＤ１、ＢＤ４を透過し、第２瞳が帯域ＢＤ２、ＢＤ５を透過する場合に限定されず、第１瞳と第２瞳が帯域ＢＤ１、ＢＤ２のいずれを透過してもよいし、第１瞳と第２瞳が帯域ＢＤ４、ＢＤ５のいずれを透過してもよい。
　また本実施形態では、上式（１）で説明したように、第１色の画素値Ｂは、第１、第２バンドの成分値ｂＲ Ｂ、ｂＬ Ｂを加算した値であり、第２色の画素値Ｇは、第２～第４バンドの成分値ｂＬ Ｇ、ｇＧ、ｒＲ Ｇを加算した値である。上式（９）で説明したように、マルチバンド推定部は、この第１、第２色の画素値Ｂ、Ｇに基づいて、第１バンドの成分値ｂＲ Ｂと、第２バンドの成分値ｂＬ Ｇと、第３、第４バンドの成分値ｇＧ、ｒＲ Ｇを加算した値である第１加算値ｇＧ＋ｒＲ Ｇとの間の関係式を求める。そして、マルチバンド推定部７０は、その関係式に基づいて、第１バンドの成分値ｂＲ Ｂと、第２バンドの成分値ｂＬ Ｇと、第１加算値ｇＧ＋ｒＲ Ｇとを推定する。
　なお、上式（１）では第１色の画素値Ｂは、第１～第３バンドの成分値ｂＲ Ｂ、ｂＬ Ｂ、ｇＢを加算した値であるが、上式（５）に示すようにｇＢがｂＬ Ｂよりも十分小さいものとしてｇＢを無視している。即ち、第１色の画素値Ｂは、第１、第２バンドの成分値ｂＲ Ｂ、ｂＬ Ｂを加算した値に、ｂＬ Ｂ（又はｂＲ Ｂ）よりも十分小さいバンド成分値ｇＢを更に加算した値であってもよい。
　このようにすれば、隣り合った透過率特性が重なっている状態を、バンド成分値の加算式（上式（１））として表すことができる。そして、その加算式からバンド成分値間の関係式を求め、その関係式からバンド成分値を推定することが可能となる。
　また本実施形態では、上式（９）で説明したように、マルチバンド推定部７０は、第１バンドの成分値ｂＲ Ｂを未知数として関係式を求める。図４及び上式（１０）で説明したように、マルチバンド推定部は、関係式で表した第１、第２バンドの成分値及び第１加算値｛ｂＲ Ｂ，ｂＬ Ｇ，ｇＧ＋ｒＲ Ｇ｝と、第１、第２色の画素値｛Ｂ，Ｇ｝との間の誤差を表す誤差評価値ＥＢＧを求め、その誤差評価値ＥＢＧを最小にする未知数ｂ（１）を決定し、その決定した未知数ｂＲ Ｂ及び関係式（上式（９））に基づいて、第１、第２バンドの成分値及び第１加算値｛ｂＲ Ｂ，ｂＬ Ｇ，ｇＧ＋ｒＲ Ｇ｝を決定する。
　このようにすれば、２つの画素値｛Ｂ，Ｇ｝から３つの変数｛ｂＲ Ｂ，ｂＬ Ｇ，ｇＧ＋ｒＲ Ｇ｝を決定する際に必要な１つの未知数ｂＲ Ｂを、誤差評価値ＥＢＧに基づいて決定でき、決定した未知数によりバンド成分値｛ｂＲ Ｂ，ｂＬ Ｇ，ｇＧ＋ｒＲ Ｇ｝を決定できる。
　また本実施形態では、上記と同様にして、マルチバンド推定部７０は、関係式（上式（１９））を求め、その関係式に基づいて、第２、第３バンドの成分値ｂＬ Ｇ、ｇＧを加算した値である第２加算値ｂＬ Ｇ＋ｇＧと、第４バンドの成分値ｒＲ Ｇと、第５バンドの成分値ｒＬ Ｒとを推定する（上式（１２）～（２０））。そして、上式（２５）で説明したように、第２色の画素値Ｇと第２バンドの成分値ｂＬ Ｇと第４バンドの成分値ｒＲ Ｇとから、第３バンドの成分値ｇＧを求める。
　このようにすれば、バンド成分値｛ｒＲ Ｇ，ｒＬ Ｒ，ｂＬ Ｇ＋ｇＧ｝を関係式で表し、その関係式を用いてバンド成分値｛ｒＲ Ｇ，ｒＬ Ｒ，ｂＬ Ｇ＋ｇＧ｝を推定できる。そして、上式（２２）～（２５）で説明したように、バンド成分値｛ｂＲ Ｂ，ｂＬ Ｇ，ｇＧ＋ｒＲ Ｇ｝及び｛ｒＲ Ｇ，ｒＬ Ｒ，ｂＬ Ｇ＋ｇＧ｝を用いて、第１～第５バンドの成分値｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝を求めることができる。
　また本実施形態では、図３（Ａ）～図３（Ｆ）で説明したように、マルチバンド推定部７０は、第１、第２色フィルタの透過率特性ＦＢ、ＦＧに基づいて、第１色の画素値Ｂと第２色の画素値Ｇとの間の相対的なゲイン比ｋＢ１／ｋＢ２を補正し、補正後の第１、第２色の画素値Ｂ’、Ｇを用いて第１～第５バンドの成分値を推定する。
　より具体的には、上式（２）～（６）で説明したように、マルチバンド推定部７０は、第２バンド（ｂＬ）での第２色フィルタ（ＦＧ）の透過率ｋＢ２と、第２バンド（ｂＬ）での第１色フィルタ（ＦＢ）の透過率ｋＢ１との比ｋＢ２／ｋＢ１を、第１色の画素値Ｂに乗じて、ゲイン比を補正する。
　撮像素子のカラーフィルタでは、一般的に色に依って透過率特性が異なるため、色に依ってゲインが異なっている。本実施形態によれば、透過率特性の重なり部分に対応するバンドが存在するため、そのバンドにおける相対的なゲイン比ｋＢ２／ｋＢ１を求めることができ、そのゲイン比を用いて、色に依って異なるゲインを補正できる。
　５．第２のマルチバンド推定処理
　５．１．候補発生による推定処理
　次に、バンド成分の候補値を発生させ、その候補値を選択条件に基づいて選択する第２のマルチバンド推定処理について説明する。求めた推定値を用いたフォーカス制御処理については、上述のフォーカス制御処理と同様である。
　図１０に示すように、ゲイン補正を行った５バンドの成分の関係式を第１のマルチバンド推定処理と同様にして求める。下記に、第１のマルチバンド推定処理で説明した式（９）、（１９）を再掲する。
ｂＲ Ｂ’＝未知数（支配変数），
ｂＬ Ｇ＝Ｂ’－ｂＲ Ｂ’，
ｇＧ＋ｒＲ Ｇ＝ｂＲ Ｂ’－（Ｂ’－Ｇ）　（９）
ｒＬ Ｒ’＝未知数（支配変数），
ｒＲ Ｇ＝Ｒ’－ｒＬ Ｒ’，
ｂＬ Ｇ＋ｇＧ＝ｒＬ Ｒ’＋（Ｇ－Ｒ’）　（１９）
　ｂＲ Ｂ’、ｒＬ Ｒ’は、検出されるはずの分割帯域成分ｂＲ Ｂ、ｒＬ Ｒの補正値であり、第１のマルチバンド推定処理で説明した式（５）、（１５）より、下式（３１）で表される。
ｂＲ Ｂ’＝（ｋＢ２／ｋＢ１）×ｂＲ Ｂ，
ｒＬ Ｒ’＝（ｋＲ２／ｋＲ１）×ｒＬ Ｒ　（３１）
　さて、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝及び｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝のそれぞれのパターンの成分値は、正の値であってかつ取り得る値の範囲に制限があることに注目する。
　具体的には、撮像画像として取得する補正前の３原色画素値を、Ｂ（青）、Ｇ（緑）、Ｒ（赤）とし、センサ飽和値以下に設定される最大値の量子化ステップ数をＮ（Ｎは自然数）とする。例えば、８ビット画像として扱うときは、Ｎ＝２５６である。このとき、画素値Ｒ、Ｇ、Ｂは下式（３２）の範囲を取り得る。
０≦Ｂ＜Ｎ，０≦Ｇ＜Ｎ，０≦Ｒ＜Ｎ　（３２）
　なお、Ｒ、Ｇ、Ｂの量子化ステップ数は一般的に同一とすると扱いやすいので共通のＮ値としているが、意図的に各色ごとに量子化ステップ数を異ならせても構わない。
　Ｂ及びＲの補正前の検出成分は｛ｂＲ Ｂ，ｂＬ Ｂ｝、｛ｒＲ Ｒ，ｒＬ Ｒ｝であり、それぞれ２成分を加算した値が、Ｂ及びＲになると定義しているので、下式（３３）が成り立つ。
０≦Ｂ（＝ｂＲ Ｂ＋ｂＬ Ｂ）＜Ｎ，０≦Ｒ（＝ｒＲ Ｒ＋ｒＬ Ｒ）＜Ｎ　（３３）
　ｂＲ ＢとｂＬ Ｂが独立した変数であり、ｒＬ ＲとｒＲ Ｒが独立した変数であると仮定すれば、ｂＲ Ｂ、ｒＬ Ｒは下式（３４）の範囲を取り得る。
０≦ｂＲ Ｂ＜Ｎ，０≦ｒＬ Ｒ＜Ｎ　（３４）
　上式（３１）、（３４）より、ｂＲ Ｂ’、ｒＬ Ｒ’は下式（３５）の範囲を取り得る。０≦ｂＲ Ｂ’＜Ｎ×（ｋＢ２／ｋＢ１），
０≦ｒＬ Ｒ’＜Ｎ×（ｋＲ２／ｋＲ１）　（３５）
　また、Ｇの検出成分は｛ｂＬ Ｇ，ｇＧ，ｒＲ Ｇ｝であり、これら３成分を加算した値が、Ｇになると定義しているので、下式（３６）が成り立つ。
０≦Ｇ（＝ｂＬ Ｇ＋ｇＧ＋ｒＲ Ｇ）＜Ｎ　（３６）
　ｂＬ Ｇ、ｇＧ、ｒＲ Ｇが独立した変数であると仮定すれば、ｂＬ Ｇ、ｇＧ、ｒＲ Ｇは下式（３７）の範囲を取り得る。
０≦ｂＬ Ｇ＜Ｎ，０≦ｇＧ＜Ｎ，０≦ｒＲ Ｇ＜Ｎ　（３７）
　上式（３７）より、（ｇＧ＋ｒＲ Ｇ）及び（ｂＬ Ｇ＋ｇＧ）は、下式（３８）の範囲を取り得る。
０≦（ｇＧ＋ｒＲ Ｇ）＜２Ｎ，０≦（ｂＬ Ｇ＋ｇＧ）＜２Ｎ　（３８）
　上式（３５）、（３７）、（３８）の制限条件を、上式（９）、（１９）の関係式に適用すると、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝及び｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝のパターンの推定候補は限定されることになる。
　即ち、上式（３５）に示す０≦ｂＲ Ｂ’＜Ｎ×（ｋＢ２／ｋＢ１）の範囲内の各値を、未知数ｂＲ Ｂ’の候補として発生する。各候補を上式（９）に代入し、既知の画素値｛Ｂ，Ｇ｝を用いて｛ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝を求める。各候補から求めた｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝のうち、上式（３７）、（３８）の条件を満たすもののみを残す。同様に、上式（１９）についても候補の発生を行い、条件を満たす｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝のみを残す。条件を満たす候補は、複数存在する可能性がある。候補が複数残った場合には、例えばそれらの平均値を最終的な値として決定すればよい。
　５．２．ルックアップテーブルを用いた推定処理
　次に、第２のマルチバンド推定処理の変形例について説明する。
　図１１に示すように、上式（３２）の定義域を満たす｛Ｒ，Ｇ，Ｂ｝の全ての組み合わせを発生させる。｛Ｒ，Ｇ，Ｂ｝の各組み合わせについて、上式（３５）の定義域を満たす未知数ｂＲ Ｂ’、ｒＬ Ｒ’の候補を発生させる。そして、上式（３７）、（３８）の制限条件を満たす推定値｛ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝及び｛ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝を残す。このようにして得られる推定パターン｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝及び｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝をテーブル化し、図１１に示すような尤度パターン決定テーブルを予め作成しておく。
　マルチバンド推定を行う際には、撮像画像の画素値｛Ｒ，Ｇ，Ｂ｝をテーブルから検索して推定パターン｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝、｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝を決定する。そして、その推定パターンから、画素値Ｂを構成する成分｛ｂＲ Ｂ，ｂＬ Ｂ｝の値、画素値Ｇを構成する成分｛ｂＬ Ｇ，ｇＧ，ｒＲ Ｇ｝の値、画素値Ｒを構成する成分｛ｒＲ Ｒ，ｒＬ Ｒ｝の値を、最終的に算出する。
　なお、図１２に示すように、制限条件を満たす推定パターンのうち、｛Ｒ，Ｇ，Ｂ｝の同一組み合わせパターンから得られる推定パターンは単一とは限らず、複数得られる場合がある。この場合、それら推定パターンの平均をとって尤度パターンとし、予めテーブルを作成しておけばよい。
　ここで、上記では定義域に基づく制限条件を用いてテーブルを作成したが、本実施形態のテーブル作成手法はこれに限定されない。例えば、撮像対象となる画像（例えばデジタルカメラの場合は自然画像、内視鏡の場合は生体内画像など）を母集団とする。そして、母集団の統計的な関係に基づいて、画素値｛Ｒ，Ｇ，Ｂ｝に対して最も発生確率が高い尤度パターン｛ｂＲ Ｂ’，ｂＬ Ｇ，ｒＲ Ｇ，ｒＬ Ｒ’，（ｇＧ＋ｒＲ Ｇ），（ｂＬ Ｇ＋ｇＧ）｝の対応テーブルを、予め作成しておいて参照テーブルとしてもよい。
　以上の実施形態によれば、図１１又は図１２で説明したように、マルチバンド推定部７０は、第１バンドの成分値ｂＲ Ｂ’を未知数として関係式（上式（９））を求め、未知数ｂＲ Ｂ’の候補として、複数の候補値を生成する。マルチバンド推定部は、その複数の候補値の中から、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３２））に基づく選択条件を満たす候補値を、関係式（上式（９））に基づいて選択する。そして、マルチバンド推定部は、選択した候補値に基づいて、第１バンドの成分値と、第２バンドの成分値と、第１加算値と｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝を求める。
　具体的には、選択条件は、関係式（上式（９））に候補値を代入して求めた第１バンドの成分値と、第２バンドの成分値と、第１加算値と｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝が、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３２））に矛盾しないという条件（上式（３５）、（３７）、（３８））である。
　より具体的には、マルチバンド推定部は、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３２））に基づいて第１バンドの成分値ｂＲ Ｂ’が取り得る範囲内の値（上式（３５））を、複数の候補値として生成する。
　このようにすれば、候補値を関係式に代入して求めたバンドの成分値が、画素値の定義域に基づいて存在し得ないと判断された場合に、その候補値を除外し、画素値の定義域に矛盾しない候補値に基づいて最終的な推定値を決定できる。
　６．第３のマルチバンド推定処理
　次に、近赤外光を撮影することで暗い環境でも高感度ＡＦが可能な第３のマルチバンド推定処理について説明する。フォーカス制御処理については、図７等で上述したフォーカス制御処理と同様である。
　図１３（Ａ）に示すように、撮像センサの赤色フィルタの分光特性ＦＲ（λ）を、近赤外光の帯域までカバーするように（透過するように）設定する。また、緑色フィルタの分光特性ＦＧ（λ）を、通常の可視赤色フィルタの分光特性までカバーするように、従来よりも透過波長帯域を広く設定する。このように分光特性を設定すれば、波長が長い領域での撮像において、暗い環境でも被写体の反射光の撮像感度が比較的高く取れる効果を期待できる。
　右瞳フィルタＦＬ１の透過波長帯域は｛ｂＲ，ｇ，ｒ｝であり、左瞳フィルタＦＬ２の透過波長帯域は｛ｂＬ，ｇ，ｒ，ｒＬ｝である。ｂＲ、ｂＬ、ｇは、例えば図１のｂＲ、ｂＬ、ｇと同じ帯域であり、ｒは、例えば図１のｒＲよりも長波長側に広い帯域であり、ｒＬは、例えば図１のｒＬよりも長波長側且つ近赤外を含む広い帯域である。位相差検出に用いる右瞳画像と左瞳画像は、ＩＲ＝（ｒＲ，ｒＧ，ｂＲ Ｂ）とＩＬ＝（ｒＬ Ｒ，ｂＬ Ｇ，ｂＬ Ｂ）である。
　なお、撮像センサの赤（Ｒ）フィルタを通った画素値は、左右瞳による通過光の波長域割り当てがされない共通の帯域ｒの成分値ｒＧ，ｒＲと、左瞳のみの通過光の波長域として割当てた帯域ｒＬの成分値ｒＬ Ｒとに設定されることに注意が必要である。可視光画像として用いるｒＧ又はｒＲの値は、片側の瞳による通過光から生成されると、通常鑑賞画像のデフォーカス領域において他のＧ、Ｂの色画像に対してＲ画像のずれが生ずると考えられるので、左右瞳の区別がないようにしておく。この条件であっても、ｒＧ又はｒＲからなる画像とｒＬ Ｒからなる画像の位相差は得られるので、フォーカス制御に活用できる。上述の図２では、左右瞳が分離されない共通の成分ｇは、あくまでも位相差検出には用いないように構成したが、この場合はｒＧ又はｒＲを左右瞳に分割しないことにより、ボケ領域での可視赤色と他色との色ずれを発生させないようにしている。また、左右瞳共通の画像ｒＧ又はｒＲと、片側の瞳からの近赤外ｒＬの成分値による画像とは、成分値は半減するものの位相差は発生するので、フォーカス位置を求めて合焦制御を行うことができる。
　上記のように設定した分割帯域の成分値を、第１又は第２のマルチバンド推定処理により推定すれば、左右瞳の透過波長であるｒＲは可視光領域の（近赤外に近い成分も含まれる）赤色光として得られ、左瞳のみの透過波長であるｒＬ Ｒは近赤外光として得られるため、暗い環境での位相差検出に有利となる。即ち、暗い環境での測距又はその測距情報を用いたオートフォーカスを効果的に行うことができる。なお、鑑賞用画像としては、ｒＬ Ｒの近赤外光の成分を除いた可視光のＲ＝ｒＲのみを赤色光画像として、Ｇ＝ｂＬ Ｇ＋ｇＧ＋ｒＧを緑色光画像として採用すればよい。
　図１４に、第３のマルチバンド推定処理を行う場合の構成例として、撮像装置の第２の構成例を示す。図１４の撮像装置は、結像レンズＬＮＳ、光学フィルタＦＬＴ、撮像素子１０（撮像センサ）、撮像処理部２０、ＲＧＢ画像生成部３０、モニタ表示部４０、ＲＧＢフィルタ特性データ記録部５０、フォーカス領域選択部６５、マルチバンド推定部７０、ＲＧ成分再構成部７５、フォーカス制御部８０、距離検出センサ８８（距離計測センサ）、データ圧縮部９０、データ記録部１００を含む。なお、図８で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
　マルチバンド推定部７０は、バンド成分を推定し、右瞳画像ＩＲ＝（ｒＲ，ｒＧ，ｂＲ Ｂ）と左瞳画像ＩＬ＝（ｒＬ Ｒ，ｂＬ Ｇ，ｂＬ Ｂ）を出力する。またマルチバンド推定部７０は、推定したバンド成分のうち、ｒＲ、ｒＧ、ｇＧ、ｂＬ ＧをＲＧ成分再構成部７５に出力する。ＲＧ成分再構成部７５は、Ｒ’＝ｒＲ、Ｇ’＝ｂＬ Ｇ＋ｇＧ＋ｒＧを新たな画素値Ｒ（ｉ，ｊ）’、Ｇ（ｉ，ｊ）’としてモニタ表示部４０とデータ圧縮部９０に出力する。
　以上の実施形態によれば、第１～第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタである。図１３（Ｂ）に示すように、赤色フィルタの透過率特性である第３透過率特性ＦＲは、近赤外光の帯域ｒＬ Ｒ（例えば７００ｎｍ～９５０ｎｍ）を透過する特性である。
　より具体的には、マルチバンド推定部７０は、近赤外光の帯域を第５バンドＢＤ５に設定する。
　なお、赤色フィルタは、近赤外光の帯域全て（例えば７００ｎｍ～２５００ｎｍ）を透過する必要はなく、近赤外光の帯域のうちの一部（例えば７００ｎｍ～９５０ｎｍ）を透過すればよい。
　通常のＲＧＢ撮像素子では一般的に近赤外光を撮影しないので、暗い環境では位相差の検出精度が悪く、位相差ＡＦを行うことは困難である。この点、本実施形態によれば、被写体が発する近赤外光を撮影できるため、暗い環境であっても、近赤外光を含むバンド成分値を用いて位相差ＡＦを行うことが可能になる。
　なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またマルチバンド推定部、フォーカス制御部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
１０　撮像素子、２０　撮像処理部、３０　ＲＧＢ画像生成部、
３５　色補正処理部、４０　モニタ表示部、
５０　ＲＧＢフィルタ特性データ記録部、６５　フォーカス領域選択部、
７０　マルチバンド推定部、７５　ＲＧ成分再構成部、
８０　フォーカス制御部、８２　位相差検出部、
８４　フォーカス制御量算出部、８６　フォーカスレンズ駆動制御部、
８８　距離検出センサ、９０　データ圧縮部、
１００　データ記録部、２００　データ記録部、２１０　データ伸張部、
２２０　伸張データ記憶部、２３０　モニタ画像生成部、
２４０　モニタ画像表示部、２５０　画像データ選択部、
２６０　選択フレーム記憶部、２７０　マルチバンド推定部、
２９０　位相差検出部、２９５　位相差処理部、
Ａ　開口径、ＢＤ１～ＢＤ５　第１～第５バンド、ＥＢＧ，ＥＧＲ　評価値、
ＦＢ，ＦＧ，ＦＲ　第１～第３透過率特性、ＦＬ１　右瞳フィルタ、
ＦＬ２　左瞳フィルタ、ＦＬＴ　光学フィルタ、
ＩＬ　左瞳画像、ＩＲ　右瞳画像、ＬＮＳ　結像レンズ、
ＰＤ　デフォーカス位置、ＰＦ　フォーカス位置、
ＰＳ　センサ面位置、ａ，ｂ，ｘ　距離、
ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ　第１～第５バンドの成分値、ｄ　デフォーカス量、
ｆ　合成焦点距離、ｋＢ１，ｋＢ２　ゲイン、δ　ずれ量

Claims (14)

  1. 　撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタと、
    　第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子と、
    　前記第１～第３透過率特性の重なり部分及び非重なり部分に対応する第１～第５バンドを設定し、前記撮像素子によって撮像された画像を構成する第１～第３色の画素値に基づいて前記第１～第５バンドの成分値を推定するマルチバンド推定部と、
    　前記第１～第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像として取得し、前記第１～第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像として取得し、前記第１被写体像と前記第２被写体像の位相差を検出し、前記位相差に基づいて前記撮像光学系のフォーカス制御を行うフォーカス制御部と、
    　を含むことを特徴とする撮像装置。
  2. 　請求項１において、
    　前記マルチバンド推定部は、
    　前記第１透過率特性の非重なり部分に対応する前記第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する前記第２バンドと、前記第２透過率特性の非重なり部分に対応する前記第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する前記第４バンドと、前記第３透過率特性の非重なり部分に対応する前記第５バンドとを設定することを特徴とする撮像装置。
  3. 　請求項２において、
    　前記第１瞳は、前記第１、第２バンドの一方と、前記第４、第５バンドの一方とを少なくとも透過し、
    　前記第２瞳は、前記第１、第２バンドの他方と、前記第４、第５バンドの他方とを少なくとも透過し、
    　前記フォーカス制御部は、
    　前記第１、第２バンドの前記一方の成分値と、前記第４、第５バンドの前記一方の成分値を前記第１被写体像として取得し、前記第１、第２バンドの前記他方の成分値と、前記第４、第５バンドの前記他方の成分値を前記第２被写体像として取得することを特徴とする撮像装置。
  4. 　請求項２において、
    　前記第１～第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、
    　前記第１瞳は、前記第１、第２バンドの一方と、前記第３バンドと、前記第４、第５バンドの一方とを透過し、
    　前記第２瞳は、前記第１、第２バンドの他方と、前記第３バンドと、前記第４、第５バンドの他方とを透過することを特徴とする撮像装置。
  5. 　請求項１において、
    　前記第１～第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、
    　前記赤色フィルタの透過率特性である前記第３透過率特性は、近赤外光の帯域を透過する特性であることを特徴とする撮像装置。
  6. 　請求項５において、
    　前記マルチバンド推定部は、
    　前記近赤外光の帯域を前記第５バンドに設定することを特徴とする撮像装置。
  7. 　請求項１において、
    　前記マルチバンド推定部は、
    　前記第１、第２バンドの成分値を加算した値である前記第１色の画素値と、前記第２～第４バンドの成分値を加算した値である前記第２色の画素値とに基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第３、第４バンドの成分値を加算した値である第１加算値との間の関係式を求め、
    　前記関係式に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを推定することを特徴とする撮像装置。
  8. 　請求項７において、
    　前記マルチバンド推定部は、
    　前記第１バンドの成分値を未知数として前記関係式を求め、
    　前記関係式で表した前記第１、第２バンドの成分値及び前記第１加算値と、前記第１、第２色の画素値との間の誤差を表す誤差評価値を求め、
    　前記誤差評価値を最小にする前記未知数を決定し、
    　決定した前記未知数及び前記関係式に基づいて、前記第１、第２バンドの成分値及び前記第１加算値を決定することを特徴とする撮像装置。
  9. 　請求項７において、
    　前記マルチバンド推定部は、
    　前記第２～第４バンドの成分値を加算した値である前記第２色の画素値と、前記第４、第５バンドの成分値を加算した値である前記第３色の画素値とに基づいて、前記第２、第３バンドの成分値を加算した値である前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値との間の関係式を求め、
    　前記関係式に基づいて、前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値とを推定し、
    　前記第２色の画素値と前記第２バンドの成分値と前記第４バンドの成分値とから、前記第３バンドの成分値を求めることを特徴とする撮像装置。
  10. 　請求項７において、
    　前記マルチバンド推定部は、
    　前記第１バンドの成分値を未知数として前記関係式を求め、
    　前記未知数の候補として、複数の候補値を生成し、
    　前記複数の候補値の中から、前記第１、第２色の画素値の定義域に基づく選択条件を満たす候補値を、前記関係式に基づいて選択し、
    　選択した前記候補値に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを求めることを特徴とする撮像装置。
  11. 　請求項１０において、
    　前記選択条件は、
    　前記関係式に前記候補値を代入して求めた前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とが、前記第１、第２色の画素値の定義域に矛盾しないという条件であることを特徴とする撮像装置。
  12. 　請求項７乃至１１のいずれかにおいて、
    　前記マルチバンド推定部は、
    　前記第１、第２色フィルタの透過率特性に基づいて、前記第１色の画素値と前第２色の画素値との間の相対的なゲイン比を補正し、補正後の前記第１、第２色の画素値を用いて前記第１～第５バンドの成分値を推定することを特徴とする撮像装置。
  13. 　請求項７乃至１１のいずれかにおいて、
    　前記第１～第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、
    　前記マルチバンド推定部は、
    　前記青色の画素値を構成する前記第１、第２バンドの成分値を、それぞれ第１、第２青色成分値として求め、前記緑色の画素値を構成する前記第２～第４バンドの成分値を、それぞれ第１～第３緑色成分値として求め、前記赤色の画素値を構成する前記第４、第５バンドの成分値を、それぞれ第１、第２赤色成分値として求めることを特徴とする撮像装置。
  14. 　撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタを透過した被写体像を、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子により撮像し、
    　前記第１～第３透過率特性の重なり部分及び非重なり部分に対応する第１～第５バンドを設定し、前記撮像素子によって撮像された画像を構成する第１～第３色の画素値に基づいて前記第１～第５バンドの成分値を推定し、
    　前記第１～第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像として取得し、前記第１～第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像として取得し、前記第１被写体像と前記第２被写体像の位相差を検出し、前記位相差に基づいて前記撮像光学系のフォーカス制御を行うことを特徴とするフォーカス制御方法。
PCT/JP2013/053305 2012-02-20 2013-02-13 撮像装置及びフォーカス制御方法 WO2013125398A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-034185 2012-02-20
JP2012034185A JP2013171129A (ja) 2012-02-20 2012-02-20 撮像装置及びフォーカス制御方法

Publications (1)

Publication Number Publication Date
WO2013125398A1 true WO2013125398A1 (ja) 2013-08-29

Family

ID=49005585

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/053305 WO2013125398A1 (ja) 2012-02-20 2013-02-13 撮像装置及びフォーカス制御方法

Country Status (2)

Country Link
JP (1) JP2013171129A (ja)
WO (1) WO2013125398A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108886571A (zh) * 2017-03-13 2018-11-23 亮锐控股有限公司 具有改善的自动对焦性能的成像设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001021792A (ja) * 1999-07-09 2001-01-26 Olympus Optical Co Ltd 焦点検出システム
JP2002281513A (ja) * 2001-03-19 2002-09-27 Fuji Photo Film Co Ltd 画像撮影方法およびスペクトル画像取得装置およびプログラム
JP2005260480A (ja) * 2004-03-10 2005-09-22 Olympus Corp マルチスペクトル画像撮影装置及びアダプタレンズ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001021792A (ja) * 1999-07-09 2001-01-26 Olympus Optical Co Ltd 焦点検出システム
JP2002281513A (ja) * 2001-03-19 2002-09-27 Fuji Photo Film Co Ltd 画像撮影方法およびスペクトル画像取得装置およびプログラム
JP2005260480A (ja) * 2004-03-10 2005-09-22 Olympus Corp マルチスペクトル画像撮影装置及びアダプタレンズ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108886571A (zh) * 2017-03-13 2018-11-23 亮锐控股有限公司 具有改善的自动对焦性能的成像设备
CN108886571B (zh) * 2017-03-13 2020-12-01 亮锐控股有限公司 具有改善的自动对焦性能的成像设备
US11184522B2 (en) 2017-03-13 2021-11-23 Lumileds Llc Imaging device with an improved autofocusing performance
US11895400B2 (en) 2017-03-13 2024-02-06 Lumileds Llc Imaging device with an improved autofocusing performance

Also Published As

Publication number Publication date
JP2013171129A (ja) 2013-09-02

Similar Documents

Publication Publication Date Title
CN107920726B (zh) 图像拾取设备、显微镜图像拾取系统和内窥镜图像拾取系统
JP5066893B2 (ja) 相関演算方法、相関演算装置、焦点検出装置および撮像装置
JP4802993B2 (ja) 相関演算方法、相関演算装置、焦点検出装置および撮像装置
JP5687676B2 (ja) 撮像装置及び画像生成方法
JP4992481B2 (ja) 焦点検出装置および撮像装置
JP6013284B2 (ja) 撮像装置及び撮像方法
US8736742B2 (en) Image pickup apparatus that performs automatic focus control and control method for the image pickup apparatus
JP5157084B2 (ja) 相関演算装置、焦点検出装置および撮像装置
JP6173065B2 (ja) 撮像装置、画像処理装置、撮像方法及び画像処理方法
JP2009153074A (ja) 画像撮影装置
WO2013125398A1 (ja) 撮像装置及びフォーカス制御方法
JP5338112B2 (ja) 相関演算装置、焦点検出装置および撮像装置
WO2013111824A1 (ja) 画像処理装置、撮像装置及び画像処理方法
JP2009278577A5 (ja)
JP6000738B2 (ja) 撮像装置及び撮像装置の合焦方向判定方法
JP6086829B2 (ja) 画像処理装置及び画像処理方法
JP6727973B2 (ja) 画像処理装置及びその制御方法
JP2020020609A (ja) 倍率色収差測定用のカラーフィルタおよびこれを用いた倍率色収差測定装置
JP7445508B2 (ja) 撮像装置
JP2019007826A (ja) 測距カメラおよび測距方法
KR101242929B1 (ko) 다파장 구별 촬영 장치
JP2019168494A (ja) 撮像装置およびその制御方法
JP2013187711A (ja) 画像処理装置、撮像装置及び画像処理方法
JP7039221B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
JP2022036505A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13751691

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13751691

Country of ref document: EP

Kind code of ref document: A1