WO2013111824A1 - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

画像処理装置、撮像装置及び画像処理方法 Download PDF

Info

Publication number
WO2013111824A1
WO2013111824A1 PCT/JP2013/051483 JP2013051483W WO2013111824A1 WO 2013111824 A1 WO2013111824 A1 WO 2013111824A1 JP 2013051483 W JP2013051483 W JP 2013051483W WO 2013111824 A1 WO2013111824 A1 WO 2013111824A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
band
component
values
bands
Prior art date
Application number
PCT/JP2013/051483
Other languages
English (en)
French (fr)
Inventor
愼一 今出
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2013111824A1 publication Critical patent/WO2013111824A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging

Definitions

  • the present invention relates to an image processing device, an imaging device, an image processing method, and the like.
  • Patent Document 1 discloses an imaging apparatus in which five or more (including values) color filters having different average wavelengths of spectral transmittance characteristics are arranged.
  • six types of filters that is, a first blue filter, a second blue filter, a first green filter, a second green filter, a first red filter, and a second red filter are imaged. It is provided corresponding to the pixel of the sensor, and it is possible to capture multiband images simultaneously.
  • Patent Document 2 discloses a technique in which a branching optical system is provided between an imaging optical system and an imaging sensor, and the branching optical system is used to separate the wavelength band into four or more bands (including values thereof). .
  • the branched images of the respective colors are formed on separated areas on the image sensor. Since each color image is generated in a grouped area, a multiband image can be taken simultaneously.
  • Non-Patent Document 1 discloses a technique for acquiring a multiband image by sequentially changing the pass wavelength range of an image to be captured using a rotary multiband filter. In this method, processing for estimating information of a wavelength band that cannot be obtained is performed using foresight information that the spectral reflectance of a subject in nature is smooth.
  • Patent Document 1 For example, in Patent Document 1 described above, six types of color filters are used as the color filters of the image sensor. For this reason, only half of the pixels can be assigned to one type of color filter as compared with the case of using a normal RGB three primary color filter. Since pixel values that are not assigned and are missing as information are obtained by interpolation processing, reduction in resolution is inevitable.
  • Patent Document 2 the images of the respective colors are formed on separated areas on the image sensor by the branching optical system. For this reason, the number of pixels assigned to each color image is reduced as compared with normal RGB three primary color photography, and the resolution is lowered.
  • Non-Patent Document 1 a rotary multiband filter is used.
  • a rotary multiband filter is used.
  • a special additional mechanism is necessary.
  • the estimation process based on the foresight information may not be established when an artificial object that is not a natural subject is photographed.
  • an image processing apparatus an imaging apparatus, an image processing method, and the like that can realize a multiband imaging system without greatly changing an existing imaging system.
  • One embodiment of the present invention is picked up by an imaging device including a first color filter having a first transmittance characteristic, a second color filter having a second transmittance characteristic, and a third color filter having a third transmittance characteristic.
  • An image acquisition unit configured to acquire an image, a first band corresponding to a non-overlapping portion of the first transmittance characteristic, and a second corresponding to an overlapping portion of the first transmittance characteristic and the second transmittance characteristic.
  • Multiband estimation for setting a fifth band corresponding to a non-overlapping portion of the rate characteristic and estimating component values of the first to fifth bands based on pixel values of the first to third colors constituting the image
  • an image processing apparatus including the unit.
  • the first to fifth bands are set corresponding to the overlapping and non-overlapping portions of the first to third transmittance characteristics of the first to third color filters of the image sensor.
  • the component values of the first to fifth bands are estimated based on the pixel values of the first to third colors. This makes it possible to realize a multiband imaging system without greatly changing the existing imaging system.
  • the multiband estimation unit may include the pixel values of the first color that are values obtained by adding the component values of the first and second bands, and the component values of the second to fourth bands.
  • the multiband estimation unit obtains the relational expression by using the component value of the first band as an unknown, and obtains the component values of the first and second bands expressed by the relational expression and the first band.
  • An error evaluation value representing an error between one added value and the pixel values of the first and second colors is obtained, the unknown number that minimizes the error evaluation value is determined, and the determined unknown number and the relational expression are determined.
  • the component values of the first and second bands and the first addition value may be determined.
  • the multiband estimation unit may include the pixel value of the second color, which is a value obtained by adding the component values of the second to fourth bands, and the component values of the fourth and fifth bands.
  • the pixel value of the third color that is a value obtained by adding the second and third band component values based on the pixel value of the third color, and the component values of the fourth band.
  • a relational expression between the component values of the fifth band is obtained, and the second addition value, the component value of the fourth band, and the component value of the fifth band are estimated based on the relational expression.
  • the third band component value may be obtained from the first addition value and the fourth band component value, or from the second addition value and the second band component value.
  • the multiband estimation unit obtains the relational expression using the component value of the first band as an unknown number, generates a plurality of candidate values as the unknown number candidates, and the plurality of candidate values.
  • the candidate value satisfying the selection condition based on the definition area of the pixel values of the first and second colors is selected based on the relational expression, and the first band is selected based on the selected candidate value.
  • a component value, a component value of the second band, and the first addition value may be obtained.
  • the selection condition includes: a component value of the first band obtained by substituting the candidate value into the relational expression; a component value of the second band; and the first addition value.
  • the multiband estimation unit may calculate a value within a range that the component value of the first band can take based on the domain of the pixel values of the first and second colors. It may be generated as a candidate value.
  • the multiband estimation unit may determine a pixel value between the first color pixel value and the previous second color pixel value based on the transmittance characteristics of the first and second color filters.
  • the relative gain ratio may be corrected, and the component values of the first to fifth bands may be estimated using the corrected pixel values of the first and second colors.
  • the multiband estimation unit may calculate a ratio between the transmittance of the second color filter in the second band and the transmittance of the first color filter in the second band.
  • the gain ratio may be corrected by multiplying the pixel value of the first color.
  • the first to third colors are blue, green, and red, respectively
  • the multiband estimation unit sets the component values of the first to fifth bands to the first blue component, respectively.
  • the multiband estimation unit transmits the other one of the fourth and fifth bands, and the multiband estimation unit performs the first to fifth based on the image obtained by imaging the transmitted light of the first pupil and the second pupil.
  • the component value of the band may be estimated.
  • the first to third color filters may be a blue filter, a green filter, and a red filter that transmit blue, green, and red wavelength bands, respectively
  • the multiband estimation unit may include the blue filter.
  • the component values of the first and second bands constituting the pixel value are obtained as first and second blue component values, respectively, and the component values of the second to fourth bands constituting the green pixel value are obtained,
  • the first to third green component values may be obtained respectively, and the fourth and fifth band component values constituting the red pixel value may be obtained as the first and second red component values, respectively.
  • the multiband estimation unit includes a first blue component value, a second blue component value, and a green component value that is an addition value of the first to third green component values;
  • the first red component value and the second red component value may constitute a 5-band component value.
  • Another aspect of the present invention relates to an imaging apparatus including the image processing apparatus described in any one of the above and the imaging element.
  • Still another aspect of the present invention relates to an imaging apparatus including the image processing apparatus according to any one of the above, the imaging element, and the imaging optical system provided with the optical filter.
  • Still another aspect of the present invention includes a first color filter having a first transmittance characteristic, a second color filter having a second transmittance characteristic, and a third color filter having a third transmittance characteristic.
  • An image captured by the image sensor is acquired, and a first band corresponding to a non-overlapping portion of the first transmittance characteristic and a first portion corresponding to an overlapping portion of the first transmittance characteristic and the second transmittance characteristic are obtained.
  • Two bands a third band corresponding to a non-overlapping portion of the second transmittance characteristic, a fourth band corresponding to an overlapping portion of the second transmittance characteristic and the third transmittance characteristic, and the third band Image processing for setting a fifth band corresponding to a non-overlapping portion of transmittance characteristics and estimating component values of the first to fifth bands based on pixel values of first to third colors constituting the image Related to the method.
  • FIG. 1 is an explanatory diagram of demosaicing processing.
  • FIG. 2 is an explanatory diagram of a band division method.
  • FIG. 3 is an explanatory diagram of an unknown number estimation process in the first multiband estimation process.
  • FIG. 4 is an explanatory diagram of unknown quantity estimation processing in the first multiband estimation processing.
  • FIG. 5 is a basic configuration example of an imaging apparatus in the second multiband estimation process.
  • FIG. 6 is an explanatory diagram of a band division method in the second multiband estimation process.
  • FIG. 7A to FIG. 7F are explanatory diagrams of gain correction processing.
  • FIG. 8 is an explanatory diagram of an unknown number estimation process in the second multiband estimation process.
  • FIGS. 9A to 9F are explanatory diagrams of gain correction processing.
  • FIG. 10 is an explanatory diagram of an unknown number estimation process in the second multiband estimation process.
  • FIG. 11 is an explanatory diagram of band component values in the third multiband estimation process.
  • FIG. 12 shows a first setting example of the lookup table.
  • FIG. 13 shows a second setting example of the lookup table.
  • FIG. 14 shows a configuration example of the imaging apparatus of the present embodiment.
  • FIG. 15 shows a configuration example of the image processing apparatus according to the present embodiment.
  • Patent Documents 1 and 2 and Non-Patent Document 1 have been proposed as multiband imaging techniques.
  • special imaging sensors (imaging devices) and spectral filters are used.
  • An exchange mechanism or the like is required, and a highly practical method has not been proposed without impairing the imaging resolution and moving image characteristics of an existing imaging system.
  • an RGB image is captured using an RGB three-primary color image sensor, and a 5-band multiband image is estimated from the RGB image using the overlap of transmittance characteristics of the RGB color filters.
  • a 5-band multiband image is estimated from the RGB image using the overlap of transmittance characteristics of the RGB color filters.
  • RGB Bayer images are captured, and demosaicing processing is performed on the Bayer images to generate three images for each RGB.
  • the red, green, and blue pixel values of each pixel obtained by the demosaicing process are R d , G d , and B d , respectively, and the pixel values R d , G d , and B d and the 5-band wavelength component b (1) , B (2) , g, r (1) , and r (2) are modeled as shown in the following equation (1).
  • B d b (1) + b (2)
  • G d r (1) + g + b (2)
  • R d r (1) + r (2) (1)
  • the wavelength components b (1) , b (2) , g, r (1) , r (2) of the five bands are transmittance characteristics F R ( ⁇ ), F G ( ⁇ ), F B ( ⁇ ), and components determined according to the spectral characteristics of the image sensor.
  • the spectral characteristics of the image sensor are included in the transmittance characteristics F R ( ⁇ ), F G ( ⁇ ), and F B ( ⁇ ) of the color filter shown in FIG. Will be described as follows.
  • the component of the band corresponding to the overlapping portion of the transmittance characteristic F B ( ⁇ ) of the blue filter and the transmittance characteristic F G ( ⁇ ) of the green filter is b (2)
  • the transmittance characteristic F of the blue filter The component of the band corresponding to the non-overlapping part of B ( ⁇ ) is b (1) .
  • the component of the band corresponding to the overlapping portion of the transmittance characteristic F R ( ⁇ ) of the red filter and the transmittance characteristic F G ( ⁇ ) of the green filter is r (1)
  • the transmittance characteristic F of the red filter is r (2)
  • the band component corresponding to the non-overlapping portion of the transmittance characteristic F G ( ⁇ ) of the green filter is g.
  • the non-overlapping portion is a portion that does not overlap with the transmittance characteristics of other color filters.
  • the five bands BD1 to BD5 may be determined according to the shape of the transmittance characteristics F R ( ⁇ ), F G ( ⁇ ), and F B ( ⁇ ), the degree of overlap, and the like. It does not have to be the partial bandwidth itself.
  • the band of the overlapping part of the transmittance characteristics F G ( ⁇ ) and F B ( ⁇ ) is about 450 nm to 550 nm, but the band BD2 only needs to correspond to the overlapping part and is 450 nm to 550 nm. There is no need.
  • FIG. 3 is a diagram showing this relationship in principle. As shown in FIG. 3, as unknowns r (2), ⁇ r ( 1), r (2), g + b (2) ⁇ and ⁇ R R, ⁇ Gr G ⁇ obtain the value of error is minimal.
  • ⁇ R and ⁇ Gr are values satisfying the following expression (5).
  • ⁇ R is an average value of ⁇ r (1) , r (2) ⁇ with respect to R
  • ⁇ Gr is an average of ⁇ r (1) , g + b (2) ⁇ with respect to G. The value is calculated. These may be determined in consideration of the component ratio of ⁇ r (1) , r (2) ⁇ and ⁇ r (1) , g + b (2) ⁇ from the color filter characteristics of the image sensor as shown in FIG. . 0 ⁇ R ⁇ 1, 0 ⁇ Gr ⁇ 1 (5)
  • FIG. 4 is a diagram showing this relationship in principle. As shown in FIG. 4, as the unknown b (1) , a value that minimizes an error between ⁇ b (1) , b (2) , g + r (1) ⁇ and ⁇ B B, ⁇ Gb G ⁇ is obtained.
  • ⁇ B and ⁇ Gb are values satisfying the following expression (10).
  • ⁇ B is an average value of ⁇ b (1) , b (2) ⁇ with respect to B
  • ⁇ Gb is an average of ⁇ b (2) , g + r (1) ⁇ with respect to G. The value is calculated. These may be determined in consideration of the component ratio of ⁇ b (1) , b (2) ⁇ and ⁇ b (2) , g + r (1) ⁇ from the color filter characteristics of the image sensor as shown in FIG. . 0 ⁇ B ⁇ 1, 0 ⁇ Gb ⁇ 1 (10)
  • a value E bg for evaluating an error between ⁇ b (1) , b (2) , g + r (1) ⁇ and ⁇ B B, ⁇ Gb G ⁇ is obtained by the following equation (11). Then, b (1) when the evaluation value E bg is minimized is obtained, and by substituting the obtained b (1) into the above equation (9), ⁇ r (1) , r (2) , g + b ( 2) Determine the three values of ⁇ .
  • e b [ ⁇ B B- b (1)] 2 + [ ⁇ B B-b (2)] 2
  • e g [ ⁇ Gb G ⁇ b (2) ] 2 + [ ⁇ Gb G ⁇ (g + r (1) )] 2
  • E bg e b + e g (11)
  • the five-band pixel values ⁇ b (1) , b (2) , g, r (1) , r (2) ⁇ can be estimated.
  • the image processing apparatus includes the image acquisition unit and the multiband estimation unit.
  • the image acquisition unit acquires an image captured by the image sensor.
  • the imaging device includes a first color filter having a first transmittance characteristic F B ( ⁇ ), a second color filter having a second transmittance characteristic F G ( ⁇ ), and a third transmittance characteristic F R ( ⁇ ). And a third color filter.
  • the multiband estimation unit performs the first to fifth bands BD1 to BD5 based on the pixel values ⁇ B, G, R ⁇ of the first to third colors constituting the image. Component values ⁇ b (1) , b (2) , g, r (1) , r (2) ⁇ are estimated.
  • the first band BD1 corresponds to a non-overlapping portion of the first transmittance characteristic F B ( ⁇ ).
  • the second band BD2 corresponds to an overlapping portion of the first transmittance characteristic F B ( ⁇ ) and the second transmittance characteristic F G ( ⁇ ).
  • the third band BD3 corresponds to a non-overlapping portion of the second transmittance characteristic F G ( ⁇ ).
  • the fourth band BD4 corresponds to an overlapping portion of the second transmittance characteristic F G ( ⁇ ) and the third transmittance characteristic F R ( ⁇ ).
  • the fifth band corresponds to a non-overlapping portion of the third transmittance characteristic F R ( ⁇ ).
  • the image processing apparatus corresponds to the image processing apparatus 25 in the imaging apparatus shown in FIG. 14 or the image processing apparatus configured separately from the imaging apparatus shown in FIG.
  • the image acquisition unit corresponds to the RGB image generation unit 30 in FIG. 14 or the selected frame storage unit 260 in FIG.
  • the multiband estimation unit corresponds to the multiband estimation unit 70 in FIG. 14 or the multiband estimation unit 270 in FIG. 15.
  • the overlapping portion of the transmittance characteristic is a region where adjacent transmittance characteristics overlap on the wavelength axis when the transmittance characteristic is expressed with respect to the wavelength axis as shown in FIG. .
  • the overlapping portion is represented by a region where the transmittance characteristics overlap or a band where the bandwidths of the transmittance characteristics overlap.
  • the non-overlapping portion of the transmittance characteristic is a portion that does not overlap with other transmittance characteristics. That is, the portion obtained by removing the overlapping portion from the transmittance characteristic.
  • the band corresponding to the overlapping portion or the non-overlapping portion is not limited to the band itself of the overlapping portion or the non-overlapping portion, and may be any band set corresponding to the overlapping portion or the non-overlapping portion.
  • the first to fifth bands may be set by dividing the band at a wavelength at which a predetermined transmittance and transmittance characteristics intersect.
  • multiband imaging can be performed without changing the RGB imaging element used in the conventional imaging apparatus to another special imaging element (for example, an imaging element having a multiband color filter).
  • multiband imaging can be performed without using a special additional mechanism (for example, a rotary multiband color filter or a branching optical system). Since a special image sensor and an additional mechanism are unnecessary, it is possible to avoid a decrease in resolution and an increase in cost.
  • the pixel value B of the first color is a value obtained by adding the component values b (1) and b (2) of the first and second bands.
  • the pixel value G of the second color is a value obtained by adding the component values b (2) , g, r (1) of the second to fourth bands.
  • the multiband estimation unit determines the component value b (1) of the first band and the second band based on the pixel values B and G of the first and second colors.
  • a relational expression between the component value b (2) and the first addition value r (1) + g that is a value obtained by adding the component values g and r (1) of the third and fourth bands is obtained.
  • the multiband estimation unit obtains the first band component value b (1) , the second band component value b (2) , and the first addition value r (1) + g. presume.
  • the state in which adjacent transmittance characteristics overlap can be expressed as an addition formula (the above formula (1)) of band component values. Then, a relational expression between band component values can be obtained from the addition expression, and the band component value can be estimated from the relational expression.
  • the multiband estimation unit obtains a relational expression using the component value b (1) of the first band as an unknown.
  • the multiband estimator includes the first and second band component values and the first added values ⁇ b (1) , b (2) , An error evaluation value E bg representing an error between g + r (1) ⁇ and the pixel values ⁇ B, G ⁇ of the first and second colors is obtained, and an unknown b (1 that minimizes the error evaluation value E bg ) And the component values of the first and second bands and the first added value ⁇ b (1) , b (2 ) based on the determined unknown b (1) and the relational expression (formula (9)). ) , G + r (1) ⁇ .
  • one unknown b (1) necessary for determining three variables ⁇ b (1) , b (2) , g + r (1) ⁇ from two pixel values ⁇ B, G ⁇ is obtained.
  • can be determined on the basis of the error evaluation value E bg, band component value by the determined unknown ⁇ b (1), b ( 2), g + r (1) ⁇ can be determined.
  • the multiband estimation unit obtains a relational expression (the above expression (4)), and based on the relational expression, component values b (2) of the second and third bands.
  • G, the second added value g + b (2) , the fourth band component value r (1) , and the fifth band component value r (2) are estimated (formula (1) (6)). Then, from the first added value g + r (1) and the component value r (1) of the fourth band, or from the second added value g + b (2) and the component value b (2) of the second band, the component value of the third band. g is determined.
  • the band component values ⁇ r (1) , r (2) , g + b (2) ⁇ are represented by relational expressions, and the band component values ⁇ r (1) , r (2) are represented using the relational expressions.
  • G + b (2) ⁇ can be estimated.
  • the first to fifth bands are used.
  • Component values ⁇ b (1) , b (2) , g, r (1) , r (2) ⁇ can be obtained.
  • the first to third colors are blue (B), green (G), and red (R), respectively.
  • the multiband estimation unit converts the first to fifth band component values ⁇ b (1) , b (2) , g, r (1) , r (2) ⁇ into the first blue component values b (1) , respectively.
  • Second blue component value b (2) green component value g, first red component value r (1) , and second red component value r (2) .
  • the first to third colors are not limited to RGB, but may be any color corresponding to three color filters having adjacent overlapping transmittance characteristics on the wavelength axis.
  • FIG. 5 shows a basic configuration example in this processing.
  • the imaging optical system includes an imaging lens LNS that forms an image of a subject on the sensor surface of the imaging device, and an optical filter FLT that separates a band between the first pupil and the second pupil.
  • the first pupil is the right pupil and the second pupil is the left pupil.
  • the present embodiment is not limited to this. That is, the separation direction of the pupil is not limited to the left and right, and it is sufficient that the first pupil and the second pupil are separated in an arbitrary direction perpendicular to the optical axis of the imaging optical system.
  • the optical filter FLT transmits the right pupil filter FL1 (first filter in a broad sense) having a characteristic of transmitting the wavelength division light ⁇ b R , g, r R ⁇ and the wavelength division light ⁇ b L , g, r L ⁇ . And a left pupil filter FL2 (second filter in a broad sense).
  • the optical filter FLT is provided at a pupil position (for example, a diaphragm installation position) of the imaging optical system, and the filters FL1 and FL2 correspond to the right pupil and the left pupil, respectively.
  • the right pupil filter FL1 is a filter that transmits the bands BD1, BD3, and BD4 corresponding to the components ⁇ b (1) , g, r (1) ⁇ described in FIG. That is, the wavelength division light ⁇ b R , g, r R ⁇ is transmitted light corresponding to the component ⁇ b (1) , g, r (1) ⁇ .
  • the left pupil filter FL2 is a filter that transmits the bands BD2, BD3, and BD5 corresponding to the components ⁇ b (2) , g, r (2) ⁇ described in FIG. That is, the wavelength division light ⁇ b L , g, r L ⁇ is transmitted light corresponding to the component ⁇ b (2) , g, r (2) ⁇ .
  • the imaging light transmitted through the imaging lens LNS and the optical filter FLT is input to an RGB Bayer array image sensor, and the light intensity of red (R), green (G), and blue (B). Is converted into a signal and acquired as data.
  • the wavelength division light ⁇ b R , g, r R ⁇ that has passed through the right pupil and the wavelength division light ⁇ b L , g, r L ⁇ that has passed through the left pupil have distinct wavelength bands. It is separated.
  • the spectral characteristics ⁇ F R , F G , F B ⁇ of the color filter of the image sensor are characteristics in which the wavelength bands of adjacent spectral characteristics overlap.
  • red, green, and blue pixel values R, G, and B in each pixel after the demosaicing process can be modeled as in the following equation (13).
  • R g R + r R R + r L R
  • G b L G + g G + r R G
  • B b R B + b L B + g B (13)
  • the component ⁇ b R B , b L B , g B ⁇ is the wavelength-division light ⁇ b R , b L , g ⁇ that has passed through the blue filter having the spectral characteristic F B.
  • the component ⁇ b L G , g G , r R G ⁇ corresponds to the wavelength-division light ⁇ b L , g, r R ⁇ that has passed through the green filter having the spectral characteristic F G. .
  • FIG. 7C the component ⁇ b R B , b L B , g B ⁇ is the wavelength-division light ⁇ b R , b L , g ⁇ that has passed through the blue filter having the spectral characteristic F B.
  • the component ⁇ b L G , g G , r R G ⁇ corresponds to the wavelength-division light ⁇ b L , g, r R ⁇ that has passed through the green filter having the spectral characteristic F G.
  • the component ⁇ g R, r R R, r L R ⁇ is the spectral characteristics F wavelength division light passed through the red filter R ⁇ g, r R, r L ⁇ in Correspond.
  • the superscript suffix for each component represents whether the right pupil “R” or the left pupil “L” has passed, and the subscript suffix represents the red filter “R”, the green filter “G”, and the blue filter It indicates which of “B” passed.
  • ⁇ F R , F G , F B ⁇ , ⁇ r R , g, b R ⁇ , and ⁇ r L , g, b L ⁇ are all functions of the wavelength ⁇ , but for ease of description.
  • the wavelength ⁇ is omitted.
  • the wavelength band ⁇ b L , g ⁇ overlapping with the pixel value ⁇ B, G ⁇ is removed based on the difference between the pixel values ⁇ B, G ⁇ , and the component b R and A process of deriving a relational expression of the components ⁇ b R , b L , (g + r R ) ⁇ by obtaining the relationship of the component [g + r R ] is performed.
  • the wavelength band b L corresponds to the component b L B of the pixel value B and the component b of the pixel value G as shown in FIGS. it is a L G, component b L B, the b L G, the spectral characteristics F B, is that the relative gain of F G is multiplied. Therefore, the components b L B and b L G are different values by the relative gain, and it is necessary to correct the components b L B and b L G to be equal.
  • the pixel value G is used as a reference (eg, “1”), the component ratio of (b L B + g B ) is k B1, and the component ratio of b L G If k B2 , the following equation (14) is established.
  • k B1 / k B2 is, for example, the gain ratio of the spectral characteristics F B and F G in the band b L.
  • b L B + g B ( k B1 / k B2) ⁇ b L G (14)
  • B 'components ⁇ b R B', b L B ', g B' ⁇ is the following equation (17).
  • b R B ' (k B2 / k B1) ⁇ b R B, b L B '+ g B ' ⁇ b L G (17)
  • FIG. 8 shows a diagram representing this relationship in principle.
  • b R B ′ a value that minimizes an error between ⁇ b R B ′, b L G , (g G + r R G ) ⁇ and ⁇ B ′ / 2, G / 2 ⁇ .
  • E BG error evaluation value
  • e B (B ′ / 2 ⁇ b R B ′) 2 + (B ′ / 2 ⁇ b L G ) 2
  • e G (G / 2 ⁇ b L G ) 2 + (G / 2 ⁇ (g G + r R G )) 2
  • E BG e B + e G (22)
  • the component ⁇ b R B ′, b L G , (g G + r R G ) ⁇ can be estimated from the 2-band pixel values ⁇ B ′, G ⁇ of each pixel.
  • the component r R G of the pixel value G and the component r R R of the pixel value R correspond to the wavelength band r R , but the component r R G , R R R are multiplied by the relative gains of the spectral characteristics F G , F R. Therefore, the components r R G and r R R have different values corresponding to the relative gain, and it is necessary to correct the components r R G and r R R to be equal.
  • the pixel value G is a reference (eg, “1”)
  • the component ratio of (g R + r R R ) is k R1
  • the component ratio of r R G If k R2 , the following equation (23) is established.
  • k R1 / k R2 is, for example, the gain ratio of the spectral characteristics F G and F R in the band r R.
  • g R + r R R ( k R2 / k R1) ⁇ r R G (23)
  • the pixel value G and the pixel value R ′ are expressed using the components ⁇ b L G , g G , r R G , r L R ′ ⁇ . It becomes like this.
  • G b L G + (g G + r R G)
  • R ′ (g R ′ + r R R ′) + r L
  • R ′ r R G + r L R ′
  • ⁇ G, R ′ ⁇ is a detected known value, if the unknown number r L R ′ is determined based on the above equation (30), ⁇ r L R ′, r R G , (b L G + g G ) ⁇ Are all determined. That is, it is possible to specify a likelihood pattern of ⁇ r L R ′, r R G , (b L G + g G ) ⁇ .
  • FIG. 10 is a diagram showing this relationship in principle.
  • the unknown r L R ′ is a value that minimizes the error between ⁇ r L R ′, r R G , (b L G + g G ) ⁇ and ⁇ G / 2, R ′ / 2 ⁇ .
  • the component ⁇ r L R ′, r R G , (b L G + g G ) ⁇ can be estimated from the 2-band pixel value ⁇ G, R ′ ⁇ of each pixel.
  • the evaluation value is calculated by multiplying the pixel values ⁇ B ′, G ⁇ , ⁇ G, R ′ ⁇ by a coefficient 1 ⁇ 2. It is not limited. As described in the first multiband estimation process (for example, the above equation (10)), the coefficient may be greater than 0 and 1 or less (including its value).
  • the method of calculating the evaluation values E BG and E GR is not limited to the above method, and various methods are conceivable.
  • the evaluation value E BG as an example, ⁇ L, G, B ⁇ obtained from ⁇ R, G, B ⁇ obtained by capturing a large number of target subjects (for example, natural subjects or medical in-vivo subjects) in advance.
  • target subjects for example, natural subjects or medical in-vivo subjects
  • a pattern showing a peak with a high occurrence probability locally or a partial probability distribution region is set.
  • a pattern ⁇ b R B ′, b L G , (g G + r R G ) ⁇ indicating the average pattern of the pattern group is defined as a representative pattern. In this manner, a plurality of predetermined representative patterns are set.
  • the ⁇ B ′, G ⁇ representative pattern may be obtained from the ⁇ B ′, G ⁇ occurrence pattern of the target subject. Then, when estimating from ⁇ B ′, G ⁇ actually photographed, the Euclidean distance between ⁇ B ′, G ⁇ obtained by photographing and the representative pattern is obtained as an evaluation value, and ⁇ B ′ having the smallest evaluation value is obtained. , G ⁇ may be performed on the representative pattern to specify the final estimated pattern ⁇ b R B ′, b L G , (g G + r R G ) ⁇ .
  • b R B and r L R are obtained by the following formula (32).
  • g G G- (b L G + r R G) (35)
  • I R and I L are shown as an example in the case where the sensor surface of the image sensor is at the defocus position PD, and h is an axis along the horizontal direction (pupil separation direction in a broad sense). is there.
  • R, G, B components of the image I R are each (r R R, g R) , (g G, r R G), (b R B, g B), the image I L R, G,
  • the B components are (r L R , g R ), (g G , r L G ), and (b L B , g B ), respectively.
  • the multiband estimation unit is based on the transmittance characteristics F B and F G of the first and second color filters.
  • the relative gain ratio k B1 / k B2 between the pixel value B of the first color and the pixel value G of the second color is corrected, and the corrected pixel values B ′, G of the first and second colors are corrected. Is used to estimate the component values of the first to fifth bands.
  • the multiband estimation unit calculates the transmittance k B2 of the second color filter (F G ) in the second band (b L ) and The gain ratio is corrected by multiplying the pixel value B of the first color by the ratio k B1 / k B2 with the transmittance k B1 of the first color filter (F B ) in the second band (b L ).
  • the transmittance characteristic generally differs depending on the color, and therefore the gain differs depending on the color.
  • the relative gain ratio k B1 / k B2 in the band can be obtained, and the gain ratio is used to change the color. Therefore, different gains can be corrected.
  • the imaging device divides the pupil of the imaging optical system into a first pupil (for example, a right pupil) and a second pupil (a left pupil).
  • the light transmitted through the optical filter FLT is imaged.
  • the first pupil first pupil filter FL1
  • the first pupil first pupil filter FL1
  • the second pupil second pupil filter FL2
  • the multiband estimator estimates component values of the first to fifth bands based on images obtained by imaging the transmitted light of the first pupil and the second pupil.
  • band component values corresponding to the first pupil and the second pupil can be obtained respectively.
  • various application processes using pupil division are possible.
  • RGB components are included in the first pupil and the second pupil, respectively, color misregistration hardly occurs even in a defocused region of the captured image.
  • b (1) and r (1) are assigned to the first pupil.
  • b (2) May be assigned to the first pupil, or any of r (1) and r (2) may be assigned to the first pupil.
  • the multiband estimator provides the component values ⁇ b R B , b L of the first and second bands constituting the blue pixel value B.
  • B ⁇ are determined as first and second blue component values, respectively, and component values ⁇ b L G , g G , r R G ⁇ of the second to fourth bands constituting the green pixel value G are respectively determined as the first and second blue component values.
  • Obtained as the third green component value, and the fourth and fifth band component values ⁇ r R R , r L R ⁇ constituting the red pixel value R are obtained as the first and second red component values, respectively.
  • the configuration method of the green component value G is not limited to the above, and for example, the green component value of each pupil may be separated and configured.
  • b R B ′ and r L R ′ are correction values of the divided band components b R B and r L R that should be detected, and the expressions (17) and (26) described in the second multiband estimation process Therefore, it is represented by the following formula (37).
  • ⁇ b R B ', b L G, (g G + r R G) ⁇ and ⁇ r L R', r R G, (b L G + g G) ⁇ is the component values of each pattern, positive Note that there is a limit to the range of values that can be taken.
  • the pixel values R, G, and B can take the range of the following formula (38). 0 ⁇ B ⁇ N, 0 ⁇ G ⁇ N, 0 ⁇ R ⁇ N (38)
  • the number of quantization steps for R, G, and B is generally set to the same N value because it is easy to handle if they are the same, but the number of quantization steps may be intentionally different for each color.
  • b R B and r L R are independent variables, and r L R and r R R are independent variables, b R B and r L R can take the range of the following formula (40). . 0 ⁇ b R B ⁇ N, 0 ⁇ r L R ⁇ N (40)
  • b R B ′ and r L R ′ can take the range of the following formula (41). 0 ⁇ b R B ′ ⁇ N ⁇ (k B2 / k B1 ), 0 ⁇ r L R ′ ⁇ N ⁇ (k R2 / k R1 ) (41)
  • b L G , g G , and r R G are independent variables
  • b L G , g G , and r R G can take the range of the following equation (43). 0 ⁇ b L G ⁇ N, 0 ⁇ g G ⁇ N, 0 ⁇ r R G ⁇ N (43)
  • each value within the range of 0 ⁇ b R B ′ ⁇ N ⁇ (k B2 / k B1 ) shown in the above equation (41) is generated as a candidate for the unknown b R B ′.
  • Each candidate is substituted into the above equation (21), and ⁇ b L G , (g G + r R G ) ⁇ is obtained using the known pixel values ⁇ B, G ⁇ .
  • ⁇ b L G , (g G + r R G) ⁇ is obtained using the known pixel values ⁇ B, G ⁇ .
  • candidates are also generated for the above formula (30), and only ⁇ r L R ′, r R G , (b L G + g G ) ⁇ that satisfies the condition is left. There may be a plurality of candidates that satisfy the condition. When a plurality of candidates remain, for example, an average value thereof may be determined as a final value.
  • the pixel values ⁇ R, G, B ⁇ of the captured image are searched from the table and estimated patterns ⁇ b R B ′, b L G , (g G + r R G ) ⁇ , ⁇ r L R ', r R G, determines the (b L G + g G) ⁇ . Then, from the estimated pattern, the value of the component ⁇ b R B , b L B ⁇ constituting the pixel value B, the value of the component ⁇ b L G , g G , r R G ⁇ constituting the pixel value G, and the pixel value The values of the components ⁇ r R R , r L R ⁇ constituting R are finally calculated.
  • the estimated patterns obtained from the same combination pattern of ⁇ R, G, B ⁇ are not necessarily single, and a plurality of estimated patterns may be obtained.
  • an average of these estimated patterns may be taken as a likelihood pattern, and a table may be created in advance.
  • the table is created using the restriction condition based on the domain, but the table creation method of the present embodiment is not limited to this.
  • an image to be imaged for example, a natural image in the case of a digital camera, an in-vivo image in the case of an endoscope, etc.
  • the pixel value ⁇ R, G, B ⁇ generated most probable likelihood patterns for ⁇ b R B ', b L G, r R G, r L R ', (g G + r R G), a correspondence table (b L G + g G) ⁇ , may be a reference table created in advance.
  • the multiband estimation unit obtains a relational expression (the above expression (21)) with the component value b R B ′ of the first band as an unknown, A plurality of candidate values are generated as candidates for the unknown b R B ′.
  • the multiband estimator calculates candidate values satisfying the selection condition based on the domain of the first and second color pixel values B and G (the above equation (38)) from among the plurality of candidate values. Selection is made based on the above equation (21)). Then, based on the selected candidate value, the multiband estimation unit, the first band component value, the second band component value, the first addition value, and ⁇ b R B ′, b L G , (g G + R RG ) ⁇ .
  • the selection conditions include the first band component value, the second band component value, the first addition value, and ⁇ b obtained by substituting the candidate value into the relational expression (the above formula (21)).
  • R B ′, b L G , (g G + r R G ) ⁇ does not contradict the domain of the first and second color pixel values B and G (formula (38)) (formula (41 ), (43), (44)).
  • the multiband estimation unit can take the component value b R B ′ of the first band based on the domain of the first and second color pixel values B and G (the above equation (38)). Values within the range (the above formula (41)) are generated as a plurality of candidate values.
  • the candidate value is excluded, and the pixel A final estimate can be determined based on candidate values consistent with the value domain.
  • FIG. 14 shows a configuration example of an imaging device that performs multiband estimation processing of the present embodiment.
  • the imaging apparatus of FIG. 14 includes an imaging lens LNS, an optical filter FLT, an imaging element 10, an imaging processing unit 20, an image processing device 25 (image processing unit), and a monitor display unit 40.
  • the image processing device 25 includes an RGB image generation unit 30, an RGB filter characteristic data recording unit 50, a region selection unit 60, a multiband estimation unit 70, a multiband data recording unit 80, a data compression unit 90, and an RGB data recording unit 100. .
  • the imaging device 10 images a subject imaged by the imaging lens LNS and the optical filter FLT. As described with reference to FIG. 5, the optical filter FLT has different transmission bands for the right pupil and the left pupil.
  • the imaging processing unit 20 performs control of imaging operation by the imaging element 10, processing for A / D conversion of analog pixel signals, and the like.
  • the RGB image generation unit 30 performs a demosaicing process, an image quality improvement process, and the like of the RGB Bayer image obtained by imaging, and performs RGB3 plate image (pixel values R (i, j), G (i, j), B). (I, j)) is output.
  • i and j are natural numbers representing the position (coordinates) of the image in the horizontal scanning direction and the vertical scanning direction, respectively.
  • the monitor display unit 40 displays the RGB3 plate image on a monitor (display device).
  • the RGB filter characteristic data recording unit 50 stores data of transmittance characteristics (spectral characteristics) F R ( ⁇ ), F G ( ⁇ ), and F B ( ⁇ ) of the color filter of the image sensor 10. Data is output to the multiband estimation unit 70.
  • the RGB components to be imaged are determined not only by the color filter but also by the spectral sensitivity characteristics of the imaging device 10 and the spectral characteristics of the imaging lens LNS.
  • the transmittance characteristic of the color filter is described as being an RGB filter characteristic.
  • characteristic data including spectral characteristics of the image sensor 10 and the imaging lens LNS is defined as RGB filter characteristic data. is doing.
  • the region selection unit 60 extracts an image of a region selected by the user via a user interface (not shown) from the RGB3 plate image, and outputs the extracted image to the multiband estimation unit 70.
  • the multiband estimation unit 70 performs the multiband estimation process of the present embodiment on the image of the region selected by the user, and performs a 5-band multiband image (component values R 1 (i, j), R 2 (i, j), G (i, j), B 1 (i, j), B 2 (i, j), and (i, j) are omitted for simplicity in FIG. Note that multiband estimation processing may be performed on the entire RGB3 plate image without performing region selection.
  • the multiband data recording unit 80 records multiband image data.
  • the data compression unit 90 performs compression processing on the RGB3 plate image data.
  • the RGB data recording unit 100 records compressed RGB 3 plate image data and color filter transmittance characteristic data. These recorded data can be used for multiband estimation processing in post processing after shooting.
  • the post processing may be performed by the image processing device 25 in the imaging device, or may be performed by an image processing device configured separately from the imaging device.
  • FIG. 15 shows a configuration example of an image processing apparatus configured separately from the imaging apparatus.
  • 15 includes a data recording unit 200, a data decompression unit 210, a decompression data storage unit 220, a monitor image generation unit 230, a monitor image display unit 240, an image data selection unit 250, a selected frame storage unit 260, a multiband.
  • An estimation unit 270 and a multiband processing unit 280 are included.
  • this image processing apparatus for example, an information processing apparatus such as a PC is assumed.
  • the data recording unit 200 is configured by, for example, an external storage device (for example, a memory card), and stores RGB3 plate image data and transmittance characteristic data recorded by the imaging device.
  • the data decompression unit 210 performs a process of decompressing the RGB3 plate image data compressed by the imaging apparatus.
  • the decompressed data storage unit 220 stores decompressed RGB3 plate image data.
  • the monitor image generation unit 230 generates an image for monitor display from the RGB3 plate image data.
  • the monitor display unit 240 displays the monitor display image on the monitor.
  • the image data selection unit 250 outputs the ID of the frame selected by the user (operator) to the decompressed data storage unit 220 via a user interface (not shown).
  • the decompression data storage unit 220 outputs an image of a selected frame from among a plurality of RGB3 plate images (a plurality of still images or moving images).
  • the selected frame storage unit 260 stores an image of the selected frame.
  • the multiband estimator 270 selects the image of the selected frame (pixel values R (i, j), G (i, j), B (i, j)) and color filter transmittance characteristics F R ( ⁇ ), F Based on G ( ⁇ ) and F B ( ⁇ ), multiband images I R (i, j) and I L (i, j) are estimated.
  • I R (i, j) and I L (i, j) correspond to subject images that have passed through the right pupil and the left pupil, respectively.
  • the multiband processing unit 280 performs various application processes using the multiband images I R (i, j) and I L (i, j).
  • the multiband processing unit 280 can implement various processes using multidimensional information such as pupil separation and multiband color components.

Abstract

　画像処理装置は、第１～第３色フィルタを含む撮像素子に依って撮像された画像を取得する画像取得部と、第１透過率特性ＦＢの非重なり部分に対応する第１バンドＢＤ１と、第１、第２透過率特性ＦＢ、ＦＧの重なり部分に対応する第２バンドＢＤ２と、第２透過率特性ＦＧの非重なり部分に対応する第３バンドＢＤ３と、第２、第３透過率特性ＦＧ、ＦＲの重なり部分に対応する第４バンドＢＤ４と、第３透過率特性ＦＲの非重なり部分に対応する第５バンドＢＤ５とを設定し、第１～第３色の画素値に基づいて第１～第５バンドＢＤ１～ＢＤ５の成分値ｂ（１）、ｂ（２）、ｇ、ｒ（１）、ｒ（２）を推定するマルチバンド推定部と、を含む。

Description

画像処理装置、撮像装置及び画像処理方法
　本発明は、画像処理装置、撮像装置及び画像処理方法等に関する。
　カメラや顕微鏡、内視鏡などの撮影装置のデジタル化により、各種撮像機能の向上・拡張には目覚しいものがある。色空間の拡張もその一つであり、一般的な３原色のＲＧＢカラー撮影に加え、多くの分割波長帯域による撮影を可能にする。例えば、色空間の拡張により、きめ細かい色の違いを取得し表現する技術の開発が取り組まれている。
　特許文献１には、分光透過率特性の平均波長が異なる５種類以上（その値を含む）の色フィルタを配置した撮像装置が開示されている。特許文献１では、６種類のフィルタ、即ち第１の青色フィルタ、第２の青色フィルタ、第１の緑色フィルタ、第２の緑色フィルタ、第１の赤色フィルタ、及び第２の赤色フィルタが、撮像センサの画素に対応して設けられており、マルチバンドの画像を同時に撮像することが可能である。
　特許文献２には、結像光学系と撮像センサの間に分岐光学系を設け、その分岐光学系を用いて４バンド以上（その値を含む）の波長帯域に分離する手法が開示されている。この手法では、分岐された各色の画像は、撮像センサ上の分離された領域に結像される。各色の画像は、まとまった領域に像が生成されるため、マルチバンドの画像を同時に撮像することが可能である。
　非特許文献１には、回転式のマルチバンドフィルタを用いて、撮像する画像の通過波長域を順次入れ替えて撮像することにより、マルチバンドの画像を取得する手法が開示されている。この手法では、取得できない波長帯域の情報を、自然界の被写体の分光反射率が滑らかであるとの先見情報を用いて推定する処理が行われている。
特開２００５－２８６６４９号公報 特開２００５－２６０４８０号公報
電子情報通信学会誌Ｖｏｌ．８８，Ｎｏ．６，２００５，東京工業大学
　さて、既存の撮像システムを大きく変更することなくマルチバンドの撮像システムを実現することが望ましいという課題がある。
　例えば、上述の特許文献１では、撮像素子のカラーフィルタに６種類のカラーフィルタを用いる。そのため、通常のＲＧＢ３原色のカラーフィルタを用いた場合に比べて、１種類のカラーフィルタに対して半分の画素しか割当てることができない。割り当てられず情報として欠落している画素値は、補間処理により求めることになるため、解像度の低下は免れない。
　また、特許文献２では、分岐光学系により、各色の画像が撮像センサ上の分離された領域に結像される。そのため、各色の画像に割当てられる画素数は、通常のＲＧＢ３原色撮影に比べて少なくなり、解像度が低下してしまう。
　また、非特許文献１では、回転式のマルチバンドフィルタを用いている。動きのある被写体の場合、フィルタの高速回転とそれに同期した高速撮影が必要となるので、特殊な追加機構が必要である。また、先見情報に基づく推定処理は、自然界の被写体ではない人工的なものを撮影する場合、成立しない可能性がある。
　本発明の幾つかの態様によれば、既存の撮像システムを大きく変更することなくマルチバンドの撮像システムを実現可能な画像処理装置、撮像装置及び画像処理方法等を提供できる。
　本発明の一態様は、第１透過率特性を有する第１色フィルタと第２透過率特性を有する第２色フィルタと第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得する画像取得部と、前記第１透過率特性の非重なり部分に対応する第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する第２バンドと、前記第２透過率特性の非重なり部分に対応する第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する第４バンドと、前記第３透過率特性の非重なり部分に対応する第５バンドとを設定し、前記画像を構成する第１～第３色の画素値に基づいて前記第１～第５バンドの成分値を推定するマルチバンド推定部と、を含む画像処理装置に関係する。
　本発明の一態様によれば、撮像素子の第１～第３色フィルタが有する第１～第３透過率特性の重なり部分、非重なり部分に対応して、第１～第５バンドが設定され、その第１～第５バンドの成分値が第１～第３色の画素値に基づいて推定される。これにより、既存の撮像システムを大きく変更することなくマルチバンドの撮像システムを実現することが可能になる。
　また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２バンドの成分値を加算した値である前記第１色の画素値と、前記第２～第４バンドの成分値を加算した値である前記第２色の画素値とに基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第３、第４バンドの成分値を加算した値である第１加算値との間の関係式を求め、前記関係式に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを推定してもよい。
　また本発明の一態様では、前記マルチバンド推定部は、前記第１バンドの成分値を未知数として前記関係式を求め、前記関係式で表した前記第１、第２バンドの成分値及び前記第１加算値と、前記第１、第２色の画素値との間の誤差を表す誤差評価値を求め、前記誤差評価値を最小にする前記未知数を決定し、決定した前記未知数及び前記関係式に基づいて、前記第１、第２バンドの成分値及び前記第１加算値を決定してもよい。
　また本発明の一態様では、前記マルチバンド推定部は、前記第２～第４バンドの成分値を加算した値である前記第２色の画素値と、前記第４、第５バンドの成分値を加算した値である前記第３色の画素値とに基づいて、前記第２、第３バンドの成分値を加算した値である前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値との間の関係式を求め、前記関係式に基づいて、前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値とを推定し、前記第１加算値と前記第４バンドの成分値から、又は前記第２加算値と前記第２バンドの成分値から前記第３バンドの成分値を求めてもよい。
　また本発明の一態様では、前記マルチバンド推定部は、前記第１バンドの成分値を未知数として前記関係式を求め、前記未知数の候補として、複数の候補値を生成し、前記複数の候補値の中から、前記第１、第２色の画素値の定義域に基づく選択条件を満たす候補値を、前記関係式に基づいて選択し、選択した前記候補値に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを求めてもよい。
　また本発明の一態様では、前記選択条件は、前記関係式に前記候補値を代入して求めた前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とが、前記第１、第２色の画素値の定義域に矛盾しないという条件であってもよい。
　また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２色の画素値の前記定義域に基づいて前記第１バンドの成分値が取り得る範囲内の値を、前記複数の候補値として生成してもよい。
　また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２色フィルタの透過率特性に基づいて、前記第１色の画素値と前第２色の画素値との間の相対的なゲイン比を補正し、補正後の前記第１、第２色の画素値を用いて前記第１～第５バンドの成分値を推定してもよい。
　また本発明の一態様では、前記マルチバンド推定部は、前記第２バンドでの前記第２色フィルタの透過率と、前記第２バンドでの前記第１色フィルタの透過率との比を、前記第１色の画素値に乗じて、前記ゲイン比を補正してもよい。
　また本発明の一態様では、前記第１～第３色は、それぞれ青色、緑色、赤色であり、前記マルチバンド推定部は、前記第１～第５バンドの成分値を、それぞれ第１青色成分値、第２青色成分値、緑色成分値、第１赤色成分値、第２赤色成分値として求めてもよい。
　また本発明の一態様では、前記撮像素子には、撮像光学系の瞳を第１瞳と第２瞳に分割する光学フィルタを透過した光が結像され、前記第１瞳は、前記第１、第２バンドの一方と、前記第３バンドと、前記第４、第５バンドの一方とを透過し、前記第２瞳は、前記第１、第２バンドの他方と、前記第３バンドと、前記第４、第５バンドの他方とを透過し、前記マルチバンド推定部は、前記第１瞳及び前記第２瞳の透過光が撮像された前記画像に基づいて、前記第１～第５バンドの成分値を推定してもよい。
　また本発明の一態様では、前記第１～第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、前記マルチバンド推定部は、前記青色の画素値を構成する前記第１、第２バンドの成分値を、それぞれ第１、第２青色成分値として求め、前記緑色の画素値を構成する前記第２～第４バンドの成分値を、それぞれ第１～第３緑色成分値として求め、前記赤色の画素値を構成する前記第４、第５バンドの成分値を、それぞれ第１、第２赤色成分値として求めてもよい。
　また本発明の一態様では、前記マルチバンド推定部は、前記第１青色成分値と、前記第２青色成分値と、前記第１～第３緑色成分値の加算値である緑色成分値と、前記第１赤色成分値と、前記第２赤色成分値とで、５バンドの成分値を構成してもよい。
　また本発明の他の態様は、上記のいずれかに記載された画像処理装置と、前記撮像素子と、を含む撮像装置に関係する。
　また本発明の更に他の態様は、上記のいずれかに記載された画像処理装置と、前記撮像素子と、前記光学フィルタが設けられた前記撮像光学系と、を含む撮像装置に関係する。
　また本発明の更に他の態様は、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得し、前記第１透過率特性の非重なり部分に対応する第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する第２バンドと、前記第２透過率特性の非重なり部分に対応する第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する第４バンドと、前記第３透過率特性の非重なり部分に対応する第５バンドとを設定し、前記画像を構成する第１～第３色の画素値に基づいて前記第１～第５バンドの成分値を推定する画像処理方法に関係する。
図１は、デモザイキング処理についての説明図。 図２は、バンド分割手法についての説明図。 図３は、第１のマルチバンド推定処理における未知数推定処理についての説明図。 図４は、第１のマルチバンド推定処理における未知数推定処理についての説明図。 図５は、第２のマルチバンド推定処理における撮像装置の基本構成例。 図６は、第２のマルチバンド推定処理におけるバンド分割手法についての説明図。 図７（Ａ）～図７（Ｆ）は、ゲイン補正処理についての説明図。 図８は、第２のマルチバンド推定処理における未知数推定処理についての説明図。 図９（Ａ）～図９（Ｆ）は、ゲイン補正処理についての説明図。 図１０は第２のマルチバンド推定処理における未知数推定処理についての説明図。 図１１は第３のマルチバンド推定処理におけるバンド成分値についての説明図。 図１２はルックアップテーブルの第１設定例。 図１３はルックアップテーブルの第２設定例。 図１４は本実施形態の撮像装置の構成例。 図１５は本実施形態の画像処理装置の構成例。
　以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
　１．第１のマルチバンド推定処理
　１．１．概要
　高付加価値のマルチバンド撮影を実用性の高い撮像システムとして提供するためには、既存性能を踏襲でき且つ撮像システムを大きく変更することなく機能実現できることが望ましい。
　従来から、マルチバンド撮影の手法として種々の手法（例えば特許文献１、２、非特許文献１）が提案されているが、これら従来の手法では、特殊な撮像センサ（撮像素子）や分光フィルタの交換機構などを必要とし、既存の撮像システムの撮像解像度や動画特性を損なわずに実用性の高い手法の提案には至っていない。
　そこで、本実施形態では、ＲＧＢ３原色の撮像素子を用いてＲＧＢ画像を撮影し、ＲＧＢカラーフィルタの透過率特性の重なりを利用してＲＧＢ画像から５バンドのマルチバンド画像を推定する。これにより、従来のＲＧＢ３原色の撮像素子による撮像方式を変更せずにマルチバンド撮影を行うことができる。また、特殊な撮像センサや分光フィルタの交換機構などが不要となるため、解像度を犠牲にすることなく、動く被写体にも十分対応できるマルチバンド同時撮影が可能となる。
　１．２．バンド分割手法
　以下に、ＲＧＢ画像から５バンドのマルチバンド画像を推定する処理について詳細に説明する。なお、以下ではＲＧＢベイヤ配列の撮像素子を例に説明するが、本実施形態はこれに限定されず、カラーフィルタの透過率特性に重なり部分がある撮像素子でさえあればよい。
　図１に示すように、ＲＧＢのベイヤ画像を撮像し、ベイヤ画像に対してデモザイキング処理を行ってＲＧＢ毎の３画像を生成する。デモザイキング処理により得られた各画素の赤色、緑色、青色の画素値をそれぞれＲｄ、Ｇｄ、Ｂｄとし、画素値Ｒｄ、Ｇｄ、Ｂｄと５バンドの波長成分ｂ（１）、ｂ（２）、ｇ、ｒ（１）、ｒ（２）との関係を下式（１）に示すようにモデル化して考える。
Ｂｄ＝ｂ（１）＋ｂ（２），
Ｇｄ＝ｒ（１）＋ｇ＋ｂ（２），
Ｒｄ＝ｒ（１）＋ｒ（２）　　　（１）
　図２に示すように、５バンドの波長成分ｂ（１）、ｂ（２）、ｇ、ｒ（１）、ｒ（２）は、カラーフィルタの透過率特性ＦＲ（λ）、ＦＧ（λ）、ＦＢ（λ）および撮像センサの分光特性に応じて定まる成分である。なお本実施形態では説明を簡単にするため、撮像センサの分光特性が、図２に示すカラーフィルタの透過率特性ＦＲ（λ）、ＦＧ（λ）、ＦＢ（λ）に含まれるものとして説明することにする。即ち、青色フィルタの透過率特性ＦＢ（λ）と緑色フィルタの透過率特性ＦＧ（λ）との重なり部分に対応するバンドの成分がｂ（２）であり、青色フィルタの透過率特性ＦＢ（λ）の非重なり部分に対応するバンドの成分がｂ（１）である。また、赤色フィルタの透過率特性ＦＲ（λ）と緑色フィルタの透過率特性ＦＧ（λ）との重なり部分に対応するバンドの成分がｒ（１）であり、赤色フィルタの透過率特性ＦＲ（λ）の非重なり部分に対応するバンドの成分がｒ（２）である。また、緑色フィルタの透過率特性ＦＧ（λ）の非重なり部分に対応するバンドの成分がｇである。ここで、非重なり部分とは、他の色フィルタの透過率特性と重なっていない部分のことである。
　５バンドの帯域ＢＤ１～ＢＤ５は、透過率特性ＦＲ（λ）、ＦＧ（λ）、ＦＢ（λ）の形状や重なり具合などに応じて決定すればよく、透過率特性の帯域や重なり部分の帯域そのものである必要はない。例えば、透過率特性ＦＧ（λ）、ＦＢ（λ）の重なり部分の帯域は、およそ４５０ｎｍ～５５０ｎｍであるが、帯域ＢＤ２は重なり部分に対応するものであればよく、４５０ｎｍ～５５０ｎｍである必要はない。
　１．３．｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の推定処理
　次に、上式（１）を用いて、｛Ｒｄ，Ｇｄ｝から｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の関係式を下式（２）のように求める。また、上式（１）より下式（３）が成り立つ。なお以下では、Ｒｄ、Ｇｄ、ＢｄをＲ、Ｇ、Ｂと省略して表記する。
Ｒ－Ｇ＝［ｒ（１）＋ｒ（２）］－［ｒ（１）＋ｇ＋ｂ（２）］
　　　＝ｒ（２）－［ｇ＋ｂ（２）］　　　　　　　　　（２）
ｒ（１）＝Ｒ－ｒ（２）　　　　　　　　　　　　　　（３）
　ｒ（２）を未知数（支配変数）とすると、上式（１）～（３）より｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の関係式を下式（４）のように求められる。
ｒ（２）＝未知数（支配変数），
ｒ（１）＝Ｒ－ｒ（２），
ｇ＋ｂ（２）＝ｒ（２）－［Ｒ－Ｇ］　　（４）
　｛Ｒ，Ｇ｝は検出された既知の値であるので、上式（４）に基づき未知数ｒ（２）が決まれば、｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝が全て決まることになる。即ち、｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の尤度パターンを特定することができる。
　図３に、この関係を原理的に表した図を示す。図３に示すように、未知数ｒ（２）として、｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝と｛αＲＲ，αＧｒＧ｝の誤差が最小になる値を求める。
　ここで、αＲ，αＧｒは、下式（５）を満たす値である。αＲは、Ｒに対する｛ｒ（１），ｒ（２）｝の平均的な値を算出したものであり、αＧｒは、Ｇに対する｛ｒ（１），ｇ＋ｂ（２）｝の平均的な値を算出したものである。これらは、図２に示すように撮像素子のカラーフィルタ特性から｛ｒ（１），ｒ（２）｝及び｛ｒ（１），ｇ＋ｂ（２）｝の成分比を考慮して決定すればよい。
０＜αＲ≦１，０＜αＧｒ≦１　（５）
　｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝と｛αＲＲ，αＧｒＧ｝の誤差を評価する値Ｅｒｇは、下式（６）により求める。そして、評価値Ｅｒｇが最小になる場合のｒ（２）を求め、求めたｒ（２）を上式（４）に代入することにより、｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の３つの値を決定する。
ｅｒ＝［αＲＲ－ｒ（１）］２＋［αＲＲ－ｒ（２）］２，
ｅｇ＝［αＧｒＧ－ｒ（１）］２＋［αＧｒＧ－（ｇ＋ｂ（２））］２，
Ｅｒｇ＝ｅｒ＋ｅｇ　　　　　　　　　　　　　　　　　　　　　　（６）
　１．４．｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝の推定処理
　同様にして、上式（１）を用いて、｛Ｂ，Ｇ｝から｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝の関係式を下式（７）のように求める。また、上式（１）より下式（８）が成り立つ。
Ｂ－Ｇ＝［ｂ（１）＋ｂ（２）］－［ｒ（１）＋ｇ＋ｂ（２）］
　　　＝ｂ（１）－［ｇ＋ｒ（１）］　　　　　　　　　（７）
ｂ（２）＝Ｂ－ｂ（１）　　　　　　　　　　　　　　（８）
　ｂ（１）を未知数（支配変数）とすると、上式（１）、（７）、（８）より｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝の関係式を下式（９）のように求められる。
ｂ（１）＝未知数（支配変数）
ｂ（２）＝Ｂ－ｂ（１），
ｇ＋ｒ（１）＝ｂ（１）－［Ｂ－Ｇ］　　（９）
　｛Ｂ，Ｇ｝は検出された既知の値であるので、上式（９）に基づき未知数ｂ（１）が決まれば、｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝が全て決まることになる。即ち、｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝の尤度パターンを特定することができる。
　図４に、この関係を原理的に表した図を示す。図４に示すように、未知数ｂ（１）として、｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝と｛αＢＢ，αＧｂＧ｝の誤差が最小になる値を求める。
　ここで、αＢ，αＧｂは、下式（１０）を満たす値である。αＢは、Ｂに対する｛ｂ（１），ｂ（２）｝の平均的な値を算出したものであり、αＧｂは、Ｇに対する｛ｂ（２），ｇ＋ｒ（１）｝の平均的な値を算出したものである。これらは、図２に示すように撮像素子のカラーフィルタ特性から｛ｂ（１），ｂ（２）｝及び｛ｂ（２），ｇ＋ｒ（１）｝の成分比を考慮して決定すればよい。
０＜αＢ≦１，０＜αＧｂ≦１　（１０）
　｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝と｛αＢＢ，αＧｂＧ｝の誤差を評価する値Ｅｂｇは、下式（１１）により求める。そして、評価値Ｅｂｇが最小になる場合のｂ（１）を求め、求めたｂ（１）を上式（９）に代入することにより、｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の３つの値を決定する。
ｅｂ＝［αＢＢ－ｂ（１）］２＋［αＢＢ－ｂ（２）］２，
ｅｇ＝［αＧｂＧ－ｂ（２）］２＋［αＧｂＧ－（ｇ＋ｒ（１））］２，
Ｅｂｇ＝ｅｂ＋ｅｇ　　　　　　　　　　　　　　　　　　　　　（１１）
　次に、上式（１）より下式（１２）が成り立つから、上式（４）、（９）で求めたｒ（１）、ｂ（２）を下式（１２）に代入し、ｇを算出する。
ｇ＝Ｇ－（ｒ（１）＋ｂ（２））　　（１２）
　以上のようにして、デモザイキング処理により得られた各画素の３バンド画素値｛Ｒ，Ｇ，Ｂ｝から、図２に示すような５バンド画素値｛ｂ（１），ｂ（２），ｇ，ｒ（１），ｒ（２）｝を推定することができる。
　以上の実施形態によれば、画像処理装置は画像取得部とマルチバンド推定部を含む。図２で説明したように、画像取得部は、撮像素子によって撮像された画像を取得する。撮像素子は、第１透過率特性ＦＢ（λ）を有する第１色フィルタと、第２透過率特性ＦＧ（λ）を有する第２色フィルタと、第３透過率特性ＦＲ（λ）を有する第３色フィルタとを有する。図２～図４で説明したように、マルチバンド推定部は、画像を構成する第１～第３色の画素値｛Ｂ，Ｇ，Ｒ｝に基づいて、第１～第５バンドＢＤ１～ＢＤ５の成分値｛ｂ（１），ｂ（２），ｇ，ｒ（１），ｒ（２）｝を推定する。図２で説明したように、第１バンドＢＤ１は第１透過率特性ＦＢ（λ）の非重なり部分に対応する。第２バンドＢＤ２は、第１透過率特性ＦＢ（λ）と第２透過率特性ＦＧ（λ）との重なり部分に対応する。第３バンドＢＤ３は、第２透過率特性ＦＧ（λ）の非重なり部分に対応する。第４バンドＢＤ４は、第２透過率特性ＦＧ（λ）と第３透過率特性ＦＲ（λ）との重なり部分に対応する。第５バンドは、第３透過率特性ＦＲ（λ）の非重なり部分に対応する。
　本実施形態では、画像処理装置は、図１４に示す撮像装置の中の画像処理装置２５、あるいは、図１５に示す、撮像装置とは別体に構成された画像処理装置に対応する。また、画像取得部は、図１４のＲＧＢ画像生成部３０、あるいは図１５の選択フレーム記憶部２６０に対応する。マルチバンド推定部は、図１４のマルチバンド推定部７０、あるいは図１５のマルチバンド推定部２７０に対応する。
　ここで、透過率特性の重なり部分とは、図２に示すように波長軸に対して透過率特性を表した場合に、波長軸上で隣り合う透過率特性が重なっている領域のことである。重なり部分は、透過率特性が重なっている領域そのもの、あるいは透過率特性の帯域が重なっている帯域で表される。また、透過率特性の非重なり部分とは、他の透過率特性と重なっていない部分のことである。即ち、透過率特性から重なり部分を除いた部分のことである。なお、重なり部分又は非重なり部分に対応するバンドは、重なり部分又は非重なり部分の帯域そのものに限定されず、重なり部分又は非重なり部分に対応して設定されたバンドであればよい。例えば、所定の透過率と透過率特性が交わる波長でバンドを分割し、第１～第５バンドを設定してもよい。
　このようにすれば、既存の撮像システムを大きく変更することなくマルチバンドの撮像システムを実現することが可能となる。即ち、従来の撮像装置に用いられてきたＲＧＢ撮像素子を他の特殊な撮像素子（例えばマルチバンドカラーフィルタを備えた撮像素子）に変更することなく、マルチバンド撮影を行うことができる。また、特殊な追加機構（例えば回転式のマルチバンドカラーフィルタ、分岐光学系）を用いることなく、マルチバンド撮影を行うことができる。特殊な撮像素子や追加機構が不要なため、解像度の低下や、コスト増大を避けることが可能である。
　また本実施形態では、上式（１）で説明したように、第１色の画素値Ｂは、第１、第２バンドの成分値ｂ（１）、ｂ（２）を加算した値であり、第２色の画素値Ｇは、第２～第４バンドの成分値ｂ（２）、ｇ、ｒ（１）を加算した値である。上式（９）で説明したように、マルチバンド推定部は、この第１、第２色の画素値Ｂ、Ｇに基づいて、第１バンドの成分値ｂ（１）と、第２バンドの成分値ｂ（２）と、第３、第４バンドの成分値ｇ、ｒ（１）を加算した値である第１加算値ｒ（１）＋ｇとの間の関係式を求める。そして、マルチバンド推定部は、その関係式に基づいて、第１バンドの成分値ｂ（１）と、第２バンドの成分値ｂ（２）と、第１加算値ｒ（１）＋ｇとを推定する。
　このようにすれば、隣り合った透過率特性が重なっている状態を、バンド成分値の加算式（上式（１））として表すことができる。そして、その加算式からバンド成分値間の関係式を求め、その関係式からバンド成分値を推定することが可能となる。
　また本実施形態では、上式（９）で説明したように、マルチバンド推定部は、第１バンドの成分値ｂ（１）を未知数として関係式を求める。図４及び上式（１１）で説明したように、マルチバンド推定部は、関係式で表した第１、第２バンドの成分値及び第１加算値｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝と、第１、第２色の画素値｛Ｂ，Ｇ｝との間の誤差を表す誤差評価値Ｅｂｇを求め、その誤差評価値Ｅｂｇを最小にする未知数ｂ（１）を決定し、その決定した未知数ｂ（１）及び関係式（上式（９））に基づいて、第１、第２バンドの成分値及び第１加算値｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝を決定する。
　このようにすれば、２つの画素値｛Ｂ，Ｇ｝から３つの変数｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝を決定する際に必要な１つの未知数ｂ（１）を、誤差評価値Ｅｂｇに基づいて決定でき、決定した未知数によりバンド成分値｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝を決定できる。
　また本実施形態では、上記と同様にして、マルチバンド推定部は、関係式（上式（４））を求め、その関係式に基づいて、第２、第３バンドの成分値ｂ（２）、ｇを加算した値である第２加算値ｇ＋ｂ（２）と、第４バンドの成分値ｒ（１）と、第５バンドの成分値ｒ（２）とを推定する（上式（１）～（６））。そして、第１加算値ｇ＋ｒ（１）と第４バンドの成分値ｒ（１）から、又は第２加算値ｇ＋ｂ（２）と第２バンドの成分値ｂ（２）から第３バンドの成分値ｇを求める。
　このようにすれば、バンド成分値｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝を関係式で表し、その関係式を用いてバンド成分値｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝を推定できる。そして、求めたバンド成分値｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝及び｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝を用いて、第１～第５バンドの成分値｛ｂ（１），ｂ（２），ｇ，ｒ（１），ｒ（２）｝を求めることができる。
　また本実施形態では、第１～第３色は、それぞれ青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）である。マルチバンド推定部は、第１～第５バンドの成分値｛ｂ（１），ｂ（２），ｇ，ｒ（１），ｒ（２）｝を、それぞれ第１青色成分値ｂ（１）、第２青色成分値ｂ（２）、緑色成分値ｇ、第１赤色成分値ｒ（１）、第２赤色成分値ｒ（２）として求める。
　このようにすれば、例えばベイヤ配列等の既存のカメラシステムに搭載されたＲＧＢ撮像素子をそのまま利用して、５バンドのマルチバンド撮影を行うことが可能となる。なお、本実施形態では、第１～第３色はＲＧＢに限定されず、波長軸上において隣り合う透過率特性が重なり部分を有する３つのカラーフィルタに対応した色であればよい。
　２．第２のマルチバンド推定処理
　２．１．基本構成例
　次に、第２のマルチバンド推定処理について説明する。図５に、本処理における基本構成例を示す。図５に示すように、撮像光学系は、撮像素子のセンサ面に被写体を結像させる結像レンズＬＮＳと、第１瞳と第２瞳で帯域を分離する光学フィルタＦＬＴと、を含む。
　なお以下では、第１瞳を右瞳とし、第２瞳を左瞳として説明するが、本実施形態ではこれに限定されない。即ち、瞳の分離方向は左右に限定されず、撮像光学系の光軸に対して垂直な任意の方向に第１瞳と第２瞳が分離されていればよい。
　光学フィルタＦＬＴは、波長分割光｛ｂＲ，ｇ，ｒＲ｝を透過する特性の右瞳フィルタＦＬ１（広義には第１フィルタ）と、波長分割光｛ｂＬ，ｇ，ｒＬ｝を透過する特性の左瞳フィルタＦＬ２（広義には第２フィルタ）とを有する。光学フィルタＦＬＴは、撮像光学系の瞳位置（例えば絞りの設置位置）に設けられ、フィルタＦＬ１、ＦＬ２がそれぞれ右瞳、左瞳に相当する。
　図６に示すように、右瞳フィルタＦＬ１は、図２で説明した成分｛ｂ（１），ｇ，ｒ（１）｝に対応する帯域ＢＤ１、ＢＤ３、ＢＤ４を透過するフィルタである。即ち、波長分割光｛ｂＲ，ｇ，ｒＲ｝は、成分｛ｂ（１），ｇ，ｒ（１）｝に対応する透過光である。また、左瞳フィルタＦＬ２は、図２で説明した成分｛ｂ（２），ｇ，ｒ（２）｝に対応する帯域ＢＤ２、ＢＤ３、ＢＤ５を透過するフィルタである。即ち、波長分割光｛ｂＬ，ｇ，ｒＬ｝は、成分｛ｂ（２），ｇ，ｒ（２）｝に対応する透過光である。
　図５に示すように、結像レンズＬＮＳ及び光学フィルタＦＬＴを透過した結像光は、ＲＧＢベイヤ配列の撮像素子に入力され、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光強度として信号に変換されデータとして取得される。図６に示すように、右瞳を通過した波長分割光｛ｂＲ，ｇ，ｒＲ｝と、左瞳を通過した波長分割光｛ｂＬ，ｇ，ｒＬ｝は、波長帯域が明確に分離されている。一方、撮像素子のカラーフィルタの分光特性｛ＦＲ，ＦＧ，ＦＢ｝は、隣接する分光特性の波長帯域が重複した特性となっている。この重複状態を考慮すると、デモザイキング処理後の各画素における赤色、緑色、青色の画素値Ｒ、Ｇ、Ｂを、下式（１３）のようにモデル化することができる。
Ｒ＝ｇＲ＋ｒＲ Ｒ＋ｒＬ Ｒ，
Ｇ＝ｂＬ Ｇ＋ｇＧ＋ｒＲ Ｇ，
Ｂ＝ｂＲ Ｂ＋ｂＬ Ｂ＋ｇＢ　（１３）
　ここで、図７（Ｃ）に示すように、成分｛ｂＲ Ｂ，ｂＬ Ｂ，ｇＢ｝は、分光特性ＦＢの青色フィルタを通過した波長分割光｛ｂＲ，ｂＬ，ｇ｝に対応する。図７（Ｄ）に示すように、成分｛ｂＬ Ｇ，ｇＧ，ｒＲ Ｇ｝は、分光特性ＦＧの緑色フィルタを通過した波長分割光｛ｂＬ，ｇ，ｒＲ｝に対応する。また、図９（Ｄ）に示すように、成分｛ｇＲ，ｒＲ Ｒ，ｒＬ Ｒ｝は、分光特性ＦＲの赤色フィルタを通過した波長分割光｛ｇ，ｒＲ，ｒＬ｝に対応する。各成分を表す符号の上付きサフィックスは、右瞳「Ｒ」及び左瞳「Ｌ」のいずれを通過したかを表し、下付サフィックスは、赤色フィルタ「Ｒ」、緑色フィルタ「Ｇ」、青色フィルタ「Ｂ」のいずれを通過したかを表している。
　なお、｛ＦＲ，ＦＧ，ＦＢ｝、｛ｒＲ，ｇ，ｂＲ｝、｛ｒＬ，ｇ，ｂＬ｝は、いずれも波長λの関数であるが、表記を簡単にするために波長λを省略した。
　２．２．｛ｂＲ，ｂＬ，（ｇ＋ｒＲ）｝の推定処理
　次に、図７（Ａ）～図１０を用いて、画素値｛Ｒ，Ｇ，Ｂ｝から成分｛ｂＲ Ｂ，ｂＬ Ｂ，ｇＢ｝、｛ｂＬ Ｇ，ｇＧ，ｒＲ Ｇ｝、｛ｇＲ，ｒＲ Ｒ，ｒＬ Ｒ｝を推定する処理について説明する。なお以下では、波長分割光｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝に対応する帯域や成分を、適宜、同一の符号｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝で表す。
　まず上式（１３）を用いて、画素値｛Ｂ，Ｇ｝で重複している波長帯域｛ｂＬ，ｇ｝を、画素値｛Ｂ，Ｇ｝の差分に基づいて取り除き、成分ｂＲと成分［ｇ＋ｒＲ］の関係を求めることにより成分｛ｂＲ，ｂＬ，（ｇ＋ｒＲ）｝の関係式を導き出す処理を行う。
　ここで注意しなければならないのは、図７（Ａ）～図７（Ｄ）に示すように、波長帯域ｂＬに対応するのは画素値Ｂの成分ｂＬ Ｂ及び画素値Ｇの成分ｂＬ Ｇであるが、成分ｂＬ Ｂ、ｂＬ Ｇには、分光特性ＦＢ、ＦＧの相対ゲインが乗じられていることである。そのため、成分ｂＬ Ｂ、ｂＬ Ｇは、相対ゲインの分だけ異なる値であり、成分ｂＬ Ｂ、ｂＬ Ｇが等しくなるように補正する必要がある。
　図７（Ｃ）、図７（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｂＬ Ｂ＋ｇＢ）の成分比をｋＢ１とし、ｂＬ Ｇの成分比をｋＢ２とすると、下式（１４）が成り立つ。ｋＢ１／ｋＢ２は、例えば帯域ｂＬにおける分光特性ＦＢ、ＦＧのゲイン比である。
ｂＬ Ｂ＋ｇＢ＝（ｋＢ１／ｋＢ２）×ｂＬ Ｇ　（１４）
　帯域ｂＬ、ｇにおける分光特性ＦＢのゲインを考慮すると、成分ｇＢは成分ｂＬ Ｂよりも十分小さいと考えられるため、成分ｂＬ Ｂ、ｂＬ Ｇを等しくするためには、成分（ｂＬ Ｂ＋ｇＢ）と成分ｂＬ Ｇがほぼ等しくなればよい。成分（ｂＬ Ｂ＋ｇＢ）を補正した値を（ｂＬ Ｂ’＋ｇＢ’）とすると、上式（１４）を用いて下式（１５）に示す補正を行えばよい。
ｂＬ Ｂ’＋ｇＢ’≒ｂＬ Ｇ＝（ｋＢ２／ｋＢ１）×（ｂＬ Ｂ＋ｇＢ）　（１５）
　成分（ｂＬ Ｂ＋ｇＢ）は画素値Ｂに含まれるため、成分（ｂＬ Ｂ＋ｇＢ）を補正するためには、結局、画素値Ｂを補正することになる。この補正後のＢをＢ’とすると、下式（１６）の関係が得られる。
Ｂ’＝（ｋＢ２／ｋＢ１）Ｂ　（１６）
　上式（１６）より、Ｂ’の成分｛ｂＲ Ｂ’，ｂＬ Ｂ’，ｇＢ’｝は下式（１７）となる。
ｂＲ Ｂ’＝（ｋＢ２／ｋＢ１）×ｂＲ Ｂ，
ｂＬ Ｂ’＋ｇＢ’≒ｂＬ Ｇ　　　　　（１７）
　上式（１３）、（１７）より、画素値Ｂ’と画素値Ｇを成分｛ｂＲ Ｂ’，ｂＬ Ｇ，ｇＧ，ｒＲ Ｇ｝を用いて表すと、下式（１８）のようになる。
Ｂ’＝ｂＲ Ｂ’＋（ｂＬ Ｂ’＋ｇＢ’）＝ｂＲ Ｂ’＋ｂＬ Ｇ，
Ｇ　＝ｂＬ Ｇ＋（ｇＧ＋ｒＲ Ｇ）　　　　　　　　　　　（１８）
　次に、下式（１９）に示すように、補正後の画素値Ｂ’と画素値Ｇの差分を取ることにより、重複した成分ｂＬを取り除く。また上式（１８）より下式（２０）が成り立つ。
Ｂ’－Ｇ＝［ｂＲ Ｂ’＋ｂＬ Ｇ］－［ｂＬ Ｇ＋ｇＧ＋ｒＲ Ｇ］
　　　　＝ｂＲ Ｂ’－（ｇＧ＋ｒＲ Ｇ）　　　　　　　（１９）
ｂＬ Ｇ＝Ｂ’－ｂＲ Ｂ’　　　　　　　　　　　　　（２０）
　ｂＲ Ｂ’を未知数（支配変数）とすると、上式（１９）、（２０）より｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝の関係式を下式（２１）のように求められる。
ｂＲ Ｂ’＝未知数（支配変数）
ｂＬ Ｇ＝Ｂ’－ｂＲ Ｂ’
ｇＧ＋ｒＲ Ｇ＝ｂＲ Ｂ’－（Ｂ’－Ｇ）　（２１）
　｛Ｂ’，Ｇ｝は検出された既知の値であるので、上式（２１）に基づき未知数ｂＲ Ｂ’が決まれば、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝が全て決まることになる。即ち、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝の尤度パターンを特定することができる。
　図８に、この関係を原理的に表した図を示す。図８に示すように、未知数ｂＲ Ｂ’として、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小になる値を求める。即ち、下式（２２）に示す誤差の評価値ＥＢＧが最小になる場合のｂＲ Ｂ’を求め、求めたｂＲ Ｂ’を上式（２１）に代入することにより、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝の値を決定する。
ｅＢ＝（Ｂ’／２－ｂＲ Ｂ’）２＋（Ｂ’／２－ｂＬ Ｇ）２，
ｅＧ＝（Ｇ／２－ｂＬ Ｇ）２＋（Ｇ／２－（ｇＧ＋ｒＲ Ｇ））２，
ＥＢＧ＝ｅＢ＋ｅＧ　　　　　　　　　　　　　　　　　（２２）
　以上のようにして、各画素の２バンド画素値｛Ｂ’，Ｇ｝から成分｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝を推定することができる。
　２．３．｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝の推定処理
　次に、画素値｛Ｇ，Ｒ｝から成分｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝を推定する。具体的には、上式（１３）を用いて、画素値｛Ｇ，Ｒ｝で重複している波長帯域｛ｇ，ｒＲ｝を、画素値｛Ｇ，Ｒ｝の差分に基づいて取り除き、成分［ｂＬ＋ｇ］と成分ｒＬの関係を求めることにより成分｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝の関係式を導き出す処理を行う。
　図９（Ａ）～図９（Ｄ）に示すように、波長帯域ｒＲに対応するのは画素値Ｇの成分ｒＲ Ｇ及び画素値Ｒの成分ｒＲ Ｒであるが、成分ｒＲ Ｇ、ｒＲ Ｒには、分光特性ＦＧ、ＦＲの相対ゲインが乗じられている。そのため、成分ｒＲ Ｇ、ｒＲ Ｒは、相対ゲインの分だけ異なる値であり、成分ｒＲ Ｇ、ｒＲ Ｒが等しくなるように補正する必要がある。
　図９（Ｃ）、図９（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｇＲ＋ｒＲ Ｒ）の成分比をｋＲ１とし、ｒＲ Ｇの成分比をｋＲ２とすると、下式（２３）が成り立つ。ｋＲ１／ｋＲ２は、例えば帯域ｒＲにおける分光特性ＦＧ、ＦＲのゲイン比である。
ｇＲ＋ｒＲ Ｒ＝（ｋＲ２／ｋＲ１）×ｒＲ Ｇ　（２３）
　帯域ｇ、ｒＲにおける分光特性ＦＲのゲインを考慮すると、成分ｇＲは成分ｒＲ Ｒよりも十分小さいと考えられるため、成分ｒＲ Ｇ、ｒＲ Ｒを等しくするためには、成分（ｇＲ＋ｒＲ Ｒ）と成分ｒＲ Ｇがほぼ等しくなればよい。成分（ｇＲ＋ｒＲ Ｒ）を補正した値を（ｇＲ’＋ｒＲ Ｒ’）とすると、上式（２３）を用いて下式（２４）に示す補正を行えばよい。
ｇＲ’＋ｒＲ Ｒ’≒ｒＲ Ｇ＝（ｋＲ２／ｋＲ１）×（ｇＲ＋ｒＲ Ｒ）　（２４）
　成分（ｇＲ＋ｒＲ Ｒ）は画素値Ｒに含まれるため、成分（ｇＲ＋ｒＲ Ｒ）を補正するためには、結局、画素値Ｒを補正することになる。この補正後のＲをＲ’とすると、下式（２５）の関係が得られる。
Ｒ’＝（ｋＲ２／ｋＲ１）Ｒ　（２５）
　上式（２５）より、Ｒ’の成分｛ｇＲ’，ｒＲ Ｒ’，ｒＬ Ｒ’｝は下式（２６）となる。
ｇＲ’＋ｒＲ Ｒ’≒ｒＲ Ｇ，
ｒＬ Ｒ’＝（ｋＲ２／ｋＲ１）×ｒＬ Ｒ　（２６）
　上式（１３）、（２６）より、画素値Ｇと画素値Ｒ’を成分｛ｂＬ Ｇ，ｇＧ，ｒＲ Ｇ，ｒＬ Ｒ’｝を用いて表すと、下式（２７）のようになる。
Ｇ　＝ｂＬ Ｇ＋（ｇＧ＋ｒＲ Ｇ），
Ｒ’＝（ｇＲ’＋ｒＲ Ｒ’）＋ｒＬ Ｒ’＝ｒＲ Ｇ＋ｒＬ Ｒ’　（２７）
　次に、下式（２８）に示すように、画素値Ｇと補正後の画素値Ｒ’の差分を取ることにより、重複した成分ｒＲを取り除く。また上式（２７）より下式（２９）が成り立つ。
Ｇ－Ｒ’＝［ｂＬ Ｇ＋ｇＧ＋ｒＲ Ｇ）］－［ｒＲ Ｇ＋ｒＬ Ｒ’］
　　　　＝（ｂＬ Ｇ＋ｇＧ）－ｒＬ Ｒ’　　　　　　　　　（２８）
ｒＲ Ｇ＝Ｒ’－ｒＬ Ｒ’　　　　　　　　　　　　　　　（２９）
　ｒＬ Ｒ’を未知数（支配変数）とすると、上式（２８）、（２９）より｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝の関係式を下式（３０）のように求められる。
ｒＬ Ｒ’＝未知数（支配変数），
ｒＲ Ｇ＝Ｒ’－ｒＬ Ｒ’ ，
ｂＬ Ｇ＋ｇＧ＝ｒＬ Ｒ’＋（Ｇ－Ｒ’）　（３０）
　｛Ｇ，Ｒ’｝は検出された既知の値であるので、上式（３０）に基づき未知数ｒＬ Ｒ’が決まれば、｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝が全て決まることになる。即ち、｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝の尤度パターンを特定することができる。
　図１０に、この関係を原理的に表した図を示す。図１０に示すように、未知数ｒＬ Ｒ’として、｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小になる値を未知数ｒＬ Ｒ’として求める。即ち、下式（３１）に示す誤差の評価値ＥＧＲが最小になる場合のｒＬ Ｒ’を求め、求めたｒＬ Ｒ’を上式（３０）に代入することにより、｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝の値を決定する。
ｅＧ＝（Ｇ／２－（ｂＬ Ｇ＋ｇＧ））２＋（Ｇ／２－ｒＲ Ｇ）２，
ｅＧ＝（Ｒ’／２－ｒＲ Ｇ）２＋（Ｒ’／２－（ｒＬ Ｒ’））２，
ＥＧＲ＝ｅＧ＋ｅＲ　　　　　　　　　　　　　　　　　　（３１）
　以上のようにして、各画素の２バンド画素値｛Ｇ，Ｒ’｝から成分｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝を推定することができる。
　なお、上式（２２）、（３１）では画素値｛Ｂ’，Ｇ｝、｛Ｇ，Ｒ’｝に対して係数１／２を掛けて評価値を算出したが、係数は１／２に限定されない。第１のマルチバンド推定処理で説明（例えば上式（１０））したように、係数は０より大きく１以下（その値を含む）であればよい。
　また、評価値ＥＢＧ、ＥＧＲの算出手法は上記手法に限定されず、種々の方法が考えられることは言うまでもない。例えば、評価値ＥＢＧを例にとれば、予め対象とする被写体（例えば、自然被写体あるいは医療用の生体内被写体など）を多数撮像し、取得された｛Ｒ，Ｇ，Ｂ｝により得られる｛Ｂ’，Ｇ｝から、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝の値の生起パターンを上記のようにして求める。そして、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝の生起パターンの確率分布において、局所的に生起確率が高いピークを示すパターンか、または部分的な確率分布領域を設定し、その中のパターン群の平均パターンを示すパターン｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝を代表パターンとして定める。このようにして、予め定めた複数の代表パターンを設定しておく。そして、改めて（実際の撮影で）取得された｛Ｂ，Ｇ｝から推定を行う際には、取得された｛Ｂ，Ｇ｝から上記のように｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝を計算し、その計算により求めた｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝と、予め設定した代表パターンとのユークリッド距離を評価値として求める。予め設定された代表パターンのうち最もユークリッド距離が小さい、即ち最も類似する代表パターンを推定パターンとし、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝の値として特定してもよい。なお、予め代表パターンを設定する際に、対象被写体の｛Ｂ’，Ｇ｝の生起パターンから｛Ｂ’，Ｇ｝の代表パターンを求めてもよい。そして、実際に撮影した｛Ｂ’，Ｇ｝から推定する際に、撮影で取得した｛Ｂ’，Ｇ｝と、代表パターンとのユークリッド距離を評価値として求め、評価値の最も小さい｛Ｂ’，Ｇ｝の代表パターンに対して上記の推定処理を行い、最終的な推定パターン｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝を特定してもよい。
　２．４．成分値の算出処理
　次に、上記で求めた値｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝、｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝を用いて、画素値Ｂを構成する成分｛ｂＲ Ｂ，ｂＬ Ｂ｝の値、画素値Ｇを構成する成分｛ｂＬ Ｇ，ｇＧ，ｒＲ Ｇ｝の値、画素値Ｒを構成する成分｛ｒＲ Ｒ，ｒＬ Ｒ｝の値を算出する。
　上式（１７）、（２６）より、ｂＲ Ｂ，ｒＬ Ｒは、下式（３２）により求められる。
ｂＲ Ｂ＝（ｋＢ１／ｋＢ２）×ｂＲ Ｂ’ ，
ｒＬ Ｒ＝（ｋＲ１／ｋＲ２）×ｒＬ Ｒ’　　（３２）
　ｇＢ≪ｂＲ Ｂ，ｇＲ≪ｒＬ Ｒであることを用いて、上式（１３）より、ｂＬ Ｂ，ｒＲ Ｒは、下式（３３）により求められる。
ｂＬ Ｂ＝Ｂ－（ｂＲ Ｂ＋ｇＢ）≒Ｂ－ｂＲ Ｂ，
ｒＲ Ｒ＝Ｒ－（ｒＬ Ｒ＋ｇＲ）≒Ｒ－ｒＬ Ｒ　（３３）
　上式（１３）より、ｂＬ Ｇ，ｒＲ Ｇは、下式（３４）により求められる。
ｂＬ Ｇ＝Ｇ－（ｇＧ＋ｒＲ Ｇ），
ｒＲ Ｇ＝Ｇ－（ｇＧ＋ｂＬ Ｇ）　（３４）
　上式（１３）、（３４）より、ｇＧは、下式（３５）により求められる。
ｇＧ＝Ｇ－（ｂＬ Ｇ＋ｒＲ Ｇ）　（３５）
　２．５．マルチバンド画像の取得処理
　図５に示すように、光学フィルタＦＬＴの透過光を撮像することで、右瞳を通過した被写体像ＩＲと、左瞳を通過した被写体像ＩＬが得られる。図５では、撮像素子のセンサ面がデフォーカス位置ＰＤにある場合を例に、ＩＲ、ＩＬを図示しており、ｈは水平方向（広義には瞳の分離方向）に沿った軸である。像ＩＲのＲ、Ｇ、Ｂ成分は、それぞれ（ｒＲ Ｒ，ｇＲ）、（ｇＧ，ｒＲ Ｇ）、（ｂＲ Ｂ，ｇＢ）であり、像ＩＬのＲ、Ｇ、Ｂ成分は、それぞれ（ｒＬ Ｒ，ｇＲ）、（ｇＧ，ｒＬ Ｇ）、（ｂＬ Ｂ，ｇＢ）である。
　撮像素子のセンサ面がフォーカス位置ＰＦにあるフォーカス時では、像ＩＲ、ＩＬのずれは無くなる。即ち、同一画素におけるｒＲ ＲとｒＬ Ｒ、ｒＲ ＧとｂＬ Ｇ、ｂＲ ＢとｂＬ Ｂ、ｇＧは、全て被写体の同一微小領域からの反射光の色光を表している。即ち、結像時の撮像素子の任意の画素のＲ、Ｇ、Ｂ値から、下式（３６）に示す５バンド｛Ｒ１，Ｒ２，Ｇ，Ｂ１，Ｂ２｝の色画像（マルチバンド画像）を得ることができる。
Ｒ１＝ｒＲ Ｒ，Ｒ２＝ｒＬ Ｒ，Ｇ＝ｒＲ Ｇ＋ｇＧ＋ｂＬ Ｇ，Ｂ１＝ｂＲ Ｂ，Ｂ２＝ｂＬ Ｂ
　（３６）
　以上の実施形態によれば、図７（Ａ）～図７（Ｆ）で説明したように、マルチバンド推定部は、第１、第２色フィルタの透過率特性ＦＢ、ＦＧに基づいて、第１色の画素値Ｂと第２色の画素値Ｇとの間の相対的なゲイン比ｋＢ１／ｋＢ２を補正し、補正後の第１、第２色の画素値Ｂ’、Ｇを用いて第１～第５バンドの成分値を推定する。
　より具体的には、上式（１４）～（１７）で説明したように、マルチバンド推定部は、第２バンド（ｂＬ）での第２色フィルタ（ＦＧ）の透過率ｋＢ２と、第２バンド（ｂＬ）での第１色フィルタ（ＦＢ）の透過率ｋＢ１との比ｋＢ１／ｋＢ２を、第１色の画素値Ｂに乗じて、ゲイン比を補正する。
　撮像素子のカラーフィルタでは、一般的に色に依って透過率特性が異なるため、色に依ってゲインが異なっている。本実施形態によれば、透過率特性の重なり部分に対応するバンドが存在するため、そのバンドにおける相対的なゲイン比ｋＢ１／ｋＢ２を求めることができ、そのゲイン比を用いて、色に依って異なるゲインを補正できる。
　また本実施形態では、図５で説明したように、撮像素子（撮像素子のセンサ面）には、撮像光学系の瞳を第１瞳（例えば右瞳）と第２瞳（左瞳）に分割する光学フィルタＦＬＴを透過した光が結像される。図６で説明したように、第１瞳（第１瞳フィルタＦＬ１）は、第１、第２バンドの一方ｂＲ＝ｂ（１）と、第３バンドｇと、第４、第５バンドの一方ｒＲ＝ｒ（１）とを透過する。第２瞳（第２瞳フィルタＦＬ２）は、第１、第２バンドの他方ｂＬ＝ｂ（２）と、第３バンドｇと、第４、第５バンドの他方ｒＬ＝ｒ（２）とを透過する。マルチバンド推定部は、第１瞳及び第２瞳の透過光が撮像された画像に基づいて、第１～第５バンドの成分値を推定する。
　このようにすれば、第１瞳、第２瞳に対応するバンド成分値を、それぞれ求めることができる。これにより、瞳分割を利用した種々の応用処理が可能となる。また、第１瞳、第２瞳にそれぞれＲＧＢ成分が含まれるため、撮像画像のピンぼけ領域においても色ずれが生じにくい。なお、上記の実施形態では、ｂ（１）、ｒ（１）が第１瞳に割り当てられる場合を例に説明したが、本実施形態ではこれに限定されず、ｂ（１）、ｂ（２）のいずれが第１瞳に割り当てられてもよいし、ｒ（１）、ｒ（２）のいずれが第１瞳に割り当てられてもよい。
　また本実施形態では、上式（３２）～（３５）に示すように、マルチバンド推定部は、青色の画素値Ｂを構成する第１、第２バンドの成分値｛ｂＲ Ｂ，ｂＬ Ｂ｝を、それぞれ第１、第２青色成分値として求め、緑色の画素値Ｇを構成する第２～第４バンドの成分値｛ｂＬ Ｇ，ｇＧ，ｒＲ Ｇ｝を、それぞれ第１～第３緑色成分値として求め、赤色の画素値Ｒを構成する第４、第５バンドの成分値｛ｒＲ Ｒ，ｒＬ Ｒ｝を、それぞれ第１、第２赤色成分値として求める。
　より具体的には、上式（３６）で説明したように、マルチバンド推定部は、第１、第２青色成分値Ｂ１＝ｂＲ Ｂ、Ｂ２＝ｂＬ Ｂと、第１～第３緑色成分値｛ｂＬ Ｇ，ｇＧ，ｒＲ Ｇ｝の加算値である緑色成分値Ｇと、第１、第２赤色成分値Ｒ１＝ｒＲ Ｒ、Ｒ２＝ｒＬ Ｒとで、５バンドの成分値を構成する。
　このようにすれば、第１～第５バンドの成分値を、第１瞳の通過光に対応する成分値Ｂ１＝ｂＲ Ｂ、Ｇ、Ｒ１＝ｒＲ Ｒと、第２瞳の通過光に対応する成分値Ｂ２＝ｂＬ Ｂ、Ｇ、Ｒ２＝ｒＬ Ｒとに分離して求めることができる。なお、緑色成分値Ｇの構成手法は、上記に限定されず、例えば各瞳の緑色成分値を分離して構成してもよい。
　３．第３のマルチバンド推定処理
　３．１．候補発生による推定処理
　次に、第３のマルチバンド推定処理について説明する。
　図１１に示すように、ゲイン補正を行った５バンドの成分の関係式を第２のマルチバンド推定処理と同様にして求める。下記に、第２のマルチバンド推定処理で説明した式（２１）、（３０）を再掲する。
ｂＲ Ｂ’＝未知数（支配変数），
ｂＬ Ｇ＝Ｂ’－ｂＲ Ｂ’ ，
ｇＧ＋ｒＲ Ｇ＝ｂＲ Ｂ’－（Ｂ’－Ｇ）　（２１）
ｒＬ Ｒ’＝未知数（支配変数），
ｒＲ Ｇ＝Ｒ’－ｒＬ Ｒ’ ，
ｂＬ Ｇ＋ｇＧ＝ｒＬ Ｒ’＋（Ｇ－Ｒ’）　（３０）
　ｂＲ Ｂ’、ｒＬ Ｒ’は、検出されるはずの分割帯域成分ｂＲ Ｂ、ｒＬ Ｒの補正値であり、第２のマルチバンド推定処理で説明した式（１７）、（２６）より、下式（３７）で表される。
ｂＲ Ｂ’＝（ｋＢ２／ｋＢ１）×ｂＲ Ｂ，
ｒＬ Ｒ’＝（ｋＲ２／ｋＲ１）×ｒＬ Ｒ　（３７）
　さて、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝及び｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝のそれぞれのパターンの成分値は、正の値であってかつ取り得る値の範囲に制限があることに注目する。
　具体的には、撮像画像として取得する補正前の３原色画素値を、Ｂ（青）、Ｇ（緑）、Ｒ（赤）とし、センサ飽和値以下に設定される最大値の量子化ステップ数をＮ（Ｎは自然数）とする。例えば、８ビット画像として扱うときは、Ｎ＝２５６である。このとき、画素値Ｒ、Ｇ、Ｂは下式（３８）の範囲を取り得る。
０≦Ｂ＜Ｎ，０≦Ｇ＜Ｎ，０≦Ｒ＜Ｎ　（３８）
　なお、Ｒ、Ｇ、Ｂの量子化ステップ数は一般的に同一とすると扱いやすいので共通のＮ値としているが、意図的に各色ごとに量子化ステップ数を異ならせても構わない。
　Ｂ及びＲの補正前の検出成分は｛ｂＲ Ｂ，ｂＬ Ｂ｝、｛ｒＲ Ｒ，ｒＬ Ｒ｝であり、それぞれ２成分を加算した値が、Ｂ及びＲになると定義しているので、下式（３９）が成り立つ。
０≦Ｂ（＝ｂＲ Ｂ＋ｂＬ Ｂ）＜Ｎ，０≦Ｒ（＝ｒＲ Ｒ＋ｒＬ Ｒ）＜Ｎ　（３９）
　ｂＲ ＢとｂＬ Ｂが独立した変数であり、ｒＬ ＲとｒＲ Ｒが独立した変数であると仮定すれば、ｂＲ Ｂ、ｒＬ Ｒは下式（４０）の範囲を取り得る。
０≦ｂＲ Ｂ＜Ｎ，０≦ｒＬ Ｒ＜Ｎ　（４０）
　上式（３７）、（４０）より、ｂＲ Ｂ’、ｒＬ Ｒ’は下式（４１）の範囲を取り得る。
０≦ｂＲ Ｂ’＜Ｎ×（ｋＢ２／ｋＢ１），
０≦ｒＬ Ｒ’＜Ｎ×（ｋＲ２／ｋＲ１）　（４１）
　また、Ｇの検出成分は｛ｂＬ Ｇ，ｇＧ，ｒＲ Ｇ｝であり、これら３成分を加算した値が、Ｇになると定義しているので、下式（４２）が成り立つ。
０≦Ｇ（＝ｂＬ Ｇ＋ｇＧ＋ｒＲ Ｇ）＜Ｎ　（４２）
　ｂＬ Ｇ、ｇＧ、ｒＲ Ｇが独立した変数であると仮定すれば、ｂＬ Ｇ、ｇＧ、ｒＲ Ｇは下式（４３）の範囲を取り得る。
０≦ｂＬ Ｇ＜Ｎ，０≦ｇＧ＜Ｎ，０≦ｒＲ Ｇ＜Ｎ　（４３）
　上式（４３）より、（ｇＧ＋ｒＲ Ｇ）及び（ｂＬ Ｇ＋ｇＧ）は、下式（４４）の範囲を取り得る。
０≦（ｇＧ＋ｒＲ Ｇ）＜２Ｎ，０≦（ｂＬ Ｇ＋ｇＧ）＜２Ｎ　（４４）
　上式（４１）、（４３）、（４４）の制限条件を、上式（２１）、（３０）の関係式に適用すると、｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝及び｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝のパターンの推定候補は限定されることになる。
　即ち、上式（４１）に示す０≦ｂＲ Ｂ’＜Ｎ×（ｋＢ２／ｋＢ１）の範囲内の各値を、未知数ｂＲ Ｂ’の候補として発生する。各候補を上式（２１）に代入し、既知の画素値｛Ｂ，Ｇ｝を用いて｛ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝を求める。各候補から求めた｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝のうち、上式（４３）、（４４）の条件を満たすもののみを残す。同様に、上式（３０）についても候補の発生を行い、条件を満たす｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝のみを残す。条件を満たす候補は、複数存在する可能性がある。候補が複数残った場合には、例えばそれらの平均値を最終的な値として決定すればよい。
　３．２．ルックアップテーブルを用いた推定処理
　次に、第３のマルチバンド推定処理の変形例について説明する。
　図１２に示すように、上式（３８）の定義域を満たす｛Ｒ，Ｇ，Ｂ｝の全ての組み合わせを発生させる。｛Ｒ，Ｇ，Ｂ｝の各組み合わせについて、上式（４１）の定義域を満たす未知数ｂＲ Ｂ’、ｒＬ Ｒ’の候補を発生させる。そして、上式（４３）、（４４）の制限条件を満たす推定値｛ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝及び｛ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝を残す。このようにして得られる推定パターン｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝及び｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝をテーブル化し、図１２に示すような尤度パターン決定テーブルを予め作成しておく。
　マルチバンド推定を行う際には、撮像画像の画素値｛Ｒ，Ｇ，Ｂ｝をテーブルから検索して推定パターン｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝、｛ｒＬ Ｒ’，ｒＲ Ｇ，（ｂＬ Ｇ＋ｇＧ）｝を決定する。そして、その推定パターンから、画素値Ｂを構成する成分｛ｂＲ Ｂ，ｂＬ Ｂ｝の値、画素値Ｇを構成する成分｛ｂＬ Ｇ，ｇＧ，ｒＲ Ｇ｝の値、画素値Ｒを構成する成分｛ｒＲ Ｒ，ｒＬ Ｒ｝の値を、最終的に算出する。
　なお、図１３に示すように、制限条件を満たす推定パターンのうち、｛Ｒ，Ｇ，Ｂ｝の同一組み合わせパターンから得られる推定パターンは単一とは限らず、複数得られる場合がある。この場合、それら推定パターンの平均をとって尤度パターンとし、予めテーブルを作成しておけばよい。
　ここで、上記では定義域に基づく制限条件を用いてテーブルを作成したが、本実施形態のテーブル作成手法はこれに限定されない。例えば、撮像対象となる画像（例えばデジタルカメラの場合は自然画像、内視鏡の場合は生体内画像など）を母集団とする。そして、母集団の統計的な関係に基づいて、画素値｛Ｒ，Ｇ，Ｂ｝に対して最も発生確率が高い尤度パターン｛ｂＲ Ｂ’，ｂＬ Ｇ，ｒＲ Ｇ，ｒＬ Ｒ’，（ｇＧ＋ｒＲ Ｇ），（ｂＬ Ｇ＋ｇＧ）｝の対応テーブルを、予め作成しておいて参照テーブルとしてもよい。
　以上の実施形態によれば、図１２又は図１３で説明したように、マルチバンド推定部は、第１バンドの成分値ｂＲ Ｂ’を未知数として関係式（上式（２１））を求め、未知数ｂＲ Ｂ’の候補として、複数の候補値を生成する。マルチバンド推定部は、その複数の候補値の中から、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３８））に基づく選択条件を満たす候補値を、関係式（上式（２１））に基づいて選択する。そして、マルチバンド推定部は、選択した候補値に基づいて、第１バンドの成分値と、第２バンドの成分値と、第１加算値と｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝を求める。
　具体的には、選択条件は、関係式（上式（２１））に候補値を代入して求めた第１バンドの成分値と、第２バンドの成分値と、第１加算値と｛ｂＲ Ｂ’，ｂＬ Ｇ，（ｇＧ＋ｒＲ Ｇ）｝が、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３８））に矛盾しないという条件（上式（４１）、（４３）、（４４））である。
　より具体的には、マルチバンド推定部は、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３８））に基づいて第１バンドの成分値ｂＲ Ｂ’が取り得る範囲内の値（上式（４１））を、複数の候補値として生成する。
　このようにすれば、候補値を関係式に代入して求めたバンドの成分値が、画素値の定義域に基づいて存在し得ないと判断された場合に、その候補値を除外し、画素値の定義域に矛盾しない候補値に基づいて最終的な推定値を決定できる。
　４．撮像装置、画像処理装置
　図１４に、本実施形態のマルチバンド推定処理を行う撮像装置の構成例を示す。図１４の撮像装置は、結像レンズＬＮＳ、光学フィルタＦＬＴ、撮像素子１０、撮像処理部２０、画像処理装置２５（画像処理部）、モニタ表示部４０を含む。画像処理装置２５は、ＲＧＢ画像生成部３０、ＲＧＢフィルタ特性データ記録部５０、領域選択部６０、マルチバンド推定部７０、マルチバンドデータ記録部８０、データ圧縮部９０、ＲＧＢデータ記録部１００を含む。
　撮像素子１０は、結像レンズＬＮＳ及び光学フィルタＦＬＴによって結像された被写体を撮像する。光学フィルタＦＬＴは、図５で説明したように右瞳と左瞳の透過帯域が異なる。撮像処理部２０は、撮像素子１０による撮像動作の制御や、アナログの画素信号をＡ／Ｄ変換する処理などを行う。
　ＲＧＢ画像生成部３０は、撮像により得られたＲＧＢベイヤ画像のデモザイキング処理や、高画質化処理などを行い、ＲＧＢ３板画像（画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ））を出力する。ｉ，ｊは、自然数であり、それぞれ画像の水平走査方向、垂直走査方向における位置（座標）を表す。モニタ表示部４０は、ＲＧＢ３板画像をモニタ（表示装置）に表示する。
　ＲＧＢフィルタ特性データ記録部５０は、撮像素子１０がもつカラーフィルタの透過率特性（分光特性）ＦＲ（λ）、ＦＧ（λ）、ＦＢ（λ）のデータを記憶しており、そのデータをマルチバンド推定部７０に出力する。但し、撮像されるＲＧＢ成分は、厳密にはカラーフィルタのみならず撮像素子１０の分光感度特性や、結像レンズＬＮＳの分光特性によって決まるものである。上記ではカラーフィルタの透過率特性がＲＧＢフィルタ特性であるものとして説明したが、本実施形態では、当然、撮像素子１０や結像レンズＬＮＳの分光特性を含んだ特性データをＲＧＢフィルタ特性データとして定義している。領域選択部６０は、図示しないユーザインターフェースを介してユーザが選択した領域の画像を、ＲＧＢ３板画像から抽出し、その抽出した画像をマルチバンド推定部７０に出力する。
　マルチバンド推定部７０は、ユーザが選択した領域の画像に対して本実施形態のマルチバンド推定処理を行い、５バンドのマルチバンド画像（成分値Ｒ１（ｉ，ｊ）、Ｒ２（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ１（ｉ，ｊ）、Ｂ２（ｉ，ｊ）、図１４では簡単のため（ｉ，ｊ）を省略する）を出力する。なお、領域選択を行わず、ＲＧＢ３板画像の全体に対してマルチバンド推定処理を行ってもよい。マルチバンドデータ記録部８０は、マルチバンド画像のデータを記録する。
　データ圧縮部９０は、ＲＧＢ３板画像のデータに対して圧縮処理を行う。ＲＧＢデータ記録部１００は、圧縮されたＲＧＢ３板画像データと、カラーフィルタの透過率特性データとを記録する。これらの記録データは、撮影後の事後処理においてマルチバンド推定処理に用いることが可能である。事後処理は、撮像装置の中の画像処理装置２５で行ってもよいし、撮像装置と別体に構成された画像処理装置で行ってもよい。
　図１５に、撮像装置と別体に構成された画像処理装置の構成例を示す。図１５の画像処理装置は、データ記録部２００、データ伸張部２１０、伸張データ記憶部２２０、モニタ画像生成部２３０、モニタ画像表示部２４０、画像データ選択部２５０、選択フレーム記憶部２６０、マルチバンド推定部２７０、マルチバンド処理部２８０を含む。この画像処理装置としては、例えばＰＣ等の情報処理装置が想定される。
　データ記録部２００は、例えば外部記憶装置（例えばメモリカード）により構成され、撮像装置により記録されたＲＧＢ３板画像データ及び透過率特性データを記憶している。データ伸張部２１０は、撮像装置により圧縮されたＲＧＢ３板画像データを伸張する処理を行う。伸張データ記憶部２２０は、伸張されたＲＧＢ３板画像データを記憶する。
　モニタ画像生成部２３０は、ＲＧＢ３板画像データからモニタ表示用の画像を生成する。モニタ表示部２４０は、そのモニタ表示用の画像をモニタに表示する。画像データ選択部２５０は、図示しないユーザインターフェースを介してユーザ（操作者）が選択したフレームのＩＤを、伸張データ記憶部２２０に出力する。伸張データ記憶部２２０は、複数のＲＧＢ３板画像（複数の静止画像、又は動画像）の中から、選択フレームの画像を出力する。選択フレーム記憶部２６０は、選択フレームの画像を記憶する。
　マルチバンド推定部２７０は、選択フレームの画像（画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ））と、カラーフィルタの透過率特性ＦＲ（λ）、ＦＧ（λ）、ＦＢ（λ）とに基づいて、マルチバンド画像ＩＲ（ｉ，ｊ）、ＩＬ（ｉ，ｊ）を推定する処理を行う。ＩＲ（ｉ，ｊ）、ＩＬ（ｉ，ｊ）は、それぞれ右瞳、左瞳を通過した被写体像に対応する。マルチバンド処理部２８０は、マルチバンド画像ＩＲ（ｉ，ｊ）、ＩＬ（ｉ，ｊ）を用いて種々の応用処理を行う。マルチバンド処理部２８０では、瞳の分離やマルチバンドの色成分などの多次元の情報を利用して、多様な処理を実現可能である。
　なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またマルチバンド推定部、画像処理装置、撮像光学系、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
１０　撮像素子、２０　撮像処理部、２５　画像処理装置、
３０　ＲＧＢ画像生成部、４０　モニタ表示部、
５０　ＲＧＢフィルタ特性データ記録部、６０　領域選択部、
７０　マルチバンド推定部、８０　マルチバンドデータ記録部、
９０　データ圧縮部、１００　ＲＧＢデータ記録部、
２００　データ記録部、２１０　データ伸張部、
２２０　伸張データ記憶部、２３０　モニタ画像生成部、
２４０　モニタ画像表示部、２５０　画像データ選択部、
２６０　選択フレーム記憶部、２７０　マルチバンド推定部、
２８０　マルチバンド処理部、
Ｂ，Ｇ，Ｒ　画素値、ＢＤ１～ＢＤ５　第１～第５バンド、
ＦＢ，ＦＧ，ＦＲ　第１～第３透過率特性、ＦＬ１　右瞳フィルタ、
ＦＬ２　左瞳フィルタ、ＦＬＴ　光学フィルタ、
ＩＬ，ＩＲ　被写体像、ＬＮＳ　結像レンズ、
ＰＤ　デフォーカス位置、ＰＦ　フォーカス位置、
ｂ（１），ｂ（２）　第１、第２青色成分値、
ｇ　緑色成分値、ｒ（１），ｒ（２）　第１、第２赤色成分値、
ｋＢ１／ｋＢ２　ゲイン比、λ　波長

Claims (16)

  1. 　第１透過率特性を有する第１色フィルタと第２透過率特性を有する第２色フィルタと第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得する画像取得部と、
    　前記第１透過率特性の非重なり部分に対応する第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する第２バンドと、前記第２透過率特性の非重なり部分に対応する第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する第４バンドと、前記第３透過率特性の非重なり部分に対応する第５バンドとを設定し、前記画像を構成する第１～第３色の画素値に基づいて前記第１～第５バンドの成分値を推定するマルチバンド推定部と、
    　を含むことを特徴とする画像処理装置。
  2. 　請求項１において、
    　前記マルチバンド推定部は、
    　前記第１、第２バンドの成分値を加算した値である前記第１色の画素値と、前記第２～第４バンドの成分値を加算した値である前記第２色の画素値とに基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第３、第４バンドの成分値を加算した値である第１加算値との間の関係式を求め、
    　前記関係式に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを推定することを特徴とする画像処理装置。
  3. 　請求項２において、
    　前記マルチバンド推定部は、
    　前記第１バンドの成分値を未知数として前記関係式を求め、
    　前記関係式で表した前記第１、第２バンドの成分値及び前記第１加算値と、前記第１、第２色の画素値との間の誤差を表す誤差評価値を求め、
    　前記誤差評価値を最小にする前記未知数を決定し、
    　決定した前記未知数及び前記関係式に基づいて、前記第１、第２バンドの成分値及び前記第１加算値を決定することを特徴とする画像処理装置。
  4. 　請求項２において、
    　前記マルチバンド推定部は、
    　前記第２～第４バンドの成分値を加算した値である前記第２色の画素値と、前記第４、第５バンドの成分値を加算した値である前記第３色の画素値とに基づいて、前記第２、第３バンドの成分値を加算した値である前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値との間の関係式を求め、
    　前記関係式に基づいて、前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値とを推定し、
    　前記第１加算値と前記第４バンドの成分値から、又は前記第２加算値と前記第２バンドの成分値から前記第３バンドの成分値を求めることを特徴とする画像処理装置。
  5. 　請求項２において、
    　前記マルチバンド推定部は、
    　前記第１バンドの成分値を未知数として前記関係式を求め、
    　前記未知数の候補として、複数の候補値を生成し、
    　前記複数の候補値の中から、前記第１、第２色の画素値の定義域に基づく選択条件を満たす候補値を、前記関係式に基づいて選択し、
    　選択した前記候補値に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを求めることを特徴とする画像処理装置。
  6. 　請求項５において、
    　前記選択条件は、
    　前記関係式に前記候補値を代入して求めた前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とが、前記第１、第２色の画素値の定義域に矛盾しないという条件であることを特徴とする画像処理装置。
  7. 　請求項５において、
    　前記マルチバンド推定部は、
    　前記第１、第２色の画素値の前記定義域に基づいて前記第１バンドの成分値が取り得る範囲内の値を、前記複数の候補値として生成することを特徴とする画像処理装置。
  8. 　請求項１において、
    　前記マルチバンド推定部は、
    　前記第１、第２色フィルタの透過率特性に基づいて、前記第１色の画素値と前第２色の画素値との間の相対的なゲイン比を補正し、補正後の前記第１、第２色の画素値を用いて前記第１～第５バンドの成分値を推定することを特徴とする画像処理装置。
  9. 　請求項８において、
    　前記マルチバンド推定部は、
    　前記第２バンドでの前記第２色フィルタの透過率と、前記第２バンドでの前記第１色フィルタの透過率との比を、前記第１色の画素値に乗じて、前記ゲイン比を補正することを特徴とする画像処理装置。
  10. 　請求項１において、
    　前記第１～第３色は、それぞれ青色、緑色、赤色であり、
    　前記マルチバンド推定部は、
    　前記第１～第５バンドの成分値を、それぞれ第１青色成分値、第２青色成分値、緑色成分値、第１赤色成分値、第２赤色成分値として求めることを特徴とする画像処理装置。
  11. 　請求項１において、
    　前記撮像素子には、撮像光学系の瞳を第１瞳と第２瞳に分割する光学フィルタを透過した光が結像され、
    　前記第１瞳は、前記第１、第２バンドの一方と、前記第３バンドと、前記第４、第５バンドの一方とを透過し、
    　前記第２瞳は、前記第１、第２バンドの他方と、前記第３バンドと、前記第４、第５バンドの他方とを透過し、
    　前記マルチバンド推定部は、
    　前記第１瞳及び前記第２瞳の透過光が撮像された前記画像に基づいて、前記第１～第５バンドの成分値を推定することを特徴とする画像処理装置。
  12. 　請求項１１において、
    　前記第１～第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、
    　前記マルチバンド推定部は、
    　前記青色の画素値を構成する前記第１、第２バンドの成分値を、それぞれ第１、第２青色成分値として求め、前記緑色の画素値を構成する前記第２～第４バンドの成分値を、それぞれ第１～第３緑色成分値として求め、前記赤色の画素値を構成する前記第４、第５バンドの成分値を、それぞれ第１、第２赤色成分値として求めることを特徴とする画像処理装置。
  13. 　請求項１２において、
    　前記マルチバンド推定部は、
    　前記第１青色成分値と、前記第２青色成分値と、前記第１～第３緑色成分値の加算値である緑色成分値と、前記第１赤色成分値と、前記第２赤色成分値とで、５バンドの成分値を構成することを特徴とする画像処理装置。
  14. 　請求項１乃至１３のいずれかに記載された画像処理装置と、
    　前記撮像素子と、
    　を含むことを特徴とする撮像装置。
  15. 　請求項１１乃至１３のいずれかに記載された画像処理装置と、
    　前記撮像素子と、
    　前記光学フィルタが設けられた前記撮像光学系と、
    　を含むことを特徴とする撮像装置。
  16. 　第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得し、
    　前記第１透過率特性の非重なり部分に対応する第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する第２バンドと、前記第２透過率特性の非重なり部分に対応する第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する第４バンドと、前記第３透過率特性の非重なり部分に対応する第５バンドとを設定し、
    　前記画像を構成する第１～第３色の画素値に基づいて前記第１～第５バンドの成分値を推定することを特徴とする画像処理方法。
PCT/JP2013/051483 2012-01-27 2013-01-24 画像処理装置、撮像装置及び画像処理方法 WO2013111824A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-015512 2012-01-27
JP2012015512A JP2013157729A (ja) 2012-01-27 2012-01-27 画像処理装置、撮像装置及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2013111824A1 true WO2013111824A1 (ja) 2013-08-01

Family

ID=48873536

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/051483 WO2013111824A1 (ja) 2012-01-27 2013-01-24 画像処理装置、撮像装置及び画像処理方法

Country Status (2)

Country Link
JP (1) JP2013157729A (ja)
WO (1) WO2013111824A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018098641A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、プログラム、および電子機器
KR102350164B1 (ko) * 2021-07-15 2022-01-17 이규동 멀티스펙트럴 이미징 변환 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281513A (ja) * 2001-03-19 2002-09-27 Fuji Photo Film Co Ltd 画像撮影方法およびスペクトル画像取得装置およびプログラム
JP2008042482A (ja) * 2006-08-04 2008-02-21 Sony Corp カラーフィルタ、画像処理装置および画像処理方法、撮像装置および撮像方法、プログラム、並びに、記録媒体
JP2010010958A (ja) * 2008-06-25 2010-01-14 Olympus Corp マルチバンド画像撮像方法および装置
JP2010021791A (ja) * 2008-07-10 2010-01-28 Canon Inc 撮像装置、その画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281513A (ja) * 2001-03-19 2002-09-27 Fuji Photo Film Co Ltd 画像撮影方法およびスペクトル画像取得装置およびプログラム
JP2008042482A (ja) * 2006-08-04 2008-02-21 Sony Corp カラーフィルタ、画像処理装置および画像処理方法、撮像装置および撮像方法、プログラム、並びに、記録媒体
JP2010010958A (ja) * 2008-06-25 2010-01-14 Olympus Corp マルチバンド画像撮像方法および装置
JP2010021791A (ja) * 2008-07-10 2010-01-28 Canon Inc 撮像装置、その画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP2013157729A (ja) 2013-08-15

Similar Documents

Publication Publication Date Title
JP5527448B2 (ja) 画像入力装置
US9542759B2 (en) Image processing device, method of processing image, and image processing program including false color correction
JP5687676B2 (ja) 撮像装置及び画像生成方法
JP4730082B2 (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP4983093B2 (ja) 撮像装置および方法
CN104756488B (zh) 信号处理设备以及信号处理方法
KR20070011429A (ko) 디지털 이미징 시스템을 이용하여 오브젝트로부터 광의대안적 형태의 재생
US8174585B2 (en) Color conversion coefficient calculation apparatus, computer readable recording medium for recording color conversion coefficient calculation program, and color conversion coefficient calculation method
JP6173065B2 (ja) 撮像装置、画像処理装置、撮像方法及び画像処理方法
JP5052286B2 (ja) 分光特性補正装置、分光特性補正方法
JP2009153074A (ja) 画像撮影装置
JP5108013B2 (ja) カラー撮像素子及びこれを用いた撮像装置及びフィルタ
WO2013111824A1 (ja) 画像処理装置、撮像装置及び画像処理方法
JP6692749B2 (ja) マルチスペクトルカメラ
JP2013187711A (ja) 画像処理装置、撮像装置及び画像処理方法
WO2013125398A1 (ja) 撮像装置及びフォーカス制御方法
JP5054659B2 (ja) 撮像装置
JP5028119B2 (ja) 画像処理装置，画像処理方法及び撮像装置
WO2022198436A1 (zh) 图像传感器、图像数据获取方法、成像设备
JP6815628B2 (ja) マルチスペクトル撮像装置
WO2022185345A2 (en) Optimal color filter array and a demosaicing method thereof
WO2018179378A1 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体
JP2021043722A (ja) 映像処理装置、および、映像処理方法
CN115039402A (zh) 用于图像处理的色彩滤波阵列和流水线
JP2014175731A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13740660

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13740660

Country of ref document: EP

Kind code of ref document: A1