WO2015186510A1 - 撮像装置および方法、並びにプログラム - Google Patents

撮像装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2015186510A1
WO2015186510A1 PCT/JP2015/064403 JP2015064403W WO2015186510A1 WO 2015186510 A1 WO2015186510 A1 WO 2015186510A1 JP 2015064403 W JP2015064403 W JP 2015064403W WO 2015186510 A1 WO2015186510 A1 WO 2015186510A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
chromatic aberration
unit
luminance
color
Prior art date
Application number
PCT/JP2015/064403
Other languages
English (en)
French (fr)
Inventor
禎 山口
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/311,970 priority Critical patent/US10075687B2/en
Publication of WO2015186510A1 publication Critical patent/WO2015186510A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Definitions

  • the present technology relates to an imaging apparatus and method, and a program, and more particularly to an imaging apparatus and method, and a program that can obtain a higher quality luminance image.
  • magnification chromatic aberration correction for example, the color shift amounts of the R signal and the B signal with respect to the G signal are obtained from the optical design data and the shot image for each image height position of the shot image, and the R image is The lateral chromatic aberration is corrected by enlarging or reducing the B image.
  • the correction of the lateral chromatic aberration described above can not be performed on a monochrome image captured by a monochrome image sensor, that is, a luminance image. This is because a monochrome image sensor can not capture color images, that is, images of different colors.
  • the present technology has been made in view of such a situation, and makes it possible to obtain a higher quality luminance image.
  • a magnification chromatic aberration correction unit that performs magnification chromatic aberration correction on a color image obtained by shooting an object through a lens unit, and an amount of magnification chromatic aberration of the lens unit.
  • the image selection unit can select either the first luminance image or the second luminance image for each image height.
  • the image selection unit may select the second luminance image when the absolute value of the magnification chromatic aberration amount at the image height is equal to or greater than a threshold.
  • the imaging apparatus further includes an image size conversion unit that converts the second luminance image to the same size as the first luminance image, and the image selection unit includes the first luminance image or the image size. It is possible to select one of the second luminance images which has been size-converted by conversion.
  • the imaging apparatus may further include a color image capturing unit configured to capture the color image, and a luminance image capturing unit configured to capture the first luminance image.
  • the size of the color image capturing unit may be different from the size of the luminance image capturing unit.
  • the imaging device may further include an image conversion unit configured to convert the color image formed of images of R, G, and B color components into the second luminance image.
  • the imaging method or program performs magnification chromatic aberration correction on a color image obtained by shooting an object through the lens unit, and based on the amount of magnification chromatic aberration of the lens unit, the lens unit And selecting and outputting one of a first luminance image obtained by photographing the subject via the second image and a second luminance image obtained from the color image subjected to magnification chromatic aberration correction.
  • lateral chromatic aberration correction is performed on a color image obtained by photographing an object via a lens unit, and the color image is acquired via the lens unit based on the amount of lateral chromatic aberration of the lens unit. Either the first luminance image obtained by photographing the subject or the second luminance image obtained from the color image whose magnification chromatic aberration has been corrected is selected and output.
  • a higher quality luminance image can be obtained.
  • magnification magnification It is a figure explaining magnification magnification. It is a figure explaining correction of magnification chromatic aberration. It is a figure showing an example of composition of an imaging device. It is a flow chart explaining lens information transfer processing. It is a figure which shows an example of magnification chromatic aberration information.
  • 5 is a flowchart illustrating live view display processing. It is a flow chart explaining photography processing. It is a figure explaining an image height position. It is a figure showing an example of composition of a computer.
  • the color image sensor IM11 pixels of respective colors of R (red), G (green) and B (blue) are provided, and from R image, G image and B image for each color component thereof The photographed image IP11 is obtained by photographing.
  • the imaging positions of the light of each color of R, G, and B from the point P11 on the color image sensor IM11 are the same. That is, K R , K G and K B are distances (heights) from the optical axis of the lens L11 to the image forming positions of R, G and B lights on the color image sensor IM11, respectively.
  • the photographed image IP11 obtained by photographing the subject by the color image sensor IM11 is a high quality image with no blur at the edge portion of the subject.
  • the chromatic aberration of magnification of the lens L12 causes deviation (difference) in the optical paths of the R, G, and B light. Therefore, as shown on the lower side in the figure, the distances K R , K G , and K B from the optical axis of the lens L12 to the image forming positions of the respective colors of light on the color image sensor IM11 are The distances are different from each other, and a shift occurs in the imaging position.
  • the photographed image IP12 obtained by the color image sensor IM11 photographing the subject is an image in which the edge portion of the subject has blur.
  • the shaded area on the captured image IP12 represents blur.
  • the R image IPR is reduced based on lateral chromatic aberration to be an R image IPR '
  • the B image IPB is enlarged based on lateral chromatic aberration to be a B image IPB'. Then, the R image IPR ', the G image IPG, and the B image IPB' are recombined to form a captured image IP13 which is a final color image.
  • the image obtained by photographing is a color image
  • the image obtained by photographing is a luminance image
  • the above-described method can not correct the displacement caused by the magnification chromatic aberration.
  • a luminance image and a color image are respectively photographed using a monochrome image sensor and a color image sensor, and a final luminance image (a luminance image obtained from the photographed luminance image and a luminance image obtained from the color image Hereinafter, it is also referred to as a recording image).
  • each position from the center of the recorded image that is, for each image height, of the photographed luminance image and the luminance image obtained from the color image, based on the information on magnification chromatic aberration at each image height. Either one is selected as the recording image. In other words, among the photographed luminance image and the luminance image obtained from the color image, an image with less bleeding is selected as the recording image. This makes it possible to obtain high-quality images with less bleeding.
  • FIG. 3 is a diagram illustrating a configuration example of an embodiment of an imaging device to which the present technology is applied.
  • the imaging device 11 illustrated in FIG. 3 includes, for example, a digital still camera or a digital video camera.
  • the imaging device 11 has an interchangeable lens unit 21 and a camera unit 22.
  • the interchangeable lens unit 21 is attachable to and detachable from the camera unit 22.
  • the interchangeable lens unit 21 includes a lens information transmitting unit 31 and a lens unit 32.
  • the lens information transmission unit 31 records various types of information regarding the characteristics of the lens unit 32, and transfers the recorded information to the camera unit 22.
  • the lens information transmission unit 31 records, as lens information, magnification chromatic aberration information which is information about the magnification chromatic aberration for each image height in the image forming surface of the lens unit 32, that is, the image obtained by photographing.
  • the lens unit 32 includes one or more lenses, a stop, and the like, and condenses light incident from a subject and guides the light to the camera unit 22.
  • the camera unit 22 includes a beam splitter 41, a monochrome image sensor 42, a color image sensor 43, a lens information reception unit 44, a magnification chromatic aberration correction unit 45, a demosaicing unit 46, a YC conversion unit 47, a display unit 48, an image size conversion unit 49, the magnification aberration amount determination unit 50, the recording image selection unit 51, and the recording unit 52.
  • the beam splitter 41 splits (splits) the light incident from the lens unit 32 at a predetermined ratio, and guides the light to the monochrome image sensor 42 and the color image sensor 43. That is, the beam splitter 41 transmits a part of the light incident from the lens unit 32 to make it incident on the monochrome image sensor 42 and reflects a part of the light incident from the lens unit 32 to make it incident on the color image sensor 43 Let
  • the ratio of separating the light incident by the beam splitter 41 may be any ratio, for example, when the ratio of separating the incident light is approximately 50%.
  • the beam splitter 41 is a half mirror.
  • the monochrome image sensor 42 is formed of an imaging element such as a complementary metal-oxide semiconductor (CMOS) image sensor, for example, and receives a light incident from the beam splitter 41 and photoelectrically converts it to photograph a luminance image, thereby selecting a recording image selection unit Supply to 51
  • CMOS complementary metal-oxide semiconductor
  • the monochrome image sensor 42 can obtain a luminance image having only luminance information, that is, a monochrome image.
  • a monochrome image since all the pixels (photodiodes) provided on the imaging surface are used for capturing a luminance image, a high resolution luminance image can be obtained.
  • the color image sensor 43 is, for example, an imaging device such as a CMOS image sensor, receives light incident from the beam splitter 41 and photoelectrically converts the light to capture a color image and supplies the image to the magnification chromatic aberration correction unit 45.
  • an imaging device such as a CMOS image sensor
  • the color image sensor 43 On the imaging surface of the color image sensor 43, color filters of each color of R, G, and B are provided in a Bayer arrangement, for example. Therefore, the color image sensor 43 obtains a color image composed of images of respective color components of the R image, the G image, and the B image.
  • an image obtained by photographing with the color image sensor 43 is a RAW image in which each pixel has any of R, G, and B color information, and a demosaicing process is performed on this RAW image. , A color image is obtained.
  • the monochrome image sensor 42 is an imaging element for obtaining an image for recording
  • the color image sensor 43 is an imaging element for obtaining an image for live view.
  • the size of the monochrome image sensor 42 is larger than the size of the color image sensor 43 (number of pixels). More specifically, the size (number of pixels) of the luminance image obtained by the monochrome image sensor 42 is larger than the size (number of pixels) of the color image obtained by the color image sensor 43.
  • the luminance image is a higher definition (high resolution) image than the color image, that is, a higher quality image.
  • the monochrome image sensor 42 can obtain luminance information in all pixels and does not need to perform complementation, the luminance image obtained by the monochrome image sensor 42 is an image having a higher resolution than a color image in which the color information is complemented. Become.
  • the lens information reception unit 44 receives the lens information transferred (transmitted) from the lens information transmission unit 31 and supplies the lens information to the magnification chromatic aberration correction unit 45 and the magnification aberration amount determination unit 50.
  • the magnification chromatic aberration correction unit 45 performs magnification chromatic aberration correction on the RAW image supplied from the color image sensor 43 based on magnification chromatic aberration information as lens information supplied from the lens information reception unit 44, and sends the demosaic unit 46 Supply.
  • the demosaicing unit 46 performs demosaicing processing on the RAW image supplied from the magnification chromatic aberration correction unit 45, and converts the RAW image into a color image composed of an R image, a G image, and a B image.
  • the demosaicing unit 46 supplies the obtained color image to the YC conversion unit 47.
  • the YC conversion unit 47 performs color space conversion on the color image supplied from the demosaicing unit 46.
  • a color image is converted from an image in RGB space to an image in YC space. That is, by color space conversion, a color image consisting of R image, G image and B image is converted to a color image consisting of luminance image (Y image) and color difference images (Cr image and Cb image).
  • the YC conversion unit 47 supplies a color image including the luminance image and the color difference image to the display unit 48, and supplies the luminance image forming the color image to the image size conversion unit 49.
  • the display unit 48 includes, for example, a liquid crystal display panel or an organic EL (Electro Luminescence) panel, and displays the color image supplied from the YC conversion unit 47 as a live view image.
  • a liquid crystal display panel or an organic EL (Electro Luminescence) panel displays the color image supplied from the YC conversion unit 47 as a live view image.
  • the display unit 48 functions as a display panel of the imaging device 11 or an EVF (Electronic View Finder). Therefore, when shooting using the imaging device 11, the user checks the angle of view etc. while watching the live view image displayed on the display unit 48.
  • EVF Electronic View Finder
  • a color image is displayed as a live view image
  • a luminance image constituting the color image may be displayed as a live view image.
  • the image size conversion unit 49 performs an image size conversion process according to the size of the luminance image captured by the monochrome image sensor 42, and supplies the luminance image supplied from the YC conversion unit 47 to the recording image selection unit 51.
  • the magnification aberration amount determination unit 50 analyzes the amount of magnification chromatic aberration of the interchangeable lens unit 21 based on the magnification chromatic aberration information as lens information supplied from the lens information reception unit 44, and replaces the luminance image according to the analysis result. A replacement signal indicating whether or not to perform the recording image selection unit 51. That is, the magnification aberration amount determination unit 50 generates a replacement signal based on the magnification chromatic aberration amount of the interchangeable lens unit 21, and supplies the replacement signal to the recording image selection unit 51.
  • the recorded image selection unit 51 selects the luminance image supplied from the monochrome image sensor 42 or the luminance supplied from the image size conversion unit 49 for each image height based on the replacement signal supplied from the magnification aberration amount determination unit 50. One of the images is selected as a recording image, and is output to the recording unit 52.
  • the recording unit 52 records the recording image supplied from the recording image selection unit 51 on a recording medium (not shown).
  • the size of the recorded image is the same as the size of the monochrome image sensor 42, that is, the size of the luminance image obtained by the monochrome image sensor 42.
  • the color image sensor 43 is an image sensor for acquiring a live view image in FIG. 3, the image sensor for moving image shooting may be a color image sensor 43.
  • the imaging device 11 starts lens information transfer processing for transferring lens information.
  • the lens information transfer processing by the imaging device 11 will be described below with reference to the flowchart in FIG. 4.
  • step S ⁇ b> 11 the lens information transmission unit 31 reads out the recorded lens information and transmits it to the lens information reception unit 44.
  • step S12 the lens information reception unit 44 receives the lens information transmitted from the lens information transmission unit 31 and supplies the lens information to the magnification chromatic aberration correction unit 45 and the magnification aberration amount determination unit 50, and the lens information transfer process ends. Do.
  • magnification chromatic aberration information shown in FIG. 5 as lens information is performed.
  • the magnification chromatic aberration information shown in FIG. 5 includes an R correction magnification for correcting magnification chromatic aberration of R image at each image height position, and a B correction magnification for correcting magnification chromatic aberration of B image at each image height position. It consists of
  • the correction magnification for R at each image height position indicates the correction magnification of the R image with respect to the G image, that is, how many times the R image is magnified to coincide with the G image.
  • the correction magnification indicates the correction magnification of the B image with respect to the G image.
  • the correction magnification with the positive sign indicates the enlargement magnification
  • the correction magnification with the negative sign indicates the reduction magnification.
  • each image height position is represented by a ratio to the image height position "1", with the highest image height position being "1". For example, the position at which the image height position is “0.8” is at a height of 80% of the position at which the image height position is “1”.
  • the correction magnification for R at the image height position “1” is “ ⁇ 0.001”
  • the correction magnification for B at the image height position “1” is “0.001”.
  • the camera unit 22 acquires lens information from the interchangeable lens unit 21. By acquiring lens information in this manner, it is possible to accurately correct the chromatic aberration of magnification of a color image.
  • the correction magnification for each image height position indicated in the magnification chromatic aberration information constitutes the focal length determined by the position of the zoom lens of the lens unit 32, and the lens unit 32. It changes with the aperture value of the aperture. That is, changing the zoom magnification of the lens unit 32 or changing the aperture amount changes the lateral chromatic aberration.
  • magnification chromatic aberration information is held in the lens information transmission unit 31 for each combination of the focal length of the lens unit 32 and the aperture value, and the lens information reception unit 44 determines the magnification for all combinations thereof.
  • the chromatic aberration information is acquired from the lens information transmission unit 31.
  • the lens information reception unit 44 selects one magnification chromatic aberration information according to the focal length and the aperture value of the lens unit 32 from among the acquired plurality of magnification chromatic aberration information, and the magnification chromatic aberration correction unit 45 and the magnification aberration amount
  • the information is supplied to the determination unit 50.
  • lens information may be transferred at the timing when shooting of a luminance image is instructed. Good.
  • the lens information transmission unit 31 selects lens information (magnification chromatic aberration information) determined by the focal length of the lens unit 32 and the aperture value at the time when the photographing of the luminance image is instructed, that is, when photographing the luminance image. , And transmits to the lens information receiving unit 44.
  • lens information magnification chromatic aberration information
  • the lens information receiving unit 44 or the like detects magnification chromatic aberration based on the color image photographed simultaneously with the luminance image, and generates magnification chromatic aberration information as lens information from the detection result. It is also good.
  • step S 41 the color image sensor 43 receives the light incident from the beam splitter 41 and performs photoelectric conversion to capture a RAW image, and supplies the RAW image to the magnification chromatic aberration correction unit 45. That is, the color image sensor 43 captures a subject via the lens unit 32 and the beam splitter 41 to obtain a RAW image.
  • step S42 the magnification chromatic aberration correction unit 45 corrects the magnification chromatic aberration of the RAW image supplied from the color image sensor 43 based on the magnification chromatic aberration information as lens information supplied from the lens information reception unit 44, and the demosaic unit Supply to 46
  • the magnification chromatic aberration correction unit 45 scales the pixel area corresponding to each image height position of the RAW image based on the R correction magnification and the B correction magnification for each image height position indicated in the magnification chromatic aberration information.
  • the lateral chromatic aberration is corrected by processing. That is, the area of the R component included in the RAW image is reduced by the correction factor for R, and the area of the B component included in the RAW image is enlarged by the correction factor for B.
  • magnification chromatic aberration correction method for the RAW image may be any method such as an existing magnification chromatic aberration correction method.
  • step S43 the demosaicing unit 46 performs demosaicing processing on the RAW image supplied from the magnification chromatic aberration correction unit 45, and supplies the color image obtained as a result to the YC conversion unit 47.
  • the demosaic unit 46 complements each pixel for which color information is missing in the RAW image for each color component using pixels in the periphery of the pixel so that each pixel is R, G, or B. A color image having each color information is generated. As a result, a color image consisting of an R image, a G image, and a B image is obtained.
  • step S 44 the YC conversion unit 47 performs color space conversion on the color image supplied from the demosaicing unit 46 to generate a color image including a luminance image and a color difference image, and supplies the color image to the display unit 48.
  • step S45 the display unit 48 performs live view display based on the color image supplied from the YC conversion unit 47. That is, the display unit 48 displays a color image as a live view image.
  • a color image or a luminance image may be displayed as a live view image on an external display connected to the imaging device 11 by a cable or the like.
  • step S46 the camera unit 22 determines whether to end the process. For example, it is determined that the process is ended when the user operates a power button (not shown) of the camera unit 22 and the power is turned off.
  • step S46 If it is determined in step S46 that the process does not end, the process returns to step S41, and the above-described process is repeated.
  • step S46 the camera unit 22 ends the process of each unit, whereby the live view display process is ended.
  • the imaging device 11 starts shooting for live view display, and causes the obtained color image to be displayed as a live view image.
  • the imaging device 11 When the user operates the shutter button and instructs to take a luminance image, the imaging device 11 captures the luminance image to generate a recorded image, and performs a photographing process that is processing to record the obtained recorded image. .
  • the imaging process performed by the imaging device 11 will be described with reference to the flowchart of FIG. 7.
  • step S 71 the monochrome image sensor 42 receives the light incident from the beam splitter 41 and performs photoelectric conversion to capture a luminance image, which is supplied to the recording image selection unit 51. That is, the monochrome image sensor 42 obtains a luminance image by capturing an object via the lens unit 32 and the beam splitter 41.
  • steps S72 to S75 are performed to generate a color image. These processes are similar to the processes of steps S41 to S44 of FIG. The explanation is omitted.
  • the shooting of the luminance image in step S71 and the shooting of the RAW image in step S72 are performed simultaneously. That is, images of the same angle of view are simultaneously captured (captured) by the monochrome image sensor 42 and the color image sensor 43 via the beam splitter 41.
  • step S76 the camera unit 22 selects an image height position to be processed.
  • the length from the center O to one vertex of the imaging surface which is a rectangle of the monochrome image sensor 42 is the diagonal length r I assume.
  • the position of the center O is a position at which the image height position is 0%
  • the position at a length r from the center O is a position at which the image height position is 100%.
  • the position at a length r ⁇ x / 10 from the center O is a position at which the image height position is x (where 0 ⁇ x ⁇ 10)
  • the length from the center O to the position at an image height position x It is assumed that r is represented by x .
  • the image height position “0.8” in the magnification chromatic aberration information is a position where the image height is 80%.
  • the luminance image captured by the monochrome image sensor 42 and the recorded image to be obtained from now have the same size, that is, the number of pixels in the horizontal direction and the vertical direction are the same. Therefore, the position of the length r x from the center of the monochrome image sensor 42, that is, the position of the image height x 0 is a position corresponding to the position of the length r x from the center of the recorded image.
  • the position of the luminance image or the recorded image corresponding to the image height position of the monochrome image sensor 42 will be simply referred to as the luminance image or the image height position of the recorded image.
  • the camera unit 22 selects the image height position of the monochrome image sensor 42 from the position of 0% image height to the position of 100% image height in order by 10%.
  • the image height position selected in step S76 is also referred to as an image height position to be processed.
  • step S77 the magnification / aberration amount determining unit 50 uses the magnification chromatic aberration information as lens information supplied from the lens information reception unit 44 to determine the threshold value for which the absolute value of the magnification chromatic aberration amount ⁇ at the image height position to be processed is predetermined. It is determined whether it is th or more.
  • the magnification aberration amount determination unit 50 obtains the product of the length r x up to the position of the image height x divided by the correction magnification k at the image height position indicated by the magnification chromatic aberration information as the magnification chromatic aberration amount ⁇ .
  • the magnification chromatic aberration amount ⁇ is the shift amount between the imaging position of the G component light and the imaging position of the R component or B component light caused by the magnification chromatic aberration at the image height position of the processing target on the luminance image (Color shift amount).
  • magnification aberration amount determination unit 50 and the magnification chromatic aberration amount delta R obtained by using the R correction magnification as the magnification chromatic aberration information as the correction factor k, corrected B correction magnification as the magnification chromatic aberration information obtaining a magnification chromatic aberration amount delta B obtained by using as the ratio k.
  • the magnification aberration amount determination unit 50 the absolute value is smaller than the threshold th magnification chromatic aberration delta R, and when the absolute value of the magnification chromatic aberration amount delta B is less than the threshold th, the magnification chromatic aberration at the step S77 It is determined that the absolute value is not greater than or equal to the threshold. That is, the absolute value of the magnification chromatic aberration delta R, when the above one or the other but the threshold th of the absolute value of the magnification chromatic aberration amount delta B, the absolute value of the lateral chromatic aberration amount is more than the threshold value th in step S77 It is determined that
  • the correction magnification k is appropriately obtained by the interpolation processing.
  • the determination of the amount of magnification chromatic aberration is performed using only one of the R correction magnification and the B correction magnification. It is also good.
  • the threshold th is a value or the like that causes a color shift due to the magnification chromatic aberration to be blurred in the luminance image, and the threshold th is, for example, 2.
  • the threshold value th may be determined in consideration of how much the amount of magnification chromatic aberration corresponds to the resolution deterioration caused by the enlargement process.
  • the magnification aberration amount determination unit 50 selects a recording signal for not replacing the luminance image obtained from the color image. The information is supplied to the unit 51, and the process proceeds to step S78.
  • step S 78 the recording image selection unit 51 selects the luminance image obtained by the monochrome image sensor 42 as a recording image according to the replacement signal supplied from the magnification aberration amount determination unit 50, and outputs it to the recording unit 52. .
  • the recording image selection unit 51 is configured of an area consisting of pixels at the image height position of the processing target, and pixels of the recording image at the image height position of the processing target. Select as an image of the area.
  • the image height position of the processing target is a position at an image height x%
  • on a circle whose radius is r x centered on the center position of the luminance image on the luminance image obtained by The image of the area consisting of the pixels on the upper side is taken as the image of the area consisting of pixels on a circle whose radius is r x centered on the center position of the recording image in the recording image.
  • the recording image selection unit 51 uses the luminance image captured by the monochrome image sensor 42 as it is as the recording image.
  • step S81 When the image at the image height position to be processed in the luminance image obtained by the monochrome image sensor 42 in this manner is selected as a recording image, the process proceeds to step S81.
  • the magnification aberration amount determination unit 50 substitutes a replacement signal indicating replacement with the luminance image obtained from the color image. Are supplied to the recording image selection unit 51, and the process proceeds to step S79.
  • magnification / aberration amount determination unit 50 supplies an instruction to execute the image size conversion process to the image size conversion unit 49.
  • step S 79 the image size conversion unit 49 performs the image size conversion process on the luminance image generated from the color image obtained by the color image sensor 43 supplied from the YC conversion unit 47, and the obtained result is obtained.
  • the luminance image is supplied to the recording image selection unit 51.
  • the image size conversion unit 49 performs a filtering process using a bicubic filter on the luminance image to make the luminance image forming the color image the same size as the luminance image obtained by the monochrome image sensor 42, that is, Convert to an image of the same size as the recorded image.
  • the image size conversion process is not limited to the filter process using the bicubic filter, and may be any other process.
  • step S80 the recording image selection unit 51 selects the luminance image subjected to the image size conversion as a recording image according to the replacement signal supplied from the magnification aberration amount determination unit 50, and outputs the selected luminance image to the recording unit 52.
  • the recording image selection unit 51 generates an image of the processing target in the recording image in the area including the pixels at the image height position of the processing target in the luminance image forming the color image supplied from the image size conversion unit 49. It is selected as an image of a region consisting of pixels at high positions.
  • the image height position of the processing target is a position of image height x0
  • the image of the area consisting of is an image of an area consisting of pixels on a circle whose radius is r x centered on the center position of the recorded image in the recorded image.
  • magnification chromatic aberration amount is large at the image height position of the processing target, in the area of the image height position of the processing target in the luminance image photographed by the monochrome image sensor 42, the blur due to the magnification chromatic aberration is large and the resolution deterioration occurs. I will.
  • the recorded image selection unit 51 substitutes the luminance image photographed by the monochrome image sensor 42 originally to be a recorded image, and a color image in which the magnification chromatic aberration is corrected.
  • the luminance image to be configured is a recorded image. In other words, the luminance image captured for the recorded image is replaced with the luminance image partially obtained from the color image.
  • step S81 When the image at the image height position to be processed of the luminance image supplied from the image size conversion unit 49 in this manner is selected as a recording image, the process proceeds to step S81.
  • step S78 or step S80 the camera unit 22 determines whether all image height positions have been processed as image height positions to be processed in step S81.
  • step S81 If it is determined in step S81 that all image height positions have not been processed yet, the process returns to step S76, and the above-described process is repeated. That is, a new image height position is selected as the image height position to be processed, and an image to be a recording image of the image height position is selected.
  • the image heights in the vicinity are The correction magnification of those image height positions. That is, also for each image height position between the image height positions at 10% intervals, the correction magnification determined by the interpolation process is used to select the luminance image to be the recording image.
  • step S81 If it is determined in step S81 that all image height positions have been processed, a recorded image consisting of a luminance image selected for each image height position is obtained, and the process proceeds to step S82.
  • step S82 the recording unit 52 supplies the recording image supplied from the recording image selection unit 51 to a recording medium (not shown) and records the recording image, and the photographing process is completed.
  • the recording unit 52 converts the recorded image into an image of a predetermined format such as JPEG (Joint Photographic Experts Group) as necessary, and then records the image on a recording medium.
  • a predetermined format such as JPEG (Joint Photographic Experts Group)
  • the imaging device 11 uses, as a recording image, either the luminance image obtained by the monochrome image sensor 42 or the luminance image forming the color image obtained by the color image sensor 43 at each image height position. Select and generate a recorded image.
  • the luminance image is selected at each image height position to make a recorded image, basically, the luminance image obtained by the monochrome image sensor 42 and the color image obtained by the color image sensor 43 are used.
  • the recording image is generated by combining the luminance image to be configured by the recording unit 52 for each image height position.
  • the luminance image itself obtained by the monochrome image sensor 42 or the luminance image itself constituting the color image obtained by the color image sensor 43 may be a recorded image. .
  • the luminance image itself obtained by the monochrome image sensor 42 is obtained even when the absolute value of the amount of magnification chromatic aberration at the predetermined image height position is equal to or greater than the threshold. It may be a recorded image.
  • the luminance image obtained from the color image is recorded even when the absolute value of the amount of magnification chromatic aberration is less than the threshold at the predetermined image height position. It may be an image.
  • one luminance image may be selected as a recording image as it is based on the amount of magnification chromatic aberration of the full image height position.
  • the size of the monochrome image sensor 42 is larger than the size of the color image sensor 43
  • the size of the color image sensor 43 is made larger than the size of the monochrome image sensor 42 May be
  • the luminance image obtained by the monochrome image sensor 42 is enlarged by the recording image selection unit 51 or the like, and the luminance image constituting the color image is supplied to the recording image selection unit 51 as it is.
  • the luminance image obtained by the monochrome image sensor 42 may be supplied as it is to the recording image selection unit 51, and the luminance image constituting the color image may be reduced and supplied to the recording image selection unit 51.
  • the series of processes described above can be executed by hardware or software.
  • a program that configures the software is installed on a computer.
  • the computer includes, for example, a general-purpose computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 9 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • a central processing unit (CPU) 501 a read only memory (ROM) 502, and a random access memory (RAM) 503 are mutually connected by a bus 504.
  • CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • an input / output interface 505 is connected to the bus 504.
  • An input unit 506, an output unit 507, a recording unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, a plurality of imaging devices, and the like.
  • the two imaging elements constituting the input unit 506 correspond to the monochrome image sensor 42 and the color image sensor 43.
  • the output unit 507 includes a display, a speaker, and the like.
  • the recording unit 508 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 509 is formed of a network interface or the like.
  • the drive 510 drives removable media 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads, for example, the program recorded in the recording unit 508 into the RAM 503 via the input / output interface 505 and the bus 504, and executes the above-described series. Processing is performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded on, for example, a removable medium 511 as a package medium or the like. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 508 via the input / output interface 505 by attaching the removable media 511 to the drive 510. Also, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the recording unit 508. In addition, the program can be installed in advance in the ROM 502 or the recording unit 508.
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • present technology can also be configured as follows.
  • a magnification chromatic aberration correction unit that performs magnification chromatic aberration correction on a color image obtained by photographing an object through the lens unit; A first luminance image obtained by photographing the subject through the lens unit based on the amount of magnification chromatic aberration of the lens unit, or a second luminance image obtained from the color image whose magnification chromatic aberration has been corrected And an image selection unit that selects and outputs one of them.
  • the image selection unit selects any one of the first luminance image and the second luminance image for each image height.
  • the image pickup apparatus wherein the image selection unit selects the second luminance image when the absolute value of the magnification chromatic aberration amount at the image height is equal to or larger than a threshold.
  • the image processing apparatus further comprises an image size conversion unit that converts the second luminance image into the same size as the first luminance image, The image selection unit selects any one of the first luminance image or the second luminance image whose size is converted by the image size conversion.
  • Imaging device (5) A color image capturing unit that captures the color image; The imaging apparatus according to any one of (1) to (4), further including: a luminance image capturing unit configured to capture the first luminance image.
  • the imaging device according to (5), wherein the size of the color image capturing unit is different from the size of the luminance image capturing unit.
  • the image pickup apparatus according to any one of (1) to (6), further including an image conversion unit configured to convert the color image formed of images of R, G, and B color components into the second luminance image.
  • imaging apparatus 32 lens unit, 42 monochrome image sensor, 43 color image sensor, 44 lens information reception unit, 45 magnification chromatic aberration correction unit, 47 YC conversion unit, 49 image size conversion unit, 50 magnification aberration amount determination unit, 51 recording Image selection unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

　本技術はより高品質な輝度画像を得ることができるようにする撮像装置および方法、並びにプログラムに関する。 撮像装置は、モノクロイメージセンサで輝度画像を撮影するとともに、カラーイメージセンサでカラー画像を撮影する。倍率収差量判定部は、レンズ部の倍率色収差に関する情報に基づいて像高位置ごとの倍率色収差量を分析する。記録画像選択部は、倍率色収差量の分析結果に基づいて、モノクロイメージセンサで撮影された輝度画像、またはカラーイメージセンサで撮影されたカラー画像から得られた輝度画像を選択し、記録画像とする。このように倍率色収差量に応じて輝度画像を選択することで、倍率色収差によるにじみの少ない高品質な記録画像を得ることができる。本技術は、デジタルスチルカメラに適用することができる。

Description

撮像装置および方法、並びにプログラム
　本技術は撮像装置および方法、並びにプログラムに関し、特に、より高品質な輝度画像を得ることができるようにした撮像装置および方法、並びにプログラムに関する。
　従来、撮影レンズの倍率色収差による色ずれによって、撮影された撮影画像上のエッジ部分ににじみが生じてしまうことが知られている。そこで、Ｒ画像、Ｇ画像、およびＢ画像からなるカラーの撮影画像に対して、倍率色収差の補正を行う技術が提案されている（例えば、特許文献１参照）。
　このような倍率色収差補正では、例えば撮影画像の像高位置ごとにＧ信号に対するＲ信号およびＢ信号の色ずれ量を光学設計データや撮影画像から取得し、それらの色ずれ量に基づいてＲ画像やＢ画像を拡大処理または縮小処理することで倍率色収差が補正される。
特開平６－２０５２７３号公報
　ところで、カラー画像を撮影する場合には、撮影により得られた画像に対して上述した技術により補正を施し、倍率色収差に起因するにじみを除去することが可能である。
　しかしながら、モノクロイメージセンサにより撮影されたモノクロ画像、すなわち輝度画像に対しては原理的に上述した倍率色収差の補正を行うことができない。これは、モノクロイメージセンサでは、カラー画像、つまり互いに異なる色の画像を撮影することができないからである。
　特に、高解像度な輝度画像を取得可能なモノクロイメージセンサが搭載されたカメラにおいて、倍率色収差が大きいレンズで輝度画像を撮影すると、倍率色収差によりエッジ部分のにじみが大きくなり、輝度画像の品質が低下してしまう。
　本技術は、このような状況に鑑みてなされたものであり、より高品質な輝度画像を得ることができるようにするものである。
　本技術の一側面の撮像装置は、レンズ部を介して被写体を撮影して得られたカラー画像に対して倍率色収差補正を施す倍率色収差補正部と、前記レンズ部の倍率色収差量に基づいて、前記レンズ部を介して前記被写体を撮影して得られた第１の輝度画像、または倍率色収差補正された前記カラー画像から得られた第２の輝度画像の何れか一方を選択して出力する画像選択部とを備える。
　前記画像選択部には、像高ごとに前記第１の輝度画像または前記第２の輝度画像の何れか一方を選択させることができる。
　前記画像選択部には、前記像高における前記倍率色収差量の絶対値が閾値以上である場合、前記第２の輝度画像を選択させることができる。
　撮像装置には、前記第２の輝度画像を前記第１の輝度画像と同じサイズに変換する画サイズ変換部をさらに設け、前記画像選択部には、前記第１の輝度画像、または前記画サイズ変換によりサイズ変換された前記第２の輝度画像の何れか一方を選択させることができる。
　撮像装置には、前記カラー画像を撮影するカラー画像撮影部と、前記第１の輝度画像を撮影する輝度画像撮影部とをさらに設けることができる。
　前記カラー画像撮影部のサイズと前記輝度画像撮影部のサイズとが異なるようにすることができる。
　撮像装置には、Ｒ、Ｇ、およびＢの各色成分の画像からなる前記カラー画像を前記第２の輝度画像に変換する画像変換部をさらに設けることができる。
　本技術の一側面の撮影方法またはプログラムは、レンズ部を介して被写体を撮影して得られたカラー画像に対して倍率色収差補正を施し、前記レンズ部の倍率色収差量に基づいて、前記レンズ部を介して前記被写体を撮影して得られた第１の輝度画像、または倍率色収差補正された前記カラー画像から得られた第２の輝度画像の何れか一方を選択して出力するステップを含む。
　本技術の一側面においては、レンズ部を介して被写体を撮影して得られたカラー画像に対して倍率色収差補正が施され、前記レンズ部の倍率色収差量に基づいて、前記レンズ部を介して前記被写体を撮影して得られた第１の輝度画像、または倍率色収差補正された前記カラー画像から得られた第２の輝度画像の何れか一方が選択されて出力される。
　本技術の一側面によれば、より高品質な輝度画像を得ることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
倍率色収差について説明する図である。 倍率色収差の補正について説明する図である。 撮像装置の構成例を示す図である。 レンズ情報転送処理を説明するフローチャートである。 倍率色収差情報の一例を示す図である。 ライブビュー表示処理を説明するフローチャートである。 撮影処理を説明するフローチャートである。 像高位置について説明する図である。 コンピュータの構成例を示す図である。
　以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈本技術の概要〉
　まず、本技術の概要について説明する。
　例えば図１の矢印Ａ１１に示すように倍率色収差のないレンズＬ１１により任意の点Ｐ１１からの光を集光し、カラーイメージセンサＩＭ１１上に点Ｐ１１の光像を結像したとする。
　ここで、カラーイメージセンサＩＭ１１には、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色の画素が設けられており、それらの色成分ごとのＲ画像、Ｇ画像、およびＢ画像からなる撮影画像ＩＰ１１が撮影により得られる。
　この例ではレンズＬ１１には倍率色収差がないので、カラーイメージセンサＩＭ１１上における点Ｐ１１からのＲ、Ｇ、Ｂの各色の光の結像位置は同じとなる。すなち、カラーイメージセンサＩＭ１１上における、レンズＬ１１の光軸からのＲ、Ｇ、Ｂの各色の光の結像位置までの距離（高さ）をＫR、ＫG、ＫBとするとＫB＝ＫG＝ＫRとなる。
　したがって、カラーイメージセンサＩＭ１１が被写体を撮影することで得られる撮影画像ＩＰ１１は、被写体のエッジ部分ににじみのない高品質な画像となる。
　これに対して、矢印Ａ１２に示すように倍率色収差のあるレンズＬ１２により点Ｐ１１からの光を集光し、カラーイメージセンサＩＭ１１上に点Ｐ１１の光像を結像したとする。
　そのような場合、レンズＬ１２が有する倍率色収差によってＲ、Ｇ、Ｂの各色の光の光路にずれ（差異）が生じる。そのため、図中、下側に示すようにカラーイメージセンサＩＭ１１上における、レンズＬ１２の光軸からのＲ、Ｇ、Ｂの各色の光の結像位置までの距離ＫR、ＫG、ＫBは互いに異なる距離となり、結像位置にずれが生じる。
　そうすると、図中、右下に示すようにカラーイメージセンサＩＭ１１が被写体を撮影することで得られる撮影画像ＩＰ１２は、被写体のエッジ部分ににじみが生じた画像となってしまう。この例では、撮影画像ＩＰ１２上の斜線部分の領域がにじみを表している。
　そこでカラー画像を撮影する場合には、図２に示すようにカラー画像である撮影画像ＩＰ１２を構成するＲ画像ＩＰＲ、Ｇ画像ＩＰＧ、およびＢ画像ＩＰＢを用いて倍率色収差を補正することで、にじみが低減された撮影画像ＩＰ１３を得る技術が知られている。
　この例では、Ｒ画像ＩＰＲが倍率色収差に基づいて縮小されてＲ画像ＩＰＲ’とされるとともに、Ｂ画像ＩＰＢが倍率色収差に基づいて拡大されてＢ画像ＩＰＢ’とされる。そして、Ｒ画像ＩＰＲ’、Ｇ画像ＩＰＧ、およびＢ画像ＩＰＢ’が再合成されて最終的なカラー画像である撮影画像ＩＰ１３とされる。
　このように撮影により得られる画像がカラー画像である場合には、倍率色収差により生じる色成分ごとの結像位置のずれを補正し、にじみのない高品質な画像を得ることができる。しかし、撮影により得られる画像が輝度画像である場合には、輝度画像に色成分に関する情報は含まれていないため、上述した方法では倍率色収差により生じるずれを補正することができない。
　そこで、本技術ではモノクロイメージセンサとカラーイメージセンサとを用いて、それぞれ輝度画像およびカラー画像を撮影し、撮影された輝度画像と、カラー画像から得られた輝度画像とから最終的な輝度画像（以下、記録画像とも称する）を得る。
　具体的には、記録画像の中心からの位置、すなわち像高ごとに、各像高における倍率色収差に関する情報に基づいて、撮影された輝度画像と、カラー画像から得られた輝度画像とのうちの何れか一方が記録画像として選択される。換言すれば、撮影された輝度画像と、カラー画像から得られた輝度画像とのうち、よりにじみの少ない画像が記録画像として選択される。これにより、にじみの少ない高品質な画像を得ることができる。
〈撮像装置の構成例〉
　次に、本技術を適用した具体的な実施の形態について説明する。
　図３は、本技術を適用した撮像装置の一実施の形態の構成例を示す図である。
　図３に示す撮像装置１１は、例えばデジタルスチルカメラやデジタルビデオカメラなどからなる。撮像装置１１は、交換レンズ部２１およびカメラ部２２を有している。
　交換レンズ部２１はカメラ部２２に着脱可能となっており、交換レンズ部２１はレンズ情報送信部３１およびレンズ部３２を備えている。
　レンズ情報送信部３１は、レンズ部３２の特性に関する各種の情報を記録しており、記録している情報をカメラ部２２へと転送する。例えばレンズ情報送信部３１は、レンズ部３２の結像面、すなわち撮影により得られる画像における像高ごとの倍率色収差に関する情報である倍率色収差情報をレンズ情報として記録している。
　レンズ部３２は、１または複数のレンズや絞りなどからなり、被写体から入射した光を集光してカメラ部２２へと導く。
　また、カメラ部２２は、ビームスプリッタ４１、モノクロイメージセンサ４２、カラーイメージセンサ４３、レンズ情報受信部４４、倍率色収差補正部４５、デモザイク部４６、ＹＣ変換部４７、表示部４８、画サイズ変換部４９、倍率収差量判定部５０、記録画像選択部５１、および記録部５２を備えている。
　ビームスプリッタ４１は、レンズ部３２から入射した光を予め定められた所定の割合で分離させ（分割し）、モノクロイメージセンサ４２およびカラーイメージセンサ４３に導く。すなわち、ビームスプリッタ４１は、レンズ部３２から入射した光の一部を透過させてモノクロイメージセンサ４２に入射させるとともに、レンズ部３２から入射した光の一部を反射させてカラーイメージセンサ４３に入射させる。
　なお、ビームスプリッタ４１が入射した光を分離させる割合、すなわち反射（または透過）させる割合はどのような割合であってもよいが、例えば入射した光を分離させる割合が略５０％とされる場合には、ビームスプリッタ４１はハーフミラーとなる。
　モノクロイメージセンサ４２は、例えばCMOS（Complementary Metal-Oxide Semiconductor）イメージセンサなどの撮像素子からなり、ビームスプリッタ４１から入射した光を受光して光電変換することにより輝度画像を撮影し、記録画像選択部５１に供給する。
　このモノクロイメージセンサ４２の撮像面にはカラーフィルタが設けられていないため、モノクロイメージセンサ４２では輝度情報のみを有する輝度画像、つまりモノクロ画像が得られる。特に、モノクロイメージセンサ４２では、撮像面に設けられた全画素（フォトダイオード）が輝度画像の撮影に用いられるので、高解像度な輝度画像を得ることができる。
　カラーイメージセンサ４３は、例えばCMOSイメージセンサなどの撮像素子からなり、ビームスプリッタ４１から入射した光を受光して光電変換することによりカラー画像を撮影し、倍率色収差補正部４５に供給する。
　このカラーイメージセンサ４３の撮像面にはＲ、Ｇ、およびＢの各色のカラーフィルタが、例えばベイヤー配列で並べられて設けられている。そのため、カラーイメージセンサ４３ではＲ画像、Ｇ画像、およびＢ画像の各色成分の画像からなるカラー画像が得られる。
　なお、より詳細には、カラーイメージセンサ４３による撮影で得られる画像は各画素がＲ、Ｇ、Ｂの何れかの色情報を有するＲＡＷ画像であり、このＲＡＷ画像に対してデモザイク処理が行われ、カラー画像が得られる。
　また、カメラ部２２では、基本的にはモノクロイメージセンサ４２は記録用の画像を得るための撮像素子であり、カラーイメージセンサ４３はライブビュー用の画像を得るための撮像素子とされている。
　そのため、モノクロイメージセンサ４２のサイズは、カラーイメージセンサ４３のサイズよりも大きいサイズ（画素数）となっている。すなわち、より詳細にはモノクロイメージセンサ４２で得られる輝度画像のサイズ（画素数）が、カラーイメージセンサ４３で得られるカラー画像のサイズ（画素数）よりも大きくなるようになされている。
　したがって、この例では輝度画像がカラー画像よりもより高精細（高解像度）な画像、つまりより高品質な画像となる。特にモノクロイメージセンサ４２では全画素で輝度情報が得られ、補完を行う必要がないので、モノクロイメージセンサ４２で得られる輝度画像は、色情報の補完が行われるカラー画像よりも高精細な画像となる。
　レンズ情報受信部４４は、レンズ情報送信部３１から転送（送信）されてきたレンズ情報を受信して、倍率色収差補正部４５および倍率収差量判定部５０に供給する。
　倍率色収差補正部４５は、レンズ情報受信部４４から供給されたレンズ情報としての倍率色収差情報に基づいて、カラーイメージセンサ４３から供給されたＲＡＷ画像に対して倍率色収差補正を施し、デモザイク部４６に供給する。
　デモザイク部４６は、倍率色収差補正部４５から供給されたＲＡＷ画像に対してデモザイク処理を行い、ＲＡＷ画像をＲ画像、Ｇ画像、およびＢ画像からなるカラー画像に変換する。デモザイク部４６は、得られたカラー画像をＹＣ変換部４７に供給する。
　ＹＣ変換部４７は、デモザイク部４６から供給されたカラー画像に対して色空間変換を行う。これにより、カラー画像がＲＧＢ空間の画像から、ＹＣ空間の画像へと変換される。すなわち、色空間変換によって、Ｒ画像、Ｇ画像、およびＢ画像からなるカラー画像が、輝度画像（Ｙ画像）および色差画像（Ｃｒ画像およびＣｂ画像）からなるカラー画像に変換される。
　ＹＣ変換部４７は、輝度画像および色差画像からなるカラー画像を表示部４８に供給するとともに、カラー画像を構成する輝度画像を画サイズ変換部４９に供給する。
　表示部４８は、例えば液晶表示パネルや有機ＥＬ（Electro Luminescence）パネルなどからなり、ＹＣ変換部４７から供給されたカラー画像をライブビュー画像として表示する。
　例えば表示部４８は、撮像装置１１の表示パネルやEVF（Electronic View Finder）として機能する。したがって、ユーザは撮像装置１１を用いて撮影を行うときには、表示部４８に表示されるライブビュー画像を見ながら画角等を確認する。
　なお、以下ではライブビュー画像としてカラー画像が表示される例について説明するが、カラー画像を構成する輝度画像のみがライブビュー画像として表示されるようにしてもよい。
　画サイズ変換部４９は、ＹＣ変換部４７から供給された輝度画像を、モノクロイメージセンサ４２により撮影された輝度画像のサイズに合わせて画サイズ変換処理を行い、記録画像選択部５１に供給する。
　倍率収差量判定部５０は、レンズ情報受信部４４から供給されたレンズ情報としての倍率色収差情報に基づいて、交換レンズ部２１の倍率色収差量を分析し、その分析結果に応じて輝度画像の置き換えを行うか否かを示す置き換え信号を記録画像選択部５１に供給する。すなわち、倍率収差量判定部５０は、交換レンズ部２１の倍率色収差量に基づいて置き換え信号を生成し、記録画像選択部５１に供給する。
　記録画像選択部５１は、倍率収差量判定部５０から供給された置き換え信号に基づいて、像高ごとに、モノクロイメージセンサ４２から供給された輝度画像、または画サイズ変換部４９から供給された輝度画像の何れかを記録画像として選択し、記録部５２に出力する。
　記録部５２は、記録画像選択部５１から供給された記録画像の図示せぬ記録媒体への記録を行う。なお、ここでは記録画像の大きさは、モノクロイメージセンサ４２の大きさ、つまりモノクロイメージセンサ４２で得られる輝度画像の大きさと同じであるとする。
　なお、図３では、カラーイメージセンサ４３は、ライブビュー画像取得用のイメージセンサとされているが、動画像撮影用のイメージセンサがカラーイメージセンサ４３とされてもよい。
〈レンズ情報転送処理の説明〉
　続いて、撮像装置１１の動作について説明する。
　例えば、ユーザがカメラ部２２に交換レンズ部２１を接続すると、撮像装置１１はレンズ情報を転送するレンズ情報転送処理を開始する。以下、図４のフローチャートを参照して、撮像装置１１によるレンズ情報転送処理について説明する。
　ステップＳ１１において、レンズ情報送信部３１は、記録しているレンズ情報を読み出してレンズ情報受信部４４に送信する。
　ステップＳ１２において、レンズ情報受信部４４は、レンズ情報送信部３１から送信されてきたレンズ情報を受信して、倍率色収差補正部４５および倍率収差量判定部５０に供給し、レンズ情報転送処理は終了する。
　ここで、レンズ情報送信部３１とレンズ情報受信部４４の間では、レンズ情報として例えば図５に示す倍率色収差情報の転送が行われる。
　図５に示す倍率色収差情報は、各像高位置におけるＲ画像の倍率色収差を補正するためのＲ用補正倍率と、各像高位置におけるＢ画像の倍率色収差を補正するためのＢ用補正倍率とからなる。
　例えば各像高位置のＲ用補正倍率は、Ｇ画像に対するＲ画像の補正倍率、つまりＲ画像を何倍に拡大すればＧ画像と一致するかを示しており、同様に各像高位置のＢ用補正倍率は、Ｇ画像に対するＢ画像の補正倍率を示している。ここで、符号が正である補正倍率は拡大倍率を示しており、符号が負である補正倍率は縮小倍率を示している。また各像高位置は、最も高い像高位置を「1」として、像高位置「1」に対する割り合いで表されている。例えば像高位置「0.8」となる位置は、像高位置「1」となる位置の８割分の高さの位置となる。
　この例では像高位置「1」のＲ用補正倍率は「-0.001」となっており、像高位置「1」のＢ用補正倍率は「0.001」となっている。
　以上のようにして、カメラ部２２は交換レンズ部２１からレンズ情報を取得する。このようにレンズ情報を取得することで、カラー画像の倍率色収差を正確に補正することができる。
　なお、より詳細には、倍率色収差情報に示される像高位置ごとの補正倍率、つまりレンズ部３２の倍率色収差は、レンズ部３２のズームレンズの位置により定まる焦点距離や、レンズ部３２を構成する絞りの絞り値によって変化する。すなわち、レンズ部３２のズーム倍率を変化させたり、絞り量を変化させると倍率色収差は変化する。
　そのため、より詳細にはレンズ情報送信部３１には、レンズ部３２の焦点距離と絞り値の組み合わせごとに倍率色収差情報が保持されており、レンズ情報受信部４４は、それらの全組み合わせについての倍率色収差情報をレンズ情報送信部３１から取得する。そして、レンズ情報受信部４４は、取得した複数の倍率色収差情報のなかから、レンズ部３２の焦点距離と絞り値に応じて１つの倍率色収差情報を選択し、倍率色収差補正部４５および倍率収差量判定部５０に供給する。
　また、ここでは交換レンズ部２１がカメラ部２２に接続されたタイミングでレンズ情報の転送が行われると説明したが、輝度画像の撮影が指示されたタイミングでレンズ情報が転送されるようにしてもよい。
　そのような場合、レンズ情報送信部３１は、輝度画像の撮影が指示された時点、つまり輝度画像の撮影時におけるレンズ部３２の焦点距離と絞り値により定まるレンズ情報（倍率色収差情報）を選択し、レンズ情報受信部４４に送信する。
　さらに、輝度画像の撮影時に、レンズ情報受信部４４等が輝度画像と同時に撮影されたカラー画像に基づいて倍率色収差を検波し、その検波結果からレンズ情報としての倍率色収差情報を生成するようにしてもよい。
〈ライブビュー表示処理の説明〉
　また、ユーザが輝度画像を撮影しようとして撮像装置１１の電源をオンすると、撮像装置１１は被写体の画像を取り込んでライブビュー画像を表示するライブビュー表示処理を開始する。以下、図６のフローチャートを参照して、撮像装置１１によるライブビュー表示処理について説明する。
　ステップＳ４１において、カラーイメージセンサ４３は、ビームスプリッタ４１から入射した光を受光して光電変換することによりＲＡＷ画像を撮影し、倍率色収差補正部４５に供給する。すなわち、カラーイメージセンサ４３は、レンズ部３２およびビームスプリッタ４１を介して被写体を撮影することでＲＡＷ画像を得る。
　ステップＳ４２において、倍率色収差補正部４５は、レンズ情報受信部４４から供給されたレンズ情報としての倍率色収差情報に基づいて、カラーイメージセンサ４３から供給されたＲＡＷ画像の倍率色収差を補正し、デモザイク部４６に供給する。
　具体的には、倍率色収差補正部４５は、倍率色収差情報に示される像高位置ごとのＲ用補正倍率およびＢ用補正倍率に基づいて、ＲＡＷ画像の各像高位置に対応する画素領域を拡縮処理することで倍率色収差を補正する。すなわち、Ｒ用補正倍率の分だけＲＡＷ画像に含まれるＲ成分の領域が縮小され、Ｂ用補正倍率の分だけＲＡＷ画像に含まれるＢ成分の領域が拡大される。
　なお、ＲＡＷ画像に対する倍率色収差補正方法は、既存の倍率色収差補正方法など、どのような方法とされてもよい。
　ステップＳ４３において、デモザイク部４６は、倍率色収差補正部４５から供給されたＲＡＷ画像に対してデモザイク処理を行い、その結果得られたカラー画像をＹＣ変換部４７に供給する。
　例えばデモザイク部４６は、色成分ごとに、ＲＡＷ画像上の色情報が欠落している画素について、その画素の周囲にある画素を用いた補完を行うことで、各画素がＲ、Ｇ、Ｂの各色情報を有するカラー画像を生成する。これにより、Ｒ画像、Ｇ画像、およびＢ画像からなるカラー画像が得られる。
　ステップＳ４４において、ＹＣ変換部４７は、デモザイク部４６から供給されたカラー画像に対して色空間変換を行って、輝度画像および色差画像からなるカラー画像を生成し、表示部４８に供給する。
　ステップＳ４５において、表示部４８はＹＣ変換部４７から供給されたカラー画像に基づいてライブビュー表示を行う。すなわち、表示部４８はカラー画像をライブビュー画像として表示する。
　なお、カラー画像や輝度画像が、撮像装置１１に有線のケーブル等により接続された外部のディスプレイにライブビュー画像として表示されるようにしてもよい。
　ステップＳ４６において、カメラ部２２は処理を終了するか否かを判定する。例えば、ユーザによりカメラ部２２の図示せぬ電源ボタンが操作され、電源がオフされると処理を終了すると判定される。
　ステップＳ４６において終了しないと判定された場合、処理はステップＳ４１に戻り、上述した処理が繰り返し行われる。
　これに対して、ステップＳ４６において終了すると判定された場合、カメラ部２２は各部の処理を終了させ、これによりライブビュー表示処理は終了する。
　以上のようにして撮像装置１１は、電源がオンされるとライブビュー表示のための撮影を開始し、得られたカラー画像をライブビュー画像として表示させる。
〈撮影処理の説明〉
　ライブビュー表示処理が開始されてライブビュー画像が表示されると、ユーザはライブビュー画像を見て画角等を確認しながら撮影を行う。すなわち、ユーザはカメラ部２２に設けられた図示せぬシャッタボタンを押下して、輝度画像（記録画像）の撮影を指示する。
　ユーザによりシャッタボタンが操作され、輝度画像の撮影が指示されると、撮像装置１１は、輝度画像をキャプチャして記録画像を生成し、得られた記録画像を記録する処理である撮影処理を行う。以下、図７のフローチャートを参照して、撮像装置１１により行われる撮影処理について説明する。
　ステップＳ７１において、モノクロイメージセンサ４２は、ビームスプリッタ４１から入射した光を受光して光電変換することにより輝度画像を撮影し、記録画像選択部５１に供給する。すなわち、モノクロイメージセンサ４２は、レンズ部３２およびビームスプリッタ４１を介して被写体を撮影することで輝度画像を得る。
　輝度画像の撮影が行われると、その後、ステップＳ７２乃至ステップＳ７５の処理が行われてカラー画像が生成されるが、これらの処理は図６のステップＳ４１乃至ステップＳ４４の処理と同様であるので、その説明は省略する。
　なお、より詳細にはステップＳ７１における輝度画像の撮影と、ステップＳ７２におけるＲＡＷ画像の撮影とは同時に行われる。すなわち、ビームスプリッタ４１を介して同じ画角の画像が、モノクロイメージセンサ４２およびカラーイメージセンサ４３により同時に撮影（キャプチャ）される。
　ステップＳ７６において、カメラ部２２は、処理対象とする像高位置を選択する。
　例えば図８に示すように、モノクロイメージセンサ４２の中心位置を中心Ｏとし、中心Ｏから、モノクロイメージセンサ４２の長方形である撮像面の１つの頂点までの長さを、対角の長さｒとする。
　いま、モノクロイメージセンサ４２の図中、横方向の長さが水平サイズｗ＝6000（画素）であり、モノクロイメージセンサ４２の図中、縦方向の長さが垂直サイズｈ＝3000（画素）であるとする。この場合、長さｒ＝（（ｗ2＋ｈ2）1/2）／２であるから、長さｒを表す式にｗ＝6000およびｈ＝3000を代入すると、長さｒ＝3354となる。
　ここで、中心Ｏの位置を像高位置が０割の位置であり、中心Ｏから長さｒの位置を像高位置が１０割の位置であるとする。さらに、中心Ｏから長さｒ×ｘ／１０の位置を像高位置がｘ割（但し０≦ｘ≦１０）の位置であるとし、中心Ｏから像高位置ｘ割の位置までの長さをｒxで表すとする。
　この場合、例えば図８に示すように中心Ｏから像高８割の位置までの長さ（距離）ｒ8は、ｒ8＝ｒ×0.8＝2683となる。また、例えば図５に示した例では、倍率色収差情報における像高位置「0.8」が像高８割の位置である。
　なお、モノクロイメージセンサ４２により撮影される輝度画像と、これから得ようとする記録画像とは同じ大きさ、つまり水平方向および垂直方向の画素数が同じである。したがって、モノクロイメージセンサ４２の中心から長さｒxの位置、つまり像高ｘ割の位置は、記録画像の中心からの長さｒxの位置に対応する位置となる。
　以下では、モノクロイメージセンサ４２の像高位置に対応する輝度画像や記録画像の位置を、単に輝度画像や記録画像の像高位置とも称することとする。
　図７のフローチャートの説明に戻り、カメラ部２２はモノクロイメージセンサ４２の像高位置を像高０割の位置から像高１０割の位置まで順番に、１割刻みで選択していく。なお、以下、ステップＳ７６で選択された像高位置を、処理対象の像高位置とも称することとする。
　ステップＳ７７において、倍率収差量判定部５０はレンズ情報受信部４４から供給されたレンズ情報としての倍率色収差情報に基づいて、処理対象の像高位置における倍率色収差量Δの絶対値が予め定めた閾値ｔｈ以上であるか否かを判定する。
　例えば倍率収差量判定部５０は、像高ｘ割の位置までの長さｒxと、倍率色収差情報に示される、その像高位置における補正倍率ｋとの積を倍率色収差量Δとして求める。ここで、倍率色収差量Δは、輝度画像上の処理対象の像高位置において倍率色収差によって生じる、Ｇ成分の光の結像位置と、Ｒ成分またはＢ成分の光の結像位置とのずれ量（色ずれ量）である。
　具体的には、例えば処理対象の像高位置が像高８割の位置であり、長さｒ8＝2683であるとする。また、像高８割の位置における補正倍率ｋがｋ＝-0.0009であるとする。この場合、像高８割位置における倍率色収差量Δは、Δ＝2683×（-0.0009）＝-2.4（画素）となる。このとき、例えば閾値ｔｈが２（画素）であった場合、倍率色収差量Δ＝-2.4の絶対値は閾値ｔｈ以上であるから、ステップＳ７７では閾値以上であると判定される。
　より詳細には、倍率収差量判定部５０は、倍率色収差情報としてのＲ用補正倍率を補正倍率ｋとして用いて得られた倍率色収差量ΔRと、倍率色収差情報としてのＢ用補正倍率を補正倍率ｋとして用いて得られた倍率色収差量ΔBとを求める。
　そして、倍率収差量判定部５０は、倍率色収差量ΔRの絶対値が閾値ｔｈ未満であり、かつ倍率色収差量ΔBの絶対値が閾値ｔｈ未満である場合に、ステップＳ７７において倍率色収差量の絶対値が閾値以上でないと判定する。すなわち、倍率色収差量ΔRの絶対値と、倍率色収差量ΔBの絶対値とのうちの何れか一方でも閾値ｔｈ以上となる場合には、ステップＳ７７において倍率色収差量の絶対値が閾値ｔｈ以上であると判定される。
　なお、倍率色収差情報に補正倍率ｋが含まれていない像高位置については、適宜、補間処理により補正倍率ｋが求められる。また、ここではＲ用補正倍率とＢ用補正倍率の両方を用いる例について説明したが、Ｒ用補正倍率またはＢ用補正倍率の何れか一方のみを用いて倍率色収差量の判定を行うようにしてもよい。
　さらに、閾値ｔｈは、それ以上の倍率色収差量があると、輝度画像で倍率色収差に起因する色ずれがにじみとなって見えてくる値などとされ、例えば閾値ｔｈは２などとされる。
　また、例えばモノクロイメージセンサ４２とカラーイメージセンサ４３のサイズ差が大きいと、カラー画像から得られた輝度画像を記録画像と同じ大きさとなるように拡大処理した場合に拡大処理による解像劣化が生じることもある。したがって、そのような場合には、拡大処理により生じる解像劣化がどの程度の倍率色収差量に相当するかを考慮して閾値ｔｈを定めるようにすればよい。
　ステップＳ７７において倍率色収差量の絶対値が閾値未満であると判定された場合、倍率収差量判定部５０は、カラー画像から得られた輝度画像への置き換えを行わない旨の置き換え信号を記録画像選択部５１に供給し、処理はステップＳ７８に進む。
　ステップＳ７８において、記録画像選択部５１は、倍率収差量判定部５０から供給された置き換え信号に応じて、モノクロイメージセンサ４２で得られた輝度画像を記録画像として選択し、記録部５２に出力する。
　すなわち、記録画像選択部５１は、モノクロイメージセンサ４２から供給された輝度画像における、処理対象の像高位置にある画素からなる領域を、記録画像における、処理対象の像高位置にある画素からなる領域の画像として選択する。
　例えば処理対象の像高位置が像高ｘ割の位置である場合、モノクロイメージセンサ４２で得られた輝度画像上における、輝度画像の中心位置を中心とし半径がｒxである円上（円周上）の画素からなる領域の画像が、記録画像における、記録画像の中心位置を中心とし半径がｒxである円上の画素からなる領域の画像とされる。
　処理対象の像高位置において倍率色収差量が小さい場合、モノクロイメージセンサ４２により撮影された輝度画像における処理対象の像高位置の領域では、倍率色収差に起因するにじみが小さく、大きな解像劣化は生じない。
　そこで、記録画像選択部５１は、倍率色収差量が小さい像高位置においては、モノクロイメージセンサ４２により撮影された輝度画像をそのまま記録画像とする。
　このようにしてモノクロイメージセンサ４２で得られた輝度画像における処理対象の像高位置の画像が記録画像として選択されると、その後、処理はステップＳ８１へと進む。
　これに対して、ステップＳ７７において倍率色収差量の絶対値が閾値以上であると判定された場合、倍率収差量判定部５０は、カラー画像から得られた輝度画像への置き換えを行う旨の置き換え信号を記録画像選択部５１に供給し、処理はステップＳ７９に進む。
　なお、この場合、より詳細には倍率収差量判定部５０から画サイズ変換部４９に対して画サイズ変換処理の実行指示が供給される。
　ステップＳ７９において、画サイズ変換部４９はＹＣ変換部４７から供給された、カラーイメージセンサ４３で得られたカラー画像から生成された輝度画像に対して画サイズ変換処理を行い、その結果得られた輝度画像を記録画像選択部５１に供給する。
　例えば画サイズ変換部４９は、輝度画像に対してバイキュービックフィルタを用いたフィルタ処理を施すことにより、カラー画像を構成する輝度画像を、モノクロイメージセンサ４２で得られる輝度画像と同じ大きさ、つまり記録画像と同じ大きさの画像に変換する。なお、画サイズ変換処理は、バイキュービックフィルタを用いたフィルタ処理に限らず、他のどのような処理であってもよい。
　ステップＳ８０において、記録画像選択部５１は、倍率収差量判定部５０から供給された置き換え信号に応じて、画サイズ変換された輝度画像を記録画像として選択し、記録部５２に出力する。
　すなわち、記録画像選択部５１は、画サイズ変換部４９から供給された、カラー画像を構成する輝度画像における、処理対象の像高位置にある画素からなる領域を、記録画像における、処理対象の像高位置にある画素からなる領域の画像として選択する。
　例えば処理対象の像高位置が像高ｘ割の位置である場合、画サイズ変換部４９から供給された輝度画像上における、輝度画像の中心位置を中心とし半径がｒxである円上の画素からなる領域の画像が、記録画像における、記録画像の中心位置を中心とし半径がｒxである円上の画素からなる領域の画像とされる。
　処理対象の像高位置において倍率色収差量が大きい場合、モノクロイメージセンサ４２により撮影された輝度画像における処理対象の像高位置の領域では、倍率色収差に起因するにじみが大きく、解像劣化が生じてしまう。
　そこで、記録画像選択部５１は、倍率色収差量が大きい像高位置においては、本来、記録画像とすべきモノクロイメージセンサ４２により撮影された輝度画像に代えて、倍率色収差が補正されたカラー画像を構成する輝度画像を記録画像とする。換言すれば、記録画像用に撮影された輝度画像を、部分的にカラー画像から得られた輝度画像に置き換える。
　このようにして画サイズ変換部４９から供給された輝度画像の処理対象の像高位置の画像が記録画像として選択されると、その後、処理はステップＳ８１へと進む。
　ステップＳ７８またはステップＳ８０において記録画像とする画像が選択されると、ステップＳ８１において、カメラ部２２は全ての像高位置を処理対象の像高位置として処理したか否かを判定する。
　ステップＳ８１において、まだ全ての像高位置を処理していないと判定された場合、処理はステップＳ７６に戻り、上述した処理が繰り返し行われる。すなわち、新たな像高位置が処理対象の像高位置として選択され、その像高位置の記録画像とする画像が選択される。
　なお、以上においては１割間隔の像高位置について処理を行うと説明したが、より詳細には、それらの１割間隔の像高位置の間にある各像高位置については、近傍の像高位置の補正倍率ｋを用いた補間処理によりそれらの像高位置の補正倍率を求め、上述した処理が行われる。すなわち、１割間隔の像高位置の間にある各像高位置についても、補間処理により求められた補正倍率が用いられて記録画像とする輝度画像が選択される。
　また、ステップＳ８１において、全ての像高位置を処理したと判定された場合、像高位置ごとに選択された輝度画像からなる記録画像が得られたことになり、処理はステップＳ８２へと進む。
　ステップＳ８２において、記録部５２は、記録画像選択部５１から供給された記録画像を図示せぬ記録媒体に供給して記録させ、撮影処理は終了する。
　このとき、記録部５２は必要に応じて記録画像を、JPEG（Joint Photographic Experts Group）などの所定のフォーマットの画像に変換した後、記録媒体に記録させる。
　以上のようにして撮像装置１１は、像高位置ごとにモノクロイメージセンサ４２で得られた輝度画像、またはカラーイメージセンサ４３で得られたカラー画像を構成する輝度画像の何れか一方を記録画像として選択し、記録画像を生成する。
　このように像高位置ごとに解像劣化の少ない輝度画像を選択して記録画像とすることで、モノクロイメージセンサ４２を用いて輝度画像を撮影する場合であっても、倍率色収差に起因するにじみの少ない、より高品質な輝度画像を得ることができる。
　なお、この例では、像高位置ごとに輝度画像を選択して記録画像とするため、基本的にはモノクロイメージセンサ４２で得られた輝度画像と、カラーイメージセンサ４３で得られたカラー画像を構成する輝度画像とが記録部５２によって像高位置ごとに合成されて記録画像が生成されることになる。しかし、各像高位置の倍率色収差量によっては、モノクロイメージセンサ４２で得られた輝度画像そのもの、またはカラーイメージセンサ４３で得られたカラー画像を構成する輝度画像そのものが記録画像となることもある。
　また、全体的に各像高位置における倍率色収差量が小さい場合には、所定の像高位置において倍率色収差量の絶対値が閾値以上であるときでもモノクロイメージセンサ４２で得られた輝度画像そのものが記録画像とされるようにしてもよい。
　逆に、全体的に各像高位置における倍率色収差量が大きい場合には、所定の像高位置において倍率色収差量の絶対値が閾値未満であるときでもカラー画像から得られた輝度画像そのものが記録画像とされるようにしてもよい。
　つまり、像高位置ごとに記録画像とする輝度画像を選択するのではなく、全像高位置の倍率色収差量に基づいて、１つの輝度画像がそのまま記録画像として選択されるようにしてもよい。
　また、以上においてはモノクロイメージセンサ４２のサイズが、カラーイメージセンサ４３のサイズよりも大きい場合を例として説明したが、カラーイメージセンサ４３のサイズが、モノクロイメージセンサ４２のサイズよりも大きいサイズとされてもよい。
　そのような場合、例えばモノクロイメージセンサ４２で得られた輝度画像が記録画像選択部５１等で拡大処理され、カラー画像を構成する輝度画像がそのまま記録画像選択部５１に供給される。
　また、例えばモノクロイメージセンサ４２で得られた輝度画像がそのまま記録画像選択部５１に供給され、カラー画像を構成する輝度画像が縮小されて記録画像選択部５１に供給されてもよい。
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
　図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Me mory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロホン、複数の撮像素子などよりなる。この例では、入力部５０６を構成する２つの撮像素子がモノクロイメージセンサ４２およびカラーイメージセンサ４３に相当する。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本技術は、以下の構成とすることも可能である。
（１）
　レンズ部を介して被写体を撮影して得られたカラー画像に対して倍率色収差補正を施す倍率色収差補正部と、
　前記レンズ部の倍率色収差量に基づいて、前記レンズ部を介して前記被写体を撮影して得られた第１の輝度画像、または倍率色収差補正された前記カラー画像から得られた第２の輝度画像の何れか一方を選択して出力する画像選択部と
　を備える撮像装置。
（２）
　前記画像選択部は、像高ごとに前記第１の輝度画像または前記第２の輝度画像の何れか一方を選択する
　（１）に記載の撮像装置。
（３）
　前記画像選択部は、前記像高における前記倍率色収差量の絶対値が閾値以上である場合、前記第２の輝度画像を選択する
　（２）に記載の撮像装置。
（４）
　前記第２の輝度画像を前記第１の輝度画像と同じサイズに変換する画サイズ変換部をさらに備え、
　前記画像選択部は、前記第１の輝度画像、または前記画サイズ変換によりサイズ変換された前記第２の輝度画像の何れか一方を選択する
　（１）乃至（３）の何れか一項に記載の撮像装置。
（５）
　前記カラー画像を撮影するカラー画像撮影部と、
　前記第１の輝度画像を撮影する輝度画像撮影部と
　をさらに備える（１）乃至（４）の何れか一項に記載の撮像装置。
（６）
　前記カラー画像撮影部のサイズと前記輝度画像撮影部のサイズとが異なる
　（５）に記載の撮像装置。
（７）
　Ｒ、Ｇ、およびＢの各色成分の画像からなる前記カラー画像を前記第２の輝度画像に変換する画像変換部をさらに備える
　（１）乃至（６）の何れか一項に記載の撮像装置。
（８）
　レンズ部を介して被写体を撮影して得られたカラー画像に対して倍率色収差補正を施し、
　前記レンズ部の倍率色収差量に基づいて、前記レンズ部を介して前記被写体を撮影して得られた第１の輝度画像、または倍率色収差補正された前記カラー画像から得られた第２の輝度画像の何れか一方を選択して出力する
　ステップを含む撮影方法。
（９）
　レンズ部を介して被写体を撮影して得られたカラー画像に対して倍率色収差補正を施し、
　前記レンズ部の倍率色収差量に基づいて、前記レンズ部を介して前記被写体を撮影して得られた第１の輝度画像、または倍率色収差補正された前記カラー画像から得られた第２の輝度画像の何れか一方を選択して出力する
　ステップを含む処理をコンピュータに実行させるプログラム。
　１１　撮像装置，　３２　レンズ部，　４２　モノクロイメージセンサ，　４３　カラーイメージセンサ，　４４　レンズ情報受信部，　４５　倍率色収差補正部，　４７　ＹＣ変換部，　４９　画サイズ変換部，　５０　倍率収差量判定部，　５１　記録画像選択部

Claims (9)

  1. 　レンズ部を介して被写体を撮影して得られたカラー画像に対して倍率色収差補正を施す倍率色収差補正部と、
    　前記レンズ部の倍率色収差量に基づいて、前記レンズ部を介して前記被写体を撮影して得られた第１の輝度画像、または倍率色収差補正された前記カラー画像から得られた第２の輝度画像の何れか一方を選択して出力する画像選択部と
    　を備える撮像装置。
  2. 　前記画像選択部は、像高ごとに前記第１の輝度画像または前記第２の輝度画像の何れか一方を選択する
    　請求項１に記載の撮像装置。
  3. 　前記画像選択部は、前記像高における前記倍率色収差量の絶対値が閾値以上である場合、前記第２の輝度画像を選択する
    　請求項２に記載の撮像装置。
  4. 　前記第２の輝度画像を前記第１の輝度画像と同じサイズに変換する画サイズ変換部をさらに備え、
    　前記画像選択部は、前記第１の輝度画像、または前記画サイズ変換によりサイズ変換された前記第２の輝度画像の何れか一方を選択する
    　請求項１に記載の撮像装置。
  5. 　前記カラー画像を撮影するカラー画像撮影部と、
    　前記第１の輝度画像を撮影する輝度画像撮影部と
    　をさらに備える請求項１に記載の撮像装置。
  6. 　前記カラー画像撮影部のサイズと前記輝度画像撮影部のサイズとが異なる
    　請求項５に記載の撮像装置。
  7. 　Ｒ、Ｇ、およびＢの各色成分の画像からなる前記カラー画像を前記第２の輝度画像に変換する画像変換部をさらに備える
    　請求項１に記載の撮像装置。
  8. 　レンズ部を介して被写体を撮影して得られたカラー画像に対して倍率色収差補正を施し、
    　前記レンズ部の倍率色収差量に基づいて、前記レンズ部を介して前記被写体を撮影して得られた第１の輝度画像、または倍率色収差補正された前記カラー画像から得られた第２の輝度画像の何れか一方を選択して出力する
    　ステップを含む撮影方法。
  9. 　レンズ部を介して被写体を撮影して得られたカラー画像に対して倍率色収差補正を施し、
    　前記レンズ部の倍率色収差量に基づいて、前記レンズ部を介して前記被写体を撮影して得られた第１の輝度画像、または倍率色収差補正された前記カラー画像から得られた第２の輝度画像の何れか一方を選択して出力する
    　ステップを含む処理をコンピュータに実行させるプログラム。
PCT/JP2015/064403 2014-06-03 2015-05-20 撮像装置および方法、並びにプログラム WO2015186510A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/311,970 US10075687B2 (en) 2014-06-03 2015-05-20 Imaging apparatus and imaging method to obtain high quality luminance images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-114627 2014-06-03
JP2014114627A JP2015231052A (ja) 2014-06-03 2014-06-03 撮像装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
WO2015186510A1 true WO2015186510A1 (ja) 2015-12-10

Family

ID=54766585

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/064403 WO2015186510A1 (ja) 2014-06-03 2015-05-20 撮像装置および方法、並びにプログラム

Country Status (3)

Country Link
US (1) US10075687B2 (ja)
JP (1) JP2015231052A (ja)
WO (1) WO2015186510A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948857B2 (en) * 2015-10-22 2018-04-17 Samsung Electronics Co., Ltd. Method and device for generating images
JP6685843B2 (ja) * 2016-06-06 2020-04-22 オリンパス株式会社 撮像装置
JP6341958B2 (ja) 2016-08-17 2018-06-13 株式会社不二工機 アキュームレータ
JP6436945B2 (ja) 2016-08-17 2018-12-12 株式会社不二工機 アキュームレータ

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011109231A (ja) * 2009-11-13 2011-06-02 Jvc Kenwood Holdings Inc 撮像装置
JP2012191539A (ja) * 2011-03-14 2012-10-04 Olympus Corp 撮像装置、画像処理プログラムおよび撮像方法
JP2012230401A (ja) * 2012-06-26 2012-11-22 Keyence Corp 拡大観察装置、拡大観察方法及び拡大観察プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030048493A1 (en) * 2001-09-10 2003-03-13 Pontifex Brian Decoursey Two sensor quantitative low-light color camera
JP5078147B2 (ja) * 2008-03-04 2012-11-21 株式会社リコー 画像処理装置及び画像撮像装置
JP2012134951A (ja) * 2010-11-30 2012-07-12 Canon Inc 撮像装置及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011109231A (ja) * 2009-11-13 2011-06-02 Jvc Kenwood Holdings Inc 撮像装置
JP2012191539A (ja) * 2011-03-14 2012-10-04 Olympus Corp 撮像装置、画像処理プログラムおよび撮像方法
JP2012230401A (ja) * 2012-06-26 2012-11-22 Keyence Corp 拡大観察装置、拡大観察方法及び拡大観察プログラム

Also Published As

Publication number Publication date
US10075687B2 (en) 2018-09-11
US20170085850A1 (en) 2017-03-23
JP2015231052A (ja) 2015-12-21

Similar Documents

Publication Publication Date Title
US8730545B2 (en) Color imaging element, imaging device, and storage medium storing a control program for imaging device
JP4427097B2 (ja) 画像処理装置、撮像装置、方法、およびプログラム
JP5660711B2 (ja) 復元ゲインデータ生成方法
JP5901935B2 (ja) 固体撮像装置及びカメラモジュール
US20180330529A1 (en) Image processing apparatus, image processing method, and computer readable recording medium
US20180182075A1 (en) Image processing apparatus, image capturing apparatus, method of image processing, and storage medium
US8736743B2 (en) Color imaging element, imaging device, and storage medium storing a control program for imaging device
US8723992B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
WO2015186510A1 (ja) 撮像装置および方法、並びにプログラム
JP5398750B2 (ja) カメラモジュール
JP5159715B2 (ja) 画像処理装置
KR20120024448A (ko) 촬상 장치, 신호 처리 방법 및 프로그램
WO2013099917A1 (ja) 撮像装置
US8804016B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
JP5753395B2 (ja) 撮像装置
JP6702792B2 (ja) 画像処理装置およびその制御方法
JP6370004B2 (ja) 撮像装置および撮像方法
JP6245847B2 (ja) 画像処理装置および画像処理方法
JP6415330B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP5278421B2 (ja) 撮像装置
JP5333163B2 (ja) 撮像装置
JP6051592B2 (ja) 画像処理装置および撮像装置
JP2011176584A (ja) 撮像装置
JP5335968B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2009047733A (ja) 撮像装置及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15803772

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15311970

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15803772

Country of ref document: EP

Kind code of ref document: A1