WO2007007878A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2007007878A1
WO2007007878A1 PCT/JP2006/314073 JP2006314073W WO2007007878A1 WO 2007007878 A1 WO2007007878 A1 WO 2007007878A1 JP 2006314073 W JP2006314073 W JP 2006314073W WO 2007007878 A1 WO2007007878 A1 WO 2007007878A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
image
component
smoothing
mtf
Prior art date
Application number
PCT/JP2006/314073
Other languages
English (en)
French (fr)
Inventor
Kenichi Ishiga
Akihiko Utsugi
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2005205356A external-priority patent/JP4945943B2/ja
Priority claimed from JP2005205354A external-priority patent/JP4945942B2/ja
Priority claimed from JP2005205355A external-priority patent/JP4797478B2/ja
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to US11/988,443 priority Critical patent/US8233710B2/en
Publication of WO2007007878A1 publication Critical patent/WO2007007878A1/ja
Priority to US13/303,934 priority patent/US8509533B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for correcting an image captured through an optical system.
  • the following chromatic aberration correcting apparatus is known from Patent Document 1.
  • the RGB defocus due to the layout tilt of the RGB surface image sensor is smoothed to the other color planes relative to the reference color plane for the color image with three colors.
  • Patent Document 1 Japanese Patent Laid-Open No. 2001-103358
  • an image is picked up through an optical system, and at least one of a plurality of color components is missing in one pixel, and a reference color component and at least one other missing color component are captured on the imaging surface.
  • An image processing apparatus that converts a first image with different MTF characteristics into a second image with matched MTF characteristics is provided with a missing color component and a reference color component in a pixel having a missing color component of the first image.
  • An image generator is provided that obtains information on the difference in MTF characteristics between the two and generates a second image using the obtained information.
  • the image generation unit corrects the missing color component to match the MTF characteristic of the reference color component using the obtained information.
  • the image generation unit uses the obtained information to determine the MTF characteristic of the missing color component of the first image as the MTF of the reference color component. It is preferable to generate a second image having the same color component arrangement as that of the first image, corrected to match the characteristics.
  • the image processing apparatus according to the third aspect further includes an interpolation unit for interpolating the missing color component of the second image.
  • the image generation unit uses at least one missing color component whose reference color component is different from the MTF characteristic of the first image.
  • the smoothing unit in the image processing device according to the fifth aspect, the smoothing unit generates the color difference component used for generating the second image, so that the reference color component of the first image It is preferable that the smoothing process is not performed on the reference color component of the first image for generating the luminance component used for generating the second image.
  • a color component bearing luminance information of the first image is associated with the reference color component of the first image.
  • the color components arranged at the highest density of the first image correspond to the reference color component of the first image. .
  • information relating to the difference in MTF characteristics is determined based on external information relating to the state of the optical system at the time of imaging.
  • the external information relating to the state of the optical system at the time of shooting includes the lens type, zoom position, focus position, aperture used at the time of shooting. It preferably contains at least one piece of information and focus position within the screen.
  • the smooth smoothing portion determines the degree of smoothness for each pixel.
  • the smooth smoothing portion determines a common smoothing degree across a plurality of pixels.
  • the smoothing unit when the smoothing unit generates a plurality of types of color difference components representing different color information for one pixel, each type of color difference It is preferable to determine the smoothing degree of the smoothing process for each color component of the first image constituting the component.
  • the first image picked up through the optical system has at least one of a plurality of color components in one pixel, and the MTF characteristics differ between at least two color components on the imaging surface.
  • Image processing device that converts the image of the image into a second image with matching MTF characteristics
  • the MTF correction unit corrects the MTF by performing smooth V-sharpening or sharpening processing on at least one of the two color components of the first image.
  • a decision is made to determine one MTF correction process from a plurality of MTF processes based on the comparison results of the color response between the comparison unit and the comparison unit.
  • the first image captured through the optical system has at least one of a plurality of color components in one pixel, and the MTF characteristics differ between at least two color components on the imaging surface.
  • An image processing apparatus that converts the image of the image into a second image having matching MTF characteristics is applied to a pixel having the color component for one color component of at least two color components of the first image. Therefore, between the smoothing unit that performs smoothing processing with multiple smoothing degrees including the case where smoothing processing is not performed, and the multiple cases where smoothing processing is performed with multiple smoothing degrees!
  • a comparison unit that compares the color response to the MTF characteristic change, and a determination unit that determines one smoothness degree from a plurality of smoothing degrees based on the comparison result of the color response by the comparison part. Based on the result of smoothing with a single smoothing degree! And an image conversion unit that matches the MTF characteristic of one color component of at least two color components with the MTF characteristic of other color components.
  • the comparison unit includes a plurality of color differences for each pixel of each image subjected to smoothing processing at a plurality of smoothing degrees!
  • the comparison unit includes a plurality of smoothing components.
  • the determining unit determines the degree of smoothing that provides the lowest saturation level based on a plurality of types of saturation indicators. It is preferable to determine the fit as the degree of smoothness to the color component of the first image for conversion to the second image.
  • the comparison unit applies the generated color difference component as the color difference component when the smoothing process is not performed.
  • the color difference component after the correction processing is performed with the color difference component of the surrounding pixels.
  • the determination unit in the image processing device according to the fourteenth or fifteenth aspect, the determination unit generates a plurality of types of color difference components representing different color information for one pixel, and the plurality of types of color differences It is preferable to determine the degree of smoothing in consideration of new color difference information that can be obtained by combining the components.
  • the determining unit when the determining unit generates a plurality of types of color difference components representing different color information for one pixel, each type of color difference It is preferable to determine the smoothing degree of the smoothing process for each color component of the first image constituting the component.
  • the determining unit in the image processing device according to any one of the fourteenth to twenty-first aspects, preferably determines the degree of smoothness for each pixel. According to the twenty-third aspect of the present invention, in the image processing device according to any one of the fourteenth to twenty-first aspects, it is preferable that the determining unit determines a common smoothing degree across a plurality of pixels. Good.
  • an image in which the MTF characteristics between the color components generated due to the defocusing between the color components in the optical axis direction are inconsistent is used, and the color information of the high amber color component of the MTF characteristics is used.
  • the MTF characteristics between each color component are matched.
  • the signal of the color component having a high MTF characteristic is smoothed and the signal of the color component is smoothed by the high MTF characteristic.
  • the MTF characteristics of the color components with low MTF characteristics are corrected to match the MTF characteristics between the color components. Is preferred.
  • a first image that is picked up through an optical system and that is composed of a plurality of color components and that has different MTF characteristics between at least two color components on the image pickup surface is converted into a second image.
  • the image processing apparatus performs smoothing processing on a pixel having one color component so that the MTF characteristic of one color component of at least two color components of the first image approaches the MTF characteristic of the other color component.
  • a smoothing part to be performed a color difference component generating part for generating a color difference component of the second image using one color component smoothed by the smoothing part, and smoothing of the first image
  • a luminance component generation unit that generates a luminance component of the second image using the color component that is not processed.
  • the color difference component having the same color component power as that of the first image is obtained by using the color difference component and the luminance component of the second image. It is preferable to further include an inverse conversion unit that performs inverse conversion to a system image.
  • the smoothing unit when the smoothing unit generates a plurality of types of color difference components, the smoothing process is performed for each color difference component. It is preferable to determine the degree of conversion.
  • the smoothing unit performs the smoothing process at a degree of smoothing for each pixel. .
  • the smoothing unit performs smoothing processing at a common smoothing degree across a plurality of pixels. Is preferably performed.
  • the first image preferably has all color components in each pixel.
  • an image processing method for generating an image with matching MTF characteristics is composed of a plurality of color components, and the MTF characteristics differ between at least two color components on the imaging surface.
  • a plurality of smoothing processes are performed on one color component of at least two color components of the first image, and one color component and a plurality of smoothing processes are not performed.
  • Multiple color difference components are generated using one color component that has undergone smoothing processing in the same way, and between one color component and another color component among the generated multiple color difference components Select the color difference component that shows the state where the MTF characteristics match most closely, and use the selected color difference component and the acquired first image to match the MTF characteristics composed of multiple color components.
  • the saturation is obtained using the plurality of generated color difference components, and the color difference component used when the obtained saturation is the lowest is obtained. It is preferable to select the color difference component that indicates the state in which the MTF characteristics are most consistent between one color component and the other color component.
  • a luminance component is acquired from the acquired first image, and a plurality of colors are obtained using the selected color difference component and the acquired luminance component. It is preferable to generate a second image with matched MTF characteristics composed of components.
  • a power error image before performing an interpolation process that is not performed on a color image that has undergone an interpolation process i.e., an image in which at least one of a plurality of color components is missing in one pixel, is used as an MTF. Due to the matching, axial chromatic aberration can be corrected stably and accurately without being affected by the interpolation processing algorithm.
  • a plurality of smoothing degrees! Compare the color response to the change in MTF characteristics between images that have undergone smoothing processing in, and based on the comparison results, determine the degree of smoothing for the color component of the first image with high accuracy. Can do.
  • the MTF characteristic is matched by correcting the color information of the low color component and the color information of the color component using the color information of the high color component and the MTF characteristic. This makes it possible to recover MTF of frequency components that cannot be recovered by the component, and to perform high-precision axial chromatic aberration correction.
  • axial chromatic aberration correction is performed using a color signal that has undergone smoothing for MTF matching with respect to only the chrominance component, and the luminance component in which the influence of axial chromatic aberration is inconspicuous is Since it is generated using the original color signal that has not been smoothed, it is possible to correct the non-destructive image structure while maintaining sharpness.
  • FIG. 1 is a block diagram showing a configuration of an embodiment when an image processing apparatus is mounted on a digital camera.
  • FIG. 2 is a first diagram for explaining the principle of color blur due to axial chromatic aberration.
  • FIG. 3 is a second diagram for explaining the principle of color blur due to axial chromatic aberration.
  • FIG. 4 is a diagram showing the principle of correcting axial chromatic aberration of R and B components using other color components (G components).
  • FIG. 5 is a diagram showing a specific example of a Bayer image.
  • FIG. 6 is a diagram showing a specific example of the smoothing filter used in the first embodiment.
  • FIG. 7 is a diagram showing a specific example of an “unpowered image”, “weakly weak image”, and “blurred strong image” in the first embodiment.
  • FIG. 8 is a flowchart showing the operation of the image processing apparatus 110 in the first embodiment.
  • FIG. 9 is a diagram showing a specific example of a Bayer image in which MTF is matched.
  • FIG. 10 is a flowchart showing an operation of the image processing apparatus 110 in the second embodiment.
  • FIG. 11 is a diagram showing a specific example of the smoothing filter used in the third embodiment.
  • FIG. 12 shows specific examples of “unblurred image” and “blurred image” in the third embodiment.
  • FIG. 13 is a flowchart showing the operation of the image processing apparatus 110 in the third embodiment.
  • FIG. 14 is a diagram showing a specific example of an evaluation imaging chart according to the fourth embodiment.
  • FIG. 15 is a diagram showing the correspondence between the distance to the subject and the LPF used in the fourth embodiment.
  • FIG. 16 is a flowchart showing the operation of the image processing apparatus 110 in the fourth embodiment.
  • FIG. 17 is a diagram showing a specific example of a method for determining a continuous blur amount.
  • FIG. 18 is a diagram showing the principle of correcting axial chromatic aberration by matching the MTF characteristics in Modification (9).
  • FIG. 19 is a diagram showing how a program is provided to a personal computer via a recording medium such as a CD or a telecommunication line such as the Internet.
  • the first embodiment there is shown a method of correcting by detecting itself from the image itself without having any optical system information regarding axial chromatic aberration.
  • the self-detection method of lateral chromatic aberration which is the lateral aberration, is relatively easy to measure by measuring the similarity between the RGB planes in the spatial direction, but what is the self-detection method of axial chromatic aberration, which is the longitudinal aberration? Since it is not obvious whether it should be used as an indicator, the method is shown. As a result, even with the same lens state, it is possible to cope with axial chromatic aberration that varies depending on the subject distance.
  • FIG. 1 is a block diagram showing a configuration of an embodiment when the image processing apparatus according to the first embodiment is mounted on a digital camera.
  • the digital camera 100 includes a lens 101, an image sensor 102 composed of a CCD or the like, and an image processing device 110.
  • the image sensor 102 for example, the most typical R (red), G (green), and B (blue) color filters of a single-plate color image sensor are arranged in a Bayer array.
  • the image data picked up by the image sensor 102 is assumed to be shown in the RGB color system, and each pixel constituting the image data has color information of one of the RGB color components. To do. That is, a Bayer image is assumed.
  • the image processing device 110 includes a CPU and other peripheral circuits, and executes a control device 111 that executes image processing to be described later, an image memory 112 that stores an image captured by the image sensor 102, and a post-image processing device. And a monitor 113 for displaying an image.
  • Bayer image data captured by the image sensor 102 through the lens 101 is AZD converted by the control device 111 to be converted into a digital signal, and stored in the image memory 112.
  • the image data picked up by the image pickup device 102 and stored in the image memory in this way there is a possibility that color blur accompanying axial chromatic aberration has occurred.
  • the blur signal generated in the R component wraps around the black line subject position and floats only in red, so that it is imaged as a whole reddish / cold line, especially the edge of the black line subject. In the vicinity, red bleeding occurs.
  • blue blur occurs when the B component has large axial chromatic aberration
  • magenta blur occurs when both R and B have large axial chromatic aberration.
  • Such an image is generally captured using a single-plate image sensor such as a Bayer array, and the missing color component is interpolated. Therefore, the dependency on the interpolation algorithm occurs and the situation becomes more complicated. In many cases, the higher the performance algorithm, the more accurately the axial chromatic aberration is reproduced. Therefore, in this embodiment, the luminance component is interpolated as it is before the sharpness is lost in the Bayer array state that does not depend on the interpolation algorithm.
  • the conventional chrominance component generation process is performed to prevent the occurrence of color blur due to axial chromatic aberration.
  • the control device 111 has an axial chromatic aberration in any of the RGB color components, and when color blur occurs due to this, the MTF characteristic between the color components is not good. Corrects the alignment and eliminates color blur due to axial chromatic aberration. That is, MTF of each color component
  • the axial chromatic aberration is eliminated by matching or matching the characteristics. Specifically, the color blur accompanying axial chromatic aberration is eliminated by the following principle.
  • the signal level of each RGB component has a blurred color component signal such as an R component or a B component for the images shown in FIGS. 4 (a) to 4 (c).
  • Match the MTF by sharpening the MTF characteristics using the MTF characteristics of clear color component signals such as the G component.
  • a clear color component signal is used as a reference color component, and the MTF characteristic of the reference color component is smoothed and blurred so as to approach or match the MTF characteristic of the blurred color component signal.
  • the MTF characteristics of the G component are smoothed so as to approach the MTF characteristics of the R component and the B component, respectively.
  • the color difference components Cr and Cb are generated using the G components that are smoothed corresponding to the R component and the B component, that is, ⁇ G> and ⁇ G>, respectively.
  • the MTF characteristics of each of the R, G, and B components will be changed to the G component. It can be matched or brought close to each other by comparing with the MTF characteristics. In other words, for each of the R component and B component, the G component and the difference between each ⁇ G> and ⁇ G> obtained by smoothing the G component with different smoothing levels can be counted.
  • the MTF characteristics of the R and B components can be matched to the clear MTF characteristics of the G component.
  • the R component is corrected by the following equation (1)
  • the B component is corrected by the following equation (2). It is possible to correct the axial chromatic aberration of each component.
  • the MTF characteristic is low, and only the color component cannot be recovered by the force, and the fine structure information is high by using the other color component with the high MTF characteristic.
  • axial chromatic aberration correction is performed using the color signal that has been smoothed for MTF matching only for the color difference component, and the luminance component that is not affected by the axial chromatic aberration is the original smoothness. Since it is generated using a color signal that has not been processed, it is possible to perform correction with little image structure destruction while maintaining sharpness.
  • each pixel [i, j] of the Bayer image has color information of any color component of R, G, and B, that is, a color component value (a value corresponding to the CCD signal value). ) Exists.
  • [I, j] is a coordinate indicating the pixel position.
  • Bayer images are used to determine the direction of similarity at the RZB pixel position.
  • direction determination is performed by a general known method.
  • Ch [i, j] ⁇ (
  • Z represents R or B.
  • the threshold value Thl takes a value of around 10 for 256 gradations, and is set higher when there is a lot of noise in the image.
  • Cb2 B- ⁇ G "> ••• (11) [0032] Among these, the generation of the CrO surface will be described. Specifically, a CrO surface is generated at the R position by the following equation (12), and the CrO surface is interpolated at a position other than the R position by the following equations (13) to (15). The same calculation can be made for other Crl, Cr2, CbO, Cbl, and Cb2 surfaces.
  • the method for generating the color difference surface is not limited to the above-described method, and may be generated by other known methods.
  • a color index that is, a saturation index, for comparing the color changes of the virtual color image that can generate each image force blurred in (1-3) described above is created.
  • a color index is created taking into account the combination of the two types of color difference surfaces Cr and Cb.
  • the color index indicates the color characteristics of each pixel, and is an index that is referred to in order to determine whether each pixel has low saturation or high saturation. This is an index for viewing the color response of a color image that can be generated when the MTF characteristics are changed. In other words, how the color response changes according to the degree of smoothness to change the MTF characteristics, that is, the color change according to the degree of smoothness to change the MTF characteristics. It is an index for monitoring how the degree changes. [0036]
  • the color response means a color response when observing what color changes as a result of smoothing at an arbitrary smoothing degree, and is different from a change in color response. It means the change in color response between each when smoothing is performed with multiple smoothing levels.
  • smoothing processing is used including the meaning of an intermediate process for obtaining a correction signal for sharpening other color components via equations (1) and (2). Specifically, it is difficult to see the color response of the finally obtained R'GB 'image when the amount of force in Fig. 4 is changed little by little.
  • smoothing processing also refers to unsharp processing for obtaining an MTF corrected image by unsharp mask processing.
  • the smoothing process may be applied to the G component.
  • Cdiff its basic form is defined by the following equation (16).
  • Cdiff is defined as a color index.
  • a color difference may be defined and used as a color index.
  • the color index to be evaluated for each of the two types of color difference planes Cr and Cb is calculated by the following equations (17) to (25). As shown, there are nine ways.
  • This color difference surface correction process is not limited to the low-pass process shown in Expression (26), and a median filter or the like may be used as another method, or the filter range may be changed. Also, in equation (26), the force Cb * [i, j] described in the example of calculating Cr * [i, j] can be calculated in the same way.
  • the color difference surface generated by eliminating MTF mismatch due to axial chromatic aberration reduces color generation due to color blur and changes to the low saturation side.
  • a color index that has been pre-measured to shift the factor of interpolated false colors that accompanies the image structure to the low saturation side is generated.
  • Cdiff — rObO extracts the smallest value of Cdiff — r2b2 for each pixel, and used to generate Cr and Cb at that time.
  • the color difference components Cr [i, j], Cb [i, j] is obtained as follows. First, the Cr value is set for the R pixel position using the following equation (28), and the Cb value is set for the B pixel position using the following equation (29).
  • the Cr surface and the Cb surface are interpolated by the above-described equations (13) to (15).
  • color difference surface correction is performed using various known color difference surface correction methods. For example, depending on conditions Or an adaptive color-difference correction method for selecting a correct force. This is to incorporate false color suppression processing that occurs in normal Bayer interpolation. In this way, the Cr surface from which axial chromatic aberration is removed, and the Cb surface, that is, the actual color difference surface are generated.
  • the process is performed using the luminance as the G plane, but the process may be performed using the Y plane as the luminance.
  • the luminance plane can be generated by various known methods. Further, as disclosed in International Publication No. WO2002Z071761, it may be generated directly from the Bayer plane.
  • the G position Gout [i, j] on the Bayer plane can be obtained by substituting the Bayer signal as it is.
  • the following expression (31) and (32) is used to convert to the RGB color system. Perform the conversion.
  • Rout [i, j] Cr [i, j] + Gout [i, j] ⁇ ⁇ ⁇ (31)
  • the read Bayer image has axial chromatic aberration in the RGB, or any color component that is shifted, and when this causes color blurring, the MTF characteristics between each color component The color blur due to the longitudinal chromatic aberration can be eliminated. Then, the RGB image in which the color blur due to the longitudinal chromatic aberration is eliminated is output to the monitor 113 and displayed.
  • FIG. 8 is a flowchart showing the operation of the image processing apparatus 110 according to the first embodiment.
  • the processing shown in FIG. 8 is executed by the control device 111 as a program that is activated when an image captured by the image sensor 102 via the lens 101 is stored in the image memory 112.
  • step S10 as described above in (1-1)
  • the Bayer image captured by the image sensor 102 is read from the image memory 112, and the process proceeds to step S20.
  • step S20 as described above in (1-2), the direction determination at the RZB pixel position is performed using the Bayer image. Then, it progresses to step S30.
  • step S30 the multiple Bayer image creation processing described above in (1-3) is executed, and the process proceeds to step S40.
  • step S40 a plurality of provisional color difference plane generation processes by the blur combination described in (14) are executed, and the process proceeds to step S50.
  • step S50 the color index creation processing described above in (1-5) is executed, and the process proceeds to step S60.
  • step S60 as described above in (1-6), the amount of blur used for image generation is finally determined, and the process proceeds to step S70.
  • step S70 the actual color difference plane generation process described above in (17) is executed, and the process proceeds to step S80.
  • step S1-8 the actual luminance plane generation process described above is executed.
  • step S90 the color system conversion process is performed as described above in (19), and the Cr surface and the Cb surface from which axial chromatic aberration has been removed and the G surface that maintains sharpness 3 Converts one color information color to RGB color system.
  • step S100 the process proceeds to step S100, and an image in which color blur due to axial chromatic aberration is eliminated is output to the monitor 113, and the process is terminated.
  • the color difference component is generated after the MTF characteristic mismatch between color components due to axial chromatic aberration is matched with the color component on the lower side by blurring the color component on the higher MTF side. I did it. As a result, it is possible to suppress color bleeding caused by the difference in MTF difference due to axial chromatic aberration.
  • the correction amount for correcting axial chromatic aberration for the captured image is determined based on the captured image itself. As a result, even for axial chromatic aberration whose characteristics change depending on the distance to the subject, it is possible to determine an appropriate correction amount for each pixel and perform axial chromatic aberration correction.
  • Cdiff—rObO which does not have the weakness of the G component in both R and B, does not use the value that merely generated the Cr and Cb components, CrO * and CbO * that have been subjected to differential surface correction processing were used.
  • Cdiff—rObO which does not have the weakness of the G component in both R and B, does not use the value that merely generated the Cr and Cb components, CrO * and CbO * that have been subjected to differential surface correction processing were used.
  • the saturation of Cdiff-rObO is intentionally lowered, so that the saturation decreases due to the image structure unlike MTF matching of axial chromatic aberration. This can be changed to the color index evaluation value so as to prevent the image structure destruction against the blurring side C diff that may occur.
  • FIG. 1 is a block diagram of the digital camera 100 equipped with the image processing apparatus 110 shown in FIG. 1
  • FIG. 2 is a diagram showing the principle of color blurring due to axial chromatic aberration
  • FIG. The diagram showing the principle of correcting the longitudinal chromatic aberration by matching the MTF characteristics shown is the same as in the first embodiment, and the description thereof is omitted.
  • FIG. 10 is a flowchart showing the processing of the image processing apparatus 110 in the second embodiment.
  • the processing shown in FIG. 8 is executed by the control device 111 as a program that starts when an image captured by the image sensor 102 via the lens 101 is stored in the image memory 112.
  • the same processing steps as those in the first embodiment shown in FIG. 8 are given the same step numbers, and differences will be mainly described.
  • step S71 the color difference components Cr [i, j] and Cb [i, j] are obtained by equations (28) and (29), and the process proceeds to step S80.
  • step S91 conversion from the three color information of the Cr and Cb surfaces before interpolation and the G surface that maintains sharpness to RGB color system is performed using equations (31) and (32).
  • step S92 a Bayer image in which axial chromatic aberration is corrected is output, and the process proceeds to step S93.
  • a known Bayer interpolation process is performed on the Bayer image to obtain an RBG image in which axial chromatic aberration is corrected. .
  • the first embodiment is different from the first embodiment in that the execution position of the interpolation process in the axial chromatic aberration correction process is changed, and the MTF is matched.
  • Interpolation processing was performed after outputting the Bayer image. This makes it possible to correct axial chromatic aberration, Interpolation processing can be handled as separate processing, and various interpolation processing can be applied to Bayer images that are MTF matched.
  • the force described for correcting axial chromatic aberration for image data before interpolation such as a Bayer image captured by a single-plate color image sensor, is used in the third embodiment.
  • FIG. 4 is a block diagram of the digital camera 100 equipped with the image processing apparatus 110 shown in FIG. 1, a diagram showing the principle of color blurring due to axial chromatic aberration shown in FIGS. 2 and 3, and FIG.
  • the diagram showing the principle of correcting axial chromatic aberration by matching the MTF characteristics shown in Fig. 5 is the same as in the first embodiment, and thus the description thereof is omitted.
  • a three-plate color image sensor to obtain a color image with R, G, and B components for each pixel
  • not only the blur for the G component but also the blur for the R component and the B component are performed. As a result, even if there is axial chromatic aberration in the G component, it can be corrected.
  • the image memory 112 stores a color image captured by a three-plate color image sensor or a color image subjected to intensive interpolation processing for each pixel R [i, j], G [ i, j], B [i, j] are stored in a ready state, and these color images are read and used for image processing.
  • R [i, j], G [ i, j], B [i, j] are stored in a ready state, and these color images are read and used for image processing.
  • the read color image is color-coded by the following equation (33), and the luminance component is saved.
  • the luminance component of the image before blurring is saved in the memory space of the control device 111 in the process described later.
  • a smoothed image (R, G, B plane image) is created for each RGB component using the smoothing filter shown in FIG.
  • R, G, and B plane images may be created using two types of filter: strong filter and strong smooth filter.
  • Equations (40) to (48) the color index to be evaluated, that is, the combination of indices relating to saturation. There are nine ways in total.
  • Cdiff— rOObOOD, j]
  • CdiltrOObOO is a force defined not to perform color difference plane correction processing. Equation (17) in the first embodiment As described above, for example, correction processing such as low-pass processing shown in Expression (26) may be performed on the Cr and Cb components.
  • the color indexes calculated by the equations (40) to (48) are respectively compared, and the combination of the force amount Cr and Cb that gives the minimum value is Finally, it is determined as the amount of force used to generate the image. That is, according to the following equation (49), the C diff— rOObOO force is also extracted for each pixel and the C diff— rlOblO has the smallest value, and each RGB component is generated to generate Cr and Cb at that time. Determine whether the force needs to be blurred by the smooth filter shown in Fig. 11.
  • R [i, j] Y [i, j] + (3/4) X Cr [i, j]-(l / 4) X Cb [i, j] ⁇ ⁇ ⁇ (52)
  • G [i, j] Y [i, j]-(l / 4) X Cr [i, j]-(l / 4) X Cb [i, j] ⁇ ⁇ ⁇ (53)
  • FIG. 13 is a flowchart showing the operation of the image processing apparatus 110 according to the third embodiment.
  • the processing shown in FIG. 13 is executed by the control device 111 as a program that is activated when an image captured by the image sensor 102 via the lens 101 is stored in the image memory 112.
  • step S110 as described above in (2-1)
  • a color image is read from the image memory 112, and the process proceeds to step S120.
  • step S 120 as described above in (2-2), the read color image is subjected to color system conversion, and the luminance component is saved in the memory space of the control device 111. Thereafter, the process proceeds to step S130.
  • step S130 the plurality of blur R, G, and B plane image creation processes described above in (2-3) are executed, and the process proceeds to step S140.
  • step S140 a plurality of provisional color difference surface generation processes by blurring and assembling described in (2-4) are executed, and the process proceeds to step S150.
  • step S150 the color index creating process described in (2-5) is executed, and the process proceeds to step S160.
  • step S160 as described above in (2-6), the amount of force to be finally used for image generation is determined, and the process proceeds to step S170.
  • step S 170 the replacement color difference plane generation process described above in (2-7) is executed. Proceeding to step S180, as described above in (2-8), the luminance component saved in (2-2) and the chrominance component in which axial chromatic aberration is corrected in the processing of (2-7) are integrated. Generate the final output image. Thereafter, the process proceeds to step S190, where the color image from which the color blur due to the longitudinal chromatic aberration is eliminated is output and displayed on the monitor 113, and the process ends.
  • the color component information of the low MTF is corrected using the other color component information of the high MTF.
  • Axial color difference correction can be performed.
  • blurring for the G component blurring for the R and B components was also performed. As a result, even if there is axial chromatic aberration in the G component, it can be corrected.
  • the digital camera 100 focuses on a subject that is separated by a predetermined distance, and corrects the general tendency of axial chromatic aberration that the subject image covers at the focus position of the lens 101.
  • axial chromatic aberration information inherently possessed by the forceps lens 101 is examined.
  • a reference subject placed at a predetermined distance is photographed, and the variable parameters that the lens 101 can take, such as the lens type, zoom position, aperture value, focus position, etc. Investigate in advance as follows.
  • an imaging chart for evaluation as shown in Fig. 14 is imaged, and the black signal level at that time is observed to show the difference in MTF characteristics between RGB. Is calculated.
  • the uniform LPF necessary to match the blurred color component is identified for the sharpest color component in each variable parameter setting state, as shown in FIG.
  • the position of the subject (distance to the subject) and the identified uniform LPF type are associated with each other and stored in the memory of the control device 111.
  • the axis of the portion where the main subject in the target image captured by the image sensor 102 is shown
  • the following processing is performed.
  • the main subject position in the target image is detected.
  • the main subject is often located at or near the focus position (focus position), and first, the above-mentioned variable parameters are obtained from the image data.
  • the focus position in the target image is stored as external information about the optical system in, for example, Exif information in the captured image data, and the control device 113 can specify the focus position with reference to the image data.
  • the target range is set within the predetermined range around the focus position, and the detected edge is detected within that range.
  • Object extraction is performed by grouping, and the object is regarded as a main subject, and axial chromatic aberration correction is performed on a range including the object.
  • the distance from the specified focus position to the main subject is determined, and the setting status of the variable parameter at the time of imaging is also determined. Then, by referring to the table shown in FIG. 15 corresponding to the determined setting state of the variable parameter, the uniform LPF associated with the distance to the main subject is selected.
  • the above-described target range is blurred with the selected uniform LPF, and as described above in the first embodiment and the third embodiment, axial chromatic aberration correction within the target range is corrected. I do.
  • a uniform LPF suitable for the status is determined, and this uniform LPF is used for the appropriate color component.
  • smoothing can be performed to an appropriate degree.
  • FIG. 16 is a flowchart showing the operation of the image processing apparatus 110 according to the fourth embodiment.
  • the process shown in FIG. 16 is executed by the control device 111 as a program to be started when an image captured by the image sensor 102 via the lens 101 is stored in the image memory 112.
  • step S210 an image is read from the image memory 112, and the process proceeds to step S220.
  • step S220 the orcus position is specified from the image data as described above, and the process proceeds to step S230.
  • step S230 the image data force also determines the setting condition of the variable parameter at the time of imaging, and refers to the table shown in FIG. 15 corresponding to the setting condition of the variable parameter. Therefore, a uniform LPF corresponding to the focus position, that is, the distance to the main subject is selected. Thereafter, the process proceeds to step S240, the image read using the selected uniform LPF is blurred, and the process proceeds to step S250. In step S250, it is determined whether the input image, that is, the image read from the image memory 112 is a deviation between the output image of the single-plate color image sensor such as the Bayer array or the interpolated color image.
  • step S100 is executed to correct the longitudinal chromatic aberration of the image, and after outputting to the motor 113, the process is terminated.
  • step S270 the processing from step S170 to step S190 in FIG. 13 in the third embodiment described above is performed. Is executed to correct the axial chromatic aberration of the color image, and after outputting to the monitor 113, the process is terminated.
  • the edge detection is performed within a predetermined range around the focus position included in the image data, and the detected edge is detected in the group.
  • the object is extracted and the object is regarded as the main subject. This makes it possible to accurately extract the main subject, taking into account that the main subject generally exists at or near the focus position.
  • the image sensor 102 includes, for example, the most representative color filters of R (red), G (green), and B (blue) of a single-plate color image sensor.
  • the image data captured by the image sensor 102 is shown in the RGB color system, and each pixel constituting the image data has a color of any one of RGB color components.
  • An example in which information is present has been described.
  • the present invention is not limited to this, and a two-plate color image sensor may be used as the image sensor 102, and each pixel constituting the image data may have color information of any two color components of RGB. . That is, the image sensor 102 only needs to capture an image in which at least one color component is missing in each pixel having a plurality of color components having different MTF characteristics on the imaging surface.
  • Cdiff— blur
  • the minimum value of Cdiff—blur and the non-blurred color index Cdiff—rObO are compared, and it is determined whether to use the amount of force (s, t) or no force. This comparison should only be made if only C diff_rObO is specially handled.
  • the method of blurring is determined on a pixel-by-pixel basis by looking at the color responses of the generated color components for a plurality of blurring methods on a pixel-by-pixel basis.
  • the present invention is not limited to this, and it can be assumed that there is little sudden change at the pixel level due to the cause of the longitudinal chromatic aberration.
  • the processing may be performed in units of blocks extending over a plurality of pixels.
  • a Bayer image read from the image memory 112 is divided into a plurality of blocks each having a size of 64 pixels x 64 pixels, and a color index for each pixel is calculated as described above in the first embodiment. Then, the average value of the color index in each block is calculated. Based on the average value of the color index in the block, the color index is compared in units of blocks, and a set of blurring methods that give the minimum value is applied in common to the block, and axial chromatic aberration is applied to each block. Corrections may be made.
  • the present invention is not limited to this. Even if the distance to the subject is specified based on the camera's shooting mode such as “Close-up shooting”, “Portrait shooting”, or “Landscape shooting” included in the image data. Good. For example, if you are in close-up shooting mode, determine that the subject is in close proximity and refer to the correspondence table shown in Figure 15.
  • various image processes are performed by the control device 111 mounted on the digital camera 100, and the axis of the image captured by the image sensor 102 via the lens 101.
  • An example of performing upper chromatic aberration correction has been described.
  • the present invention is not limited to this.
  • a program for executing the image processing having the above-described contents is installed in an electronic device such as a personal computer, and an image captured by a digital camera is applied via various interfaces. You may make it correct
  • Such a program is provided to an electronic device such as a personal computer via a recording medium such as a CD or a telecommunication line such as the Internet.
  • FIG. 19 is a diagram showing this state.
  • the computer 200 is provided with a program via a CD-ROM 204 as a recording medium.
  • the Nosocon 200 has a connection function with the communication line 201.
  • a computer 202 is a server computer that provides the program, and stores the program in a recording medium such as a hard disk 203.
  • the communication line 201 is a communication line such as the Internet or a dedicated communication line.
  • the computer 202 uses the hard disk 203 to read out the program and through the communication line 201, To the computer 200. That is, the program is transmitted as a data signal on a carrier wave (embody) via the communication line 201. In this way, the program can be supplied as a computer-readable computer program product in various forms such as a recording medium and a carrier wave.
  • a carrier wave embody
  • a luminance plane Y (FIG. 18 (d)) may be generated from each RGB color component, and the luminance plane Y may be smoothed to match the MTF.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

　光学系を通して撮像され、１つの画素に複数の色成分の少なくとも１つが欠落し、撮像面において基準色成分と少なくとも他の１つの欠落色成分との間でＭＴＦ特性が異なる第１の画像をＭＴＦ特性が整合した第２の画像に変換する画像処理装置は、第１の画像の欠落色成分を有する画素において、欠落色成分と基準色成分との間のＭＴＦ特性の違いに関する情報を求め、求めた情報を使用して第２の画像を生成する画像生成部を備える。

Description

明 細 書
画像処理装置および画像処理方法
技術分野
[0001] 本発明は、光学系を通して撮像された画像を補正する画像処理装置および画像処 理方法に関する。
背景技術
[0002] 次のような色収差補正装置が特許文献 1によって知られている。この色収差補正装 置では、 3色が揃ったカラー画像に対して、 RGB面撮像素子の配置傾きによって生 じた RGB間の焦点ずれを、基準色面に対して他の色面に平滑ィ匕ないしは鮮鋭ィ匕フ ィルタを掛けて、色面間の相関が最大となるように可変フィルタのパラメータを探索し て補正する。
[0003] 特許文献 1 :特開 2001— 103358号公報
発明の開示
発明が解決しょうとする課題
[0004] し力しながら、このような技術をべィァ配列のような単板撮像素子の軸上色収差補 正技術に当てはめようとすると、所定の補間アルゴリズムを使ってー且 3色が揃った力 ラー画像にして力も RGB面間で色毎の焦点ボケに関する相関をみる必要がある。そ のため、補間アルゴリズムの種類によっては画像構造に伴った偽色の発生のほうが 軸上色収差による色滲み発生量を上回って検知できな!、状態になって!/、るものや、 偽色抑制のためのフィルタリングが多用された場合には、軸上色収差の局所色滲み が大きく広がり、当初の MTF状態とは全く異なる MTF状態に復元されてしまってい るものなど、各種補間アルゴリズムの影響を受けやすく安定的に軸上色収差を補正し 得な 、可能性があると 、う問題が生じて!/、た。
[0005] また、従来の装置によれば、色面間の相関が最大となるように可変フィルタのパラメ ータを探索して 、るが、その相関の見方にっ 、ての具体的な手法が開示されて 、な いという問題が生じていた。
[0006] さらに、従来の装置によれば、ある色成分面を鮮鋭ィ匕しても、元力 焦点ボケにより 失ってしまったナイキスト周波数のような微細構造は復元せず、他の色成分で解像し ている微細構造との MTFの一致は不可能なため、 MTFが不整合な状態が残ってか えって不自然な偽色 ·偽構造が発生してしまう可能性がある。すなわち、従来の装置 によれば、単一の色成分面内の平滑ィ匕ないし鮮鋭ィ匕を通して、 MTFの状態を変化 させているため、単一色成分内では予測し得ない画像構造部の MTF回復には対処 することができな!/、と!/、う問題が生じて!/ヽた。
課題を解決するための手段
本発明の第 1の態様によると、光学系を通して撮像され、 1つの画素に複数の色成 分の少なくとも 1つが欠落し、撮像面において基準色成分と少なくとも他の 1つの欠 落色成分との間で MTF特性が異なる第 1の画像を MTF特性が整合した第 2の画像 に変換する画像処理装置は、第 1の画像の欠落色成分を有する画素において、欠 落色成分と基準色成分との間の MTF特性の違いに関する情報を求め、求めた情報 を使用して第 2の画像を生成する画像生成部を備える。
本発明の第 2の態様によると、第 1の態様の画像処理装置において、画像生成部 は、求めた情報を使用して、欠落色成分を基準色成分の MTF特性に整合させるよう に補正しながら、各画素に少なくとも 1つの欠落色成分を補間した第 2の画像を生成 するのが好ましい。
本発明の第 3の態様によると、第 1の態様の画像処理装置において、画像生成部 は、求めた情報を使用して、第 1の画像の欠落色成分の MTF特性を基準色成分の MTF特性に整合させるように補正して、第 1の画像と色成分の配列が同じ第 2の画 像を生成するのが好ましい。
本発明の第 4の態様によると、第 3の態様の画像処理装置において、第 2の画像の 欠落色成分を補間する補間部をさらに備えるのが好ましい。
本発明の第 5の態様によると、第 2〜4のいずれかの態様の画像処理装置において 、画像生成部は、基準色成分を第 1の画像の MTF特性が異なる少なくとも 1つの欠 落色成分の MTF特性に近づけるように基準色成分を有する画素を平滑化する平滑 化部を含み、平滑ィ匕部によって平滑化された結果に基づいて、第 1の画像の欠落色 成分の MTF特性を基準色成分の MTF特性に整合させるのが好ましい。 本発明の第 6の態様によると、第 5の態様の画像処理装置において、平滑ィ匕部は、 第 2の画像の生成に使用する色差成分を生成するため、第 1の画像の基準色成分に 対して平滑ィ匕処理を行い、第 2の画像の生成に使用する輝度成分を生成するための 第 1の画像の基準色成分に対しては平滑ィ匕処理を行わないのが好ましい。
本発明の第 7の態様によると、第 1の態様の画像処理装置において、第 1の画像の 基準色成分として、第 1の画像の輝度情報を担う色成分を対応させるのが好ましい。 本発明の第 8の態様によると、第 1の態様の画像処理装置において、第 1の画像の 基準色成分として、第 1の画像の最も高密度に配置された色成分を対応させるのが 好ましい。
本発明の第 9の態様によると、第 1の態様の画像処理装置において、 MTF特性の 違いに関する情報を、撮像時の光学系の状態に関する外部情報に基づいて決定す るのが好ましい。
本発明の第 10の態様によると、第 9の態様の画像処理装置において、撮影時の光 学系の状態に関する外部情報は、撮像時に使用されたレンズ種、ズーム位置、フォ 一カス位置、絞り値、および画面内のフォーカス位置の少なくとも 1つの情報を含む のが好ましい。
本発明の第 11の態様によると、第 5または 6の態様の画像処理装置において、平 滑ィ匕部は、画素ごとにそれぞれ平滑ィ匕の度合いを決定するのが好ましい。
本発明の第 12の態様によると、第 5または 6の態様の画像処理装置において、平 滑ィ匕部は、複数の画素にまたがって共通の平滑ィ匕の度合いを決定するのが好ましい 本発明の第 13の態様によると、第 6の態様の画像処理装置において、平滑化部は 、 1つの画素に対して異なる色情報を表す複数種類の色差成分を生成するとき、各 々の種類の色差成分を構成する第 1の画像の色成分毎に、平滑化処理の平滑化の 度合 、を決定するのが好ま 、。
本発明の第 14の態様によると、光学系を通して撮像され、 1つの画素に複数の色 成分の少なくとも 1つを有し、撮像面において少なくとも 2つの色成分の間で MTF特 性が異なる第 1の画像を、 MTF特性が整合した第 2の画像へ変換する画像処理装 置は、第 1の画像の少なくとも 2つの色成分の内の 1つの色成分に対して、平滑化な Vヽしは鮮鋭ィ匕処理を行って MTFを補正する MTF補正部と、 MTFを補正する処理 を複数通り行い、それらの間での色応答を比較する比較部と、比較部による色応答 の比較結果に基づいて、複数通りの MTF処理の中から 1つの MTF補正処理を決定 する決定部と、決定部で決定した 1つの MTF補正処理を行った結果に基づいて、少 なくとも 2つの色成分の内の 1つの色成分の MTF特性を他の色成分の MTF特性に 整合させる画像変換部とを備える。
本発明の第 15の態様によると、光学系を通して撮像され、 1つの画素に複数の色 成分の少なくとも 1つを有し、撮像面において少なくとも 2つの色成分の間で MTF特 性が異なる第 1の画像を、 MTF特性が整合した第 2の画像へ変換する画像処理装 置は、第 1の画像の少なくとも 2つの色成分の内の 1つの色成分に対して、該色成分 を有する画素にっ ヽて平滑ィ匕処理を行わな ヽ場合を含めた複数の平滑化度合 ヽで 平滑化処理を行う平滑化部と、複数の平滑化度合!、で平滑化処理を行う複数の場 合間で、 MTF特性変化に対する色応答を比較する比較部と、比較部による色応答 の比較結果に基づ 、て、複数の平滑化度合 、から 1つの平滑ィ匕度合 、を決定する 決定部と、決定部で決定した 1つの平滑化度合!ヽで平滑化処理を行った結果に基 づいて、少なくとも 2つの色成分の内の 1つの色成分の MTF特性を他の色成分の M TF特性に整合させる画像変換部とを備える。
本発明の第 16の態様によると、第 14または 15の態様の画像処理装置において、 比較部は、複数の平滑化度合!、で平滑化処理を行った各画像の各画素に複数通り の色差成分を生成し、生成した色差成分に基づ 、て色応答を比較するのが好ま 、 本発明の第 17の態様によると、第 16の態様の画像処理装置において、比較部は、 複数の平滑ィヒ度合いで平滑ィヒ処理を行った各画像の各画素に生成した複数通りの 色差成分に基づいて、複数通りの彩度に関する指標を算出し、当該彩度に関する指 標を比較することによって、色応答を比較するのが好ま 、。
本発明の第 18の態様によると、第 17の態様の画像処理装置において、決定部は、 複数通りの彩度に関する指標に基づいて、最も低い彩度レベルを与える平滑化の度 合いを、第 2の画像に変換するための第 1の画像の色成分に対する平滑ィ匕の度合い として決定するのが好まし 、。
本発明の第 19の態様によると、第 16〜18のいずれかの態様の画像処理装置にお いて、比較部は、平滑ィ匕処理を行わない場合の色差成分として、生成した色差成分 に対して周辺画素の色差成分との間で補正処理を行った後の色差成分を使用する のが好ましい。
本発明の第 20の態様によると、第 14または 15の態様の画像処理装置において、 決定部は、 1つの画素に対して異なる色情報を表す複数種類の色差成分を生成し、 複数種類の色差成分の組み合せでできる新たな色差情報も考慮して、平滑化度合 いを決定するのが好ましい。
本発明の第 21の態様によると、第 20の態様の画像処理装置において、決定部は、 1つの画素に対して異なる色情報を表す複数種類の色差成分を生成するとき、各々 の種類の色差成分を構成する第 1の画像の色成分毎に、平滑化処理の平滑化の度 合 、を決定するのが好ま 、。
本発明の第 22の態様によると、第 14〜21のいずれかの態様の画像処理装置にお いて、決定部は、画素ごとにそれぞれ平滑ィ匕の度合いを決定するのが好ましい。 本発明の第 23の態様によると、第 14〜21のいずれかの態様の画像処理装置にお いて、決定部は、複数の画素にまたがって共通の平滑ィ匕の度合いを決定するのが好 ましい。
本発明の第 24の態様によると、光軸方向の色成分間の焦点ずれによって発生した 色成分間の MTF特性が不整合な状態の画像を、 MTF特性の高 ヽ色成分の色情報 を用いて MTF特性の低い色成分の色情報を補正することによって、各色成分間の MTF特性を整合させる。
本発明の第 25の態様によると、第 1の態様の画像処理装置において、 MTF特性 の高 、色成分の信号を平滑化し、 MTF特性が高 、色成分の平滑ィ匕して 、な 、信号 と、平滑化した MTF特性の高 、色成分の信号との差分から得られる補正情報に基 づいて、 MTF特性の低い色成分の MTF特性を補正して、各色成分間の MTF特性 を整合させるのが好まし 、。 本発明の第 26の態様によると、光学系を通して撮像され、複数の色成分からなり、 撮像面において少なくとも 2つの色成分の間で MTF特性が異なる第 1の画像を第 2 の画像へ変換する画像処理装置は、第 1の画像の少なくとも 2つの色成分の内の 1 つの色成分の MTF特性を他の色成分の MTF特性に近づけるよう、 1つの色成分を 有する画素において平滑ィヒ処理を行う平滑ィヒ部と、平滑ィヒ部によって平滑ィヒ処理さ れた 1つの色成分を用いて、第 2の画像の色差成分を生成する色差成分生成部と、 第 1の画像の平滑化処理されない色成分を用いて、第 2の画像の輝度成分を生成す る輝度成分生成部とを備える。
本発明の第 27の態様によると、第 26の態様の画像処理装置において、第 2の画像 の色差成分と輝度成分とを使用して、第 1の画像と同じ複数の色成分力 なる表色系 の画像に逆変換する逆変換部をさらに備えるのが好ましい。
本発明の第 28の態様によると、第 26または 27の態様の画像処理装置において、 平滑化部は、複数種類の色差成分を生成するとき、各々の色差成分ごとに、平滑ィ匕 処理の平滑化の度合 、を決定するのが好まし 、。
本発明の第 29の態様によると、第 26〜28のいずれかの態様の画像処理装置にお いて、平滑化部は、画素ごとにそれぞれの平滑化の度合いで平滑化処理を行うのが 好ましい。
本発明の第 30の態様によると、第 26〜28のいずれかの態様の画像処理装置にお いて、平滑化部は、複数の画素にまたがって共通の平滑ィ匕の度合いで平滑ィ匕処理 を行うのが好ましい。
本発明の第 31の態様によると、第 26〜30のいずれかの態様の画像処理装置にお いて、第 1の画像は、各画素に全ての色成分を有するのが好ましい。
本発明の第 32の態様によると、 MTF特性が整合した画像を生成する画像処理方 法は、複数の色成分から構成され、撮像面において少なくとも 2つの色成分の間で MTF特性が異なる第 1の画像を取得し、第 1の画像の少なくとも 2つの色成分の内の 1つの色成分に対して、複数通りの平滑化処理を行い、平滑ィ匕処理を行わない 1つ の色成分と複数通りの平滑ィヒ処理を行った 1つの色成分を使用して、複数の色差成 分を生成し、生成した複数の色差成分の中から、 1つの色成分と他の色成分との間 で MTF特性が最も整合して ヽる状態を示す色差成分を選択し、選択した色差成分 と取得した第 1の画像を使用して、複数の色成分から構成される MTF特性が整合し た第 2の画像を生成する。
本発明の第 33の態様によると、第 32の態様の画像処理方法において、生成した 複数の色差成分を使用して彩度を求め、求めた彩度が最も低い場合に使用した色 差成分を、 1つの色成分と他の色成分との間で MTF特性が最も整合して 、る状態を 示す色差成分として選択するのが好まし ヽ。
本発明の第 34の態様によると、第 32の態様の画像処理方法において、取得した 第 1の画像から輝度成分を取得し、選択した色差成分と取得した輝度成分を使用し て、複数の色成分から構成される MTF特性が整合した第 2の画像を生成するのが好 ましい。
発明の効果
第 1の発明によれば、補間処理を経たカラー画像ではなぐ補間処理を施す前の力 ラー画像、すなわち 1つの画素に複数の色成分の少なくとも 1つが欠落した状態の画 像ままで、 MTFを整合させるため、補間処理アルゴリズムの影響を受けずに安定的 に精度よく軸上色収差を補正することができる。
第 2の発明によれば、複数の平滑化度合！、で平滑ィ匕処理を行った画像間で MTF 特性変化に対する色応答を比較して、その比較結果に基づいて、第 1の画像の色成 分に対する平滑ィ匕の度合いを精度高く決定することができる。
第 3の発明によれば、 MTF特性の低 、色成分の色情報を MTF特性の高 、色成 分の色情報を利用して補正することによって MTF特性を整合させるようにしたので、 単一色成分では回復し得ない周波数成分の MTF回復が可能となり、高精細な軸上 色収差補正が可能となる。
さらに、第 4の発明によれば、色差成分のみに対して MTF整合のための平滑ィ匕を 経た色信号を用いて軸上色収差補正を行い、軸上色収差の影響が目立たない輝度 成分は、元の平滑ィ匕のなされていない色信号を用いて生成するので、鮮鋭感を維持 した画像構造非破壊性の高 、補正が可能となる。
図面の簡単な説明 [図 1]画像処理装置をデジタルカメラに搭載した場合の一実施の形態の構成を示す ブロック図である。
[図 2]軸上色収差による色滲みが発生する原理について説明する第 1の図である。
[図 3]軸上色収差による色滲みが発生する原理について説明する第 2の図である。
[図 4]他の色成分 (G成分)を利用して、 R、 Bの各成分の軸上色収差を補正する原理 を示す図である。
[図 5]Bayer画像の具体例を示す図である。
[図 6]第 1の実施の形態で使用する平滑ィ匕フィルタの具体例を示す図である。
[図 7]第 1の実施の形態における「ぼ力しなし画像」、「ぼ力し弱画像」、および「ぼかし 強画像」の具体例を示す図である。
[図 8]第 1の実施の形態における画像処理装置 110の動作を示すフローチャート図で ある。
[図 9]MTFを整合させた Bayer画像の具体例を示す図である。
[図 10]第 2の実施の形態における画像処理装置 110の動作を示すフローチャート図 である。
[図 11]第 3の実施の形態で使用する平滑ィ匕フィルタの具体例を示す図である。
[図 12]第 3の実施の形態における「ぼかしなし画像」、および「ぼかしあり画像」の具体 例を示す図である。
[図 13]第 3の実施の形態における画像処理装置 110の動作を示すフローチャート図 である。
[図 14]第 4の実施の形態における評価用撮影チャートの具体例を示す図である。
[図 15]第 4の実施の形態における被写体までの距離と、使用する LPFの対応関係を 示す図である。
[図 16]第 4の実施の形態における画像処理装置 110の動作を示すフローチャート図 である。
[図 17]連続的なぼかし量の判定方法の具体例を示す図である。
[図 18]変形例（9)における MTF特性を整合させて軸上色収差を補正する原理を示 す図である。 [図 19]プログラムを、 CDなどの記録媒体やインターネットなどの電気通信回線を介し てパソコンに提供する様子を示す図である。
発明を実施するための最良の形態
[0010] 一第 1の実施の形態一
第 1の実施の形態では、軸上色収差に関する光学系情報は全く持たずに画像自 身の中から自己検出して補正する方式を示す。横方向の収差である倍率色収差の 自己検出法は、空間方向の RGB面間の類似性を測ることで比較的行いやすいが、 縦方向の収差である軸上色収差の自己検出法として、何を指標とすればよいのか自 明ではないので、その手法を示す。それにより同一レンズ状態でも被写体距離によつ て変化する軸上色収差にも対応することができる。すなわち、無限遠焦点の風景写 真で手前の被写体が赤かぶり、遠方の被写体が青かぶりになるような状況や、至近 撮影でレンズピント位置に対して被写体位置のセンチメートルオーダーの前後配置 関係による急激な軸上色収差の応答変化が起きるような状況にも対応することができ る。
[0011] 図 1は、第 1の実施の形態における画像処理装置をデジタルカメラに搭載した場合 の一実施の形態の構成を示すブロック図である。デジタルカメラ 100は、レンズ 101と 、 CCDなどで構成される撮像素子 102と、画像処理装置 110とを備えている。撮像 素子 102においては、例えば、単板式カラー撮像素子の最も代表的な R (赤）、 G (緑 )、 B (青）のカラーフィルタが Bayer配列されている。この撮像素子 102で撮像される 画像データは RGB表色系で示されるものとし、画像データを構成する各々の画素に は、 RGBの何れ力 1つの色成分の色情報が存在しているものとする。すなわち Baye r画像であるものとする。
[0012] 画像処理装置 110は、 CPUやその他周辺回路を含み、後述する画像処理を実行 する制御装置 111と、撮像素子 102によって撮像された画像を格納する画像メモリ 1 12と、画像処理後の画像を表示するモニタ 113とを備えている。このデジタルカメラ にお ヽては、レンズ 101を通して撮像素子 102で撮像された Bayer画像の画像デー タは、制御装置 111によって AZD変換されてデジタル信号に変換され、画像メモリ 1 12に記憶される。 [0013] このように撮像素子 102によって撮像され、画像メモリに記憶された画像データに おいては、軸上色収差に伴う色滲みが発生している可能性がある。すなわち、無彩 色の黒線被写体を撮像した場合に、軸上色収差がない場合には、図 2 (a)に示すよ うな RGBの各成分にぼけ信号は発生しないが、例えば、結像面において R成分に大 きな軸上色収差がある場合には、図 2 (b)に示すように R成分にぼけ信号が発生する 。すなわち、 G成分と B成分の信号は鮮明な色成分信号であるのに対して、 R成分の 信号はぼけた色成分信号となって 、る。
[0014] この場合、 R成分に発生したぼけ信号が、黒線被写体位置に回り込んで赤だけ浮 き上がるので全体的に赤っぽ!/ヽ線として撮像され、特に黒線被写体のエッジ部近辺 では赤滲みが発生する。なお、 B成分に大きな軸上色収差がある場合は、青滲みが 発生し、 Rと B共に大きな軸上色収差がある場合は、マゼンタ滲みが発生する。
[0015] このような画像は、一般に Bayer配列のような単板撮像素子を利用して撮像され、 欠落色成分を補間するので、補間アルゴリズム依存性が生じて状況はより複雑にな る力 高性能なアルゴリズムほど忠実に軸上色収差を再現してしまうことが多い。そこ で、本実施の形態では、補間アルゴリズム依存のない Bayer配列の状態のままで鮮 鋭感を損なわな 、ように輝度成分は従来のまま補間し、色差成分の生成にぉ 、て色 成分間の MTF特性の違いをぼけた側に合わせる変換を行って力 従来の色差成分 生成処理を行うようにして、軸上色収差に伴う色滲みの発生を防ぐ。
[0016] ここで、無彩色の黒線被写体を撮像した場合に、上述したような軸上色収差による 色滲みが発生する原理について説明する。光学系を通して無彩色の黒線被写体を 撮像したとき、軸上色収差が無い場合には、図 3 (a)に示すように撮像面で RGB各成 分の焦点が一致している状態である。すなわち図 3 (b)に示すように、 RGB各成分の MTF特性が整合している状態である。これに対して、 R成分に軸上色収差がある場 合には、図 3 (c)に示すように R成分のみ焦点が撮像面力 ずれており、図 3 (d)に示 すように、撮像面における MTF特性の不整合が生じて 、る状態である。
[0017] 第 1の実施の形態においては、制御装置 111は、 RGBいずれかの色成分に軸上 色収差があり、これに伴って色滲みが生じた場合に、各色成分間の MTF特性の不 整合を補正して、軸上色収差に伴う色滲みを解消する。すなわち各色成分の MTF 特性を一致させる、または近づけることによって整合させて、軸上色収差を解消する 。具体的には、次のような原理によって軸上色収差に伴う色滲みを解消する。
[0018] 例えば、 RGBの各成分の信号レベルが、図 4 (a)〜（c)の各図に示すような画像に 対しては、 R成分や B成分のようなぼけた色成分信号の MTF特性を、 G成分のような 鮮明な色成分信号の MTF特性を利用して鮮鋭ィ匕して MTFを整合させる。このため に、まず、鮮明な色成分信号を基準色成分として、当該基準色成分の MTF特性を、 ぼけた色成分信号の MTF特性に近づける、または一致するように平滑ィ匕してぼかす 。すなわち、図 4に示す例では、 G成分の MTF特性を、 R成分、および B成分のそれ ぞれの MTF特性に近づけるように平滑ィ匕する。
[0019] その結果、図 4 (d)に示すような G成分の MTF特性を R成分の MTF特性に近づけ るように強くぼかした < G> と、図 4 (e)に示すような G成分の MTF特性を B成分の 強
MTF特性に近づけるように弱くぼカゝした < G> とを得る。そして、図 4 (f)に示すよう 弱
に、色差成分 Cr、 Cbを、 R成分および B成分のそれぞれに対応して平滑化した G成 分、すなわち < G> および < G> を用いて生成する。
強 弱
[0020] その後、生成した色差成分 Crおよび Cbと、平滑化を行っていない元の G成分と〖こ 基づいて RGB表色系に戻せば、 R、 G、 B各成分の MTF特性を G成分の MTF特性 になぞらえるようにして一致させる、または近づけることが可能となり、整合がとれる。 換言すれば、 R成分および B成分のそれぞれに、 G成分と、異なる平滑化度合いで G 成分を平滑ィ匕して得た < G> および < G> のそれぞれとの差分とをカ卩えることによ 強 弱
つて、 R、 B各成分の MTF特性を、鮮明な G成分の MTF特性に整合させることがで きる。
[0021] すなわち、 R成分は次式（1)により、 B成分は次式（2)によりそれぞれ補正すること によって、 MTF特性が高い他の色成分 (G成分)を利用して、 R、 Bの各成分の軸上 色収差を補正することが可能になる。
R' =R+ (G- < G> ) · · · (1)
強
B' =B+ (G— < G> ) · · · (2)
弱
[0022] このように、 MTF特性が低 、色成分のみ力 では回復し得な 、微細構造情報を、 MTF特性が高 、他の色成分を利用して復元することによって、従来にな 、高精細な 軸上色収差補正が可能となる。さら〖こ、色差成分のみに対して MTF整合のための平 滑化を経た色信号を用いて軸上色収差補正を行い、軸上色収差の影響が目立たな い輝度成分は、元の平滑ィ匕のなされていない色信号を用いて生成するので、鮮鋭感 を維持した画像構造破壊性の少ない補正が可能となる。
[0023] 以下、各色成分間の MTF特性の不整合を補正して、軸上色収差に伴う色滲みを 解消する処理について具体的に説明する。
[0024] (1 - 1) Bayerの画像入力
まず、撮像素子 102で撮像された Bayer画像を画像メモリ 112から読み込んで、画 像処理の対象とする。なお、 Bayer画像の各画素 [i, j]には、図 5に示すように、 R、 G 、 Bのいずれかの色成分の色情報、すなわち色成分値 (CCDの信号値に対応する 値)が存在する。また、 [i, j]は画素位置を示す座標である。
[0025] (1 2)方向判定
従来の補間処理と同様に Bayer画像を用いて RZB画素位置に於ける類似性の方 向判定を行う。なお、第 1の実施の形態では、次に説明するように、一般的な公知の 手法により方向判定を行う。
[0026] (1 2— 1)類似度の算出
次式（3)および (4)により、 R, B位置についてそれぞれ縦方向の類似度 Cv[i, j]、 横方向の類似度 Ch[i, j]を算出する。
Cv[i,j]={(|G[i,j-l]-Z[i,j]|+|G[i,j+l]-Z[i,j]|)/2+|G[i,j-l]-G[i,j+l]|}/2 · · · (3)
Ch[i,j]={(|G[i-l,j]-Z[i, j]|+|G[i+l,j]-Z[i,j]|)/2+|G[i-l,j]-G[i+l,j]|}/2 · · · (4) なお、式（3)および (4)において、 Zは Rまたは Bを表す。
[0027] (1 2— 2)類似性判定
次に、次の条件式 (5)に基づいて、類似度を比較して方向指標に変換する。
If |Cv[i,j]-Ch[i,j]|=<Thl THEN HV[i,j]=0 → 縦横類似性不明
else if Cv[i,j]<Ch[i, j] THEN HV[i,j]=l → 縦類似
else HV[i,j]= - 1 THEN 横類似 · · · (5)
なお、閾値 Thlは 256階調のときは 10前後の値をとり、画像のノイズが多いときはさ らに高めに設定する。 [0028] (1 - 3)複数通りのぼ力し Bayer画像作成
RGB色成分間の MTF整合を行うため、各色成分に対して複数通りのぼかし画像 を生成する。ただし、この実施形態では Bayer配列で輝度を表す G成分の配置密度 が高いので、 R, B成分の MTFは元々 Bayerサンプリングに伴って劣っていると考え られ、可能性として G成分について複数通りのぼかし (平滑化）を行えばよい。したが つて、図 6に示すような代表的な弱 、平滑ィ匕フィルタ（図 6 (a) )と強 、平滑ィ匕フィルタ (図 6 (b) )を用いて G成分について 2通りのぼ力し画像を生成する。なお、もっと細か くたくさんのぼかし方を用意してもょ 、し、原画像とこれらによるぼ力し画像の線形結 合で中間状態を考えてもょ 、。
[0029] このように図 6に示す 2種類の平滑ィ匕フィルタを用いてぼ力し画像を生成し、図 7 (a )に示す「BayerO :ぼかしなし画像」、図 7 (b)に示す「Bayerl：ぼかし弱画像」（図 6 ( a)に示した弱い平滑ィ匕フィルタを用いてぼ力した画像）、および図 7 (c)に示す「Bay er2：ぼ力し強画像」（図 6 (b)に示した強 、平滑ィ匕フィルタを用いてぼ力した画像)の 3種類の Bayer画像を得る。すなわち、ぼ力しを行わない場合を含めた複数の平滑 化の度合!、で平滑化を行う。
[0030] (1 -4)ぼかし組み合せによる複数通りの仮色差面生成
(1— 3)で得た各ぼ力し画像における 3通りの G面を使用して、各画素に 3通りの色 差面である Cr面と Cb面を作成する。すなわち、 Bayerの R信号と G、 G'、 G〃信号に 基づいて作った Cr面をそれぞれ CrO, Crl, Cr2とし、 Bayerの B信号と G、 G'、 G" 信号に基づいて作った Cb面をそれぞれ CbO、 Cbl、 Cb2として、 3通りの Cr面、およ び 3通りの Cb面を作成する。次式（6)〜（11)は、これらの CrO, CbO、 Crl, Cbl、 C r2、 Cb2を模式的に表したものである。
CrO=R-<G> · · · (6)
CbO=B-〈G〉 •••(7)
Crl=R-<G'> •••(8)
Cbl=B-く G'〉 •••(9)
Cr2=R-<G"> …（10)
Cb2=B-<G"> •••(11) [0032] このうち、 CrO面の生成について説明する。具体的には、次式（12)によって R位置 に CrO面を生成し、次式（13)〜（15)により、 R位置以外の位置に CrO面を補間する 。なお、他の Crl, Cr2、 CbO、 Cbl、および Cb2の各面についても同様に算出でき る。
If HV[i,j]=l THEN CrO[i,j]=R[i,j]-(G[i,j-l]+G[i,j+l])/2
else if HV[i,j]=-l THEN CrO[i,j]=R[i,j]-(G[i-l ,j]+G[i+l ,j])/2
else CrO[i,j]=R[i,j]-(G[i,j-l]+G[i,j+l]+G[i-l,j]+G[i+l,j])/4 …（12)
[0033] B位置に CrO面を補間
CrO[i,j]=(CrO[i-l,j-l]+CrO[i-l,j+l]+CrO[i+l,j-l]+CrO[i+l,j+l])/4- · · (13) G位置に CrO面 補間 (same lines as R rows)
Cr0[i,j]=(Cr0[i-l ,j]+Cr0[i+l ,j])/2 · · · (14)
G位置に CrO面 ネ甫間 (same lines as B rows)
CrO[i,j]=(CrO[i,j-l]+CrO[i,j+l])/2 · · · (15)
なお、色差面の生成方法については、上述した方法に限定されず、その他の公知 の方法により生成してもよい。
[0034] (1 5)色指標の作成
次に、上述した（1— 3)でぼかした各画像力も生成され得る仮想的カラー画像の色 の変化を相互に比較するための色指標、すなわち彩度の指標を作成する。上述した ように、軸上色収差による MTF不整合が合わせられると、軸上色収差に伴うエッジ部 での色付き'色滲みは減る方向に作用する。したがって、正確なその減り方を測るた め、 2種類の色差面 Crおよび Cbの各ぼ力し方を組み合わせた場合も考慮して色指 標を作成する。
[0035] なお、色指標とは、各々の画素の色の特徴を示し、各画素が低彩度であるか高彩 度であるかを判定するために参照される指標であり、入力画像の MTF特性を変化さ せた場合に生成され得るカラー画像の色応答を見るための指標である。換言すれば 、 MTF特性を変化させるための平滑ィ匕の度合いに応じて色応答がどのように変化す る力、すなわち、 MTF特性を変化させるための平滑ィ匕の度合いに応じて色変化の度 合いがどのように変化するかをモニタするための指標である。 [0036] ここで、色応答とは、任意の平滑化度合いで平滑化した結果、どのような色に変化 するかを観察した場合の色の応答を意味し、色応答の変化とは、異なる複数の平滑 化度合いで平滑ィ匕した場合の、それぞれの間の色応答の変化を意味する。
[0037] ここで述べる平滑化とは、式（1)、（2)を介して他の色成分を鮮鋭化するための補 正信号を得るための途中過程処理の意味も含めて用いており、具体的には図 4のボ 力シ量を少しずつ変えていった場合の最終的に得られる R'GB'画像の色の応答を 見ること〖こなる。すなわち、平滑化処理は、アンシャープマスク処理による MTF補正 画像を得るためのアンシャープ処理をも指す。さらに説明すると、 R, B成分に対して 鮮鋭化処理を行うために、 G成分に対しては平滑化処理を行って ヽるとも ヽえる。
[0038] 作成する色指標を Cdiffとすると、その基本形は次式（16)によって定義される。な お、本実施の形態では、色指標として Cdiffを定義するが、例えば、色差のみを色指 標として定義して使用してもよい。
Cdiffi,j]=|Cr[i,j]|+|Cb[i,j]|+|Cr[i,j]- Cb[i,j]| · · · (16)
[0039] 式（16)で定義した色指標において、 2種類の色差面 Crおよび Cbの各ぼかし方に 対して、評価すべき色指標の み合せは、次式（17)〜（25)で表されるように全部 で 9通りある。
Cdiff— r0b0[i,j]= |CrO*[i,j]|+|CbO*[i,j]|+|CrO*[i,j]-CbO*[i,j]| • · · (17)
Cdiff— rlb0[i,j]= |Crl[i,j]|+|CbO[i,j]|+ Crl[i,j]- -Cb0[i,j]| · ·■ (18)
Cdiff— r0bl[i,j]= |CrO[i,j]|+|Cbl[i,j]|+ Cr0[i,j]- -Cbl[i,j]| · ·■ (19)
Cdiff— rlbl[i,j]= |Crl[i,j]|+|Cbl[i,j]|+ Crl[i,j]- -Cbl[i,j]| · ·■ (20)
Cdiff— r2b0[i,j]= |Cr2[i,j]|+|CbO[i,j]|+ Cr2[i,j]- -Cb0[i,j]| · ·■ (21)
Cdiff— r0b2[i,j]= |CrO[i,j]|+|Cb2[i,j]|+ Cr0[i,j]- -Cb2[i,j]| · ·■ (22)
Cdiff— r2bl[i,j]= |Cr2[i,j]|+|Cbl[i,j]|+ Cr2[i,j]- -Cbl[i,j]| · ·■ (23)
Cdiff— rlb2[i,j]= |Crl[i,j]|+|Cb2[i,j]|+ Crl[i,j]- -Cb2[i,j]| · ·■ (24)
Cdiff— r2b2[i,j]= |Cr2[i,j]|+|Cb2[i,j]|+ Cr2[i,j]- -Cb2[i,j]| · ·■ (25)
[0040] R成分の MTFのみが低!、場合は、 Cr生成側のみの G成分がぼかされればよ!/、し、 B成分の MTFのみが低い場合は、 Cb生成側のみの G成分がぼかされればよぐそ の両方の MTFが低 、場合は両側の G成分がぼかされて!/、なければならな!/、。 [0041] ここで、 R、 Bともに G成分のぼかしのない Cdiff— rObOだけは、単に Crおよび Cb成 分を生成しただけの値を用いずに、更にそれに対して色差面補正処理を行った CrO *、 CbO *を用いている。これは、画像構造に起因する偽色の発生に伴って受ける 色指標の変動要因に対して、危険性の多いぼかし処理側よりも安全な解を出しやす いぼ力しなし側を安定的に色評価されるようにするためである。また、反対色ペアの ような画像構造があっても意図的に Cdiff— rObOの彩度を下げておくことによって、 軸上色収差の MTF整合とは異なり画像構造が要因となって彩度が下がってしまう可 能性のあるぼかし側の Cdiffに対抗してぉ ヽて、画像構造破壊を防ぐような色指標評 価値に変えるためでもある。
[0042] CrOおよび CbOに対する色差面補正処理の例としては、次式（26)に示すような口 一パス処理がある。
Cr*[i,j]
={36 X Cr[i,j]
+24 X (Cr[i-2,j]+ Cr[i+2,j]+Cr[i,j-2]+ Cr[i,j+2])
+16 X (Cr[i-2,j-2]+Cr[i+2,j-2]+Cr[i-2,j+2]+Cr[i+2,j+2])
+6 X (Cr[i-4,j]+ Cr[i+4,j]+Cr[i,j-4]+ Cr[i,j+4])
+4 X (Cr[i-2 , j-4]+Cr[i+2 , j-4]+Cr[i-2 , j+4]+Cr[i+2 , j+4]
Cr[i-4,j-2]+Cr[i+4,j-2]+Cr[i-4,j+2]+Cr[i+4,j+2])
+ (Cr[i-4,j-4]+Cr[i+4,j-4]+Cr[i-4,j+4]+Cr[i+4,j+4])}/256 · · · (26)
[0043] この色差面補正処理は、式（26)に示したローパス処理に限定されず、その他の方 法としてメディアンフィルタ等を用いてもよし、フィルタの範囲を変えてもよい。また、式 (26)では、 Cr * [i, j]を算出する例について説明した力 Cb * [i, j]も同様に算出 可能である。
[0044] なお、収差に伴う MTF不整合のぼかし量に対する非常に微妙な色変化の情報は 、余計なフィルタリング処理によって失われてしまう可能性があるので、色差面生成直 後の状態で比較するのが好ま 、ことから、 Cdiff— rObO以外は色差面補正処理を 行わないように定義している。また、 Cdiff— rObOも色差面補正処理を行わないよう に定義してもよい。 [0045] (1 6)ぼかし量の決定
軸上色収差に伴う MTF不整合をなくして生成された色差面は、色滲みによる色発 生が減り低彩度側に変化すると考えられる。上述したぼかし処理では、画像構造に 伴って発生する補間偽色の要因を低彩度側にシフトする対策も事前に施された色指 標を生成して 、るので、相互に色指標を比較して最も低 、彩度レベルとなるようなぼ 力し量の Crと Cbの組み合せを、最終的に画像生成のために利用するぼ力し量とす ることができる。すなわち、次式（27)に示す条件式により、 Cdiff— rObOから Cdiff —r2b2の中で値が最小になるものを画素ごとに抽出し、そのときの Cr,および Cbを 生成するのに用いたぼかし量がそれぞれ G、 G'、および G〃のいずれであるかを画素 ごとに判定することによって、最終的に画像生成のために利用する離散的なぼかし 量、すなわち平滑ィ匕の度合いを決定することができる。
[0046] (Cr生成時 Gぼかし量， Cb生成時 Gぼかし量）
= arg min (Cdiff— rObO, Cdiff— rlbO, ... , Cdiff—r2b2)
(G,G',G" for Cr),
(G,G',G" for Cb) · · · (27)
これによつて、生成した色指標のそれぞれを画素単位で評価して、画素毎にどの色 差面を生成するときにどの色成分をどれだけぼかすかを決定することができる。これ は、被写体距離によって軸上色収差の状態が変化して!/、る場合にも対応が可能とな る。
[0047] (1 7)実際の色差面生成
上述した処理で画素毎に決められた離散的なぼ力し量の G成分を MTF特性の違 いに関する情報として用いて、最終出力画像に用いる色差成分 Cr[i, j]、 Cb[i, j]を 次のように求める。まず、次式（28)によって R画素位置への Cr値の設定を行い、次 式（29)によって B画素位置への Cb値の設定を行う。
Cr[i,j]=one of {Cr0, Crl, Cr2} R位置 · · · (28)
Cb[i,j]=one of {Cb0, Cbl, Cb2} B位置 · · · (29)
そして、上述した式（13)〜（15)によって、 Cr面と Cb面とを補間する。その後、公 知の種々の色差面補正の手法を使用して、色差面補正を行う。例えば、条件によつ て補正をしたり、しな力つたりを選択する適応的色差補正の手法などを使用する。こ れは通常の Bayer補間で発生する偽色抑制処理を組み込むためである。こうして、 軸上色収差の除去された Cr面、および Cb面、すなわち実際の色差面が生成される
[0048] (1 8)実際の輝度面生成
ぼかし処理のない元の Bayer信号を用いて実際の輝度面を生成する。これは、軸 上色収差の影響をあまり受けない輝度面は、元の Bayer信号を使うことにより鮮鋭な 解像が保たれた状態で復元することができるためである。なお、本実施の形態では、 次式（30)に示すように、輝度を G面として処理を行うが、 Y面を輝度として処理を行 つてもよい。輝度面の生成は、公知の種々の方法により生成することができる。また、 国際公開番号: WO2002Z071761号公報に開示されているように、 Bayer面から 直接生成するものであってもよ 、。
[0049] Bayer面上の RZB位置
if HV[i,j]=l THEN Gout[i,j]=(G[i,j-l]+G[i,j+l])/2
+(2 X Z[i,j]-Z[i,j-2]-Z[i,j+2])/4
else if HV[i,j]=— 1 THEN Gout[i,j]=(G[i-l ,j]+G[i+l ,j])/2
+(2 X Z[i,j]-Z[i-2,j]-Z[i+2,j])/4
else Gout[i,j]=(G[i,j-l]+G[i,j+l]+G[i-l,j]+G[i+l,j])/4
+(4 X Z[i,j]-Z[i,j-2]-Z[i,j+2]-Z[i-2,j]-Z[i+2,j])/8 · · · (30) なお、式（30)において、 Zは R位置では Z=Rとなり、 B位置では Z = Bとなる。また、 Bayer面上の G位置 Gout [i, j]は、 Bayer信号をそのまま代入することにより求めら れる。
[0050] (1 9)表色系変換
上述した処理で、軸上色収差の除去された Cr面、および Cb面と、鮮鋭感を保持し た G面の 3つの色情報から、次式（31)および（32)によって RGB表色系への変換を 行う。
Rout[i,j]=Cr[i,j]+Gout[i,j] · · · (31)
Bout[i,j]=Cb[i,j]+Gout[i,j] · · · (32) [0051] 以上の処理によって、読み込んだ Bayer画像にお!、て、 RGB 、ずれかの色成分に 軸上色収差があり、これに伴って色滲みが生じた場合に、各色成分間の MTF特性 の不整合を補正して、軸上色収差に伴う色滲みを解消することができる。そして、この 軸上色収差に伴う色滲みを解消した RGB画像は、モニタ 113に出力されて表示され る。
[0052] 図 8は、第 1の実施の形態における画像処理装置 110の動作を示すフローチャート である。図 8に示す処理は、レンズ 101を介して撮像素子 102によって撮像された画 像が画像メモリ 112に記憶されると起動するプログラムとして制御装置 111によって 実行される。ステップ S10において、（1— 1)で上述したように、撮像素子 102で撮像 された Bayer画像を画像メモリ 112から読み込んで、ステップ S 20へ進む。ステップ S 20では、（1— 2)で上述したように、 Bayer画像を用いて RZB画素位置における方 向判定を行う。その後、ステップ S 30へ進む。
[0053] ステップ S30では、（1— 3)で上述した複数通りのぼ力し Bayer画像作成処理を実 行して、ステップ S40へ進む。ステップ S40では、（1 4)で上述したぼかし組み合せ による複数通りの仮色差面生成処理を実行して、ステップ S50へ進む。ステップ S50 では、（1— 5)で上述した色指標の作成処理を実行して、ステップ S60へ進む。ステ ップ S60では、（1— 6)で上述したように、最終的に画像生成のために利用するぼか し量を決定して、ステップ S 70へ進む。
[0054] ステップ S70では、（1 7)で上述した実際の色差面生成処理を実行してステップ S80へ進み、（1— 8)で上述した実際の輝度面生成処理を実行する。そして、ステツ プ S90へ進み、（1 9)で上述したように表色系変換処理を行って、軸上色収差の 除去された Cr面、および Cb面と、鮮鋭感を保持した G面の 3つの色情報カゝら RGB表 色系への変換を行う。その後、ステップ S100へ進み、軸上色収差に伴う色滲みを解 消した画像をモニタ 113に出力し、処理を終了する。
[0055] 以上説明した第 1の実施の形態によれば、以下のような作用効果を得ることができ る。
(1)軸上色収差に起因した色成分間の MTF特性の不整合を、 MTFの高い側の色 成分をぼかし処理によって低い側の色成分と整合させてから色差成分を生成するよ うにした。これによつて、軸上色収差に起因した MTF差の違いに伴って発生する色 の滲みを抑制することができる。
(2)撮像画像に対して軸上色収差補正を行うための補正量を撮像画像自身に基づ いて決定するようにした。これによつて、被写体までの距離によって特性が変化する 軸上色収差であっても、画素ごとに適切な補正量を決定して、軸上色収差補正を行 うことができる。
(3)さらに、このように撮像画像自身を用いて適切な補正量を決定して、軸上色収差 補正を行うことができることから、撮像光学系に関する情報が不明な場合であっても、 適切に軸上色収差補正を行うことができる。
(4)色指標を作成するに当たって、 R、 Bともに G成分のぼ力しのない Cdiff— rObOだ けは、単に Crおよび Cb成分を生成しただけの値を用いずに、更にそれに対して色 差面補正処理を行った CrO *、 CbO *を用いるようにした。これによつて、 Bayerサン プリングと画像構造に起因する偽色の発生に伴って受ける色指標の変動要因に対し て、危険性の多 、ぼ力し処理側よりも安全な解を出しやす 、ぼ力しなし側を安定的 に色評価されるようにすることができる。また、反対色ペアのような画像構造があって も意図的に Cdiff— rObOの彩度を下げておくことによって、軸上色収差の MTF整合 とは異なり画像構造が要因となって彩度が下がってしまう可能性のあるぼかし側の C diffに対抗してぉ 、て、画像構造破壊を防ぐように色指標評価値に変えることができ る。
[0056] 一第 2の実施の形態一
上述した第 1の実施の形態では、（1— 7)実際の色差面生成において、式 (28)お よび（29)で色差成分 Cr[i, j]、 Cb [i, j]を求め、式（13)〜（15)によって、 Cr面と C b面とを補間した後に、（1 8)実際の輝度面生成、および（1 9)表色系変換に示 した各処理を行う場合について説明した。
[0057] これに対して、第 2の実施の形態では、式（28)および（29)で色差成分 Cr[i, j]、 C b [i, j]を求めた後に、 R位置の Cr面、 B位置の Cb面だけを使用して、その位置にお ける（1 8)実際の輝度面生成、および（1 9)表色系変換の各処理を行って、元の R成分と B成分の値を書き換える。これによつて、補間処理前の MTF整合した Bayer 画像、すなわち軸上色収差を解消させた Bayer画像を得ることができる。その後、こ の軸上色収差を解消させた Bayer画像に対して補間処理を行って補間後の RGB画 像を得る。
[0058] なお、図 1に示した画像処理装置 110を搭載したデジタルカメラ 100のブロック図、 図 2および図 3に示した軸上色収差による色滲みが発生する原理を示す図、および 図 4に示した MTF特性を整合させて軸上色収差を補正する原理を示す図について は、第 1の実施の形態と同様のため、説明を省略する。
[0059] 式（28)および（29)で色差成分 Cr[i, j]、 Cb[i, j]を求めた後に、各面の補間前の Cr面、および Cb面を使用して（1 8)実際の輝度面生成、および（1 9)表色系変 換の各処理を行うことによって、図 9に示すような、 MTFが整合した Bayer画像、すな わち軸上色収差が補正された Bayer画像が出力される。この図 9に示す Bayer画像 に対して、公知の補間処理を実行することによって、補間後の RGB画像を得ることが できる。
[0060] 図 10は、第 2の実施の形態における画像処理装置 110の処理を示すフローチヤ一 トである。図 8に示す処理は、レンズ 101を介して撮像素子 102によって撮像された 画像が画像メモリ 112に記憶されると起動するプログラムとして制御装置 111によつ て実行される。なお、図 10においては、図 8に示す第 1の実施の形態における処理と 同一の処理内容については、同じステップ番号を付与し、相違点を中心に説明する
[0061] ステップ S71において、式（28)および（29)で色差成分 Cr[i, j]、 Cb [i, j]を求め て、ステップ S80へ進む。その後、ステップ S91で、補間前の Cr面、および Cb面と、 鮮鋭感を保持した G面の 3つの色情報から、式（31)および（32)によって RGB表色 系への変換を行う。その後、ステップ S92へ進む。ステップ S92では、軸上色収差が 補正された Bayer画像を出力してステップ S93へ進み、当該 Bayer画像に対して、 公知の Bayer補間処理を実行して、軸上色収差が補正された RBG画像を得る。
[0062] 以上説明した第 2の実施の形態によれば、第 1の実施の形態とは、軸上色収差補 正処理の中での補間処理の実行位置を変更し、ー且 MTFが整合した Bayer画像を 出力した後に補間処理を行うようにした。これによつて、軸上色収差の補正処理と、 補間処理とを分離した処理として扱うことができ、 MTF整合した Bayer画像に対して 、様々な補間処理を適用することが可能になる。
[0063] 一第 3の実施の形態一
第 1および 2の実施の形態では、単板式カラー撮像素子によって撮像された Bayer 画像のように補間を行う前の画像データに対する軸上色収差補正にっ ヽて説明した 力 第 3の実施の形態では、 3板式カラー撮像素子で撮影されたカラー画像の軸上 色収差や補間済のカラー画像の軸上色収差を補正する。すなわち、各画素に R、 G 、 Bの色成分の情報が全て存在するカラー画像のデータの軸上色収差補正にっ ヽ て説明する。
[0064] 具体的には、元のカラー画像データを輝度と色差成分に分け、色差成分のデータ を軸上色収差のないデータに置き換えるため、第 1の実施の形態と同様にある色成 分のデータを複数通りぼかす。そして、それらを組み合わせてできる色差成分のセッ トの内、最も彩度が低くなるような色指標を与えるぼかしの組み合せを探索して、その ぼかしを通して得られる色差成分に置き換える。
[0065] なお、図 1に示した画像処理装置 110を搭載したデジタルカメラ 100のブロック図と 、図 2および図 3に示した軸上色収差による色滲みが発生する原理を示す図、および 図 4に示した MTF特性を整合させて軸上色収差を補正する原理を示す図について は、第 1の実施の形態と同様のため、説明を省略する。ただし、 3板式カラー撮像素 子を使用して各画素に R、 G、 B成分が揃ったカラー画像を取得する場合は、撮像素 子 102を単板式カラー撮像素子力も 3板式カラー撮像素子に置き換えるものとする。 また、第 3の実施の形態では、 G成分に対するぼかしのみならず、 R成分と B成分に 対するぼかしも行うものとする。これによつて、 G成分に軸上色収差がある場合でもそ れを補正することが可能となる。
[0066] (2— 1)カラー画像入力
第 3の実施の形態では、画像メモリ 112に、 3板式カラー撮像素子で撮影されたカラ 一画像やあら力じめ補間処理を行ったカラー画像を各画素に R[i, j]、 G[i, j]、 B[i, j]が揃っている状態で保存しておき、これらのカラー画像を読み込んで、画像処理の 対象とする。 [0067] (2— 2)表色系変換による輝度成分退避
読み込んだカラー画像を、次式 (33)により表色系変換して、輝度成分を退避して おく。すなわち、後述する処理でぼかしを入れる前の状態の画像の輝度成分を制御 装置 111が有するメモリ空間に退避しておく。
Y[i,j]=(R[i,j]+2 X G[i,j]+B[i,j])/4 · · · (33)
[0068] (2— 3)複数通りのぼかし R、 G、 B面画像作成
第 3の実施の形態では、図 11に示す平滑ィ匕フィルタを使用して、 RGBの各成分に ついてぼかし画像 (R、 G、 B面画像)を作成する。なお、本実施の形態では、説明の 簡略化のため、図 11に示す 1つの平滑ィ匕フィルタのみを使用する例にっ 、て説明す る力 第 1の実施の形態と同様に、弱い平滑ィ匕フィルタと強い平滑ィ匕フィルタの 2種 類を使用して R、 G、 B面画像を作成してもよい。
[0069] そして、図 12に示すように、図 12 (a)〜（c)の RGBの各成分についてのぼかしなし 画像と、図 11の平滑ィ匕フィルタを使用して作成した図 12 (d)〜 (f)のぼかしあり画像 とを使用して、次に示す処理を行う。
[0070] (2-4)ぼかし組み合せによる複数通りの仮色差面生成
上記 6通りの RGB面、すなわち図 12 (a)〜（c)のぼかしなし画像と、図 12 (c！)〜（f) のぼかしあり画像とを使って、次式（34)〜（39)により各画素に 3通りの Cr面と 3通り の Cb面とを作成する。
Cr00=R-G - - - (34)
Cb00=B-G · · · (35)
Cr01=R-G' · · · (36)
Cb01=B-G' · · · (37)
CrlO=R'-G · · · (38)
CblO=B'-G · · · (39)
[0071] (2— 5)色指標の作成
式（34)〜（39)により作成した Crおよび Cbの各ぼ力し方に対して、評価すべき色 指標、すなわち彩度に関する指標の組み合せは次式 (40)〜 (48)で表されるように 全部で 9通りある。 Cdiff— rOObOOD, j]=|CrOO[i,j] +|CbOO[i,j] +|CrOO[i,j]- - CbOO[i •(40)
Cdiff— rOlbOOD, j]=|Cr01[i,j] +|CbOO[i,j] +|Cr01[i,j]- - CbOO[i ill - - •(41)
Cdiff— r00b01[i, j]=|CrOO[i,j] +|Cb01[i,j] +|CrOO[i,j]- - Cb01[i ill - - •(42)
Cdiff— r01b01[i, j]=|Cr01[i,j] +|Cb01[i,j] +|Cr01[i,j]- - Cb01[i ill - - •(43)
Cdiff— rlObOOD, j]=|CrlO[i,j] +|CbOO[i,j] +|CrlO[i,j]- - CbOO[i ill - - •(44)
Cdiff— rlOb01[i, j]=|CrlO[i,j] +|Cb01[i,j] +|CrlO[i,j]- - Cb01[i ill - - •(45)
Cdiff— rOlblOD, j]=|Cr01[i,j] +|CblO[i,j] +|Cr01[i,j]- - CblO[i ill - - •(46)
Cdiff— rOOblOD, j]=|CrOO[i,j] +|CblO[i,j] +|CrOO[i,j]- - CblO[i ill - - •(47)
Cdiff— rlOblOD, j]=|CrlO[i,j] +|CblO[i,j] +|CrlO[i,j]- - CblO[i •(48)
[0072] なお、第 3の実施の形態では、式 (40)に示すように、 CdiltrOObOOは色差面補正処 理を行わないように定義している力 第 1の実施の形態における式（17)のように、 Cr および Cb成分に対して、例えば式（26)で示したローパス処理などの補正処理を行 つてもよい。
[0073] (2— 6)ぼかし量の決定
第 1の実施の形態における（1 6)と同様に、式 (40)〜 (48)で算出した色指標を それぞれ比較して、最小値を与えるぼ力し量の Crと Cbの組み合せを、最終的に画 像生成のために利用するぼ力し量として決定する。すなわち、次式 (49)によって、 C diff— rOObOO力も Cdiff— rlOblOの中で値が最小になるものを画素ごとに抽出し 、そのときの Cr,および Cbを生成するために、 RGBの各成分を図 11に示す平滑ィ匕 フィルタでぼかす必要がある力否かを決定する。
[0074] (Cr生成用 Rぼかし量， Cr生成用 Gぼかし量， Cb生成用 Gぼかし量， Cb生成用 Bぼ かし量）
= arg min (Cdiff— rOObOO, Cdiff— rOlbOO, ... , Cdiff— rlOblO)
(R,R， for Cr)
(G,G， for Cr)
(G,G' for Cb)
(Β,Β' for Cb) · · · (49)
[0075] (2— 7)置き換え用の色差面生成 上述した（2— 6)の結果に基づいて、次式（50)および（51)により、最終出力画像 に用いる色差成分の置き換え値 Cr[i, j]、および Cb [i, j]を設定する。
Cr[i,j]=one of {CrOO, CrOl, CrlO} · · · (50)
Cb[i,j]=one of {CbOO, CbOl, CblO} · · · (51)
[0076] (2— 8)色変換
次に、次式（52)〜（54)により、上述した（2— 2)で退避させた輝度成分と、 (2- 7) の処理で軸上色収差の補正された色差成分を統合して最終出力画像を生成する。
R[i,j]=Y[i,j]+ (3/4) X Cr[i,j]- (l/4) X Cb[i,j] · · · (52)
G[i,j]=Y[i,j]- (l/4) X Cr[i,j]- (l/4) X Cb[i,j] · · · (53)
B[i,j]=Y[i,j]- (l/4) X Cr[i,j]+ (3/4) X Cb[i,j] · · · (54)
[0077] 以上の処理によって、カラー画像にぉ 、て、 RGB 、ずれかの色成分に軸上色収差 があり、これに伴って色滲みが生じた場合に、各色成分間の MTF特性の不整合を 補正して、軸上色収差に伴う色滲みを解消することができる。そして、この軸上色収 差に伴う色滲みを解消したカラー画像は、モニタ 113に出力されて表示される。
[0078] 図 13は、第 3の実施の形態における画像処理装置 110の動作を示すフローチヤ一 トである。図 13に示す処理は、レンズ 101を介して撮像素子 102によって撮像された 画像が画像メモリ 112に記憶されると起動するプログラムとして制御装置 111によつ て実行される。ステップ S110において、（2—1)で上述したように、画像メモリ 112力 らカラー画像を読み込んで、ステップ S 120へ進む。ステップ S 120では、（2— 2)で 上述したように、読み込んだカラー画像を表色系変換して、輝度成分を制御装置 11 1が有するメモリ空間に退避しておく。その後、ステップ S130へ進む。
[0079] ステップ S130では、（2— 3)で上述した複数通りのぼかし R、 G、 B面画像作成処理 を実行して、ステップ S140へ進む。ステップ S140では、（2— 4)で上述したぼかし糸且 み合せによる複数通りの仮色差面生成処理を実行して、ステップ S150へ進む。ステ ップ S150では、（2— 5)で上述した色指標の作成処理を実行して、ステップ S160へ 進む。ステップ S160では、（2— 6)で上述したように、最終的に画像生成のために利 用するぼ力し量を決定して、ステップ S 170へ進む。
[0080] ステップ S 170では、（2— 7)で上述した置き換え用の色差面生成処理を実行して ステップ S180へ進み、（2— 8)で上述したように、（2— 2)で退避させた輝度成分と、 (2— 7)の処理で軸上色収差の補正された色差成分を統合して最終出力画像を生 成する。その後、ステップ S190へ進み、軸上色収差に伴う色滲みを解消したカラー 画像を、モニタ 113に出力して表示し、処理を終了する。
[0081] 以上説明した第 3の実施の形態によれば、従来技術とは異なり、高 MTFの他の色 成分情報を利用して、低 MTFの色成分情報を補正しているので、鮮鋭な軸上色収 差補正ができる。また、 G成分に対するぼかしのみならず、 R成分と B成分に対するぼ かしも行うものとした。これによつて、 G成分に軸上色収差がある場合でもそれを補正 することが可能となる。
[0082] 一第 4の実施の形態一
第 4の実施の形態では、デジタルカメラ 100で所定距離だけ離れた被写体にピント を合わせ、レンズ 101のピント位置における被写体像がかぶる軸上色収差の一般的 傾向を補正する。なお、図 1に示した画像処理装置 110を搭載したデジタルカメラ 10 0のブロック図と、図 2および図 3に示した軸上色収差による色滲みが発生する原理を 示す図、および図 4に示した MTF特性を整合させて軸上色収差を補正する原理を 示す図については、第 1の実施の形態と同様のため、説明を省略する。
[0083] まず、あら力じめレンズ 101が固有に持っている軸上色収差情報を調べておく。す なわち、所定距離に設置した基準被写体を撮影し、レンズ 101が取りうる可変パラメ ータ、例えばレンズ種、ズーム位置、絞り値、ピント位置などの各々について RGB間 の MTF特性の違いを次のように事前に調査しておく。そして、この可変パラメータの それぞれを変化させながら、例えば図 14に示すような評価用撮影チャートを撮像し、 そのときの黒線の信号レベルの出方を観測して、 RGB間の MTF特性の違いを算出 する。
[0084] この算出結果に基づいて、各可変パラメータの設定状況における最も鮮鋭な色成 分に対して、ぼけた色成分に合わせるのに必要な一様 LPFを特定し、図 15に示すよ うに、可変パラメータの各設定状況ごとに、被写体の位置 (被写体までの距離)と特定 した一様 LPFの種類とを対応づけて、制御装置 111が有するメモリに格納しておく。
[0085] そして、撮像素子 102で撮像した対象画像内の主要被写体が映っている部分の軸 上色収差を補正するために、次のように処理する。まず、対象画像内における主要 被写体位置を検出する。このとき、一般的に主要被写体はフォーカス位置 (ピント位 置）、またはその近傍に存在していることが多いことをカ卩味して、まずは画像データか ら上述した可変パラメータを取得して、対象画像におけるフォーカス位置を特定する 。なお、各可変パラメータは、撮像された画像データ内の例えば Exif情報内に、光学 系に関する外部情報として記憶されており、制御装置 113は画像データを参照して フォーカス位置を特定することができる。
[0086] この特定したフォーカス位置の周りには主要被写体が広がっているものと仮定し、 フォーカス位置の周囲の所定範囲内を対象範囲として、その範囲内でエッジ検出を 行って、検出したエッジをグループィ匕することによりオブジェクト抽出して、そのォブジ ェクトを主要被写体とみなしてオブジェクトを含む範囲に対して軸上色収差補正を行 う。具体的には、特定したフォーカス位置から主要被写体までの距離を判定し、さら に画像データ力も撮像時における可変パラメータの設定状況を判定する。そして、判 定した可変パラメータの設定状況に対応する図 15に示す表を参照することによって 、その主要被写体まで距離に対応付けられた一様 LPFを選択する。
[0087] そして、上述した対象範囲を、選択した一様 LPFでぼかして、第 1の実施の形態、 および第 3の実施の形態で上述したように、当該対象範囲内における軸上色収差補 正を行う。これによつて、光学系に関する外部情報として記憶された可変パラーメー タの設定状況に基づいて、その状況に合った一様 LPFを判定し、この一様 LPFを用 V、適切な色成分に対して、適切な度合 、の平滑ィ匕を行うことができる。
[0088] 図 16は、第 4の実施の形態における画像処理装置 110の動作を示すフローチヤ一 トである。図 16に示す処理は、レンズ 101を介して撮像素子 102によって撮像された 画像が画像メモリ 112に記憶されると起動するプログラムとして制御装置 111によつ て実行される。ステップ S210において、画像メモリ 112から画像を読み込んでステツ プ S220へ進む。ステップ S220では、上述したように画像データからオーカス位置を 特定して、ステップ S230へ進む。
[0089] ステップ S230では、画像データ力も撮像時における可変パラメータの設定状況を 判定し、その可変パラメータの設定状況に対応する図 15に示す表を参照することに よって、フォーカス位置、すなわち主要被写体まで距離に対応付けられた一様 LPF を選択する。その後、ステップ S240へ進み、選択した一様 LPFを使用して読み込ん だ画像をぼかして、ステップ S250へ進む。ステップ S250では、入力画像、すなわち 画像メモリ 112から読み込んだ画像が Bayer配列のような単板式カラー撮像素子出 力画像、または補間済みのカラー画像の 、ずれであるかを判定する。
[0090] そして、入力画像力 ¾ayer配列のような単板式カラー撮像素子出力画像であると判 断した場合には、ステップ S260へ進み、上述した第 1の実施の形態における図 8の ステップ S70〜ステップ S 100の処理を実行して、画像の軸上色収差を補正し、モ- タ 113に出力した後に処理を終了する。これに対して、入力画像が補間済みのカラ 一画像であると判断した場合には、ステップ S270へ進み、上述した第 3の実施の形 態における図 13のステップ S 170〜ステップ S 190の処理を実行して、カラー画像の 軸上色収差を補正し、モニタ 113に出力した後に処理を終了する。
[0091] 上述した第 4の実施の形態によれば、第 1または第 3の実施の形態における作用効 果に加えて、次のような作用効果を得ることができる。
(1)画像データに含まれるフォーカス位置情報に基づいて主要被写体を抽出し、抽 出した主要被写体までの距離を判定して図 15に示す表を参照することによって、そ の主要被写体まで距離に対応付けられた一様 LPFを選択して、主要被写体が存在 する範囲の画像をぼかすようにした。これによつて、主要被写体までの距離に基づい て、あら力じめ設定された一様 LPFを選択して画像をぼ力せばよいため、ぼかし量を 決定するための種々の処理が不要となり、処理を高速化できる。
(2)主要被写体までの距離を判定するにあたっては、画像データに含まれるフォー カス位置の周囲の所定範囲内を対象範囲として、その範囲内でエッジ検出を行って 、検出したエッジをグループィ匕することによりオブジェクト抽出して、そのオブジェクト を主要被写体とみなすようにした。これによつて、一般的に主要被写体はフォーカス 位置、またはその近傍に存在していることが多いことをカ卩味して、正確に主要被写体 を抽出することができる。
[0092] 一変形例一
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。 (1)上述した第 1および 2の実施の形態では、撮像素子 102においては、例えば、単 板式カラー撮像素子の最も代表的な R (赤）、 G (緑)、 B (青)のカラーフィルタが Bay er配列されており、この撮像素子 102で撮像される画像データは RGB表色系で示さ れるものとし、画像データを構成する各々の画素には、 RGBの何れか 1つの色成分 の色情報が存在しているものとする例について説明した。しかしこれに限定されず、 撮像素子 102に 2板式カラー撮像素子を用い、画像データを構成する各々の画素に は、 RGBの何れ力 2つの色成分の色情報が存在しているものとしてもよい。すなわち 、撮像素子 102は、撮像面における MTF特性が異なる複数の色成分を有する各画 素において少なくとも 1つの色成分が欠落した画像を撮像するものであればよい。
[0093] (2)上述した第 1〜3の実施の形態では、（1 6)および（2— 6)でぼかし量を決定す るに当たって、最終的に画像生成のために利用する離散的なぼかし量を判定する例 について説明した。しかしこれに限定されず、連続的なぼ力 量を判定するようにし てもよい。例えば Crl、 Cr2をまとめて Cr— blurのように表し、次式（55)および（56) に示すように、線形結合を行う。なお、ここでは、 G"のぼかし方と Gのぼかしなしの線 形結合状態 (加重係数 (s、 t) )で Cr— blur、および Cb— blurを生成する例について 説明するが、同様の方法で G'を加えた線形結合とすることもできる。
Cr— blur = R- {s*く G"〉+(l- s)*〈G〉}' · · (55)
Cb— blur = B-{t*<G">+(l-t)*<G>}- · · (56)
ただし、 0=く (s,t)=〈lとする。
[0094] 式（55)および（56)で生成した Cr— blur、および Cb— blurに基づ!/、て、ぼかし側 に対応する色指標 Cdiff— blurを次式（57)により生成する。
Cdiff— blur = |Cr— blur[i,j]|+|Cb— blur[i,j]|+|Cr— blur[i,j]— Cb— blur[i,j]| . . . (57) そして、 Cdiff— blurの最小値を与える（s, t)の組み合せを、図 17に示すように 2次 元探索する。次に Cdiff— blurの最小値と、ぼかしなし側色指標 Cdiff— rObOとを比 較して、ぼ力し量 (s, t)を採用するか、ぼ力しなしにするかを決定する。この比較は C diff_rObOだけを特別に扱っている場合にのみ行うものとする。
[0095] なお、このように判定した連続的なぼ力 量によって画像をぼかす場合には、第 1 の実施の形態の（ 1 7)で上述した実際の色差面生成処理にお!、て、最終出力画 像に用いる色差成分 Cr[i, j]、 Cb[i, j]は、式（28)および（29)に代えて、次式（58) および（59)によって求めればよい。
Cr[i,j]=one of {CrO, Cr— blur(s; 0=く s=〈l)} R位置 · · · (58)
Cb[i,j]=one of {CbO, Cb— blur(t; 0=<t=<l)} B位置 · · ·（59)
[0096] (3)上述した第 1の実施の形態では、 Bayer面から生成された直後の複数通りの色 差面の組み合せを比較してから、ぼ力し量を決定して、通常の補間処理を行う例に ついて説明した。しかしこれに限定されず、複数通りのぼかしに対応する色差面の補 間を通常の補間処理と適応的な色差面の補正処理を行った後に、ぼかし量を決定 するようにしてちょい。
[0097] (4)第 1〜3の実施の形態では、画素単位で複数のぼかし方に対する生成された色 成分の色応答をみることにより、画素単位でぼ力し方を決定していた。しかし、これに 限定されず、軸上色収差の発生要因からして画素レベルでの急激な変化は少な 、 であろうと仮定することができるので、もう少し大きな範囲でぼ力し方の均一手法が選 ばれるように、複数の画素にまたがったブロック単位に処理を行ってもよい。
[0098] 例えば、画像メモリ 112から読み込んだ Bayer画像を 64画素 X 64画素の大きさの 複数のブロックに分割し、第 1の実施の形態で上述したように画素単位の色指標を算 出して、各ブロック内の色指標の平均値を算出する。そして、ブロック内の色指標の 平均値に基づいて、ブロック単位での色指標比較を行い、最小値を与えるぼかし方 のセットをブロック内に対して共通に適用して、ブロックごとに軸上色収差補正を行つ てもよい。
[0099] なお、この場合には、各ブロック単位で軸上色収差補正を行うため、各ブロック間の 境界上に不自然な色の違いが発生する可能性がある。これを回避するために、さら に次のように変形してもよい。すなわち、色指標を算出した後に、その色指標の複数 画素間（例えば 16 X 16や 64 X 64)における平均値をとり、それらを（1—6)または（ 2— 6)と同様にして画素単位の評価を行うようにする。これによつて、平均した範囲程 度では均一なぼ力し量が決定されることになり、ブロック境界での不自然さをなくすこ とがでさる。
[0100] (5)上述した第 3の実施の形態では、 RGB表色系で示されるカラー画像を、 YCbCr 形式の画像データに変換して力 軸上色収差補正を行う例について説明した。しか しこれに限定されず、 RGB形式のデータのままの状態で軸上色収差補正を行っても よい。すなわち、図 4における MTF整合処理（式（1)、（2) )を、尺、 G、 B各々につい て直接行うようにしてもよい。
[0101] (6)上述した第 4の実施の形態では、画像データに含まれるフォーカス位置情報に 基づいて主要被写体を抽出し、その主要被写体が存在する範囲のみを補正する例 について説明した。しかし、これに限定されず画像全体に対して軸上色収差補正を 行ってもよい。
[0102] (7)上述した第 4の実施の形態では、画像データ内に含まれているフォーカス位置に 基づいて被写体までの距離を特定する例について説明した。し力しこれに限定され ず、画像データ内に含まれる「接写撮影」、「ポートレート撮影」、「風景撮影」のような カメラの撮影モードに基づいて、被写体までの距離を特定してもよい。例えば、接写 撮影モードのときは被写体は至近に存在するものと判定して、図 15に示した対応表 を参照するようにすればょ 、。
[0103] (8)上述した第 1〜第 4の実施の形態では、デジタルカメラ 100に搭載した制御装置 111によって、各種画像処理を行い、レンズ 101を介して撮像素子 102で撮像した 画像の軸上色収差補正を行う例について説明した。しカゝしこれに限定されず、例え ば、上述した内容の画像処理を実行するプログラムをパソコンなどの電子機器にイン ストールしておき、デジタルカメラで撮像した画像を各種インターフェースを介して当 該電子機器に取り込んで力も軸上色収差補正を行うようにしてもよい。なお、このよう なプログラムは、 CDなどの記録媒体やインターネットなどの電気通信回線を介してパ ソコンなどの電子機器に提供される。
[0104] 図 19はその様子を示す図である。ノ ソコン 200は、記録媒体である CD— ROM20 4を介してプログラムの提供を受ける。また、ノソコン 200は通信回線 201との接続機 能を有する。コンピュータ 202は上記プログラムを提供するサーバーコンピュータであ り、ハードディスク 203などの記録媒体にプログラムを格納する。通信回線 201は、ィ ンターネットなどの通信回線、あるいは専用通信回線などである。コンピュータ 202は ハードディスク 203を使用してプログラムを読み出し、通信回線 201を介してプロダラ ムをパソコン 200に送信する。すなわち、プログラムをデータ信号として搬送波にのせ て（embody)、通信回線 201を介して送信する。このように、プログラムは、記録媒体 や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製 品として供給できる。
[0105] (9)上述した第 1〜第 4の実施の形態では、上述した図 4に示す原理によって MTF を整合させ、軸上色収差を補正する例について説明したが、これに限定されず、図 1 8に示すように、 RGBの各色成分から輝度面 Y (図 18 (d) )を生成し、当該輝度面 Y を平滑化して、 MTFを整合させるようにしてもよい。
[0106] なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態 における構成に何ら限定されない。
[0107] 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願 2005年第 205354号（2005年 7月 14日出願）
日本国特許出願 2005年第 205355号（2005年 7月 14日出願）
日本国特許出願 2005年第 205356号（2005年 7月 14日出願）

Claims

請求の範囲
[1] 光学系を通して撮像され、 1つの画素に複数の色成分の少なくとも 1つが欠落し、 撮像面において基準色成分と少なくとも他の 1つの欠落色成分との間で MTF特性 が異なる第 1の画像を MTF特性が整合した第 2の画像に変換する画像処理装置で あって、
前記第 1の画像の欠落色成分を有する画素において、前記欠落色成分と前記基 準色成分との間の MTF特性の違いに関する情報を求め、前記求めた情報を使用し て前記第 2の画像を生成する画像生成部を備える。
[2] 請求項 1に記載の画像処理装置において、
前記画像生成部は、前記求めた情報を使用して、前記欠落色成分を前記基準色 成分の MTF特性に整合させるように補正しながら、各画素に少なくとも 1つの前記欠 落色成分を補間した前記第 2の画像を生成する。
[3] 請求項 1に記載の画像処理装置において、
前記画像生成部は、前記求めた情報を使用して、前記第 1の画像の欠落色成分の
MTF特性を前記基準色成分の MTF特性に整合させるように補正して、前記第 1の 画像と色成分の配列が同じ前記第 2の画像を生成する。
[4] 請求項 3に記載の画像処理装置において、
前記第 2の画像の欠落色成分を補間する補間部をさらに備える。
[5] 請求項 2〜4のいずれか一項に記載の画像処理装置において、
前記画像生成部は、前記基準色成分を前記第 1の画像の MTF特性が異なる少な くとも 1つの欠落色成分の MTF特性に近づけるように前記基準色成分を有する画素 を平滑化する平滑化部を含み、 前記平滑化部によって平滑化された結果に基づいて、前記第 1の画像の前記欠落 色成分の MTF特性を前記基準色成分の MTF特性に整合させる。
[6] 請求項 5に記載の画像処理装置において、
前記平滑化部は、前記第 2の画像の生成に使用する色差成分を生成するため、前 記第 1の画像の基準色成分に対して前記平滑化処理を行い、前記第 2の画像の生 成に使用する輝度成分を生成するための前記第 1の画像の基準色成分に対しては 前記平滑化処理を行わな ヽ。
[7] 請求項 1に記載の画像処理装置において、
前記第 1の画像の基準色成分として、前記第 1の画像の輝度情報を担う色成分を 対応させる。
[8] 請求項 1に記載の画像処理装置において、
前記第 1の画像の基準色成分として、前記第 1の画像の最も高密度に配置された 色成分を対応させる。
[9] 請求項 1に記載の画像処理装置において、
前記 MTF特性の違いに関する情報を、撮像時の光学系の状態に関する外部情報 に基づいて決定する。
[10] 請求項 9に記載の画像処理装置において、
前記撮影時の光学系の状態に関する外部情報は、撮像時に使用されたレンズ種、 ズーム位置、フォーカス位置、絞り値、および画面内のフォーカス位置の少なくとも 1 つの情報を含む。
[11] 請求項 5または 6に記載の画像処理装置において、
前記平滑化部は、画素ごとにそれぞれ平滑化の度合いを決定する。
[12] 請求項 5または 6に記載の画像処理装置において、
前記平滑化部は、複数の画素にまたがって共通の平滑ィ匕の度合いを決定する。
[13] 請求項 6に記載の画像処理装置において、
前記平滑化部は、 1つの画素に対して異なる色情報を表す複数種類の色差成分を 生成するとき、各々の種類の色差成分を構成する前記第 1の画像の色成分毎に、前 記平滑化処理の平滑化の度合!、を決定する。
[14] 光学系を通して撮像され、 1つの画素に複数の色成分の少なくとも 1つを有し、撮像 、て少なくとも 2つの色成分の間で MTF特性が異なる第 1の画像を、 MTF特 性が整合した第 2の画像へ変換する画像処理装置であって、
前記第 1の画像の前記少なくとも 2つの色成分の内の 1つの色成分に対して、平滑 化ないしは鮮鋭ィ匕処理を行って MTFを補正する MTF補正部と、
前記 MTFを補正する処理を複数通り行 ヽ、それらの間での色応答を比較する比 較部と、
前記比較部による色応答の比較結果に基づいて、前記複数通りの MTF処理の中 から 1つの MTF補正処理を決定する決定部と、
前記決定部で決定した 1つの MTF補正処理を行った結果に基づ ヽて、前記少なく とも 2つの色成分の内の 1つの色成分の MTF特性を他の色成分の MTF特性に整合 させる画像変換部とを備える。
[15] 光学系を通して撮像され、 1つの画素に複数の色成分の少なくとも 1つを有し、撮像 、て少なくとも 2つの色成分の間で MTF特性が異なる第 1の画像を、 MTF特 性が整合した第 2の画像へ変換する画像処理装置であって、
前記第 1の画像の前記少なくとも 2つの色成分の内の 1つの色成分に対して、該色 成分を有する画素について平滑ィヒ処理を行わない場合を含めた複数の平滑ィヒ度合 V、で平滑化処理を行う平滑化部と、
前記複数の平滑化度合 、で平滑ィ匕処理を行う複数の場合間で、 MTF特性変化に 対する色応答を比較する比較部と、
前記比較部による色応答の比較結果に基づ!、て、前記複数の平滑化度合 、から 1 つの平滑化度合!ヽを決定する決定部と、
前記決定部で決定した 1つの平滑化度合!ヽで平滑化処理を行った結果に基づ 、 て、前記少なくとも 2つの色成分の内の 1つの色成分の MTF特性を他の色成分の M TF特性に整合させる画像変換部とを備える。
[16] 請求項 14または 15に記載の画像処理装置において、
前記比較部は、前記複数の平滑化度合!ヽで平滑化処理を行った各画像の各画素 に複数通りの色差成分を生成し、生成した色差成分に基づいて前記色応答を比較 する。
[17] 請求項 16に記載の画像処理装置において、
前記比較部は、前記複数の平滑化度合!ヽで平滑化処理を行った各画像の各画素 に生成した複数通りの色差成分に基づいて、複数通りの彩度に関する指標を算出し 、当該彩度に関する指標を比較することによって、前記色応答を比較する。
[18] 請求項 17に記載の画像処理装置において、 前記決定部は、前記複数通りの彩度に関する指標に基づいて、最も低い彩度レべ ルを与える平滑ィ匕の度合いを、前記第 2の画像に変換するための前記第 1の画像の 色成分に対する平滑化の度合 ヽとして決定する。
[19] 請求項 16〜18のいずれか一項に記載の画像処理装置において、
前記比較部は、前記平滑化処理を行わない場合の色差成分として、生成した色差 成分に対して周辺画素の色差成分との間で補正処理を行った後の色差成分を使用 する。
[20] 請求項 14または 15に記載の画像処理装置にお ヽて、
前記決定部は、 1つの画素に対して異なる色情報を表す複数種類の色差成分を生 成し、前記複数種類の色差成分の組み合せでできる新たな色差情報も考慮して、前 記平滑化度合!ゝを決定する。
[21] 請求項 20に記載の画像処理装置において、
前記決定部は、 1つの画素に対して異なる色情報を表す複数種類の色差成分を生 成するとき、各々の種類の色差成分を構成する前記第 1の画像の色成分毎に、前記 平滑化処理の平滑化の度合!/、を決定する。
[22] 請求項 14〜21のいずれか一項に記載の画像処理装置において、
前記決定部は、画素ごとにそれぞれ平滑化の度合 、を決定する。
[23] 請求項 14〜21のいずれか一項に記載の画像処理装置において、
前記決定部は、複数の画素にまたがって共通の平滑ィ匕の度合いを決定する。
[24] 光軸方向の色成分間の焦点ずれによって発生した色成分間の MTF特性が不整 合な状態の画像を、 MTF特性の高 、色成分の色情報を用いて MTF特性の低 、色 成分の色情報を補正することによって、各色成分間の MTF特性を整合させる。
[25] 請求項 1に記載の画像処理装置において、
前記 MTF特性の高 ヽ色成分の信号を平滑化し、前記 MTF特性が高 ヽ色成分の 平滑ィ匕して 、な 、信号と、平滑化した前記 MTF特性の高 、色成分の信号との差分 力 得られる補正情報に基づ 、て、前記 MTF特性の低 、色成分の MTF特性を補 正して、各色成分間の MTF特性を整合させる。
[26] 光学系を通して撮像され、複数の色成分力もなり、撮像面において少なくとも 2つの 色成分の間で MTF特性が異なる第 1の画像を第 2の画像へ変換する画像処理装置 であって、
前記第 1の画像の前記少なくとも 2つの色成分の内の 1つの色成分の MTF特性を 他の色成分の MTF特性に近づけるよう、前記 1つの色成分を有する画素において 平滑化処理を行う平滑化部と、
前記平滑化部によって平滑化処理された 1つの色成分を用いて、前記第 2の画像 の色差成分を生成する色差成分生成部と、
前記第 1の画像の平滑化処理されない色成分を用いて、前記第 2の画像の輝度成 分を生成する輝度成分生成部とを備える。
[27] 請求項 26に記載の画像処理装置において、
前記第 2の画像の色差成分と輝度成分とを使用して、前記第 1の画像と同じ複数の 色成分力もなる表色系の画像に逆変換する逆変換部をさらに備える。
[28] 請求項 26または 27に記載の画像処理装置において、
前記平滑化部は、複数種類の色差成分を生成するとき、各々の色差成分ごとに、 前記平滑化処理の平滑化の度合!ヽを決定する。
[29] 請求項 26〜28のいずれか一項に記載の画像処理装置において、
前記平滑化部は、画素ごとにそれぞれの平滑ィヒの度合 、で平滑化処理を行う。
[30] 請求項 26〜28のいずれか一項に記載の画像処理装置において、
前記平滑化部は、複数の画素にまたがって共通の平滑化の度合いで平滑化処理 を行う。
[31] 請求項 26〜30のいずれか一項に記載の画像処理装置において、
前記第 1の画像は、各画素に全ての色成分を有する。
[32] MTF特性が整合した画像を生成する画像処理方法であって、
複数の色成分から構成され、撮像面において少なくとも 2つの色成分の間で MTF 特性が異なる第 1の画像を取得し、
前記第 1の画像の前記少なくとも 2つの色成分の内の 1つの色成分に対して、複数 通りの平滑化処理を行い、 前記平滑化処理を行わな!/ヽ前記 1つの色成分と前記複数通りの平滑化処理を行つ た前記 1つの色成分を使用して、複数の色差成分を生成し、
前記生成した複数の色差成分の中から、前記 1つの色成分と他の色成分との間で MTF特性が最も整合している状態を示す色差成分を選択し、
前記選択した色差成分と前記取得した第 1の画像を使用して、前記複数の色成分 から構成される MTF特性が整合した第 2の画像を生成する。
[33] 請求項 32に記載の画像処理方法にぉ 、て、
前記生成した複数の色差成分を使用して彩度を求め、
前記求めた彩度が最も低い場合に使用した色差成分を、前記 1つの色成分と他の 色成分との間で MTF特性が最も整合している状態を示す色差成分として選択する。
[34] 請求項 32に記載の画像処理方法にお 、て、
前記取得した第 1の画像から輝度成分を取得し、
前記選択した色差成分と前記取得した輝度成分を使用して、前記複数の色成分か ら構成される MTF特性が整合した第 2の画像を生成する。
PCT/JP2006/314073 2005-07-14 2006-07-14 画像処理装置および画像処理方法 WO2007007878A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/988,443 US8233710B2 (en) 2005-07-14 2006-07-14 Image processing device and image processing method
US13/303,934 US8509533B2 (en) 2005-07-14 2011-11-23 Image processing device and image processing method

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2005-205355 2005-07-14
JP2005-205354 2005-07-14
JP2005-205356 2005-07-14
JP2005205356A JP4945943B2 (ja) 2005-07-14 2005-07-14 画像処理装置
JP2005205354A JP4945942B2 (ja) 2005-07-14 2005-07-14 画像処理装置
JP2005205355A JP4797478B2 (ja) 2005-07-14 2005-07-14 画像処理装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US11/988,443 A-371-Of-International US8233710B2 (en) 2005-07-14 2006-07-14 Image processing device and image processing method
US13/303,934 Division US8509533B2 (en) 2005-07-14 2011-11-23 Image processing device and image processing method

Publications (1)

Publication Number Publication Date
WO2007007878A1 true WO2007007878A1 (ja) 2007-01-18

Family

ID=37637252

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/314073 WO2007007878A1 (ja) 2005-07-14 2006-07-14 画像処理装置および画像処理方法

Country Status (2)

Country Link
US (2) US8233710B2 (ja)
WO (1) WO2007007878A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2111038A1 (en) 2008-04-16 2009-10-21 Canon Kabushiki Kaisha Image processing apparatus and image processing method for reducing color blur
CN101902651A (zh) * 2009-05-28 2010-12-01 佳能株式会社 图像处理设备和图像处理方法
EP2268043A1 (en) * 2008-06-18 2010-12-29 Panasonic Corporation Image processing device, imaging device, method, and program
WO2016181476A1 (ja) * 2015-05-12 2016-11-17 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1940180B1 (en) * 2005-09-29 2012-05-30 Nikon Corporation Image processing apparatus and image processing method
JP5349790B2 (ja) * 2007-11-16 2013-11-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US8620100B2 (en) * 2009-02-13 2013-12-31 National University Corporation Shizuoka University Motion blur device, method and program
US20130100310A1 (en) * 2010-07-05 2013-04-25 Nikon Corporation Image processing device, imaging device, and image processing program
JP6131546B2 (ja) * 2012-03-16 2017-05-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
WO2014002811A1 (ja) 2012-06-25 2014-01-03 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9251572B2 (en) 2013-07-26 2016-02-02 Qualcomm Incorporated System and method of correcting image artifacts
US9013611B1 (en) * 2013-09-06 2015-04-21 Xilinx, Inc. Method and device for generating a digital image based upon a selected set of chrominance groups
US9438771B2 (en) * 2013-10-08 2016-09-06 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium
CN107623816A (zh) * 2013-10-09 2018-01-23 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法
JP6327922B2 (ja) * 2014-04-25 2018-05-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7022544B2 (ja) * 2017-09-13 2022-02-18 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
CN108495101B (zh) * 2018-04-08 2019-10-11 北京大恒图像视觉有限公司 一种图像校正方法、装置、图像采集设备和可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH053568A (ja) * 1991-06-25 1993-01-08 Canon Inc ビデオカメラ装置
JPH06113309A (ja) * 1992-09-28 1994-04-22 Sony Corp ディジタルビデオカメラ
JP2001103358A (ja) * 1999-09-30 2001-04-13 Mitsubishi Electric Corp 色収差補正装置
JP2003050990A (ja) * 2001-08-07 2003-02-21 Minolta Co Ltd 画像処理装置及びコンピュータを画像処理装置として機能させるためのプログラム
JP2004241991A (ja) * 2003-02-05 2004-08-26 Minolta Co Ltd 撮像装置、画像処理装置及び画像処理プログラム
JP2005045433A (ja) * 2003-07-25 2005-02-17 Konica Minolta Business Technologies Inc 画像形成装置及び画像形成方法
JP2005175718A (ja) * 2003-12-09 2005-06-30 Olympus Corp 撮像システムおよび画像処理プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2528826B2 (ja) 1985-12-20 1996-08-28 池上通信機株式会社 画像の位置ずれ補正装置
US5541653A (en) 1993-07-27 1996-07-30 Sri International Method and appartus for increasing resolution of digital color images using correlated decoding
JPH09238261A (ja) * 1996-02-28 1997-09-09 Minolta Co Ltd 画像形成装置
JPH10319518A (ja) 1997-05-21 1998-12-04 Konica Corp カラー画像形成装置
JP4599672B2 (ja) 1999-12-21 2010-12-15 株式会社ニコン 補間処理装置および補間処理プログラムを記録した記録媒体
JP4402230B2 (ja) 1999-12-22 2010-01-20 オリンパス株式会社 画像処理装置
JP2002247371A (ja) * 2001-02-21 2002-08-30 Ricoh Co Ltd 画像処理装置および画像処理プログラムを記録した記録媒体
WO2002071761A1 (fr) 2001-03-05 2002-09-12 Nikon Corporation Programme et dispositif de traitement d'images
JP2002344978A (ja) 2001-05-17 2002-11-29 Ichikawa Soft Laboratory:Kk 画像処理装置
JP2003060983A (ja) 2001-08-10 2003-02-28 Olympus Optical Co Ltd 撮像装置
JP4479457B2 (ja) 2004-05-27 2010-06-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US7683950B2 (en) * 2005-04-26 2010-03-23 Eastman Kodak Company Method and apparatus for correcting a channel dependent color aberration in a digital image
US7865031B2 (en) * 2006-04-18 2011-01-04 Tandent Vision Science, Inc. Method and system for automatic correction of chromatic aberration

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH053568A (ja) * 1991-06-25 1993-01-08 Canon Inc ビデオカメラ装置
JPH06113309A (ja) * 1992-09-28 1994-04-22 Sony Corp ディジタルビデオカメラ
JP2001103358A (ja) * 1999-09-30 2001-04-13 Mitsubishi Electric Corp 色収差補正装置
JP2003050990A (ja) * 2001-08-07 2003-02-21 Minolta Co Ltd 画像処理装置及びコンピュータを画像処理装置として機能させるためのプログラム
JP2004241991A (ja) * 2003-02-05 2004-08-26 Minolta Co Ltd 撮像装置、画像処理装置及び画像処理プログラム
JP2005045433A (ja) * 2003-07-25 2005-02-17 Konica Minolta Business Technologies Inc 画像形成装置及び画像形成方法
JP2005175718A (ja) * 2003-12-09 2005-06-30 Olympus Corp 撮像システムおよび画像処理プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2111038A1 (en) 2008-04-16 2009-10-21 Canon Kabushiki Kaisha Image processing apparatus and image processing method for reducing color blur
US8369618B2 (en) 2008-04-16 2013-02-05 Canon Kabushiki Kaisha Image processing apparatus and image processing method for reducing color blur
EP2268043A1 (en) * 2008-06-18 2010-12-29 Panasonic Corporation Image processing device, imaging device, method, and program
EP2268043A4 (en) * 2008-06-18 2010-12-29 Panasonic Corp IMAGE PROCESSING DEVICE, IMAGING DEVICE, METHOD, AND PROGRAM
EP2312858A1 (en) * 2008-06-18 2011-04-20 Panasonic Corporation Image processing apparatus, imaging apparatus, image processing method, and program
US7986352B2 (en) 2008-06-18 2011-07-26 Panasonic Corporation Image generation system including a plurality of light receiving elements and for correcting image data using a spatial high frequency component, image generation method for correcting image data using a spatial high frequency component, and computer-readable recording medium having a program for performing the same
CN101902651A (zh) * 2009-05-28 2010-12-01 佳能株式会社 图像处理设备和图像处理方法
WO2016181476A1 (ja) * 2015-05-12 2016-11-17 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10659738B2 (en) 2015-05-12 2020-05-19 Olympus Corporation Image processing apparatus, image processing method, and image processing program product

Also Published As

Publication number Publication date
US20090074324A1 (en) 2009-03-19
US8233710B2 (en) 2012-07-31
US8509533B2 (en) 2013-08-13
US20120070083A1 (en) 2012-03-22

Similar Documents

Publication Publication Date Title
WO2007007878A1 (ja) 画像処理装置および画像処理方法
JP5040655B2 (ja) 画像処理装置および画像処理方法
JP4706635B2 (ja) 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ
US8150154B2 (en) Method and apparatus for correcting chromatic aberration of image
JP5546229B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5441652B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP4700445B2 (ja) 画像処理装置および画像処理プログラム
JP4979595B2 (ja) 撮像システム、画像処理方法、画像処理プログラム
JP2011123589A5 (ja)
JP2011124692A5 (ja)
US7773823B2 (en) Image processing method, apparatus, and program
JP4945942B2 (ja) 画像処理装置
JP4945943B2 (ja) 画像処理装置
EP2056607B1 (en) Image processing apparatus and image processing program
JP5528139B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP4797478B2 (ja) 画像処理装置
JP2011160255A5 (ja)
JP5673186B2 (ja) 撮像装置及び撮像装置の補間処理方法
JP6238673B2 (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体
CN117808715A (zh) 一种图像伪彩色矫正方法及装置
JP2017092800A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2017224906A (ja) 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム
JP2002218484A (ja) 画像補間装置
JP2004048796A (ja) 映像信号処理装置及び映像信号処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06768233

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 11988443

Country of ref document: US