WO2005101854A1 - 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ - Google Patents

色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ Download PDF

Info

Publication number
WO2005101854A1
WO2005101854A1 PCT/JP2005/006951 JP2005006951W WO2005101854A1 WO 2005101854 A1 WO2005101854 A1 WO 2005101854A1 JP 2005006951 W JP2005006951 W JP 2005006951W WO 2005101854 A1 WO2005101854 A1 WO 2005101854A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
color
image processing
correction
processing apparatus
Prior art date
Application number
PCT/JP2005/006951
Other languages
English (en)
French (fr)
Inventor
Akihiko Utsugi
Kenichi Ishiga
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to EP05728731.0A priority Critical patent/EP1746846B1/en
Priority to JP2006512318A priority patent/JP4706635B2/ja
Publication of WO2005101854A1 publication Critical patent/WO2005101854A1/ja
Priority to US11/545,559 priority patent/US7916937B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration

Definitions

  • Image processing apparatus having color shift correction function, image processing program, and electronic camera
  • the present invention relates to an image processing device, an image processing program, and an electronic camera.
  • the conventional device of Patent Document 1 first detects a color shift based on an edge portion of an image, and performs image processing based on the color shift to correct lateral chromatic aberration.
  • the conventional device of Patent Document 2 performs magnification adjustment for each color component of an image, and searches for a minimum point of a difference between the color components, thereby correcting chromatic aberration of magnification.
  • Patent Document 3 discloses a technique for locally detecting a color shift as a technique for correcting a color shift that occurs when a moving image is shot.
  • Patent Document 1 JP-A-2000-299874
  • Patent Document 2 JP-A-2002-344978 (FIGS. 1 and 3)
  • Patent Document 3 Patent No. 2528826
  • RGB Red, Green, Blue
  • RAW data in which one type of color component is arranged for each pixel is generated.
  • the electronic camera generates image data in which all colors are aligned for each pixel by generating the missing color component of the RAW data by color interpolation processing. With this color interpolation process, false color noise is generated in the image data. In order to reduce this false color noise, the electronic camera applies a spatial frequency low-pass filter to the color difference components of the image data. Difference LPF ”).
  • This low-frequency color difference change is not removed by the above-described color difference LPF, but passes through as it is. That is, in the image region where the spatial frequency is low, the color shift of the chromatic aberration of magnification remains even after the processing of the color difference LPF.
  • Patent Documents 1 and 2 are based on the premise that a color shift due to chromatic aberration of magnification occurs point-symmetrically with respect to the center of the screen (the center of the optical axis).
  • the color difference LPF is applied, the chromatic aberration of magnification becomes uneven, and this point symmetry easily collapses. If the aberration amount is detected in such a state, an error occurs in the detection result.
  • an object of the present invention is to provide a technique for optimizing color shift correction for an image having a plurality of color component surfaces.
  • Another object of the present invention is to propose a new idea of monitoring miscorrection of color misregistration when correcting color misregistration of an image.
  • Another object of the present invention is to propose a technique for correctly detecting a color shift of chromatic aberration of magnification by taking into account the influence of false colors and the like.
  • An image processing apparatus is an image processing apparatus that performs image processing on an image represented by a plurality of color component planes, and includes a correction unit and an erroneous correction detection unit. This correcting means corrects the color shift of the image.
  • the erroneous correction detection means compares the images before and after the correction by the correction means and determines erroneous correction by the correction means.
  • the erroneous correction detection means sets erroneous correction when the color difference of the processing target portion of the corrected image is not within an allowable range set based on the image before correction.
  • the erroneous correction detection means suppresses the erroneous correction by limiting the color difference of the corrected image within an allowable range.
  • the erroneous correction detecting means detects the color difference in a local area including a processing target portion of the image before correction and a minimum color difference to a maximum color difference of a group including a predetermined low chroma color difference. It is characterized in that it is determined as an allowable range.
  • the correction unit is characterized in that, when the erroneous correction detection unit determines erroneous correction, the erroneous correction is suppressed by suppressing a shift width of the color misregistration correction.
  • the color misregistration is a color misregistration generated in an image due to chromatic aberration of magnification of the optical system, and the correcting unit adjusts the magnification of the color component plane in a direction to cancel the chromatic aberration of magnification. Resizing).
  • another image processing apparatus of the present invention is an image processing apparatus for estimating a multiple chromatic aberration of a photographic optical system from an input image, and includes a color misregistration detecting unit and an estimating unit.
  • the color misregistration detection unit detects a color misregistration width in a radial direction at a plurality of detection locations of an image.
  • the estimating unit obtains the statistical distribution of the chromatic aberration of magnification on the screen based on the color misregistration widths at a plurality of locations, and obtains a value that is larger than the average value of the statistical distribution and within a spread range of the statistical distribution. , The estimated value of the chromatic aberration of magnification.
  • the estimation unit includes a normalization unit and a coefficient processing unit.
  • the normalization unit calculates the magnification difference of the color component indicated by the color shift by dividing the color shift width by the image height (moving radius) of the detected position.
  • the coefficient processing unit obtains a histogram distribution with respect to the magnification difference obtained for each detection location, and belongs to the side where the tail is biased due to the asymmetry of the tail of the histogram distribution, and falls within the spread range of the tail of the histogram distribution. A value that falls within the range is selected and used as an estimated value of the chromatic aberration of magnification.
  • the estimating unit obtains an estimated value of chromatic aberration of magnification for each divided region of the image.
  • the estimation unit detects a color shift in the radial direction for each divided region of the image.
  • the estimation unit detects a color shift in the radial direction for each divided region of the image.
  • chromatic aberration of magnification asymmetric with respect to the center of the screen is detected.
  • another image processing apparatus of the present invention is an image processing apparatus for performing image processing on an image represented by a plurality of color component planes, comprising: an edge area detecting unit; And color shift detecting means.
  • the edge detecting means detects an edge region in the image.
  • the direction detecting means detects, for each edge region, a gradient direction of the luminance of the edge.
  • the color misregistration detecting means detects, for each edge region, a color misregistration between an image signal of an arbitrary color component surface in an image of the edge region and an image signal of a color component surface different from the arbitrary color component surface.
  • another image processing apparatus of the present invention is an image processing apparatus that performs image processing on an image represented by a plurality of color component planes, the image processing apparatus comprising: an edge area detection unit; Equipped with misalignment detection means.
  • the edge area detecting means detects an edge area in the image.
  • the color misregistration detecting means detects, for each edge region, a color shift between an image signal of an arbitrary color component surface in the image of the edge region and an image signal of a color component surface different from the arbitrary color component surface. The detection is performed in the radial direction around the portion corresponding to the optical axis of the optical system used when the image was generated.
  • the image processing apparatus further includes a correction unit for correcting, for each edge region, the color shift detected by the color shift detection unit in the edge region.
  • the image processing apparatus further includes a saturation determination unit that detects, for each edge region, the saturation of an image in the edge region and determines whether the saturation is higher than a predetermined value.
  • the color shift detecting means detects the color shift when the saturation determining means determines that the saturation is higher than the predetermined value.
  • the color misregistration detecting means provides, for each edge region, a window having a size determined based on the width of the edge in the edge region, and performs color misregistration in the image of the window. Is detected.
  • the color misregistration detecting means includes an arbitrary color component in the image of the window.
  • a color shift is detected by calculating a correlation between the image signal of the dividing plane and the image signal of a color component plane different from the arbitrary color component plane.
  • the apparatus further includes an evaluation means for reviewing the color shift detected by the color shift detecting means from the color shift detection results at a plurality of detection points.
  • the correction unit corrects the color misregistration based on the result of the review by the evaluation unit.
  • the correcting means corrects the color shift after performing a smoothing process on the color shift detected by the color shift detecting means.
  • the above-mentioned correction means smoothes the color difference for each edge area after correcting the color shift.
  • An image processing program according to the present invention causes a computer to function as the image processing device according to any one of the above [1] to [19].
  • An electronic camera includes the image processing device according to any one of the above [1] to [19], and an imaging unit that captures a subject image to generate an image.
  • the image generated by the imaging unit is processed by the image processing device.
  • the image processing apparatus performs a comparison on the image before and after the correction, not only by detecting and correcting the color shift but also by correcting the color shift. Based on the comparison result, erroneous correction of color misregistration is determined.
  • the number of erroneously corrected portions is equal to or more than a predetermined number (predetermined area)
  • a predetermined number predetermined area
  • the image processing apparatus detects an erroneous correction according to a color difference change before and after the color misregistration correction.
  • the abnormal color difference at the color misregistration changes in the direction in which it is overwritten.
  • the color difference at the color misregistration portion often changes to the opposite sign. Therefore, by monitoring the color difference change before and after correcting the color misregistration, erroneous correction can be determined more accurately. It becomes possible to do.
  • the image processing apparatus is intended to obtain the chromatic aberration of magnification with high accuracy from the statistical distribution of the chromatic aberration of magnification on the screen.
  • a portion where the chromatic aberration of magnification is reduced and a portion where the chromatic aberration is not reduced are mixed. If the statistical distribution of the chromatic aberration of magnification is obtained for such an image, the average value of the statistical distribution is smaller in absolute value than the actual chromatic aberration of magnification. At this time, the actual chromatic aberration of magnification does not protrude from the spread range of the statistical distribution.
  • a value larger than the average value and within the spread range of the statistical distribution is obtained from the statistical distribution of the chromatic aberration of magnification, and is used as an estimated value of the chromatic aberration of magnification.
  • the image processing device detects an edge region from within the image, and detects a gradient direction of the edge luminance. The color shift in these edge regions is detected in the luminance gradient direction.
  • the color shift generated in the edge area is easily noticeable.
  • the color shift that occurs in the gradient direction of the edge region is more noticeable.
  • the color shift is hardly noticeable.
  • the image processing apparatus detects an edge region from within the image, and determines a color shift of the edge region corresponding to an optical axis of an optical system used when the image is generated. Detects in the radial direction centered on the part.
  • the color shift of chromatic aberration of magnification occurs in the radial direction with respect to the center of the optical axis of the photographing optical system.
  • other false colors occur irrespective of the radial direction. Therefore, by detecting color misregistration only in the radial direction, erroneous color misregistration detection due to false colors can be suppressed. It becomes possible. As a result, it becomes possible to preferentially detect a color shift due to chromatic aberration of magnification from within the image.
  • FIG. 1 is a flowchart illustrating a program according to the first embodiment.
  • FIG. 2 is a diagram showing a setting example of a divided area and a radial direction.
  • FIG. 3 is a diagram illustrating detection of a level change portion.
  • FIG. 4 is a diagram showing a histogram distribution of a magnification difference.
  • FIG. 5 is a view for explaining the effect of reducing color shift in the opposite direction.
  • FIG. 6 is a diagram illustrating an effect of an allowable range.
  • FIG. 7 is a flowchart illustrating region division in a second embodiment.
  • FIG. 8 is a diagram illustrating calculation of a displacement vector.
  • FIG. 9 is a block diagram showing a configuration of a computer 10.
  • FIG. 10 is a flowchart showing the operation of the third embodiment.
  • FIG. 11 is a diagram illustrating a color misregistration detection direction.
  • FIG. 12 is a diagram illustrating a filter.
  • FIG. 13 is a diagram illustrating detection of an edge width.
  • FIG. 14 is a view for explaining a radial direction.
  • FIG. 15 is a diagram illustrating detection of an edge width.
  • FIG. 16 is a flowchart showing an operation of the fifth embodiment.
  • FIG. 17 is a diagram showing an embodiment of an electronic camera.
  • FIG. 1 is a flowchart illustrating a computer operation by an image processing program. This image processing program allows a computer to function as an image processing device.
  • the computer captures image data (hereinafter referred to as “input image”) captured by the electronic camera via a recording medium or a communication interface.
  • This input image is already subjected to color interpolation and color difference LPF in the electronic camera.
  • the computer sets the optical axis center of the photographing optical system in the screen of the input image. Normally, the center of the screen of the input image is set as the default of this optical axis center. Note that the computer may acquire the position of the optical axis center from the accompanying information (such as Exif information) of the input image. In particular, it is preferable to obtain the position of the center of the optical axis for a crop image (a trimmed or other partial image).
  • the computer divides the input image in the circumferential direction with the optical axis center as the origin, and sets a plurality of divided areas and the radial direction of each divided area.
  • FIG. 2 is a diagram showing an example of setting the divided areas and the radial direction.
  • the input image is divided into eight divided regions N, NE, E, SE, S, SW, W, and NW, and the arrows shown in each divided region are set to the radial direction.
  • the computer easily calculates the luminance Y from the RGB components of the input image using the following equation or the like.
  • the computer calculates the level change in the radial direction of the luminance Y in the screen area where the chromatic aberration of magnification is visible (such as an area at least 50% of the maximum image height from the optical axis center).
  • the radial direction for each divided region it is possible to perform a simple calculation based on the following equation.
  • the computer searches for a pixel position (x, y) that is greater than or equal to the absolute value of the obtained gradY (x, y) and a predetermined value Th (for example, about 10 in 256 gradation data).
  • the computer obtains a starting point a at which the brightness starts to change and an ending point b at which the change ends at a location as shown in FIG.
  • the computer stores the midpoint c of these abs as a level change portion, and stores the distance between abs as the thickness of the edge.
  • the detection of the level change portion may be performed discretely at a predetermined sampling interval on the screen.
  • the computer sets a local window centering on the level change point and acquires the G array in this window ⁇ .
  • the computer obtains the R array for the position force that displaces this window in the radial direction.
  • the computer adjusts each signal level of the R array so that the average value of the G array and the average value of the R array match each other, and then calculates the difference between the element units of the G array and the R array.
  • the superposition error is obtained by cumulatively adding the absolute values of the differences.
  • the computer searches for the displacement width that minimizes (or minimizes) the overlay error while changing the displacement width of the R array relative to the G array, and stores the displacement width at this time as the color shift width between the RG components. I do.
  • the color shift width with an accuracy equal to or less than the pixel interval by interpolating the value of the overlay error.
  • this window it is preferable to set this window wider as the edge thickness obtained in step S2 is larger.
  • the computer calculates the width of the color shift determined for each level change Divide by the image height (radius from the optical axis center) to calculate the magnification difference between the R and G planes.
  • the computer sums up the frequency of the magnification difference obtained for each level change location and creates a histogram distribution.
  • FIG. 4 is a diagram illustrating an example of this histogram distribution.
  • the solid line shown in FIG. 4 is a histogram distribution obtained for the input image after the above-described color difference LPF.
  • the most frequent value in this case is almost zero. This indicates that the chromatic difference LPF has reduced most of the chromatic aberration of magnification.
  • the skirt shape that spreads the most frequent value force is asymmetric, and Figure 4 shows a skirt shape that is biased to the negative side.
  • This bias in the foot shape indicates the remaining magnification color difference. That is, the difference in magnification due to the remaining chromatic aberration of magnification takes a minus value almost uniformly. Therefore, the true magnification difference of the photographing optical system to be obtained exists on the side where the foot shape is biased.
  • the dotted line shown in FIG. 4 shows the empirical histogram distribution of the magnification difference for the RAW data (the data before the color interpolation and the color difference LPF).
  • the skirt shape is almost symmetrical with the most frequent value as the center, and is considered to be almost normally distributed. In this case, it can be considered that the value of the most frequent value indicates the magnification difference of the imaging optical system to be obtained.
  • the magnification difference of the most frequent value obtained from the RAW data is also equal to the value of the input image power after the chrominance LPF, which is also approximately the center value on the side where the skirt shape of the solid line histogram is biased.
  • the computer calculates the magnification difference of the solid-line histogram force after the color difference LPF according to any one of the estimation methods (1), (2), and (3) above, and calculates the magnification difference coefficient of the R plane as k. fe. .
  • the computer uses the magnification difference coefficient k of the R plane obtained in this way to correct the color shift between the G plane and the R plane.
  • the computer determines an allowable range of the color difference after the color shift correction in order to suppress the color shift in the reverse direction.
  • the computer obtains color difference data Cr for each pixel position of the input image.
  • This color difference data Cr is calculated for each pixel position (x, y) of the input image.
  • the computer calculates the following equation using the magnification difference coefficient k of the R plane, and calculates the corresponding color shift of the R plane at each pixel position (x, y) of the G plane by a displacement vector (dx, dy ).
  • (xo, yo) is the center of the optical axis.
  • the computer determines the position (x-dx, y-dy) of the R pixel displaced by the chromatic aberration of magnification from the pixel position (x, y) on the G plane and the displacement vector (dx, dy), and refers to it. Position.
  • the computer calculates the pixel value at the reference position (x-dx, y-dy) by interpolation of the input image! ⁇ , G 'are calculated. Subsequently, the computer calculates the color difference Cr ′ at the reference position by the following equation as a second candidate of the above-described allowable range.
  • the computer selects a low chroma color difference (here, zero color difference) as the third candidate of the above-mentioned allowable range.
  • This low-saturation color difference is likely to cause a color difference of opposite sign to the color difference Cr, Cr 'due to a color shift in the opposite direction, and therefore attempts to limit the corrected color difference to low saturation. .
  • the low chroma color difference is not limited to zero color difference, and may be any color difference indicating low chroma.
  • the computer determines the upper and lower limits of the allowable range for each G pixel position as follows.
  • Color difference upper limit max (0, Cr, Cr ')
  • Color difference lower limit min (0, Cr, Cr ')
  • a color difference group consisting of a color difference in a local area including the pixel position (x, y) collected from the uncorrected image color and a low chroma color difference is collected, and the color difference upper limit and the color difference lower limit of the color difference group are allowed.
  • the range may be determined. As for this allowable range, there is an IJ point that the allowable range of the image power before correction can be easily determined.
  • the computer temporarily determines the color difference (R'-G) that appears after the color misregistration correction.
  • the computer limits the color difference (R'-G) by the upper limit and lower limit of the color difference determined in step S10. At this time, a portion where the color difference protrudes from the allowable range is a detection position of the color misregistration correction.
  • the pixel value! If ⁇ is the R component Rout after correction If the color difference lower limit> color difference (R'-G), the lower limit pixel value (G + color difference lower limit) is set as the R component Rout. If the color difference is the upper limit and the color difference (R'-G), the upper limit pixel value (G + the upper limit of the color difference) is set as the R component Rout.
  • the correction may be performed again by reducing the correction width of the color misregistration at that point. Also, if a portion that is not within the allowable range occurs over a certain amount (a certain area), reduce the value of the magnification difference to cover the entire R surface! / You can redo the color misregistration correction.
  • the computer performs the same processing for the B component of the input image, and obtains the B component Bout after color shift correction for each pixel position (x, y).
  • the computer outputs an output image in which the original G component of the input image, the R component Rout obtained by color shift correction, and the B component Bout obtained by similar color shift correction are color components.
  • FIG. 5 is a diagram illustrating the operation and effect of the present embodiment.
  • Fig. 5 [A] shows a gentle edge (R, G) and a steep edge (R ⁇ , G ⁇ ). If the image heights of these two edges are equal, a color shift ⁇ C due to the chromatic aberration of magnification occurs equally at both edges.
  • FIG. 5B shows the color difference between both edges.
  • a low-frequency color difference change (R-G) appears at a gentle edge due to the color shift ⁇ C.
  • R-G a high-frequency color difference change
  • FIG. 5C shows the result of applying a color difference LPF to both color difference changes.
  • the low-frequency color difference change is preserved and passes through as it is.
  • the color difference LPF is suppressed by the color difference LPF.
  • FIG. 5D shows the RG components (R1 and G in the figure) after the color difference LPF.
  • the R components R and R1 before and after the color difference LPF do not change much, and the color shift of the chromatic aberration of magnification is not changed.
  • ⁇ AC remains as it is.
  • the effect of the color difference LPF suppresses the change of the color difference in the high frequency range, so that the phase difference of the RG components (R1 "and G ⁇ in the figure) after the color difference LPF is reduced, and as a result, Color shift due to chromatic aberration of magnification is improved.
  • step S6 of the present embodiment by paying attention to this asymmetrical bias, a variation distribution of the magnification difference that should be originally symmetric is estimated, and a true magnification difference (magnification difference coefficient) is determined from the estimation result. Success!
  • FIG. 5E shows a state in which the color shift ⁇ C of the R component is returned to the original pixel position using the magnification difference coefficient determined in this way.
  • the displacement to R2 in the figure succeeds in removing the chromatic aberration of magnification.
  • the steep edge is affected by the color difference LPF, so that the color shift correction acts excessively and the steep edge is displaced to R2 "in the figure, and the reverse color shift occurs.
  • Fig. 5 [F] shows the color difference (R2-G) and (R2 "-G) after the color misregistration correction.
  • a gentle edge is favorably corrected for color misregistration. Therefore, the color difference (R2—G) does not change significantly before and after the color shift correction, while the steep edge has a color shift in the opposite direction, so the color difference (R2 “) before and after the color shift correction. G ⁇ ) changes greatly.
  • an allowable range is determined so that the color difference does not significantly change before and after the color misregistration correction.
  • FIG. 5G shows the allowable range (vertical stripe area in the figure) determined in this way.
  • the allowable range vertical stripe area in the figure
  • FIG. 5H shows image data after color misregistration correction in which color difference restriction is performed.
  • gentle Ets As in R2 and G shown in the figure color difference limitation is hardly applied, and good color shift correction is maintained as it is.
  • R3 "and G ⁇ in the figure the color difference is limited, and the color shift correction is weak. As a result, the color shift in the opposite direction is suppressed.
  • color difference limitation described here is also effective for suppressing erroneous correction (especially overcorrection) when correcting color misregistration of general images, not only for images that have been subjected to color difference LPF processing. is there.
  • FIG. 6 is a diagram for explaining the reason why the upper limit and the lower limit of the color difference are set to max (0, Cr, Cr ′) and min (0, Cr, Cr ′), respectively.
  • FIG. 6A shows an example in which the image structure disappears when the upper limit of the allowable color difference is set to max (0, Cr).
  • the G component does not change.
  • the R component R1 fluctuates greatly locally.
  • the color difference also increases at the peak of the R component R1.
  • this R component R1 is shifted to the right in the drawing as shown in FIG. 6B, a new peak is generated in the corrected color difference.
  • the reason why the color difference after the correction has a large peak is derived from the structure of the image and is not caused by a false color or a secondary color shift.
  • the upper limit of the color difference is max (0, Cr)
  • the allowable range is the shaded area shown in FIG. 6 [C]
  • the corrected color difference disappears like the RG component shown in FIG. 6 [D]. .
  • the allowable range becomes the shaded range in FIG. 6 [E] or FIG. 6 [F].
  • the corrected color difference peak is maintained, and the image structure is correctly maintained as shown by R2 and G in FIG. 6 [G].
  • FIG. 6H shows an example in which the image structure is destroyed when the lower limit of the color difference in the allowable range is min (0, Cr).
  • FIG. 6 [I] is an example in which the image structure is destroyed when the upper limit of the allowable color difference is set to max (0, Cr ′).
  • FIG. 6 Q [] shows an example in which the image structure is destroyed when the lower limit of the allowable color difference is set to min (0, Cr '). In any of these cases, it is possible to verify that the corrected image structure is correctly maintained by the same procedure as in FIGS. 6 [A] to [G]. ⁇ Second Embodiment >>
  • FIG. 7 and FIG. 8 are diagrams illustrating the second embodiment.
  • the center of the optical axis of the photographing optical system is substantially located at the center of the screen of the image data. Therefore, normally, chromatic aberration of magnification occurs point-symmetrically with respect to the center of the screen.
  • the center of the optical axis of the photographing optical system does not always coincide with the center of the screen of the image data.
  • trimming cropping
  • the center of the optical axis of the shooting optical system and the center of the screen of the screen data do not match.
  • the chromatic aberration of magnification may not be point-symmetric with respect to the center of the screen.
  • the color shift occurring in the image also depends on the spectral distribution of the subject, a different color shift may occur in each region. In such a case, if the color shift correction is performed at the center of the screen, the correction effect is slightly reduced.
  • an effective color shift correction is disclosed even in a case where the center of the optical axis is shifted from the center of the screen.
  • the computer executes the operations of steps S2 to S4 or steps S21 to S24 described above, and performs the operations for each of the eight divided regions N, NE, E, SE, S, SW, W, and NW. Calculate the color difference magnification difference.
  • the computer combines these three divided areas into three groups, and forms an upper group (NW, N, NE) and a right group (NE, E, SE). ), Lower group (SE, S, SW) and left group (SW, W, NW).
  • the computer performs a histogram analysis of the magnification difference for each of these four classifications, and obtains four magnification difference coefficients Kn, Ke, Ks, and Kw, respectively.
  • the computer divides the screen into upper right, lower right, lower left, and upper left as shown in FIG.
  • the computer calculates the displacement vector (dx, dy) of the color shift by combining the magnification difference coefficients of the adjacent groups and combining the vectors according to the following equation.
  • the magnification difference coefficients in a plurality of directions are vector-combined and used.
  • the intersection of the displacement vectors in the above equation, that is, the optical axis center is shifted from the screen center (xo, yo). Therefore, the case where the center of the optical axis is shifted from the center of the screen (xo, yo) can be flexibly handled by the above calculation, and a more appropriate and general-purpose displacement vector can be calculated. Will be possible.
  • the computer 10 includes a control unit 1, an external interface unit 2, and an operation unit 3.
  • the control unit 1 stores a program for performing the image processing of the present invention in advance.
  • the external interface unit 2 interfaces with an external device such as an electronic camera via a predetermined cable or a wireless transmission path.
  • the operation unit 3 includes a keyboard and a mouse (not shown).
  • the external interface unit 2 can capture an image from an external device such as an electronic camera (not shown) according to an instruction from the control unit 1. Further, the operation unit 3 receives various user operations. The state of the operation unit 3 is detected by the control unit 1.
  • FIG. 10 is a diagram showing a general flow of the color misregistration correction. Hereinafter, description will be given in accordance with step numbers.
  • the computer 10 also reads an image from an external device such as an electronic camera (not shown) via the external interface unit 2.
  • an image recorded in a recording unit (not shown) in the computer 10 may be read (read).
  • the image is an image to be processed and has R, G, and B color component planes.
  • the number of pixels in the X-axis direction of the image to be read is Nx
  • the number of pixels in the y-axis direction is Ny
  • the origin is one of the four corners of the image.
  • a predetermined value for example, about 10 in 256 gradations
  • the control unit 1 performs the above processing on the entire image and detects an edge.
  • color misregistration direction detection points are provided at intervals of several pixels, and the direction in which the luminance differential is the largest among the eight directions in which the luminance differential is obtained at that point is the edge luminance luminance.
  • the gradient direction is assumed. Then, the gradient direction of the luminance of the edge is set as a color shift detection direction described later.
  • FIG. 13A is an overall view of an image to be processed
  • FIG. 13B is a partially enlarged view.
  • Pixel A in FIG. 13 shows an example of the above-described color shift detection position.
  • FIG. 13 shows an example in which the luminance gradient direction is the direction of arrow d in FIG.
  • the shaded area in FIG. 13 indicates the subject area.
  • the derivative of pixel A and the pixel adjacent to pixel A along arrow d is obtained.
  • the derivative between the adjacent pixels is further obtained, and when the next pixel P (p + 1) that is not an edge of a certain pixel P (P) is an edge, the pixel P (p) is set as a pixel B. (See Figure 13). Further, the same processing is performed in the opposite direction. If a certain pixel P (q) is an edge and the next pixel P (q + 1) is not an edge, the pixel P (q) is set as a pixel C (FIG. 13). reference).
  • the pixels B and C obtained in this way correspond to substantially edge-end pixels as shown in FIG.
  • the control unit 1 sets the distance between the pixel B and the pixel C as the width of the edge. Based on the width of this edge, the size of the window Decide. Specifically, the size of the window is about four times the width of the edge.
  • the absolute value of Cr of pixel A is greater than the absolute value of Cr of pixels B and C, or the absolute value of Cb of pixel A is the absolute value of Cb of pixels B and C. If the difference is larger than the pixel A, the pixel A is set as a target for detecting the color shift, and the area between the pixel B and the pixel C is set as the area for correcting the color shift.
  • the absolute value of the color difference between the pixels B and C corresponds to the “predetermined value” in the above [14]. That is, the saturation of the edge portion is observed by such processing, and the detection and correction of the color misregistration can be performed only on the portion where the chromatic aberration of magnification occurs at the edge of the image.
  • the computer 10 detects a color shift of the R component image with respect to the G component image.
  • the computer also detects a color shift of the B component image with respect to the G component image.
  • the G component image corresponds to “an image signal of an arbitrary color component surface among a plurality of color component surfaces”
  • the R component image an image of the B component
  • the control unit 1 detects a color shift of the R component image with respect to the G component image for each color shift detection position determined in step S102.
  • the control unit 1 first provides a window centering on the color misregistration detection point.
  • the window is a square area, and the length of one side is about four times the width of the edge obtained in step S102.
  • the window image is extracted from the G component image among the processing target images.
  • the window image from which the G component image power is also extracted is called a “G component window”.
  • the image of the R component is extracted from the position shifted by the shift amount (dx, dy) in the X direction and the y direction with respect to the G component window.
  • the extracted R component image is an image at a position shifted by a shift amount (dx, dy) from the G component window, and is hereinafter referred to as an “R component window”.
  • d is the maximum value at which color misregistration is detected.
  • the efficiency can be improved.
  • the edge region is located at the edge of the image and a portion near the edge, the image is folded back and copied around the image to expand the image, and the same detection is performed.
  • the control unit 1 performs the above-described processing for each color misregistration detection position detected in step S102.
  • the computer 10 corrects the color shift of the R component (B component) image with respect to the G component image.
  • the control unit 1 corrects the color shift of the R component image with respect to the G component image for each edge region. For the edge area, the control unit 1 determines a chromatic aberration of magnification detection value d obtained in advance.
  • control unit 1 performs the above-described processing for each edge region detected in step S102.
  • the computer 10 combines the G component image (the original G component image), the corrected R component image, and the B component image among the images read in step S101, and generates the computer 10 In a recording unit (not shown).
  • the control unit 1 calculates the G component image (the original G component image), the R component image corrected in step S104, and the B component image corrected in step S106.
  • the image and the image are combined and recorded in a recording unit (not shown) in the computer 10.
  • the G component image which is the image of the color component responsible for luminance
  • the R component image or the B component image
  • the chromatic aberration of magnification can be corrected while maintaining the image quality (sharpness) without deterioration of the high frequency component.
  • the detected color misregistration may be evaluated, and the corrected chromatic aberration may be corrected based on the evaluation result.
  • the control unit 1 calculates the chromatic aberration of magnification detection value d for each edge area, and then determines
  • the correction may be performed by disabling min and substituting the detected value of magnification chromatic aberration d of the neighboring pixels.
  • magnification chromatic aberration detection value d is invalidated or
  • the low-pass filter is applied to the detected chromatic aberration of magnification d obtained for each pixel in the edge
  • the correction may be performed after performing the filtering process.
  • For certain parts of the image when only correction is performed, for example, by performing a Lonos filter processing using a 3 ⁇ 3 averaging filter, it is possible to prevent the correction amount from becoming discontinuous and thus preventing the corrected image from deteriorating.
  • Monkey for example, by performing a Lonos filter processing using a 3 ⁇ 3 averaging filter, it is possible to prevent the correction amount from becoming discontinuous and thus preventing the corrected image from deteriorating.
  • 'An erroneous correction may be detected by comparing an image before correction with an image after correction.
  • the control unit 1 obtains a signal value difference between the G component image and the R component image before correction, Further, a difference between the signal values of the G component image and the corrected R component image is obtained, and the two differences are compared. If the difference between the signal values of the G component image and the corrected R component image is smaller and the two differences have the same sign, the control unit 1 determines that the correction has been performed correctly. . On the other hand, if the difference between the signal values of the G component image and the corrected R component image is larger, the control unit 1 determines that the erroneous correction has been performed. Then, the control unit 1 calculates the magnification chromatic aberration detection value d
  • the degree of correction is made smaller than the correction based on min, and the color shift is corrected again.
  • re-correction of the color shift may be performed on the original image, or on the image after the correction of the color shift is performed once. Alternatively, re-correction may be performed in the reverse direction. If the degree of correction cannot be reduced, the state before correction may be returned, or the detection may be performed again from the detection of color misregistration. As described above, by detecting the erroneous correction, more appropriate correction can be automatically performed.
  • an edge area is detected from an image represented by a plurality of color component (each of R, G, and B) planes, and each edge area is detected.
  • the gradient direction of the luminance of the edge is detected, and for each edge region, an image signal of an arbitrary color component surface in the image of the edge region and an image signal of a color component surface different from the arbitrary color component surface are detected.
  • the color shift is detected in the luminance gradient direction, and the detected color shift is corrected for each edge region to be corrected.
  • the amount of color misregistration is uneven, and the amount of color shift differs for each edge region.
  • the image edge region by selecting an image edge region and detecting and correcting a color shift for each edge region as in the present embodiment, it is possible to appropriately cope with color shift unevenness such as after color interpolation. it can.
  • chromatic aberration of magnification generally occurs in an edge portion which is hardly generated in a flat portion. I'm sorry. Therefore, by detecting an edge area and detecting a color shift in the edge area, it is possible to shorten the processing time for detecting and correcting the color shift while performing the detection efficiently.
  • chromatic aberration of magnification is generally conspicuous when it occurs in a luminance gradient direction.
  • this method can be used even when the image to be processed is a trimmed image.
  • the region for which magnification chromatic aberration is to be detected coincide with the region to be corrected, the locally occurring chromatic aberration of magnification can be appropriately corrected.
  • irregular chromatic aberration of magnification that occurs in an image to be processed can be corrected with high accuracy and high speed.
  • the saturation of the image in the edge region is detected, and whether or not the saturation is higher than a predetermined value is determined. If it is determined to be higher than the value, a color shift is detected. Therefore, the target of detection and correction of color misregistration is only the portion where the chromatic aberration of magnification occurs at the edge of the image, and the processing is made more efficient. Furthermore, since the edge of the region where the saturation of the subject is high is not to be corrected, the deterioration of the image due to erroneous detection of the color shift can be suppressed.
  • the size of the edge region is changed based on the width of the edge.
  • the size of the edge region suitable for detecting the color shift may be small.
  • the size of the edge area necessary for detecting color misregistration must be somewhat large. Therefore, when the width of the edge is narrow, the size of the edge region is reduced, and when the width of the edge is wide, the size of the edge region is increased. By changing the size of the edge area in this way, color misregistration can be detected efficiently.
  • step S102 different from the third embodiment will be described.
  • step S102 after detecting the edge area, the control unit 1 performs the following processing instead of detecting the luminance gradient direction.
  • the control unit 1 first divides the image to be processed into eight regions as shown in FIG. 14 centering on the center of the image, and when there is an edge region in an area, the area is represented as a representative.
  • Direction (arrows a to h) is defined as a color misregistration detection direction.
  • the chromatic aberration of magnification is expressed in the radial direction centered on a portion (corresponding to the center of the image to be processed) corresponding to the optical axis of the optical system used when the image was generated (see arrows a to a in FIG. 14). h direction). Therefore, by detecting the color misregistration shifted in the radial direction, the processing time required for the color misregistration detection can be reduced without lowering the detection accuracy.
  • FIG. 15A is an overall view of an image to be processed
  • FIG. 15B is a partially enlarged view.
  • FIG. 15 shows an example in which the derivative of the luminance is obtained in the direction of arrow d in FIG. 11 (the edge region is in region d in FIG. 14).
  • the shaded area in FIG. 15 indicates the subject area.
  • the derivative of two pixels adjacent along arrow d is calculated, and the next pixel P (p + 1) where one pixel P (p) is not an edge If) is an edge, let pixel P (P) be pixel A (see Figure 15). Further, differentiation is continuously performed. If a certain pixel P (q) is an edge and the next pixel P (q + 1) is not an edge, the pixel P (q) is set as a pixel B (see FIG. 15). Finally, the pixel corresponding to the midpoint between pixel A and pixel B is defined as pixel C (see FIG. 15). As shown in FIG. 15, the pixels A to C obtained in this way indicate pixels A and B substantially at the edge end, and pixel C indicates a pixel substantially at the edge boundary.
  • the distance between pixel A and pixel B is defined as the width of the edge.
  • the size of the edge area is determined based on the width of the edge. Specifically, the size of the edge area is about four times the width of the edge To.
  • an edge area is detected from an image represented by a plurality of color component (each of R, G, and B) planes, and the edge area is detected for each edge area.
  • the color shift between the image signal of an arbitrary color component plane in the image of the area and the image signal of a color component plane different from the arbitrary color component plane is calculated by using the optical axis of the optical system used when the image was generated. Is detected in the radial direction centering on the portion corresponding to, and the detected color shift is corrected for each edge region to be corrected.
  • the fifth embodiment is an embodiment that corrects color fringing in addition to the correction of the chromatic aberration of magnification described in the third embodiment and the fourth embodiment.
  • chromatic aberration of magnification causes color bleeding.
  • the range of wavelengths received by the R image sensor corresponding to the R color filter has a width, and different wavelengths ⁇ 1 and 2 are both received by the R image sensor. Therefore, if the photographing lens has a magnification color difference, the ⁇ 1 and ⁇ 2 light emitted from the same point on the subject will form images at different positions on the R image sensor, and the R component image will be blurred and color blurred. . In the present embodiment, this color blur is corrected.
  • FIG. 16 is a flowchart illustrating this correction operation.
  • the control unit 1 calculates a difference in signal value between the G component image and the R component image before correction, further calculates a difference in signal value between the G component image and the corrected R component image, Two differences Compare. When the difference between the signal values of the G component image and the corrected R component image is smaller and the two differences have the same sign, the control unit 1 determines that the correction has been correctly performed. . On the other hand, if the difference between the signal values of the G component image and the corrected R component image is larger, the control unit 1 determines that the erroneous correction has been performed. Then, the control unit 1 calculates the obtained doubled chromatic aberration detection value d
  • the correction degree is made smaller than the correction based on min, and the color shift is corrected again.
  • the color shift may be re-corrected for the original image, or the image after the color shift correction is once performed may be performed in the reverse direction.
  • the correction may be performed again. If the degree of correction cannot be reduced, the state before correction may be returned, or the detection may be performed again from the detection of color misregistration.
  • the control unit 1 calculates the color difference Cr of the R component for the entire image to be processed. Cr is given, for example, by (R-G). Then, a low-pass filter is applied to the edge region of the Cr image obtained above. The low-pass filter replaces, for example, the color difference Cr at a certain point with a weighted average value of a square area centered at the point. Further, the width of the square area is determined according to the detected chromatic aberration of magnification d obtained in step S113. concrete
  • the length of one side of the square area is set to 2 to 4 times the color shift detection value (unit: pixel).
  • the above processing is performed for the entire image. Then, assuming that the color difference of the processed R is Cr ', the corrected R component is given by (Cr, + G).
  • the color difference is smoothed for each edge area after correcting the color shift.
  • the greater the occurrence of chromatic aberration of magnification the greater the degree of chromatic blur. Therefore, by performing such processing, it is possible to remove chromatic blur in addition to chromatic aberration of magnification, and it is possible to further improve image quality. it can.
  • color fringing that is not caused by chromatic aberration of magnification is also corrected.
  • another color system such as cyan, magenta, and yellow may be used as an example in which an image to be processed includes an RGB color component.
  • an image of another color system may be generated based on the image to be processed, and the same detection and correction may be performed as the image to be processed.
  • the image processing apparatus that detects and corrects a color shift has been described. However, only the color shift may be detected. An image processing device that detects such a color shift can be used in an inspection process in a lens manufacturing process.
  • the sixth embodiment is an embodiment of an electronic camera.
  • FIG. 17 is a block diagram showing the configuration of the present embodiment.
  • a photographing lens 12 is attached to an electronic camera 11.
  • the light receiving surface of the image sensor 13 is arranged.
  • the operation of the image sensor 13 is controlled by the output pulse of the timing generator 22b.
  • the image generated by the image sensor 13 is temporarily stored in a buffer memory 17 via an AZD converter 15 and a signal processor 16.
  • This buffer memory 17 is connected to a bus 18.
  • An image processing unit 19, a card interface 20, a microprocessor 22, a compression / decompression unit 23, and an image display unit 24 are connected to the bus 18.
  • the card interface 20 reads and writes data from and to the removable memory card 21.
  • a user operation signal is input to the microprocessor 22 from the switch group 22a of the electronic camera 11.
  • the image display unit 24 displays an image on a monitor screen 25 provided on the back of the electronic camera 11.
  • the microprocessor 22 and the image processing unit 19 execute the image processing of the first to fifth embodiments.
  • the present invention is a technology that can be used for an image processing device, an image processing program, an electronic camera, and the like.

Abstract

　本発明の画像処理装置は、複数の色成分面からなる画像に対して画像処理を実施する画像処理装置であって、補正手段および誤補正検出手段を備える。補正手段は、画像の色ずれを補正処理する。誤補正検出手段は、この補正前後の画像を比較して、補正手段の誤補正を判定する。なお好ましくは、誤補正検出手段は、補正後画像の処理対象箇所の色差が、補正前画像を基準に設定される許容範囲内にない場合を誤補正とすることを特徴とする。                                                                         

Description

色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電 子カメラ
技術分野
[0001] 本発明は、画像処理装置、画像処理プログラム、および電子カメラに関する。
背景技術
[0002] 一般に、電子カメラでは、撮影光学系の倍率色収差によって、撮像された画像デー タに色ズレを生じることが知られている。このような色ズレを、画像処理によって補正 する技術が従来提案されて ヽる。
[0003] 例えば、特許文献 1の従来装置は、まず、画像のエッジ部分にっ 、て色ズレを検出 し、その色ズレに基づ ヽて画像処理を行って倍率色収差を補正する。
また、特許文献 2の従来装置は、画像の色コンポーネントごとに倍率調整を行い、 色コンポーネント間の差分の最小点を探すことで、倍率色収差を補正する。
また、特許文献 3には、動画撮影時などに発生する色ずれを補正する技術として、 局所的に色ずれを検出する技術が記載されている。
特許文献 1：特開 2000— 299874号公報
特許文献 2 :特開 2002— 344978号公報（図 1,図 3)
特許文献 3：特許 2528826号
発明の開示
発明が解決しょうとする課題
[0004] ところで、単板式の撮像素子を搭載した電子カメラでは、撮像面に RGBなどの色フ ィルタが配列され、画素単位に色成分一種類ずつを配置した RAWデータが生成さ れる。
電子カメラは、この RAWデータの欠落色成分を色補間処理で生成することにより、 画素ごとに全色揃った画像データを生成する。この色補間処理に伴って、画像デー タには偽色ノイズが発生する。この偽色ノイズを軽減するため、電子カメラは、画像デ 一タの色差成分に対して空間周波数ローパスフィルタを施す (以下、この処理を『色 差 LPF』という）。
本願発明者は、この色差 LPFや偽色の影響によって、特許文献 1, 2における収差 量の検出や補正に弊害を生じることに気が付いた。以下、この弊害について説明す る。
[0005] [色差 LPFによる弊害]
空間周波数の高!、画像領域 (つまりエッジ部分や微細な絵柄部分)では、倍率色 収差による色ズレが、細かな色差変化となって現れる。この細かな色差変化は、高域 の色差成分となるため、上述した色差 LPFによって除去される。その結果、空間周波 数の高 、画像領域では、色差 LPFの処理よつて倍率色収差の色ズレが軽減される。 一方、空間周波数の低 、画像領域 (緩やかに変化するグラデーション部分)では、 倍率色収差による色ズレが、緩やかで低域の色差変化となって現れる。この低域の 色差変化は、上述した色差 LPFでは除去されずに、そのまま通過する。すなわち、 空間周波数の低 、画像領域では、色差 LPFの処理を経ても倍率色収差の色ズレが 残存する。
このように色差 LPFを経ることによって、画面内において、倍率色収差の軽減され た領域と、倍率色収差の残存した領域とが混在した状態 (ムラ)となる。
上述した特許文献 1, 2は、倍率色収差による色ズレが画面中心 (光軸中心）に対し て点対称に発生することを前提とする。し力しながら、色差 LPFを経ると、倍率色収差 にはムラが生じ、この点対称性は簡単に崩れてしまう。このような状態で、収差量検出 を行えば、検出結果に誤りが生じるようになる。
[0006] [偽色による弊害]
ところで、上述した倍率色収差の検出や補正に対する弊害を避けるために、色差 L PFを外したり、弱めたりすると、今度は色補間時の偽色ノイズがそのまま残存すると いう問題を生じる。この場合、画面内には、倍率色収差による色ズレと、偽色ノイズと が複雑に混在した状態となる。このような状態でも、収差量の検出結果に誤りが生じ るよつになる。
特に、特許文献 1, 2では、倍率色収差の色ズレ補正を画面に対して一律に施すた め、この誤りを避けることができない。そのため、色差 LPFによって倍率色収差の色ズ レが予め軽減されている領域では、色ズレ補正が過剰に作用し、しばしば逆方向の 色ズレを生じてしまう。その結果、一段と複雑な偽色ノイズが生じてしまう。
[0007] [色ずれが中心点対称に発生して!/、な 、場合の弊害]
また、特許文献 1, 2では、画像の画面中心を、撮影時に使用した撮影レンズの光 軸とし、この光軸を中心として規則的に倍率色収差が発生することを前提としている。 したがって、あおりレンズや手振れ補正機能付きレンズのように、倍率色収差の中心 が画面中心力 ずれる場合には、これを補正することができない。また、処理対象の 画像がトリミング後の画像であって、光軸に対応する位置がわ力 ない場合も補正す ることができない。
なお、前述した特許文献 3では、局所的に色ずれを検出する。しかし、補正を行う 必要のない箇所でも検出を行うため、処理に時間がかかる。また、補正対象箇所の 位置や構造によらず、すべての箇所で同じように色ずれを検出するため、余計な処 理時間がかかる。さらに、補正が適切に行われない場合もある。
[0008] [本発明の目的]
そこで、本発明は、複数の色成分面を有する画像に対し、色ずれ補正を適正化す るための技術を提供することを目的とする。
また、本発明は、画像の色ずれ補正に際して、色ずれの誤補正を監視するという新 し!ヽアイデアを提案することを目的とする。
また、本発明は、偽色などの影響を勘案することで、倍率色収差の色ずれを正しく 検出する技術を提案することを目的とする。
課題を解決するための手段
[0009] [1] 本発明の画像処理装置は、複数の色成分面で表された画像に対して画像処 理を施す画像処理装置であって、補正手段、および誤補正検出手段を備える。 この補正手段は、画像の色ずれを補正する。
一方、誤補正検出手段は、補正手段による補正前後の画像を比較して、補正手段 による誤補正を判定する。
[0010] [2] なお好ましくは、誤補正検出手段は、補正後画像の処理対象箇所の色差が、 補正前画像を基準に設定される許容範囲内にない場合を誤補正とすることを特徴と する。
[0011] [3] また好ましくは、誤補正検出手段は、補正後画像の色差を許容範囲内に制限 することにより、誤補正を抑制することを特徴とする。
[0012] [4] なお好ましくは、誤補正検出手段は、補正前の画像の処理対象箇所を含む局 所域の色差、および所定の低彩度色差からなる群の最小色差から最大色差までを 求めて、許容範囲とすることを特徴とする。
[0013] [5] また好ましくは、補正手段は、誤補正検出手段が誤補正を判定すると、色ずれ 補正のずらし幅を抑制することにより、誤補正を抑制することを特徴とする。
[0014] [6] なお好ましくは、上記の色ずれは、光学系の倍率色収差によって画像に生じた 色ずれであり、補正手段は、倍率色収差をうち消す方向に、色成分面の倍率調整 (リ サイズ)を行うことを特徴とする。
[0015] [7] また、本発明の別の画像処理装置は、入力される画像から、撮影光学系の倍 率色収差を推定する画像処理装置であって、色ずれ検出部、および推定部を備える この色ずれ検出部は、画像の複数の検出箇所について、動径方向の色ずれ幅を 検出する。
一方、推定部は、複数箇所の色ずれ幅に基づいて、画面上における倍率色収差 の統計分布を求め、統計分布の平均的な値よりも大きぐかつ統計分布の広がり範 囲内の値を求めて、倍率色収差の推定値とする。
[0016] [8] なお好ましくは、推定部は、正規ィ匕部、および係数処理部を備える。
この正規ィ匕部は、色ずれ幅を検出箇所の像高 (動径)で割って、色ずれが示す色 成分の倍率差を算出する。
一方、係数処理部は、検出箇所ごとに求めた倍率差についてヒストグラム分布を求 め、ヒストグラム分布の裾野の非対称性から、裾野の偏った側に属し、かつヒストグラ ム分布の裾野の広がり範囲内に収まる値を選んで、倍率色収差の推定値とする。
[0017] [9] また好ましくは、推定部は、画像の分割領域ごとに倍率色収差の推定値を求め る。
[0018] [10] なお好ましくは、推定部は、画像の分割領域ごとに動径方向の色ずれを検出 し、隣接する分割領域間の色ずれをベクトル合成することにより、画面中心に対して 非対称な倍率色収差までも検出する。
[0019] [11] また、本発明の別の画像処理装置は、複数の色成分面で表された画像に対 して画像処理を施す画像処理装置であって、エッジ領域検出手段、方向検出手段、 および色ずれ検出手段を備える。
このエッジ検出手段は、画像のうち、エッジ領域を検出する。
方向検出手段は、エッジ領域ごとに、エッジの輝度の勾配方向を検出する。
色ずれ検出手段は、エッジ領域ごとに、そのエッジ領域の画像における任意の色 成分面の画像信号と、任意の色成分面とは別の色成分面の画像信号との色ずれを
、輝度の勾配方向について検出する。
[0020] [12] また、本発明の別の画像処理装置は、複数の色成分面で表された画像に対 して画像処理を施す画像処理装置であって、エッジ領域検出手段、および色ずれ検 出手段を備える。
このエッジ領域検出手段は、画像のうち、エッジ領域を検出する。
一方、色ずれ検出手段は、エッジ領域ごとに、そのエッジ領域の画像における任意 の色成分面の画像信号と、任意の色成分面とは別の色成分面の画像信号との色ず れを、画像が生成された際に用いられた光学系の光軸に対応する部分を中心とした 動径方向にっ 、て検出する。
[0021] [13] なお好ましくは、エッジ領域ごとに、色ずれ検出手段がそのエッジ領域で検出 した色ずれを補正する補正手段をさらに備える。
[0022] [14] また好ましくは、エッジ領域ごとに、そのエッジ領域の画像の彩度を検出し、そ の彩度が所定値よりも高いか否かを判定する彩度判定手段を備える。この場合、色 ずれ検出手段は、彩度判定手段により彩度が所定値より高いと判定されると、色ずれ を検出する。
[0023] [15] なお好ましくは、色ずれ検出手段は、エッジ領域ごとに、そのエッジ領域にお けるエッジの幅に基づいて決められた大きさのウィンドウを設け、ウィンドウの画像に おける色ずれを検出する。
[0024] [16] また好ましくは、色ずれ検出手段は、ウィンドウの画像において、任意の色成 分面の画像信号と、任意の色成分面とは別の色成分面の画像信号との相関を求め ることにより色ずれを検出する。
[0025] [17] なお好ましくは、色ずれ検出手段により検出された色ずれを、複数の検出箇 所における色ずれの検出結果から見直す評価手段をさらに備える。この場合、補正 手段は、評価手段による見直しの結果に基づいて、色ずれを補正する。
[0026] [18] また好ましくは、補正手段は、色ずれ検出手段により検出された色ずれに対し て、平滑化処理を行ってから、色ずれを補正する。
[0027] [19] なお好ましくは、上述の補正手段は、色ずれの補正を行った後に、エッジ領 域ごとに、色差を平滑化する。
[0028] [20] 本発明の画像処理プログラムは、コンピュータを、上記 [1]〜[19]のいずれ カゝ 1項に記載の画像処理装置として機能させることを特徴とする。
[0029] [21] 本発明の電子カメラは、上記 [1]〜[19]のいずれか 1項に記載の画像処理 装置と、被写体像を撮像して画像を生成する撮像部とを備える。この電子カメラでは
、撮像部で生成された画像が画像処理装置で処理される。
発明の効果
[0030] 上記 [1]の画像処理装置は、単に色ずれを検出して補正するだけではなぐその 色ずれの補正に伴い、補正前後の画像について比較を実施する。その比較結果か ら、色ずれの誤補正を判別する。
このように色ずれの誤補正発生を監視することによって、色ずれ補正を実施するだ けでは対処できなつた誤補正の問題に対して、警告や事後的な対処が可能になる。
[0031] 例えば、誤補正箇所に限って色ずれ補正を修復するなどの対処が可能になる。
また例えば、誤補正箇所が所定数 (所定面積)以上となった場合、その判定結果を 参考材料にして、色ずれ補正を修正してやり直すなどの対処が可能になる。
[0032] 特に、上記 [2]の画像処理装置は、色ずれ補正の前後の色差変化に従って、誤補 正を検出する。通常、色ずれが正しく補正されれば、色ずれ箇所の異常な色差は打 ち消される方向に変化する。一方、色ずれが過剰に補正され、逆向きの色ずれが生 じる場合には、色ずれ箇所の色差は逆符号に変化することが多い。そこで、色ずれ の補正前後において色差変化を監視することによって、誤補正を一段と適確に判定 することが可能になる。
[0033] 上記 [7]の画像処理装置は、画面上における倍率色収差の統計分布から、倍率色 収差を精度良く求めようとするものである。偽色軽減などの処理をされた画像には、 倍率色収差の軽減された箇所と、軽減されない箇所が混在する。このような画像につ いて、倍率色収差の統計分布をとれば、統計分布の平均的な値は、実際の倍率色 収差よりも絶対値で少なめの値となる。このとき、実際の倍率色収差は、統計分布の 広がり範囲内からはみ出すことはない。
そこで、本装置では、倍率色収差の統計分布から、平均的な値よりも大きぐかつ 統計分布の広がり範囲内の値を求めて、倍率色収差の推定値とする。このような推 定により、倍率色収差の出方にムラが生じた画像であっても、撮影光学系における純 粋な倍率色収差を一段と正確に推定することが可能になる。
[0034] 上記 [11]の画像処理装置は、画像内からエッジ領域を検出し、エッジの輝度の勾 配方向を検出する。これらエッジ領域における色ずれを、輝度の勾配方向について 検出する。
通常、エッジ領域に生じる色ずれは目立ちやすい。特に、エッジ領域の勾配方向 に発生する色ずれは一段と目立ちやすい。その一方で、滑らかに変化する箇所は、 同じ幅の色ずれが生じていても、その色ずれは視覚的に目立ちにくい。そこで、本装 置のように、エッジ領域 (特に勾配方向）について色ずれを検出することにより、視覚 的に目立つ色ずれ幅を選択的に検出することが可能になる。
これは、偽色軽減の処理によって、空間周波数の高い箇所と低い箇所で色ずれに ムラが生じている画像の場合に、より目立つ高域箇所を優先して色ずれを検出するこ とになる。その結果、目立つ色ずれの抑制により適した色ずれ検出が実現する。
[0035] 上記 [12]に係る画像処理装置は、画像内からエッジ領域を検出し、これらエッジ領 域の色ずれを、画像が生成された際に用いられた光学系の光軸に対応する部分を 中心とした動径方向について検出する。
通常、倍率色収差の色ずれは、撮影光学系の光軸中心に対して動径方向に発生 する。一方、それ以外の偽色などは動径方向とは無関係に発生する。そこで、動径 方向に限定して色ずれを検出することにより、偽色などによる色ずれ誤検出を抑制す ることが可能になる。その結果、画像内から倍率色収差による色ずれを優先的に検 出することが可能になる。
なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付 図面とによって容易に確認することができる。
図面の簡単な説明
[0036] [図 1]第 1の実施形態におけるプログラムを説明する流れ図である。
[図 2]分割領域と動径方向の設定例を示す図である。
[図 3]レベル変化箇所の検出を説明する図である。
[図 4]倍率差のヒストグラム分布を示す図である。
[図 5]逆向きの色ズレの軽減作用を説明する図である。
[図 6]許容範囲による効果を説明する図である。
[図 7]第 2の実施形態における領域分割を説明する流れ図である。
[図 8]変位ベクトルの算出を説明する図である。
[図 9]コンピュータ 10の構成を示すブロック図である。
[図 10]第 3の実施形態の動作を示すフローチャートである。
[図 11]色ずれ検出方向について説明する図である。
[図 12]フィルタについて説明する図である。
[図 13]エッジの幅の検出について説明する図である。
[図 14]動径方向について説明する図である。
[図 15]エッジの幅の検出について説明する図である。
[図 16]第 5の実施形態の動作を示すフローチャートである。
[図 17]電子カメラの実施形態を示す図である。
発明を実施するための最良の形態
[0037] 《第 1の実施形態》
図 1は、画像処理プログラムによるコンピュータ動作を説明する流れ図である。この 画像処理プログラムにより、コンピュータを、画像処理装置として機能させることができ る。
以下、図 1に示すステップ番号に沿って、第 1の実施形態の動作を説明する。 [0038] [ステップ SI]
コンピュータは、電子カメラで撮像された画像データ（以下『入力画像』という）を、記 録媒体や通信インターフェースを経由して取り込む。この入力画像には、電子カメラ 内にお 、て、色補間および色差 LPFが既に施されて 、る。
[0039] [ステップ S 2]
コンピュータは、入力画像の画面内に、撮影光学系の光軸中心を設定する。通常 は、入力画像の画面中心を、この光軸中心としてデフォルト設定する。なお、コンビュ ータは、入力画像の付随情報 (Exif情報など)から、光軸中心の位置を取得してもよ い。特に、クロップ画像（トリミング等した部分画像）について光軸中心の位置を取得 することが好ましい。
次に、コンピュータは、この光軸中心を原点にして入力画像を周方向に分割し、複 数の分割領域と、各分割領域の動径方向を設定する。
図 2は、この分割領域と動径方向の設定例を示す図である。この設定では、まず、 入力画像を 8個の分割領域 N、 NE、 E、 SE、 S、 SW、 W、 NWに分割し、分割領域 ごとに図示する矢印を動径方向とする。
続いて、コンピュータは、入力画像の RGB成分から輝度 Yを下式などによって簡易 に演算する。
Y= (R + G + B) /3
コンピュータは、倍率色収差が視認可能な画面域 (光軸中心から最大像高の 5割 以上離れた領域など）において、輝度 Yの動径方向のレベル変化を算出する。 ここでは、動径方向を分割領域ごとに固定することで、下式に基づいた簡易演算を 行うことが可能になる。
分割領域 N ： gradY(x,y) = Y(x,y-1)-Y(x,y)
分割領域 NE： gradY(x,y) = Y(x+1 ,y-l)-Y(x,y)
分割領域 E ： gradY(x,y) = Y(x+ 1 ,y)-Y(x,y)
分割領域 SE： gradY(x,y) = Y(x+1 ,y+l)-Y(x,y)
分割領域 S ： gradY(x,y) = Y(x,y+1)-Y(x,y)
分割領域 SW： gradY(x,y) = Y(x-1 ,y+l)-Y(x,y) 分割領域 W ： gradY(x,y) = Y(x-1 ,y)-Y(x,y)
分割領域 NW： gradY(x,y) = Y(x-1 ,y-l)-Y(x,y)
コンピュータは、求めた gradY(x,y)の絶対値力 所定値 Th (たとえば 256階調デー タにおいて 10程度)以上を示す画素位置 (x,y)を探索する。
このとき、コンピュータは、図 3に示すような箇所において、明暗の変わり始める始点 aと、変わり終わる終点 bとを求める。次に、コンピュータは、これら abの中間点 cをレべ ル変化箇所として記憶し、 ab間の距離をエッジの太さとして記憶する。
なお、このレベル変化箇所の検出は、画面上において所定のサンプリング間隔を 置 、て離散的に実施してもよ 、。
[0040] [ステップ S3]
コンピュータは、レベル変化箇所を中心に局所的なウィンドウを設定し、このウィンド ゥ内の G配列を取得する。さらに、コンピュータは、このウィンドウを動径方向に変位さ せた位置力も R配列を取得する。次に、コンピュータは、 G配列の平均値と R配列の 平均値とがー致するように R配列の各信号レベルを調整した後、 G配列と R配列の要 素単位の差分を取り、この差分の絶対値を累積加算して重ね合わせ誤差を求める。 コンピュータは、 G配列に対する R配列の変位幅を変化させながら、重ね合わせ誤 差が最小 (または極小)となる変位幅を探索し、このときの変位幅を RG成分間の色ズ レ幅として記憶する。
なお、このとき、重ね合わせ誤差の値を内挿することにより、色ズレ幅を画素間隔以 下の精度で求めることが好まし 、。
また、ステップ S 2で求めたエッジ太さが太いほど、このウィンドウを広く設定すること が好ましい。特に、ウィンドウの幅をエッジ太さの 4倍程度に設定することが好ましい。 このようなウィンドウ調整により、急峻なエッジと、緩やかなエッジの双方において、ェ ッジ部分のレベル変化の特徴をウィンドウ内に収めることが可能となる。その結果、急 峻なエッジと、緩やかなエッジの双方において、色ズレ幅を適切に検出することが可 會 になる。
[0041] [ステップ S4]
コンピュータは、レベル変化箇所ごとに求めた色ズレ幅を、そのレベル変化箇所の 像高 (光軸中心からの動径)でそれぞれ割って、 R面と G面の倍率差を算出する。
[0042] [ステップ S5]
コンピュータは、レベル変化箇所ごとに求めた倍率差の度数を集計して、ヒストグラ ム分布を作成する。
図 4は、このヒストグラム分布の一例を示す図である。図 4に示す実線は、上述した 色差 LPF後の入力画像にっ ヽて求めたヒストグラム分布である。この場合の最頻度 値はほぼゼロの値をとる。これは、色差 LPFによって倍率色収差の大部分が軽減さ れていることを示す。一方、この最頻度値力 広がる裾野形状は非対称となり、図 4で はマイナス側に偏った裾野形状を示す。この裾野形状の偏りは、残存する倍率色収 差を示すものである。すなわち、残存する倍率色収差による倍率差がほぼ一様にマ ィナスの値をとるためである。したがって、求めるべき撮影光学系の真の倍率差は、こ の裾野形状の偏った側に存在する。
一方、図 4に示す点線は、 RAWデータ（色補間前および色差 LPF前のデータ）に ついて、実験的に倍率差のヒストグラム分布をとつたものである。この RAWデータの 場合、色差 LPFによる倍率色収差の軽減作用を受けていないため、最頻度値を中 心として裾野形状はほぼ対称形になり、ほぼ正規分布になると考えられる。この場合 、最頻度値の値が、求めるべき撮影光学系の倍率差を示していると考えてよい。
[0043] [ステップ S6]
しカゝしながら、電子カメラ側において RAWデータが保存されず、色差 LPF後の入 力画像のみの場合には、実線ヒストグラム力も倍率差を求める必要がある。そこで、改 めて両ヒストグラムの特徴を比較すると、つぎのような経験則が見 、だせる。
(1) まず、実線ヒストグラムの最大度数の 2割程度に該当する裾野範囲を求め、この 裾野範囲の上下限の内、絶対値の大きな方の倍率差の値を選択する。この処理によ り、 RAWデータ力も得られる最頻度値の倍率差とほぼ等 、値を推定できる。
(2) また、 RAWデータから求めた最頻度値の倍率差は、色差 LPF後の入力画像 力も求めた実線ヒストグラムの裾野形状の偏った側のほぼ中央の値にも等しい。
(3) さらに、実線ヒストグラムの偏りの少ない側を、最頻度値を中心に対称に折り返 すことで色差 LPFの影響を受けた箇所の倍率差バラツキを推定できる。これを実線ヒ ストグラムから減算することにより、倍率色収差の残存する箇所のみの倍率差バラッ キを抽出することができる。この抽出された倍率差バラツキについて最頻度値や平均 値や中央値などを求めることで、色差 LPFの影響を受けな 、『真の倍率差』を推定す ることちでさる。
コンピュータは、ここでは上記（1) (2) (3)のいずれかの推定方法に従って、色差 L PF後の実線ヒストグラム力 撮影光学系の倍率差を算出し、 R面の倍率差係数 kとし 飞 feす。。
[0044] [ステップ S 7]
このように求めた R面の倍率差係数 kを用いて、コンピュータは、 R面の倍率調整を 行い、 G面と R面の色ズレを補正する。
し力しながら、色差 LPFの影響を受けた箇所にまで色ズレ補正を施すと、逆向きの 色ズレを発生してしまう。そこで、コンピュータは、この逆向きの色ズレを抑制するため 、色ズレ補正後の色差の許容範囲を定める。
この許容範囲の第 1候補として、コンピュータは、入力画像の画素位置ごとに色差 データ Crを求める。この色差データ Crは、入力画像の画素位置 (x,y)ごとに
Cr=R(x,y)-G(x,y)
を算出すればよい。
[0045] [ステップ S8]
次に、コンピュータは、 R面の倍率差係数 kを用いて下式を算出し、 G面の画素位 置 (x,y)ごとに、対応する R面の色ズレを変位ベクトル (dx,dy)として求める。
dx=- k(x- xo)
dy=- k、y- yo)
ただし、（xo,yo)は光軸中心である。
続いて、コンピュータは、 G面の画素位置 (x,y)と変位ベクトル (dx,dy)とから、倍率色 収差によって変位した R画素の位置 (x-dx,y-dy)を求め、参照位置とする。
[0046] [ステップ S9]
次に、コンピュータは、入力画像の補間処理により、参照位置 (x-dx,y-dy)における 画素値！^ , G' を算出する。 続いて、コンピュータは、上述した許容範囲の第 2候補として、参照位置の色差 Cr ' を下式により算出する。
Cr' =R, — G,
[0047] [ステップ SI 0]
さらに、コンピュータは、上述した許容範囲の第 3候補として低彩度色差 (ここでは 色差ゼロ）を選択する。この低彩度色差は、逆向きの色ズレによって色差 Cr、 Cr' と 異符号の色差が発生する可能性が高いために、補正後の色差を低彩度に制限しよ うとするちのである。
そのため、低彩度色差は、色差ゼロに限らず、低彩度を示す色差であればよい。 コンピュータは、これら 3つの候補を用いて、 G画素位置ごとに許容範囲の上限およ び下限を次のように定める。
色差上限 = max (0, Cr, Cr' )
色差下限 =min (0, Cr, Cr' )
なお、補正前画像カゝら収集した画素位置 (x,y)を含む局所域の色差と、低彩度色差 とからなる色差群を収集し、この色差群の色差上限と色差下限とをもって許容範囲を 決定してもよい。この許容範囲は、補正前画像力 許容範囲を簡易に決定できるとい ぅ禾 IJ点がある。
[0048] [ステップ S 11]
次に、コンピュータは、参照位置 (X- dx,y-dy)の画素値 と、画素位置 (x,y)の画素 値 Gとから、色ズレ補正後に現れる色差 (R'-G)を仮に求める。
コンピュータは、この色差 (R'-G)を、ステップ S10で定めた色差上限および色差下 限により制限する。このとき、この許容範囲から色差がはみ出す箇所が、色ずれ誤補 正の検出箇所となる。
具体的には、
色差下限≤色差 (R'-G)≤色差上限ならば、画素値！^ を補正後の R成分 Routとする 色差下限 >色差 (R'-G)ならば、下限の画素値 (G +色差下限)を R成分 Routとする。 色差上限く色差 (R'- G)ならば、上限の画素値 (G +色差上限)を R成分 Routとする。 コンピュータは、このような制限処理を、画素位置 (x,y)ごとに実施することにより、 倍率色収差を補正し、かつ逆向きの色ズレを抑制した R面が完成する。
なお、 G値を基準に色差下限および色差上限だけ振った幅で、 R' 値を制限する 演算により、上記の誤補正の判定とその抑制とを同時に実施してもよい。
また、上記とは別の方法として、色差 (R'-G)が許容範囲内にない場合には、その箇 所について色ずれの補正幅を小さくして補正をやり直してもよい。また、許容範囲内 にない箇所が一定量 (一定面積)以上に発生した場合には、倍率差の値を小さくして R面全体につ！/ヽて色ずれ補正をやり直してもよ 、。
[0049] [ステップ S 12]
次に、コンピュータは、入力画像の B成分についても同様の処理を実施し、色ズレ 補正後の B成分 Boutを、画素位置 (x,y)ごとに求める。
[0050] [ステップ S 13]
コンピュータは、入力画像の元々の G成分、色ズレ補正で求めた R成分 Rout、およ び同様の色ズレ補正で求めた B成分 Boutを、カラーコンポーネントとする出力画像を 出力する。
[0051] 《第 1の実施形態の効果など》
図 5は、本実施形態の作用効果を説明する図である。
まず、図 5 [A]には、緩やかなエッジ (R, G)と、急峻なエッジ (R〃 , G〃）を示す。 これら両エッジの像高が等しければ、両エッジには倍率色収差による色ズレ Δ Cが等 しく発生する。
[0052] 図 5 [B]は、両エッジの色差をそれぞれ示したものである。この場合、色ズレ Δ Cに よって、緩やかなエッジには、低域の色差変化 (R—G)が現れる。一方、急峻なエツ ジには、色ズレ A Cによって、高域の色差変化 (R -G" )が現れる。
[0053] 図 5 [C]は、この両方の色差変化に対して、色差 LPFを施した結果である。この場 合、緩や力なエッジでは、低域の色差変化が温存されてそのまま通過する。一方、急 峻なエッジでは、高域の色差変化が色差 LPFによって抑制される。
[0054] 図 5 [D]は、色差 LPF後の RG成分（図中の R1および G)を示す。この場合、緩やか なエッジでは、色差 LPF前後の R成分 R, R1はさほど変化せず、倍率色収差の色ズ レ A Cがそのまま残存する。
一方、急峻なエッジでは、色差 LPFの作用により高域の色差変化が抑制されるた め、色差 LPF後の RG成分（図中の R1"および G〃）の位相差が小さくなり、結果的 に倍率色収差による色ズレが改善される。
このような理由から、色差 LPFの完了後、空間周波数の低域箇所に倍率色収差が 残存し、高域箇所では倍率色収差が軽減される。
このように、局所的な画像構造によって、画面内に倍率色収差のムラが生じる。そ のため、図 4に示す実線ヒストグラムは、単純な正規分布とはならず、ヒストグラムのバ ラツキに非対称な偏りが発生する。本実施形態のステップ S6では、この非対称な偏り に着目することにより、本来は対称になるべき倍率差のバラツキ分布を推定し、その 推定結果から真の倍率差 (倍率差係数)を決定することに成功して!/ヽる。
[0055] 図 5 [E]は、このように決定した倍率差係数を用いて R成分の色ズレ Δ Cを元の画 素位置に戻した状態を示す。この場合、緩やかなエッジでは、図中の R2まで変位す ることにより、倍率色収差の除去に成功する。一方、急峻なエッジは、色差 LPFの影 響を受けているために、色ズレ補正が過剰に作用して図中の R2"まで変位し、逆向 きの色ズレが発生してしまう。
[0056] 図 5 [F]は、この色ズレ補正後の色差 (R2— G)、および (R2" — Gグ ）を示す。この 場合、緩やかなエッジは、良好に色ズレが補正されるため、色ズレ補正の前後で色 差 (R2— G)は大きく変化しない。一方、急峻なエッジは、逆向きの色ズレが発生して いるため、色ズレ補正の前後で色差 (R2" —G〃）は大きく変化する。この性質に着 目して、本実施形態のステップ S 10では色ズレ補正の前後で色差が大きく変化しな いよう、許容範囲を定める。
[0057] 図 5 [G]は、このように定められた許容範囲（図中の縦縞領域)を示す。緩やかなェ ッジでは、色ズレ補正の前後の色差変化が小さぐこの許容範囲にほぼ収まるため、 色ズレ補正の制限は積極的には力からない。一方、急峻なエッジでは、逆向きの色 ズレにより、色ズレ補正の前後の色差変化は大きぐこの許容範囲によってその色差 変化が積極的に制限される。
[0058] 図 5 [H]は、色差制限を実施した色ズレ補正後の画像データである。緩やかなエツ ジでは、図中に示す R2と Gのように、色差制限が殆ど力からず、良好な色ズレ補正が そのまま維持される。一方、急峻なエッジでは、図中に示す R3" と G〃のように、色 差制限がかかるために、色ズレ補正が弱くなる。その結果、逆向きの色ズレが抑制さ れる。
なお、ここで説明した色差制限は、色差 LPF処理をされた画像に対してだけではな ぐ一般の画像の色ずれを補正するときの誤補正 (特に過補正)を抑制する場合にも 有効である。
[0059] 図 6は、色差の上限と下限をそれぞれ max (0, Cr, Cr' ) , min (0, Cr, Cr' )とし た理由を説明する図である。
図 6 [A]は、許容範囲の色差上限を仮に max (0, Cr)とした場合に、画像構造が消 滅してしまう一例である。この画像は G成分に変化がなぐ R成分 R1が局所的に大き く変動する。その結果、 R成分 R1のピーク箇所では色差も大きくなる。この R成分 R1 を図 6 [B]に示すように図面右方向にずらして補正すると、補正後の色差に新たなピ ークが生じる。この補正後の色差が大きなピークを持つのは、画像の構造に由来する ものであり、偽色や副次的な色ずれによって生じるものではない。ここで、仮に色差 上限 max (0, Cr)とすると、許容範囲は図 6 [C]に示す斜線領域となり、補正後の色 差は図 6 [D]に示す RG成分のように消えてしまう。
[0060] このような画像構造の破壊を回避するためには、『参照位置の色差 Ci 』または『 近傍の局所域の色差群 Cr』を許容範囲に反映させることが重要となる。このようなェ 夫により、許容範囲は、図 6 [E]または図 6 [F]の斜線範囲となる。このような許容範 囲では、補正後の色差ピークが保たれ、図 6 [G]に示す R2, Gのように画像構造が 正しく保たれる。
[0061] 同様にして、図 6 [H]は、許容範囲の色差下限を min (0, Cr)とした場合に、画像構 造が破壊される一例である。図 6 [I]は、許容範囲の色差上限を max (0, Cr' )とした 場合に、画像構造が破壊される一例である。図 6 Q[]は、許容範囲の色差下限を min ( 0, Cr' )とした場合に、画像構造が破壊される一例である。これらケースのいずれも 、図 6 [A]〜[G]と同様の手順で、補正後の画像構造が正しく保たれることを検証で きる。 [0062] 《第 2の実施形態》
図 7および図 8は、第 2の実施形態を説明する図である。
一般に、撮影光学系の光軸中心は、画像データの画面中心にほぼ位置する。その ため、通常は、画面中心に対して点対称に倍率色収差が生じる。
しカゝしながら、一部の撮影光学系（シフトレンズや手振れ補正レンズ)では、撮影光 学系の光軸中心が、画像データの画面中心と必ずしも一致しない。また、電子カメラ やコンピュータ上の処理で画像データをトリミング (クロッビング)することにより、撮影 光学系の光軸中心と、画面データの画面中心とがー致しなくなるケースも想定される 。また、万一にもレンズに製造誤差が発生すれば、倍率色収差が画面中心に対して 点対称に生じない場合も懸念される。また、画像に生ずる色ずれは被写体の分光分 布にも依存するため、領域ごとに異なった色ずれが生じる場合もある。このようなケー スにおいて、画面中心に色ズレ補正を施すと、補正効果が若干低くなる。
そこで、第 2の実施形態では、このように光軸中心が画面中心力もずれているケー スにおいても、有効な色ズレ補正を開示する。
以下、この第 2の実施形態の動作を説明する。
[0063] (1) コンピュータは、上述したステップ S2〜S4、あるいはステップ S21〜S24の動 作を実行し、 8個の分割領域 N、 NE、 E、 SE、 S、 SW、 W、 NWごとに色ズレの倍率 差を算出する。
[0064] (2) 次に、コンピュータは、図 7に示すように、これらの分割領域を 3個ずつ組み合 わせて、上側グループ（NW, N, NE)、右側グループ（NE, E, SE)、下側グループ (SE, S, SW)、左側グループ（SW, W, NW)に分類する。コンピュータは、これらの 4つの分類ごとに、倍率差のヒストグラム解析を行い、 4つの倍率差係数 Kn, Ke, Ks , Kwをそれぞれ求める。
[0065] (3) 続いて、コンピュータは、図 14に示すように、画面を右上，右下，左下，左上に 区分する。コンピュータは、隣接グループの倍率差係数を組み合わせて、下式に従 つてベクトル合成することにより、色ズレの変位ベクトル (dx,dy)を算出する。
右上： dx=— ke (x— xoノゝ y=— kn、y— yo)
右 ： dx=— ke (x— xoノ、 ay=— ks、y— vo) 左下： dx=— kw (x— xo) dy=— ks (y— yo)
左上： dx=— kw (x— xo) dy=— kn (y— yo)
ただし、（xo,yo)は画面中心である。
[0066] このように複数方向の倍率差係数をベクトル合成して使用する。このとき、各方向の 倍率差係数が異なれば、上式の変位ベクトルの交差点すなわち光軸中心は、画面 中心 (xo,yo)からずれる。したがって、光軸中心が画面中心 (xo,yo)からずれているケ ースであって、上記計算によって柔軟に対応することが可能となり、より適切かつ汎 用的な変位ベクトルを算出することが可能になる。
なお、この変位ベクトル (dx,dy)を求めた後の動作については、第 1の実施形態と同 様であるため、ここでの説明を省略する。
[0067] 《第 3の実施形態》
第 3の実施形態では、本発明の画像処理機能を備えたコンピュータを用いて説明 を行う。
コンピュータ 10は、図 9に示すように、制御部 1,外部インタフェース部 2,操作部 3 を備える。制御部 1は、本発明の画像処理を行うためのプログラムを予め記録してい る。また、外部インタフェース部 2は、所定のケーブルや無線伝送路を介して電子カメ ラなどの外部機器とのインタフェースをとる。また、操作部 3は、不図示のキーボード やマウスなどを備える。
[0068] 図 9のような構成のコンピュータ 10において、外部インタフェース部 2は、制御部 1 の指示にしたがって、不図示の電子カメラなどの外部機器から、画像を取り込み可能 である。また、操作部 3は、各種ユーザ操作を受け付ける。操作部 3の状態は、制御 部 1によって検知される。
図 10は、色ずれ補正の大まかな流れを示す図である。以下、ステップ番号に沿つ て説明する。
[0069] [ステップ S 101]
コンピュータ 10はまず、外部インタフェース部 2を介して、不図示の電子カメラなど の外部機器力も画像を読み込む。なお、コンピュータ 10内の不図示の記録部に記録 されている画像を読み込む (読み出す)ようにしても良い。このとき、読み込まれる画 像は処理対象の画像であり、 R, G, Bの色成分面を有する画像である。 ここでは、読み込む画像の X軸方向の画素数を Nx、 y軸方向の画素数を Nyとし、 原点を画像の四隅の何れかとする。
[0070] [ステップ S 102]
制御部 1は、まず、エッジを検出する。エッジの検出は、まず、輝度 Yを、例えば、 Y = (R+G + B) ÷ 3として求め、画像の全画素について輝度の微分を縦方向、横方 向、斜め 45度方向、斜め 135度方向の 8方向について行う。この 8方向は、図 11の a 〜hに示す方向である。また、輝度の微分は、ぞれぞれ図 12の a〜hに示すフィルタ を用いて行う。そして、 8方向における輝度の微分の何れかが、所定値 (例えば、 256 階調で 10程度)よりも大きい場合にその箇所をエッジとする。
[0071] 制御部 1は、以上の処理を画像全体について行い、エッジを検出する。
そして、検出したエッジの近傍に、数画素間隔で色ずれ方向検出箇所を設け、そ の箇所において上記で輝度の微分を求めた 8方向のうち、輝度の微分が最も大きい 方向をエッジの輝度の勾配方向とする。そして、このエッジの輝度の勾配方向を、後 述する色ずれ検出方向とする。
[0072] 次に、制御部 1は、前述した輝度の勾配方向について、エッジの幅を検出する。図 13を用いて具体的に説明する。図 13 (a)は処理対象の画像の全体図であり、図 13 ( b)は、部分拡大図である。図 13中の画素 Aは前述した色ずれ検出箇所の一例を示 す。なお、図 13は、輝度の勾配方向が、図 11の矢印 dの方向である例を示す。図 13 中の斜線部分は被写体領域を示す。
[0073] 図 13に示すように矢印 dの方向について、エッジの幅を検出する場合、画素 Aと、 矢印 dに沿って画素 Aに隣接する画素との微分を求める。次に、さらに隣接する画素 間の微分を求め、ある画素 P(P)がエッジでなぐ次の画素 P(p + 1)がエッジである場 合、画素 P(p)を、画素 Bとする（図 13参照)。さらに、反対方向についても同様の処理 を行い、ある画素 P(q)がエッジであり、次の画素 P(q+ 1)がエッジでない場合、画素 P (q)を、画素 Cとする（図 13参照）。このようにして求められた画素 Bおよび画素 Cは、 図 13に示すように、略エッジ端の画素に相当する。そして、制御部 1は、画素 Bと画 素 Cとの距離をエッジの幅とする。このエッジの幅に基づき、後述するウィンドウの大き さを決める。具体的には、ウィンドウの大きさを、エッジの幅の 4倍程度にする。
[0074] さらに、制御部 1は、画素 A, B, Cにおいて Rの色差 Cr= (R—G)、 Bの色差 Cb =
(B— G)を求め、画素 Aの Crの絶対値が画素 B, Cの Crの絶対値よりも大きいか、ま たは画素 Aの Cbの絶対値が画素 B, Cの Cbの絶対値よりも大きい場合に、画素 Aを 色ずれを検出する対象とし、画素 Bと画素 Cとの間の領域を色ずれを補正する領域と する。ここでは、画素 B, Cの色差の絶対値が、上記 [14]の「所定値」に対応する。す なわち、このような処理によりエッジ部分の彩度を見ることになり、色ずれの検出と補 正の対象を画像のエッジに倍率色収差が発生した部分のみとすることができる。
[0075] [ステップ S 103]
次に、コンピュータ 10は、 G成分の画像に対する R成分の画像の色ずれを検出す る。なお、コンピュータは、 G成分の画像に対する B成分の画像の色ずれも同様に検 出する。
ここで、 G成分の画像は、「複数の色成分面のうち、任意の色成分面の画像信号」 に該当し、 R成分の画像 (B成分の画像）は、「任意の色成分面とは別の色成分面の 画像信号」に該当する。
[0076] 制御部 1は、 G成分の画像に対する R成分の画像の色ずれの検出を、ステップ S10 2で定めた色ずれ検出箇所ごとに行う。制御部 1は、まず、色ずれ検出箇所を中心と して、ウィンドウを設ける。ウィンドウは正方形の領域とし、その一辺の長さはステップ S 102で求めたエッジの幅の 4倍程度とする。そして、処理対象の画像のうち、 G成分 の画像から、ウィンドウの画像を取り出す。この G成分の画像力も取り出したウィンドウ の画像を「G成分ウィンドウ」と称する。
[0077] そして、 G成分ウィンドウに対して X方向および y方向にずらし量 (dx, dy)だけずらし た位置から、 R成分の画像を取り出す。なお、取り出される R成分の画像は、 G成分ゥ インドウからずらし量 (dx, dy)だけずれた位置の画像であり、以下、「R成分ウィンドウ 」と称する。
[0078] そして、 G成分ウィンドウと R成分ウィンドウとの信号値の平均を求め、その値を差し 引いて両者の平均信号値を揃える。そして、 G成分ウィンドウと R成分ウィンドウとの信 号値の差分の絶対値をウィンドウ全体につ 、て積分したものを、 Rと Gの重ね合わせ 誤差とする。
以上をずらし量 (dx, dy)を少しずつ変えながら繰り返し、 Rと Gの重ね合わせ誤差 が最小 (または極小）となるときのずらし量を、色ずれ検出値とし、この色ずれ検出値 に基づいて倍率色収差検出値 d を決定する。このとき、 3点内挿法などの演算を行
min
うことよって、倍率色収差検出値 d るの
minを小数点以下の精度で検出す が好ましい。
[0079] ここで、ずらし量 (dx, dy)は、 S2で求めた色ずれ検出方向に応じて条件付けられ る。具体的には、色ずれ検出方向が横方向（図 11矢印 c、 g)の場合は、 dx=— d ·
max
••d , dy = 0となり、縦方向（図 11矢印 a、e)の場合は、 dx = 0, dy=— d · · ·(! max max max となり、斜め 45度方向（図 11矢印 b、f)の場合は、 dx=dy, dy=— d · · ·(! となり
max max
、斜め 135度方向（図 11矢印 d、h)の場合には、 dx=— dy, dy=— d · · ·(! とな
max max る。
[0080] ここで、 d は色ずれが検出される最大値であり、 d = 10とすれば、ほとんどの色
max max
ずれに対応することができる。以上のように dxと dyを決めると、 dxと dyをそれぞれ独 立に—d 力 d まで変えるよりも Rと Gの重ね合わせ誤差を求める回数が減り、処 max max
理を効率ィ匕できる。
なお、エッジ領域が画像の端および端に近い部分にあるときには、画像の周辺でそ の画像を折り返しコピーして画像を拡張し、同様の検出を行う。
制御部 1は、以上説明した処理を、ステップ S102で検出した色ずれ検出箇所ごと に行う。
[0081] [ステップ S 104]
次に、コンピュータ 10は、 G成分の画像に対する R成分 (B成分)の画像の色ずれを 補正する
制御部 1は、エッジ領域ごとに、 G成分の画像に対する R成分の画像の色ずれの補 正を行う。制御部 1は、そのエッジ領域について、予め求めた倍率色収差検出値 d
min を読み出し、 G成分の画像に対して、 R成分の画像を、倍率色収差検出値 d が示す
min 色ずれの方向と逆の方向に、倍率色収差検出値 d が示すずれ量だけ移動する。
min
なお、 R成分の画像の移動力 小数点画素単位の場合は、バイキュービックやバイ リニア等の既存の補間方法で中間値を生成するものとする。 制御部 1は、以上説明した処理を、ステップ S102で検出したエッジ領域ごとに行う
[0082] [ステップ S 105]
最後に、コンピュータ 10は、ステップ S101で読み込んだ画像のうち、 G成分の画像 (G成分の原画像）と、補正後の R成分の画像および B成分の画像とを合成して、コン ピュータ 10内の不図示の記録部に記録する。
まず、制御部 1は、ステップ S101で読み込んだ画像のうち、 G成分の画像 (G成分 の原画像）と、ステップ S 104で補正した R成分の画像と、ステップ S 106で補正した B 成分の画像とを合成して、コンピュータ 10内の不図示の記録部に記録する。
すなわち、 R, G, Bの各色成分の画像のうち、輝度を担う色成分の画像である G成 分の画像に対して、もう一方の色成分の画像である R成分の画像（または B成分の画 像)を移動して補正を行う。したがって、高周波成分が劣化することなぐ画質 (鮮鋭 感)を保ったまま、倍率色収差を補正することができる。
[0083] <変形例>
•色ずれの検出を行った後に、検出した色ずれを評価し、評価の結果に基づいて倍 率色収差の補正を行うようにしても良 、。
制御部 1は、エッジ領域ごとに倍率色収差検出値 d を求めた後に、エッジ領域内
min
のある画素における倍率色収差検出値 d
min力 周囲の色ずれ検出箇所における倍率 色収差検出値 d
minに比べて大きく異なる場合、その倍率色収差検出値 d
minを無効とし て、近傍の画素の倍率色収差検出値 d を代入して補正を行うようにしても良い。ま
min
たは、その倍率色収差検出値 d 1S 適切でないということをユーザに通知するように
min
しても良い。このように、検出した倍率色収差検出値 d
minを評価することにより、適切で ない補正が行われるのを防ぐことができる。なお、評価は、エッジ領域内の各画素ご とに求めた倍率色収差検出値 d の標準偏差を求めることにより行い、その偏差値が
min
30以下か 70以上である場合には、その倍率色収差検出値 d を無効とするか、その
min
倍率色収差検出値 d 1S 適切でないということをユーザに通知すると良い。
min
'エッジ領域内の各画素ごとに求めた倍率色収差検出値 d に対して、ローパスフィ
min
ルタ処理を行ってから、補正を行うようにしても良い。特に、画像の特定の部分に対し てのみ補正を行う場合、例えば、 3 X 3の平均フィルタなどを用いてローノ スフィルタ 処理を行うことにより、補正量が不連続になって補正後の画像が悪化するのを防ぐこ とがでさる。
'補正前の画像と補正後の画像を比較して、誤補正を検出するようにしても良い。
[0084] 制御部 1は、例えば、 G成分の画像に対する R成分の画像の色ずれを補正した場 合に、 G成分の画像と補正前の R成分の画像との信号値の差分を求め、さらに、 G成 分の画像と補正後の R成分の画像との信号値の差分を求め、 2つの差分を比較する 。 G成分の画像と補正後の R成分の画像との信号値の差分の方が小さぐかつ、 2つ の差分が同符号である場合には、制御部 1は、補正が正しく行われたと見なす。一方 、 G成分の画像と補正後の R成分の画像との信号値の差分の方が大き 、場合には、 制御部 1は、誤補正が行われたと見なす。そして、制御部 1は、求めた倍率色収差検 出値 d
minに基づく補正よりも、補正度合いを小さくして、再び色ずれの補正を行う。
[0085] なお、このような色ずれの再補正を行う場合、元の画像に対して、色ずれの再補正 を行っても良いし、一度色ずれの補正を行った後の画像に対して、逆方向に再補正 を行うようにしても良い。また、補正度合いを小さくできない場合には、補正前の状態 に戻しても良いし、色ずれの検出からやり直すようにしても良い。このように、誤補正 の検出を行うことにより、より適切な補正を自動的に行うことができる。
[0086] 以上説明したように、本実施形態によれば、複数の色成分 (R, G, Bの各色成分） 面で表された画像のうち、エッジ領域を検出して、エッジ領域ごとに、エッジの輝度の 勾配方向を検出し、エッジ領域ごとに、そのエッジ領域の画像における任意の色成 分面の画像信号と、任意の色成分面とは別の色成分面の画像信号との色ずれを、 輝度の勾配方向について検出し、検出した色ずれを補正するエッジ領域ごとに補正 する。
[0087] 上述したように色補間後の画像は、色ずれ量にムラが生じ、エッジ領域ごとに色ず れ量が異なる。しかし、本実施形態のように画像力 エッジ領域を選びだし、そのエツ ジ領域ごとに色ずれを検出して補正することにより、色補間後のような色ずれムラにも 適切に対処することができる。
また、倍率色収差は、一般に、平坦部分には発生しにくぐエッジ部分に発生しや すい。したがって、エッジ領域を検出して、そのエッジ領域について色ずれの検出を 行うことで、効率よく検出を行いつつ、色ずれの検出および補正に力かる処理時間を 短縮することができる。
[0088] また、倍率色収差は、一般に、輝度の勾配方向に発生する場合に目立ちやすい。
したがって、輝度の勾配方向を検出して、その方向について色ずれの検出を行うこと で、検出の精度を落とさずに、色ずれの検出および補正に力かる処理時間を短縮す ることができる。また、この方法は、処理対象の画像がトリミングされた画像である場合 などでも、倍率色収差検出値 d
minを求めることができる。
[0089] また、倍率色収差を検出する対象とされた領域と補正を行う領域を一致させること により、局所的に発生する倍率色収差も適切に補正することができる。
したがって、上記各理由により、本実施形態によれば、処理対象の画像に発生した 不規則な倍率色収差も、高精度かつ高速に補正することができる。
[0090] また、本実施形態によれば、エッジ領域ごとに、そのエッジ領域の画像の彩度を検 出して、その彩度が所定値よりも高いか否かを判定し、彩度が所定値より高いと判定 されると、色ずれを検出する。そのため、色ずれの検出と補正の対象は画像のエッジ に倍率色収差が発生した部分のみとなり、処理が効率化される。さらに、被写体の彩 度が高い領域のエッジは補正対象とはならないので、色ずれの誤検出による画像の 劣化も抑えられる。
[0091] また、本実施形態によれば、エッジ領域の大きさを、エッジの幅に基づ 、て変更す る。
一般に、くっきりとした画像 (エッジの幅が狭い画像)では、色ずれの検出を行うのに 適したエッジ領域の大きさは小さくて良い。一方、ピンぼけした画像 (エッジの幅が広 い画像)では、色ずれの検出を行うのに必要なエッジ領域の大きさはある程度大きく なければならない。したがって、エッジの幅が狭い場合には、エッジ領域の大きさを 小さくし、エッジの幅が広い場合には、エッジ領域の大きさを大きくする。このようにェ ッジ領域の大きさを変更することにより、効率よく色ずれの検出を行うことができる。
[0092] 《第 4の実施形態》
以下、第 4の実施形態について説明する。本実施形態では、第 3の実施形態と同 様に、本発明の画像処理装置が行う画像処理の機能を備えたコンピュータ 10を用い て説明を行う。なお、第 4の実施形態は、第 3の実施形態をより簡略化した実施形態 である。
色ずれの補正の大まかな流れは第 3の実施形態と同様である（図 10参照)。以下、 第 3の実施形態と異なるステップ S 102について説明する。
[0093] ステップ S102において、制御部 1は、エッジ領域を検出した後、輝度の勾配方向を 検出する代わりに以下の処理を行う。
制御部 1は、まず、処理対象の画像を、画像の中心を中心として、図 14に示すよう に 8つの領域に分割し、エッジ領域がある領域に存在する場合には、その領域を代 表する方向（矢印 a〜h)を、色ずれ検出方向とする。倍率色収差は、一般に、その画 像が生成された際に用いられた光学系の光軸に対応する部分 (処理対象の画像の 中心に相当）を中心とした動径方向（図 14矢印 a〜hの方向）に、発生することが多い 。したがって、動径方向についてずらして色ずれの検出を行うことで、検出の精度を 落とさずに、色ずれの検出にかかる処理時間を短縮することができる。
[0094] 図 15を用いて具体的に説明する。図 15 (a)は処理対象の画像の全体図であり、図 15 (b)は、部分拡大図である。図 15は、図 11の矢印 dの方向に輝度の微分を求めて いる（エッジ領域が図 14領域 dにある）例を示す。図 15中の斜線部分は被写体領域 を示す。輝度 Yは例えば、 Y= (R+G + B) ÷ 3とする。
図 15に示すように矢印 dの方向に輝度の微分を求める場合、矢印 dに沿って隣接 する 2画素の微分を求め、ある画素 P(p)がエッジでなぐ次の画素 P(p + 1)がエッジで ある場合、画素 P(P)を、画素 Aとする（図 15参照)。さらに、続けて微分を行い、ある 画素 P(q)がエッジであり、次の画素 P(q+ 1)がエッジでない場合、画素 P (q)を、画素 Bとする（図 15参照)。そして、最後に画素 Aと画素 Bとの中点に相当する画素を、画 素 Cとする（図 15参照）。このようにして求められた画素 A〜画素 Cは、図 15に示すよ うに、画素 Aおよび画素 Bは略エッジ端の画素を示し、画素 Cは略エッジ境界上の画 素を示す。
[0095] そして、画素 Aと画素 Bとの距離をエッジの幅とする。このエッジの幅に基づき、エツ ジ領域の大きさを決める。具体的には、エッジ領域の大きさを、エッジの幅の 4倍程度 にする。
以下の各処理は、第 3の実施形態と同様であるため説明を省略する。
以上説明したように、本実施形態によれば、複数の色成分 (R, G, Bの各色成分） 面で表された画像のうち、エッジ領域を検出して、エッジ領域ごとに、そのエッジ領域 の画像における任意の色成分面の画像信号と、任意の色成分面とは別の色成分面 の画像信号との色ずれを、画像が生成された際に用いられた光学系の光軸に対応 する部分を中心とした動径方向につ!、て検出し、検出した色ずれを補正するエッジ 領域ごとに補正する。
したがって、検出の精度を落とさずに、色ずれの検出および補正に力かる処理時間 を短縮することができる。
[0096] 《第 5の実施形態》
以下、第 5の実施形態について説明する。本実施形態では、第 3の実施形態およ び第 4の実施形態と同様に、本発明の画像処理装置が行う画像処理の機能を備え たコンピュータを用いて説明を行う。なお、第 5の実施形態は、第 3の実施形態および 第 4の実施形態で説明した倍率色収差の補正に加えて、色にじみを補正する実施形 態である。
[0097] デジタルカメラ等で撮影を行う際、倍率色収差は色にじみの原因にもなる。例えば 、 Rのカラーフィルタに対応する R撮像素子が受光する波長の範囲は幅を持ち、異な る波長 λ 1とえ 2がともに R撮像素子に受光される。したがって撮影レンズに倍率色収 差があると、被写体の同一点から出た λ 1とえ 2の光が R撮像素子の異なる位置に結 像するので R成分の画像がぼけてしまい色にじみとなる。本実施形態では、この色に じみを補正する。
図 16は、この補正動作を説明する流れ図である。
[0098] [ステップ3111〜3113]
第 3の実施形態のステップ S101〜104と同じ処理。
[0099] [ステップ S 114]
制御部 1は、 G成分の画像と補正前の R成分の画像との信号値の差分を求め、さら に、 G成分の画像と補正後の R成分の画像との信号値の差分を求め、 2つの差分を 比較する。 G成分の画像と補正後の R成分の画像との信号値の差分の方が小さぐ かつ、 2つの差分が同符号である場合には、制御部 1は、補正が正しく行われたと見 なす。一方、 G成分の画像と補正後の R成分の画像との信号値の差分の方が大きい 場合には、制御部 1は、誤補正が行われたと見なす。そして、制御部 1は、求めた倍 率色収差検出値 d
minに基づく補正よりも、補正度合いを小さくして、再び色ずれの補 正を行う。
なお、このような色ずれの再補正を行う場合、元の画像に対して、色ずれの再補正 を行っても良いし、一度色ずれの補正を行った後の画像に対して、逆方向に再補正 を行うようにしても良い。また、補正度合いを小さくできない場合には、補正前の状態 に戻しても良 、し、色ずれの検出からやり直すようにしても良 、。
[0100] [ステップ S 115]
制御部 1は、処理対象の画像全体について R成分の色差 Crを計算する。 Crは例え ば、（R— G)で与える。そして、上記で求めた Crの画像について、エッジ領域にロー パスフィルタをかける。ローパスフィルタは、例えば、ある箇所の色差 Crを、その箇所 を中心とする正方形領域の加重平均値で置き換えるものとする。また、その正方形領 域の広さを、ステップ S113で求めた倍率色収差検出値 d に応じて決める。具体的
min
には、上記正方形領域の一辺の長さを色ずれ検出値 (単位:画素）の 2〜4倍とする。 以上の処理を画像全体について行う。そして、処理後の Rの色差を Cr'とすると、補 正後の R成分を、（Cr，+G)で与える。
なお、同様の処理を、 B成分についても実行する。
[0101] [ステップ S116]
第 3の実施形態のステップ S105と同じ処理。
以上説明したように、本実施形態によれば、色ずれの補正を行った後に、エッジ領 域ごとに、色差を平滑化する。一般に、倍率色収差が大きく発生するほど、色にじみ の度合いも大きくなるので、このような処理を行うことにより、倍率色収差に加えて色 にじみも除去することが可能となり、より画質を向上させることができる。
なお、上記で説明した方法によれば、倍率色収差に起因しない色にじみをも補正 することが期待できる。 [0102] なお、上記した実施形態では、処理対象の画像が RGBの色成分を含む例を示し た力 シアン、マゼンダ、イェローなど別の表色系であっても良い。また、処理対象の 画像に基づ 、て別の表色系の画像を生成し、これを処理対象の画像として同様の検 出および補正を行うようにしても良い。
なお、上記した実施形態では、色ずれを検出して補正する画像処理装置について 説明したが、色ずれの検出のみを行うようにしても良い。そして、このような色ずれを 検出する画像処理装置を、レンズの製造工程における検品工程などに用いることが できる。
[0103] 《第 6の実施形態》
第 6の実施形態は、電子カメラの実施形態である。
図 17は、本実施形態の構成を示すブロック図である。
図 17において、電子カメラ 11には、撮影レンズ 12が装着される。この撮影レンズ 1 2の像空間には、撮像素子 13の受光面が配置される。この撮像素子 13は、タイミン グジェネレータ 22bの出力パルスによって動作が制御される。
[0104] この撮像素子 13で生成される画像は、 AZD変換部 15および信号処理部 16を介 して、ノ ッファメモリ 17に一時記憶される。
このバッファメモリ 17は、バス 18に接続される。このバス 18には、画像処理部 19、 カードインターフェース 20、マイクロプロセッサ 22、圧縮伸張部 23、および画像表示 部 24が接続される。この内、カードインターフェース 20は、着脱自在なメモリカード 2 1に対するデータの読み書きを行う。また、マイクロプロセッサ 22には、電子カメラ 11 のスィッチ群 22aからユーザー操作の信号が入力される。さらに、画像表示部 24は、 電子カメラ 11の背面に設けられたモニタ画面 25に画像を表示する。
このような構成の電子カメラ 11は、マイクロプロセッサ 22および画像処理部 19によ つて、第 1〜第 5の実施形態の画像処理を実行する。
その結果、撮影レンズ 12の倍率色収差の影響を軽減した画像データを、電子カメ ラ 11内で作成することができる。
[0105] なお、本発明は、その精神または主要な特徴力 逸脱することなぐ他のいろいろ な形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に 過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって 示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲 の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。
産業上の利用可能性
以上説明したように、本発明は、画像処理装置、画像処理プログラム、および電子 カメラなどに利用可能な技術である。

Claims

請求の範囲
[1] 複数の色成分面で表された画像に対して画像処理を施す画像処理装置であって、 前記画像の色ずれを補正する補正手段と、
前記画像と、前記補正手段による補正前後の前記画像を比較して、前記補正手段 による誤補正を判定する誤補正検出手段を備えた
ことを特徴とする画像処理装置。
[2] 請求項 1に記載の画像処理装置において、
前記誤補正検出手段は、
補正後画像の処理対象箇所の色差が、補正前画像を基準に設定される許容範囲 内にな ヽ場合を誤補正とする
ことを特徴とする画像処理装置。
[3] 請求項 2に記載の画像処理装置において、
前記誤補正検出手段は、前記補正後画像の色差を前記許容範囲内に制限するこ とにより、前記誤補正を抑制する
ことを特徴とする画像処理装置。
[4] 請求項 2または請求項 3に記載の画像処理装置にお 、て、
前記誤補正検出手段は、補正前の画像の前記処理対象箇所を含む局所域の色 差、および所定の低彩度色差からなる群の最小色差から最大色差までを求めて、前 記許容範囲とする
ことを特徴とする画像処理装置。
[5] 請求項 1または請求項 2に記載の画像処理装置にお 、て、
前記補正手段は、前記誤補正検出手段が誤補正を判定すると、色ずれ補正のずら し幅を抑制することにより、前記誤補正を抑制する
ことを特徴とする画像処理装置。
[6] 請求項 1な!、し請求項 5の 、ずれか 1項に記載の画像処理装置にお!/、て、
前記色ずれは、光学系の倍率色収差によって前記画像に生じた色ずれであり、 前記補正手段は、前記倍率色収差をうち消す方向に、前記色成分面の倍率調整（ リサイズ)を行う ことを特徴とする画像処理装置。
[7] 入力される画像から、撮影光学系の倍率色収差を推定する画像処理装置であって 前記画像の複数の検出箇所について、動径方向の色ずれ幅を検出する色ずれ検 出部と、
前記複数箇所の前記色ずれ幅に基づいて、前記画面上における前記倍率色収差 の統計分布を求め、前記統計分布の平均的な値よりも大きぐかつ前記統計分布の 広がり範囲内の値を求めて、前記倍率色収差の推定値とする推定部と
を備えたことを特徴とする画像処理装置。
[8] 請求項 7に記載の画像処理装置において、
前記推定部は、
前記色ずれ幅を前記検出箇所の像高 (動径)で割って、前記色ずれが示す色成分 の倍率差を算出する正規化部と、
前記検出箇所ごとに求めた前記倍率差についてヒストグラム分布を求め、前記ヒスト グラム分布の裾野の非対称性から、前記裾野の偏った側に属し、かつ前記ヒストグラ ム分布の裾野の広がり範囲内に収まる値を選んで、前記倍率色収差の推定値とする 係数処理部とを備えた
ことを特徴とする画像処理装置。
[9] 請求項 7または請求項 8に記載の画像処理装置にお 、て、
前記推定部は、前記画像の分割領域ごとに前記倍率色収差の推定値を求める ことを特徴とする画像処理装置。
[10] 請求項 7または請求項 8に記載の画像処理装置にお 、て、
前記推定部は、前記画像の分割領域ごとに動径方向の色ずれを検出し、隣接する 分割領域間の色ずれをベクトル合成することにより、画面中心に対して非対称な倍率 色収差までも検出する
ことを特徴とする画像処理装置。
[11] 複数の色成分面で表された画像に対して画像処理を施す画像処理装置であって、 前記画像のうち、エッジ領域を検出するエッジ領域検出手段と、 前記エッジ領域ごとに、エッジの輝度の勾配方向を検出する方向検出手段と、 前記エッジ領域ごとに、そのエッジ領域の画像における任意の色成分面の画像信 号と、前記任意の色成分面とは別の色成分面の画像信号との色ずれを、前記輝度 の勾配方向について検出する色ずれ検出手段と
を備えたことを特徴とする画像処理装置。
[12] 複数の色成分面で表された画像に対して画像処理を施す画像処理装置であって、 前記画像のうち、エッジ領域を検出するエッジ領域検出手段と、
前記エッジ領域ごとに、そのエッジ領域の画像における任意の色成分面の画像信 号と、前記任意の色成分面とは別の色成分面の画像信号との色ずれを、前記画像 が生成された際に用いられた光学系の光軸に対応する部分を中心とした動径方向 につ!/、て検出する色ずれ検出手段と
を備えたことを特徴とする画像処理装置。
[13] 請求項 11または請求項 12に記載の画像処理装置において、
前記エッジ領域ごとに、前記色ずれ検出手段がそのエッジ領域で検出した前記色 ずれを補正する補正手段をさらに備えた
ことを特徴とする画像処理装置。
[14] 請求項 11から請求項 13の 、ずれか 1項に記載の画像処理装置にお!/、て、
前記エッジ領域ごとに、そのエッジ領域の画像の彩度を検出し、その彩度が所定値 よりも高いか否かを判定する彩度判定手段を備え、
前記色ずれ検出手段は、前記彩度判定手段により前記彩度が前記所定値より高 いと判定されると、前記色ずれを検出する
ことを特徴とする画像処理装置。
[15] 請求項 11から請求項 14の 、ずれか 1項に記載の画像処理装置にお!/、て、
前記色ずれ検出手段は、前記エッジ領域ごとに、そのエッジ領域におけるエッジの 幅に基づいて決められた大きさのウィンドウを設け、前記ウィンドウの画像における前 記色ずれを検出する
ことを特徴とする画像処理装置。
[16] 請求項 15に記載の画像処理装置において、 前記色ずれ検出手段は、前記ウィンドウの画像において、任意の色成分面の画像 信号と、前記任意の色成分面とは別の色成分面の画像信号との相関を求めることに より前記色ずれを検出する
ことを特徴とする画像処理装置。
[17] 請求項 13に記載の画像処理装置において、
前記色ずれ検出手段により検出された前記色ずれを、複数の検出箇所における前 記色ずれの検出結果から見直す評価手段をさらに備え、
前記補正手段は、前記評価手段による見直しの結果に基づいて、前記色ずれを補 正する
ことを特徴とする画像処理装置。
[18] 請求項 13または請求項 17に記載の画像処理装置において、
前記補正手段は、前記色ずれ検出手段により検出された前記色ずれに対して、平 滑化処理を行ってから、前記色ずれを補正する
ことを特徴とする画像処理装置。
[19] 請求項 13,請求項 17,請求項 18のいずれ力 1項に記載の画像処理装置において 前記補正手段は、前記色ずれの補正を行った後に、エッジ領域ごとに、色差を平 滑化する
ことを特徴とする画像処理装置。
[20] コンピュータを、請求項 1ないし請求項 19のいずれ力 1項に記載の画像処理装置と して機能させるための画像処理プログラム。
[21] 請求項 1ないし請求項 19のいずれか 1項に記載の画像処理装置と、
被写体像を撮像して画像を生成する撮像部とを備え、
前記撮像部で生成された前記画像を前記画像処理装置で処理する
ことを特徴とする電子カメラ。
PCT/JP2005/006951 2004-04-12 2005-04-08 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ WO2005101854A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP05728731.0A EP1746846B1 (en) 2004-04-12 2005-04-08 Image processing device having color shift-correcting function, image processing program, and electronic camera
JP2006512318A JP4706635B2 (ja) 2004-04-12 2005-04-08 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ
US11/545,559 US7916937B2 (en) 2004-04-12 2006-10-11 Image processing device having color shift correcting function, image processing program and electronic camera

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004116584 2004-04-12
JP2004-116584 2004-04-12
JP2004-161474 2004-05-31
JP2004161474 2004-05-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/545,559 Continuation US7916937B2 (en) 2004-04-12 2006-10-11 Image processing device having color shift correcting function, image processing program and electronic camera

Publications (1)

Publication Number Publication Date
WO2005101854A1 true WO2005101854A1 (ja) 2005-10-27

Family

ID=35150362

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/006951 WO2005101854A1 (ja) 2004-04-12 2005-04-08 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ

Country Status (4)

Country Link
US (1) US7916937B2 (ja)
EP (1) EP1746846B1 (ja)
JP (1) JP4706635B2 (ja)
WO (1) WO2005101854A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008068884A1 (ja) * 2006-11-30 2008-06-12 Nikon Corporation 画像の色を補正する画像処理装置、および画像処理プログラム
JP2010045588A (ja) * 2008-08-12 2010-02-25 Sony Corp 画像処理装置及び画像処理方法
JP2010086138A (ja) * 2008-09-30 2010-04-15 Canon Inc 画像処理方法、画像処理装置及び撮像装置
JP2011013857A (ja) * 2009-06-30 2011-01-20 Toshiba Corp 画像処理装置
JP2011101129A (ja) * 2009-11-04 2011-05-19 Canon Inc 画像処理装置及びその制御方法
JP2011151597A (ja) * 2010-01-21 2011-08-04 Nikon Corp 画像処理装置および画像処理プログラム並びに電子カメラ
WO2011118071A1 (ja) 2010-03-25 2011-09-29 富士フイルム株式会社 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体
WO2013031367A1 (ja) * 2011-08-31 2013-03-07 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101517407B1 (ko) 2008-11-06 2015-05-06 삼성전자주식회사 색수차 제거 방법 및 장치
KR101532605B1 (ko) * 2008-11-06 2015-07-01 삼성전자주식회사 색수차 제거 방법 및 장치
JP2015170897A (ja) * 2014-03-05 2015-09-28 キヤノン株式会社 画像処理装置および画像処理方法
US9160998B2 (en) 2008-11-06 2015-10-13 Samsung Electronics Co., Ltd. Method and apparatus for canceling chromatic aberration
JP2018082238A (ja) * 2016-11-14 2018-05-24 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム
US10247933B2 (en) 2014-08-29 2019-04-02 Carl Zeiss Microscopy Gmbh Image capturing device and method for image capturing

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4415318B2 (ja) * 2004-04-27 2010-02-17 富士フイルム株式会社 カラー画像の色ずれ補正方法及びカラー画像撮像装置
JP4469324B2 (ja) * 2005-11-01 2010-05-26 イーストマン コダック カンパニー 色収差抑圧回路及び色収差抑圧プログラム
JP4816725B2 (ja) * 2006-03-01 2011-11-16 株式会社ニコン 倍率色収差を画像解析する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
US8144984B2 (en) * 2006-12-08 2012-03-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program for color fringing estimation and compensation
KR101340518B1 (ko) 2007-08-23 2013-12-11 삼성전기주식회사 영상의 색수차 보정 방법 및 장치
JP5017597B2 (ja) * 2007-11-27 2012-09-05 株式会社メガチップス 画素補間方法
KR101257942B1 (ko) * 2008-04-23 2013-04-23 고려대학교 산학협력단 광역 역광보정 영상처리에서의 전처리 방법 및 장치
KR101460610B1 (ko) * 2008-07-30 2014-11-13 삼성전자주식회사 색수차 제거 방법 및 장치
US8477206B2 (en) * 2008-09-30 2013-07-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method for performing image restoration using restoration filter
JP5562242B2 (ja) * 2008-12-22 2014-07-30 パナソニック株式会社 画像拡大装置、方法、集積回路及びプログラム
JP5486273B2 (ja) * 2008-12-26 2014-05-07 キヤノン株式会社 画像処理装置及び画像処理方法
TWI389576B (zh) * 2009-07-02 2013-03-11 Mstar Semiconductor Inc 影像處理裝置以及影像處理方法
US20110018993A1 (en) * 2009-07-24 2011-01-27 Sen Wang Ranging apparatus using split complementary color filters
US8520125B2 (en) 2009-10-27 2013-08-27 Panasonic Corporation Imaging device and distance-measuring device using same
US8958009B2 (en) * 2010-01-12 2015-02-17 Nikon Corporation Image-capturing device
JP5757099B2 (ja) 2010-02-15 2015-07-29 株式会社ニコン 焦点調節装置、及び焦点調節プログラム
JP5284537B2 (ja) * 2010-03-31 2013-09-11 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
JP5505135B2 (ja) * 2010-06-30 2014-05-28 ソニー株式会社 画像処理装置、画像処理方法、および、プログラム
DE112010005743B4 (de) * 2010-07-16 2021-09-02 Robert Bosch Gmbh Verfahren für die Detektion und Korrektur von lateraler chromatischer Aberration
DE112010005744B4 (de) * 2010-07-16 2021-09-09 Robert Bosch Gmbh Verfahren für die Detektion und Korrektur einer lateralen chromatischen Aberration
JP5665451B2 (ja) * 2010-09-21 2015-02-04 キヤノン株式会社 画像処理装置及びその倍率色収差補正方法、撮像装置、倍率色収差補正プログラム、並びに記録媒体
JP5264968B2 (ja) * 2011-08-08 2013-08-14 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、および、画像処理プログラム
JP5414752B2 (ja) 2011-08-08 2014-02-12 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム
CN103765276B (zh) 2011-09-02 2017-01-18 株式会社尼康 对焦评价装置、摄像装置及程序
JP6066866B2 (ja) * 2013-08-22 2017-01-25 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
KR102211592B1 (ko) * 2014-03-19 2021-02-04 삼성전자주식회사 전자 장치 및 이의 영상 처리 방법
EP3481050B1 (en) 2016-06-29 2021-03-10 Sony Corporation Imaging device, control method, and program
EP3493522B1 (en) 2016-08-01 2020-10-28 Sony Corporation Image processing apparatus, image processing method, and program
JP2018142778A (ja) 2017-02-27 2018-09-13 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム
CN111447426B (zh) * 2020-05-13 2021-12-31 中测新图(北京)遥感技术有限责任公司 一种影像色彩校正方法以及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1251687A2 (en) 2001-04-17 2002-10-23 Xerox Corporation Sampling of customer images as color data for process control
JP2003255424A (ja) * 2002-03-05 2003-09-10 Sony Corp 画像撮影装置及び色収差補正方法
JP2004064710A (ja) * 2002-07-31 2004-02-26 Fuji Photo Film Co Ltd 撮像装置及びディストーション補正方法
JP2004248077A (ja) * 2003-02-14 2004-09-02 Konica Minolta Holdings Inc 画像処理装置及び画像処理方法並びに画像処理プログラム
JP2005167485A (ja) * 2003-12-01 2005-06-23 Canon Inc 画像処理装置及び画像処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2528826B2 (ja) 1985-12-20 1996-08-28 池上通信機株式会社 画像の位置ずれ補正装置
JPH03263993A (ja) 1990-03-14 1991-11-25 Hitachi Denshi Ltd レジストレーション検出装置
JP3080127B2 (ja) * 1993-12-30 2000-08-21 日本ビクター株式会社 映像信号改善装置
EP0878970A3 (en) * 1997-05-16 1999-08-18 Matsushita Electric Industrial Co., Ltd. Imager registration error and chromatic aberration measurement system for a video camera
US6853400B1 (en) * 1998-06-16 2005-02-08 Fuji Photo Film Co., Ltd. System and method for correcting aberration of lenses through which images are projected
JP3758377B2 (ja) * 1998-09-14 2006-03-22 コニカミノルタビジネステクノロジーズ株式会社 画像読取装置および色収差補正方法
JP2000299874A (ja) 1999-04-12 2000-10-24 Sony Corp 信号処理装置及び方法並びに撮像装置及び方法
US6483941B1 (en) * 1999-09-10 2002-11-19 Xerox Corporation Crominance channel overshoot control in image enhancement
JP2001356173A (ja) * 2000-06-13 2001-12-26 Konica Corp 放射線画像撮像装置及び放射線画像撮像方法
JP2002344978A (ja) 2001-05-17 2002-11-29 Ichikawa Soft Laboratory:Kk 画像処理装置
JP2004062651A (ja) * 2002-07-30 2004-02-26 Canon Inc 画像処理装置、画像処理方法、その記録媒体およびそのプログラム
JP2004153323A (ja) * 2002-10-28 2004-05-27 Nec Micro Systems Ltd 色収差補正画像処理システム
US7454081B2 (en) * 2004-01-30 2008-11-18 Broadcom Corporation Method and system for video edge enhancement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1251687A2 (en) 2001-04-17 2002-10-23 Xerox Corporation Sampling of customer images as color data for process control
JP2003255424A (ja) * 2002-03-05 2003-09-10 Sony Corp 画像撮影装置及び色収差補正方法
JP2004064710A (ja) * 2002-07-31 2004-02-26 Fuji Photo Film Co Ltd 撮像装置及びディストーション補正方法
JP2004248077A (ja) * 2003-02-14 2004-09-02 Konica Minolta Holdings Inc 画像処理装置及び画像処理方法並びに画像処理プログラム
JP2005167485A (ja) * 2003-12-01 2005-06-23 Canon Inc 画像処理装置及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1746846A4

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8155439B2 (en) 2006-11-30 2012-04-10 Nikon Corporation Image processing apparatus for correcting image color and image processing program
JP2008141323A (ja) * 2006-11-30 2008-06-19 Nikon Corp 画像の色を補正する画像処理装置、および画像処理プログラム
WO2008068884A1 (ja) * 2006-11-30 2008-06-12 Nikon Corporation 画像の色を補正する画像処理装置、および画像処理プログラム
JP2010045588A (ja) * 2008-08-12 2010-02-25 Sony Corp 画像処理装置及び画像処理方法
JP2010086138A (ja) * 2008-09-30 2010-04-15 Canon Inc 画像処理方法、画像処理装置及び撮像装置
US8605163B2 (en) 2008-09-30 2013-12-10 Canon Kabushiki Kaisha Image processing method, image processing apparatus, image pickup apparatus, and storage medium capable of suppressing generation of false color caused by image restoration
KR101517407B1 (ko) 2008-11-06 2015-05-06 삼성전자주식회사 색수차 제거 방법 및 장치
KR101532605B1 (ko) * 2008-11-06 2015-07-01 삼성전자주식회사 색수차 제거 방법 및 장치
US9160998B2 (en) 2008-11-06 2015-10-13 Samsung Electronics Co., Ltd. Method and apparatus for canceling chromatic aberration
JP2011013857A (ja) * 2009-06-30 2011-01-20 Toshiba Corp 画像処理装置
JP2011101129A (ja) * 2009-11-04 2011-05-19 Canon Inc 画像処理装置及びその制御方法
JP2011151597A (ja) * 2010-01-21 2011-08-04 Nikon Corp 画像処理装置および画像処理プログラム並びに電子カメラ
WO2011118071A1 (ja) 2010-03-25 2011-09-29 富士フイルム株式会社 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体
US8229217B2 (en) 2010-03-25 2012-07-24 Fujifilm Corporation Image processing method and apparatus, image processing program and medium storing this program
WO2013031367A1 (ja) * 2011-08-31 2013-03-07 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US9179113B2 (en) 2011-08-31 2015-11-03 Sony Corporation Image processing device, and image processing method, and program
JP2015170897A (ja) * 2014-03-05 2015-09-28 キヤノン株式会社 画像処理装置および画像処理方法
US10247933B2 (en) 2014-08-29 2019-04-02 Carl Zeiss Microscopy Gmbh Image capturing device and method for image capturing
JP2018082238A (ja) * 2016-11-14 2018-05-24 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム

Also Published As

Publication number Publication date
JP4706635B2 (ja) 2011-06-22
EP1746846A4 (en) 2008-12-24
EP1746846B1 (en) 2019-03-20
JPWO2005101854A1 (ja) 2008-03-06
US7916937B2 (en) 2011-03-29
US20070116375A1 (en) 2007-05-24
EP1746846A1 (en) 2007-01-24

Similar Documents

Publication Publication Date Title
WO2005101854A1 (ja) 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ
JP4815807B2 (ja) Ｒａｗデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
US8233710B2 (en) Image processing device and image processing method
JP4054184B2 (ja) 欠陥画素補正装置
US7016549B1 (en) Image processing method for direction dependent low pass filtering
EP1855486B1 (en) Image processor correcting color misregistration, image processing program, image processing method, and electronic camera
JP3706789B2 (ja) 信号処理装置及び信号処理方法
KR100780242B1 (ko) 이미지의 어두운 영역에서의 노이즈 제거 방법 및 장치
US8145014B2 (en) Apparatus and method of removing color noise of digital image
EP2056607B1 (en) Image processing apparatus and image processing program
US7623705B2 (en) Image processing method, image processing apparatus, and semiconductor device using one-dimensional filters
JP5324508B2 (ja) 画像処理装置および方法，ならびに画像処理プログラム
JP4945942B2 (ja) 画像処理装置
JP6825617B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP4945943B2 (ja) 画像処理装置
KR101600312B1 (ko) 영상처리장치 및 영상처리방법
JP4934839B2 (ja) 画像処理装置及びその方法並びにプログラム
KR100627615B1 (ko) 조정 가능한 임계값을 이용한 노이즈 제거 장치
JP2003123063A (ja) 画像処理装置
JP4797478B2 (ja) 画像処理装置
KR101327790B1 (ko) 영상 보간 방법 및 장치
TWI389571B (zh) 影像處理方法以及影像處理裝置
WO2012007059A1 (en) Method for lateral chromatic aberration detection and correction
WO2007026655A1 (ja) 画像の色ズレ処理を行う画像処理装置、プログラム、撮像装置、および方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006512318

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11545559

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 2005728731

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2005728731

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11545559

Country of ref document: US