WO2007026655A1 - 画像の色ズレ処理を行う画像処理装置、プログラム、撮像装置、および方法 - Google Patents

画像の色ズレ処理を行う画像処理装置、プログラム、撮像装置、および方法 Download PDF

Info

Publication number
WO2007026655A1
WO2007026655A1 PCT/JP2006/316893 JP2006316893W WO2007026655A1 WO 2007026655 A1 WO2007026655 A1 WO 2007026655A1 JP 2006316893 W JP2006316893 W JP 2006316893W WO 2007026655 A1 WO2007026655 A1 WO 2007026655A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
component
luminance
image
unit
Prior art date
Application number
PCT/JP2006/316893
Other languages
English (en)
French (fr)
Inventor
Akihiko Utsugi
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Publication of WO2007026655A1 publication Critical patent/WO2007026655A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Definitions

  • Image processing apparatus program, imaging apparatus, and method for performing color misregistration processing of image
  • the present invention relates to an image processing technique for performing color misregistration processing of an image.
  • an imaging apparatus such as an electronic camera causes a color shift in a captured image due to lateral chromatic aberration of an optical system.
  • a color shift occurs in a captured image due to an alignment error (registration error) of the imaging element.
  • the conventional device of Patent Document 1 first detects a color shift at the edge portion of an image, and performs image processing based on the color shift to correct the lateral chromatic aberration.
  • the conventional device of Patent Document 2 adjusts the magnification for each color component of the image, and corrects the chromatic aberration of magnification by searching for the minimum point of the difference between the color components.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2000-299874
  • Patent Document 2 JP 2002-344978 (Fig. 1, Fig. 3)
  • the present invention provides a technique for performing appropriate color shift detection or color shift correction on an image whose color shift structure has been changed by color difference smoothing or luminance edge enhancement. Objective.
  • An image processing apparatus of the present invention includes an image input unit, a luminance smoothing unit, a color component conversion unit, and a color shift detection unit.
  • the image input unit captures an input image.
  • the luminance smoothing unit performs a smoothing process on the luminance component of the input image (luminance information or a signal component that can be regarded as luminance information).
  • the color component conversion unit obtains a plurality of color components based on the luminance component after smoothing and the color difference component of the input image.
  • the color misregistration detection unit detects color misregistration information from the plurality of color components obtained by the color component conversion unit.
  • a color misregistration correction unit performs color misregistration correction based on the color misregistration information for the plurality of color components obtained by the color component conversion unit.
  • Another image processing apparatus of the present invention includes an image input unit, a luminance smoothing unit, a color component conversion unit, a color shift acquisition unit, and a color shift correction unit.
  • the image input unit captures an input image.
  • the luminance smoothing unit performs a smoothing process on the luminance component of the input image (luminance information or a signal component that can be regarded as luminance information).
  • the color component conversion unit obtains a plurality of color components based on the luminance component after smoothing and the color difference component of the input image.
  • the color shift acquisition unit acquires information on color shift information of the input image.
  • the color misregistration correction unit performs color misregistration correction based on the color misregistration information for the plurality of color components obtained by the color component conversion unit.
  • an outline reproduction unit is provided.
  • the contour reproduction unit adds an edge component of the input image to the corrected image that has been subjected to the color shift correction by the color shift correction unit described above to obtain an output image.
  • ⁇ 5 >> Also preferably, a color difference conversion unit and an image output unit are provided.
  • the color difference conversion unit obtains a color difference component (“corrected color difference component”) based on the color component corrected by the color shift correction unit.
  • the image output unit obtains an output image based on the corrected color difference component and the luminance component of the input image.
  • the luminance smoothing unit applies a smoothing process substantially similar to the color difference smoothing performed on the input image to the luminance component.
  • the image input unit obtains information on the color difference smoothing added to the input image.
  • the luminance smoothing unit sets the luminance component smoothing processing substantially the same as the color difference smoothing performed on the input image according to the color difference smoothing information.
  • An image processing program of the present invention is a program for causing a computer to function as the image input unit, the luminance smoothing unit, the color component conversion unit, and the color misregistration detection unit described in ⁇ 1> above. Program.
  • Another image processing program includes a computer, an image input unit, a luminance smoothing unit, a color component conversion unit, a color shift acquisition unit, and a color shift correction unit described in ⁇ 3> above. It is a program to make it function as.
  • An imaging apparatus includes an imaging unit that captures a subject image to create an input image, and the image processing apparatus according to any one of the above ⁇ 1 >> to ⁇ 7 >>. Is provided.
  • This image processing apparatus is characterized by processing an input image created by an imaging unit.
  • the image processing method of the present invention is a method for performing the process described in the above ⁇ 1 >>.
  • ⁇ 12 Another image processing method of the present invention is a method for performing the process described in the above ⁇ 3 >>.
  • Another image processing apparatus includes an image input unit, a luminance edge extraction unit, a color shift structure restoration unit, and a color shift processing unit.
  • the image input unit captures an input image.
  • the luminance edge extraction unit extracts edge components of luminance components (luminance information or signal components that can be regarded as luminance information) from the input image.
  • the color shift structure restoration unit converts the edge component of the luminance component from the color component of the input image. By subtracting, the edge component mixed in the color component of the input image is reduced.
  • the color misregistration processing unit performs color misregistration detection and Z or color misregistration correction for a plurality of color components obtained by the color misregistration structure restoration unit.
  • a general input image is subjected to image processing such as color difference smoothing and Z or luminance edge enhancement. These processes are imbalanced with respect to luminance and color difference, and cause the spatial structure of the color difference component and the spatial structure of the luminance component to deviate. Spatial structural forces with such disparities generate individual color components, and the spatial information of other components is mixed into the individual color components, and the color misalignment structure changes. In this state, color misregistration cannot be detected accurately based on the spatial information of another component mixed into the color component. In addition, if the color component misalignment is forcibly corrected, the color misregistration cannot be removed well by shifting the position of the spatial information of another component.
  • the present invention performs a smoothing process on the luminance component (luminance information or a signal component that can be regarded as luminance information) of the input image.
  • This luminance smoothing suppresses the imbalance between luminance and color difference caused by color difference smoothing and luminance edge enhancement, and acts in the direction of bringing the spatial structure between both components closer.
  • By obtaining the color component from the luminance component and the color difference component having similar spatial structures it becomes possible to suppress the spatial information of another component mixed in each color component. As a result, a color shift structure close to the original can be reproduced.
  • color misregistration detection or color misregistration is performed on the color component whose color misregistration structure is corrected as described above. For this reason, it is possible to carry out a more appropriate color misregistration process than in the prior art.
  • FIG. 1 is a block diagram showing an image processing apparatus 11 of a first embodiment.
  • FIG. 2 is a diagram illustrating a configuration example of an imaging device 31.
  • FIG. 3 is a flowchart for explaining the operation of the image processing apparatus 11.
  • FIG. 4 is a diagram showing an RG component before color difference smoothing.
  • FIG. 5 is a diagram showing a YCr component before color difference smoothing.
  • FIG. 6 is a diagram showing a YCr component (input image) after color difference smoothing.
  • FIG. 7 is a diagram showing an RG component (input image) after color difference smoothing.
  • FIG. 8 is a diagram showing luminance smoothness for an input image.
  • FIG. 9 is a diagram showing an RG component obtained from smoothing Y and input Cr.
  • FIG. 10 is a diagram showing RG components after color misregistration correction.
  • FIG. 11 is a diagram showing an RG component of an output image.
  • FIG. 12 is a block diagram showing an image processing device 11a of a second embodiment.
  • FIG. 1 is a block diagram showing an image processing apparatus 11 according to the first embodiment.
  • an image input unit 12 captures an input image.
  • the luminance smoothing unit 13 performs a smoothing process on luminance components included in the input image.
  • the color component conversion unit 14 calculates each color component from the “smooth luminance component” and the “color difference component of the input image”.
  • the color misregistration detection unit 15 detects a spatial color misregistration for each color component obtained by the color component conversion unit 14.
  • the color misregistration acquisition unit 16 acquires color misregistration information of the input image from the input image and lens information of the imaging device.
  • the color misregistration correction unit 17 applies each color component obtained by the color component conversion unit 14 based on the color misregistration information detected by the color misregistration detection unit 15 or the color misregistration information acquired by the color misregistration acquisition unit 16.
  • the color difference conversion unit 18 calculates a color difference component from each color component after color misregistration correction.
  • the image output unit 19 obtains an output image by combining the “color difference component obtained by the color difference conversion unit 18” and the “luminance component of the input image”.
  • Each component of the image processing apparatus 11 may be realized by software by executing an image processing program on a computer. Also, each configuration requirement of the image processing apparatus 11 may be realized as node software.
  • FIG. 2 is a diagram illustrating an imaging device 31 that includes the image processing device 11.
  • a lens 32 is attached to the imaging device 31.
  • an image sensor 33 is disposed in the image space of the lens 32.
  • the image signal generated by the image sensor 33 is digitized via the AZD converter 34 and then input to the signal processor 35.
  • the image signal for color difference smoothing processing such as luminance edge enhancement is performed.
  • the image signal processed by the signal processing unit 35 is stored and recorded in the memory card 37 via the card interface 36.
  • the image processing device 11 performs color shift detection and / or color shift correction on the image signal processed by the signal processing unit 35 (or the image signal read from the memory card 37).
  • FIG. 3 is a flowchart for explaining the operation of the image processing apparatus 11.
  • Step S1 The image input unit 12 analyzes additional information of the input image and tries to extract information of color difference smoothness. When the information on the color difference smoothing is successfully acquired, the image input unit 12 transmits the information on the color difference smoothing to the luminance smoothing unit 3.
  • the luminance smoothing unit 13 acquires the information on the color difference smoothing
  • the luminance smoothing unit 13 moves the operation to step S2.
  • the image input unit 12 proceeds to step S3.
  • the color difference smoothing information stores data for specifying a coefficient row of color difference smoothing applied to the input image. Based on this data, the luminance smoothing unit 13 specifies a coefficient matrix for color difference smoothing applied to the input image.
  • the pixel interval of the color difference component when the color difference smoothing is performed by the color difference thinning process such as 4: 2: 2 may be different from the pixel interval of the luminance component when the luminance smoothing is performed.
  • the luminance smoothing unit 13 sets the coefficient matrix determined as described above as the coefficient matrix of luminance smoothing.
  • the luminance smoothing unit 13 shifts the operation to step S4.
  • Step S3 Since the luminance smoothing unit 13 cannot identify the coefficient matrix for color difference smoothing applied to the input image, it sets the coefficient matrix for luminance smoothing to the default.
  • the default here is preferably equal to the “standard coefficient matrix for color difference smoothing” applied to a general input image. Even with such a default coefficient matrix, in the first embodiment, it is possible to stably obtain a color shift improvement effect.
  • the luminance smoothing unit 13 shifts the operation to step S4.
  • the luminance smoothing unit 13 calculates or extracts a luminance component from the input image.
  • the luminance component here is luminance information itself or a signal component that can be regarded as luminance information.
  • the term corresponding to the luminance component in the definition formula of the color difference component is preferably the luminance component.
  • the luminance component is defined by (R ⁇ Y) or (B ⁇ Y)
  • the color difference component is defined by (R ⁇ G) or (B ⁇ G)
  • the luminance smoothing unit 13 performs the luminance smoothing set in step S2 or step S3 on the luminance component obtained also in the input image force.
  • the color component conversion unit 14 obtains individual color components based on the “color difference component that also obtains input image power” and the “luminance component after smoothing”.
  • the color misregistration acquisition unit 16 obtains information on the color misregistration of the input image (information on the chromatic aberration of magnification and registration error, etc.) from the additional information of the input image and the information of the imaging device that generated the input image. ) Try to get.
  • the color misregistration acquisition unit 16 transmits this color misregistration information to the color misregistration correction unit 17, and the operation proceeds to step S9. On the other hand, if it is difficult to obtain color misregistration information, the operation proceeds to step S8.
  • the color misregistration detection unit 15 also detects the color misregistration of each color component force obtained in step S6.
  • the color misregistration may be detected by a method of searching for a displacement vector (block matching) that minimizes the pattern difference from the reference color component such as G while displacing the color component pattern in units of blocks.
  • a displacement vector block matching
  • the color misregistration correction unit 17 corrects the pixel position of the color component and performs interpolation processing for each color component obtained in Step S6, thereby reducing the color misregistration between the color components.
  • the color misalignment information obtained in step S7 or step S8 is used for correcting the pixel position. In this case, it is preferable that the color misregistration correction is performed by correcting the position of the other components with reference to the pixel position of the luminance component (or the color component including the most luminance information) of the input image.
  • the color difference conversion unit 18 calculates a color difference component (hereinafter, “corrected color difference component” t ⁇ ) based on the color component that has been corrected for color misregistration.
  • Step S11 The image output unit 19 combines the “corrected color difference component” obtained in step S10 and the “luminance component of the input image” together as an output image.
  • This output image is output from the image processing apparatus 11 after being converted into a predetermined color system as required.
  • color difference smoothing is a mechanism by which the color shift structure changes due to luminance edge enhancement. Will be described.
  • FIG. 4 shows an example of the color component RG before color difference smoothing.
  • the color component B is set to zero here. In this example, it can be seen that a color misregistration of about 5 pixels occurs from the position difference of the color components.
  • the luminance component (Y here) and the color difference component (Cr here) shown in Fig. 5 are obtained.
  • ⁇ > is a symbol representing smoothing.
  • the smooth smoothing process is regarded as a linear operation and the above equations [2] and [3] are transformed,
  • an input image that has been subjected to color difference smoothing is composed of the above-described luminance component ⁇ and smooth ⁇ color difference components Cr Cr>, C Cb>.
  • the color difference smoothing process for an image is performed by converting each color component to “smoothed a color component such as RGB, and then the edges of luminance components and other color components. It is equivalent to “Process to add component”.
  • FIG. 7 is a diagram showing the color component R ′ G ′ obtained by calculating the input image force after the color difference smoothing.
  • luminance component Y " Y + (Y- ⁇ Y».
  • luminance component Y and color difference components Cr, Cb each color component RG ", B" When calculated, the following equation is obtained.
  • edge enhancement for the luminance component is equivalent to processing for adding the edge component of the luminance component to the color component. For this reason, it is difficult to accurately detect the color misregistration of the color component RG “B” after enhancement of the luminance edge by the amount of the luminance component edge contamination.
  • the color shift correction for the color component RG "" after the luminance edge enhancement shifts the edge of the mixed luminance component, and a color shift of a new image structure occurs. Therefore, it becomes more difficult to perform color misregistration correction after luminance edge enhancement.
  • step S5 smoothing processing is performed on the luminance component of the input image.
  • ⁇ Y> shown in FIG. 8 is obtained by subjecting the luminance component shown in FIG. 6 to a smoothing process substantially equivalent to color difference smoothing. From this smoothed luminance component ⁇ > and the color difference components ⁇ Cr>, ⁇ Cb> of the input image (color difference smoothed), the individual color components are obtained.
  • FIG. 9 shows the color components ⁇ R> and ⁇ G>. As shown in Fig. 9, the color component R
  • > and ⁇ G> have a color shift of about 5 pixels due to the positional difference. This means that the lost color shift in the input image shown in FIG. 7 equal to the original color shift width shown in FIG. 4 is reproduced almost accurately.
  • color misregistration detection is performed for the color components that reproduce the color misregistration structure in this way (see step S8). Therefore, even if the input image is subjected to luminance edge enhancement with chrominance smoothing, it is possible to more accurately detect color misregistration.
  • color misregistration correction is performed on a color component that reproduces the color misregistration structure (see step S9). Therefore, even if the input image is subjected to luminance edge enhancement with color difference smoothing, color misregistration can be corrected more accurately.
  • the color component that reproduces the color shift structure results in a smoothed color component.
  • FIG 10 shows how color shift correction was performed for color components that reproduced this color shift structure. As shown in this figure, the color misregistration between the color components itself is corrected well, but since all the color components are smoothed, the image is not as sharp as it is.
  • a color difference component (corrected color difference component) is calculated from the color component immediately after the color misregistration correction.
  • This corrected color difference component is a component in which color difference is appropriately corrected and the color difference is smoothed to the same extent as the color difference of the input image. Therefore, the negative effect of smoothness in the corrected color difference component is almost the same as that of the input image color difference component, which is substantially the same. Can be ignored.
  • step S 11 described above an output image is generated by combining the corrected color difference component and the luminance component of the input image.
  • the sharpness of the output image can be enhanced.
  • FIG. 11 shows the luminance color difference component of this output image converted into a color component. As shown in this figure, the color shift between the color components is corrected well, and the spatial information of the color components is also well compensated.
  • step S2 information on the color difference smoothing applied to the input image is acquired, and brightness smoothing is set to the same level as color difference smoothing (see step S2). Therefore, it is possible to accurately reproduce the color shift structure. As a result, more accurate processing results can be obtained in color shift detection and color shift correction.
  • the luminance component of an input image includes high-frequency noise such as compression noise and imaging noise.
  • the luminance smoothness in step S5 has a secondary effect of reducing or eliminating these high-frequency noises. Due to this secondary effect, the high-frequency noise of the luminance component is hardly mixed in the color component that reproduces the color shift structure. As a result, it is possible to suppress high-frequency noise mixed in the color difference component of the final output image.
  • FIG. 12 is a diagram illustrating a configuration of the image processing device 11a according to the second embodiment.
  • a feature point of the configuration of the image processing apparatus 11a is that a luminance edge extraction unit 13a and a color shift structure restoration unit 14a are provided. Since other configurations are the same as those of the first embodiment (FIGS. 1 and 2), description of the configuration is omitted here.
  • the image processing apparatus 11a can be realized in hardware as in the first embodiment, or in software by an image processing program on a computer.
  • the image processing device 11a performs the following processing instead of the processing of steps S4 to S6 shown in the first embodiment.
  • the luminance edge extraction unit 13a processes the input image and extracts the edge component of the luminance component. For example, an edge component is extracted for each color component of an RGB image. The edge component of the luminance component is obtained by adding the edge components of these color components.
  • the color shift structure restoration unit 14a subtracts the obtained edge component of the luminance component from the color component of the input image, respectively.
  • the ratio (coefficient) of the edge component to be subtracted is preferably determined by image quality evaluation experiments or simulations.
  • the color components of the input image are preliminarily mixed with the edge components by color difference smoothing and luminance edge enhancement. These mixed edge components can be reduced by the subtraction processing of the color misregistration structure restoration unit 14a. As a result, the original color misregistration structure can be restored appropriately.
  • the color shift detected or corrected in the present embodiment described above is not limited to lateral chromatic aberration.
  • the reproduction of the color misregistration structure of this embodiment is also effective for registration errors and other various color shifts.
  • the information on the color difference smoothing applied to the input image is acquired, and the luminance smoothing is set to substantially the same level as the color difference smoothing.
  • the embodiment is not limited to this.
  • the luminance smoothness can be set so as to eliminate the imbalance between the luminance component and the color difference component of the input image.
  • an image processing server such as an image album server
  • an image processing server may provide the above-described color shift detection and color shift correction for input image data that is also transmitted by the user.
  • RGB is used as the color component
  • YCbCr is used as the luminance color difference.
  • the embodiment is not limited to this. Color components and Therefore, it is preferable to use a color component that is directly related to a color shift, such as an output color signal of the image sensor. Further, as the luminance color difference, it is preferable to use a component that directly applies luminance edge enhancement and color difference smoothing. However, even if Lab or any other luminance color difference is used as the luminance color difference, a certain degree of effect can be obtained.
  • luminance component of the present embodiment does not have to be luminance information itself!
  • signal components that can be regarded as luminance information G, brightness, etc.
  • luminance information G, brightness, etc.
  • (R ⁇ G), (B ⁇ G), etc. may be used as the color difference component.
  • the sharpness of the output image is compensated by combining the luminance component of the input image and the color difference component after the color shift correction.
  • an output image with enhanced sharpness may be generated by edge-enhancing color components after color misregistration correction.
  • edge components of the input image and adding edge components to the image after color drift correction as additional, modulation, waveform shaping, etc.
  • an output image that compensates for sharpness is generated. Also good.
  • the application of the present embodiment is not limited to the color misregistration processing of the imaging apparatus.
  • it can be widely applied to color misregistration processing for devices such as color copy devices, color scanner devices, image display devices, and image playback devices.
  • the present invention is a technique that can be used for color shift detection and color shift correction of an image.

Abstract

　本発明の画像処理装置は、入力画像の輝度成分（輝度情報、または輝度情報と見なすことができる信号成分）に対して平滑化処理を施す。次に、この平滑化後の輝度成分と入力画像の色差成分とに基づいて、複数の色成分を求める。このように求めた色成分について、色ズレ検出および／または色ズレ補正を実施する。

Description

画像の色ズレ処理を行う画像処理装置、プログラム、撮像装置、および方 法
技術分野
[0001] 本発明は、画像の色ズレ処理を行う画像処理技術に関する。
背景技術
[0002] 一般に、電子カメラなどの撮像装置では、光学系の倍率色収差によって、撮像画 像に色ズレを生じることが知られている。また、 3板式の撮像装置では、撮像素子の 位置合わせの誤差 (レジストレーシヨン誤差）によって、撮像画像に色ズレを生じること が知られている。
このような色ズレを、画像処理によって補正する技術が従来提案されて!、る。
例えば、特許文献 1の従来装置は、まず、画像のエッジ部分について色ズレを検出 し、その色ズレに基づ ヽて画像処理を行って倍率色収差を補正する。
また、特許文献 2の従来装置は、画像の色成分ごとに倍率調整を行い、色成分間 の差分の最小点を探すことで、倍率色収差を補正する。
[0003] 特許文献 1：特開 2000— 299874号公報
特許文献 2 :特開 2002— 344978号公報（図 1,図 3)
発明の開示
発明が解決しょうとする課題
[0004] ところで、画像処理では、偽色や色ノイズなどを軽減するため、画像の色差成分を 平滑化する処理がよく行われている。また、画像の鮮鋭感を高めるために、画像の輝 度成分をエッジ強調 (輪郭強調)する処理もよく行われて 、る。
[0005] 本発明者は、これらの処理によって、画像エリア内の色ズレの現れ方（色ズレ構造） が変化することに気が付いた。このように色ズレ構造が変化した画像では、特許文献
1, 2のような色ズレ検出を実施しても、色ズレを正確に検出することができない。また
、色ズレ構造の変化した画像に対して各色成分の位置合わせを行っても、色ズレを 正確に除去することができな 、。 [0006] そこで、本発明では、色差平滑ィ匕ゃ輝度エッジ強調などによって色ズレ構造が変 化した画像に対して、適切な色ズレ検出または色ズレ補正を行うための技術を提供 することを目的とする。
課題を解決するための手段
[0007] 《1》 本発明の画像処理装置は、画像入力部、輝度平滑化部、色成分変換部、およ び色ズレ検出部を備える。
画像入力部は、入力画像を取り込む。
輝度平滑化部は、入力画像の輝度成分 (輝度情報、または輝度情報と見なすこと ができる信号成分）に対して平滑化処理を施す。
色成分変換部は、平滑ィ匕後の輝度成分と入力画像の色差成分とに基づいて、複 数の色成分を求める。
色ズレ検出部は、色成分変換部で求めた複数の色成分にっ ヽて色ズレ情報を検 出する。
[0008] 《2》 なお好ましくは、色ズレ補正部を備える。この色ズレ補正部は、色成分変換部 で求めた複数の色成分に対して、色ズレ情報に基づく色ズレ補正を行う。
[0009] 《3》 本発明の別の画像処理装置は、画像入力部、輝度平滑化部、色成分変換部、 色ズレ取得部、および色ズレ補正部を備える。
画像入力部は、入力画像を取り込む。
輝度平滑化部は、入力画像の輝度成分 (輝度情報、または輝度情報と見なすこと ができる信号成分）に対して平滑化処理を施す。
色成分変換部は、平滑ィ匕後の輝度成分と入力画像の色差成分とに基づいて、複 数の色成分を求める。
色ズレ取得部は、入力画像の色ズレ情報を情報取得する。
色ズレ補正部は、色成分変換部で求めた複数の色成分について、色ズレ情報に基 づく色ズレ補正を行う。
[0010] 《4》 なお好ましくは、輪郭再現部を備える。この輪郭再現部は、上述の色ズレ補正 部で色ズレ補正された補正後画像に対して、入力画像のエッジ成分を付加して出力 画像を得る。 [0011] 《5》 また好ましくは、色差変換部、および画像出力部を備える。
色差変換部は、上記の色ズレ補正部で色ズレ補正された色成分に基づ!、て色差 成分 (『補正後色差成分』と 、う）を求める。
画像出力部は、補正後色差成分と入力画像の輝度成分とに基づいて、出力画像 を得る。
[0012] 《6》 なお好ましくは、輝度平滑ィ匕部は、入力画像に実施済みの色差平滑化と実質 的に同程度の平滑化処理を、輝度成分に施す。
[0013] 《7》 また好ましくは、画像入力部は、入力画像に付加される色差平滑ィ匕の情報を取 得する。この場合、輝度平滑化部は、この色差平滑化の情報に従って、入力画像に 施された色差平滑化と実質的に同程度に、輝度成分の平滑ィ匕処理を設定する。
[0014] 《8》 本発明の画像処理プログラムは、コンピュータを、上記《1》に記載の画像入力 部、輝度平滑化部、色成分変換部と、および色ズレ検出部として機能させるためのプ ログラムである。
[0015] 《9》 本発明の別の画像処理プログラムは、コンピュータを、上記《3》に記載の画像 入力部、輝度平滑化部、色成分変換部、色ズレ取得部、および色ズレ補正部として 機能させるためのプログラムである。
[0016] 《10》 本発明の撮像装置は、被写体像を撮像して入力画像を作成する撮像部と、 上記の《1》〜《7》の 、ずれか 1項に記載の画像処理装置とを備える。この画像処理 装置は、撮像部で作成された入力画像を処理することを特徴とする。
[0017] 《11》 本発明の画像処理方法は、上記《1》に記載の処理を実施する方法である。
[0018] 《12》 本発明の別の画像処理方法は、上記《3》に記載の処理を実施する方法であ る。
[0019] 《13》 本発明の別の画像処理装置は、画像入力部、輝度エッジ抽出部、色ズレ構 造復元部、および色ズレ処理部を備える。
画像入力部は、入力画像を取り込む。
輝度エッジ抽出部は、入力画像カゝら輝度成分 (輝度情報、または輝度情報と見な すことができる信号成分)のエッジ成分を抽出する。
色ズレ構造復元部は、入力画像の色成分から、輝度成分のエッジ成分をそれぞれ 減算することにより、入力画像の色成分に混入しているエッジ成分を低減する。 色ズレ処理部は、色ズレ構造復元部で求めた複数の色成分について、色ズレ検出 および Zまたは色ズレ補正を実施する。
発明の効果
[0020] 一般的な入力画像には、色差平滑化および Zまたは輝度エッジ強調の画像処理 が施されている。これらの処理は輝度と色差に対するアンバランスな処理であり、色 差成分の空間的構造と、輝度成分の空間的構造とを乖離させてしまう。このように乖 離した空間的構造力 個々の色成分を生成すると、個々の色成分に別成分の空間 情報が混入することになり、色ズレ構造が変化してしまう。この状態では、色成分に混 入した別成分の空間情報によって、色ズレを正確に検出できない。また、色成分のズ レを無理に補正すると、別成分の空間情報の位置をずらすことにより、色ズレを良好 に除去することができない。
[0021] そこで、本発明は、入力画像の輝度成分 (輝度情報、または輝度情報と見なすこと ができる信号成分）に対して平滑化処理を施す。この輝度平滑化は、色差平滑化や 輝度エッジ強調により生じた輝度—色差間のアンバランスを抑制し、両成分間の空 間的構造を近づける方向に作用する。この空間的構造の近い輝度成分と色差成分 とから色成分を求めることにより、個々の色成分に混入していた別成分の空間情報を 抑制することが可能になる。その結果、本来に近い色ズレ構造を再現することができ る。本発明では、このように色ズレ構造を修正した色成分に対して色ズレ検出または 色ズレ補正を実施する。そのため、従来技術に比べて、より適切な色ズレ処理を実施 することが可能になる。
なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付 図面とによって容易に確認することができる。
図面の簡単な説明
[0022] [図 1]第 1実施形態の画像処理装置 11を示すブロック図である。
[図 2]撮像装置 31の構成例を示す図である。
[図 3]画像処理装置 11の動作を説明する流れ図である。
[図 4]色差平滑ィ匕前の RG成分を示す図である。 [図 5]色差平滑ィ匕前の YCr成分を示す図である。
[図 6]色差平滑ィ匕後の YCr成分 (入力画像)を示す図である。
[図 7]色差平滑ィ匕後の RG成分 (入力画像)を示す図である。
[図 8]入力画像に対する輝度平滑ィ匕を示す図である。
[図 9]平滑化 Yと入力 Crから求めた RG成分を示す図である。
[図 10]色ズレ補正後の RG成分を示す図である。
[図 11]出力画像の RG成分を示す図である。
[図 12]第 2実施形態の画像処理装置 11aを示すブロック図である。
発明を実施するための最良の形態
[0023] 《第 1実施形態の構成説明》
図 1は、第 1実施形態の画像処理装置 11を示すブロック図である。
図 1において、画像入力部 12は入力画像を取り込む。輝度平滑ィ匕部 13は、入力 画像に含まれる輝度成分について平滑化処理を施す。色成分変換部 14は、「平滑 ィ匕輝度成分」と「入力画像の色差成分」から各色成分を算出する。色ズレ検出部 15 は、色成分変換部 14で求めた各色成分について空間的な色ズレを検出する。一方 、色ズレ取得部 16は、入力画像や撮像装置のレンズ情報などから、入力画像の色ズ レ情報を取得する。色ズレ補正部 17は、色ズレ検出部 15で検出した色ズレ情報、あ るいは色ズレ取得部 16で取得した色ズレ情報に基づ 、て、色成分変換部 14で求め た各色成分に対して色ズレの補正を実施する。色差変換部 18は、色ズレ補正後の 各色成分から色差成分を算出する。画像出力部 19は、「色差変換部 18で求めた色 差成分」と「入力画像の輝度成分」とを併せて、出力画像を得る。
なお、画像処理装置 11の各構成要件は、コンピュータ上で画像処理プログラムを 実行することにより、ソフトウェア的に実現してもよい。また、画像処理装置 11の各構 成要件をノヽードウエアとして実現してもよ 、。
[0024] 図 2は、画像処理装置 11を搭載する撮像装置 31を示す図である。
撮像装置 31にはレンズ 32が装着される。このレンズ 32の像空間には、撮像素子 3 3が配置される。撮像素子 33で生成される画像信号は、 AZD変換部 34を介してデ ジタル化された後、信号処理部 35に入力される。この信号処理部 35では、画像信号 に対して色差平滑ィ匕ゃ輝度エッジ強調などの処理を実施する。信号処理部 35で処 理された画像信号は、カードインターフェース 36を介して、メモリカード 37に保存記 録される。画像処理装置 11は、信号処理部 35で処理された画像信号 (あるいはメモ リカード 37から読み出した画像信号）に対して、色ズレ検出および/または色ズレ補 正を実施する。
[0025] 《第 1実施形態の動作説明》
図 3は、画像処理装置 11の動作を説明する流れ図である。
以下、図 3に示すステップ番号の順に、画像処理装置 11の動作を説明する。
[0026] [ステップ S1] 画像入力部 12は、入力画像の付加情報などを解析し、色差平滑ィ匕 の情報抽出を試みる。色差平滑ィ匕の情報取得に成功した場合、画像入力部 12は、 この色差平滑化の情報を輝度平滑化部丄 3に伝達する。
輝度平滑ィ匕部 13は、色差平滑化の情報を取得した場合、ステップ S2に動作を移 行する。一方、色差平滑ィ匕の情報を取得できない場合、画像入力部 12はステップ S 3に動作を移行する。
[0027] [ステップ S2] 色差平滑化の情報には、入力画像に施された色差平滑化の係数行 列を特定するためのデータが格納される。輝度平滑ィ匕部 13は、このデータによって、 入力画像に施された色差平滑化の係数行列を特定する。
例えば、下記のようなガウシアン型平滑ィ匕処理の係数行列が特定される。
1, 4, 6, 4, 1
4, 16, 24, 16, 4
6, 24, 36, 24, 6
4, 16, 24, 16, 4
1, 4, 6, 4, 1
ちなみに、適応型の色差平滑化 (局所的な画像構造に応じて色差平滑化の係数 行列が変化するもの）の場合には、使用された係数行列群の中で使用頻度が高いな どの代表的な係数行列を特定することが好ま 、。
また、 4 : 2 : 2などの色差間引き処理により、色差平滑化を実施した際の色差成分の 画素間隔と、輝度平滑ィ匕を実施する際の輝度成分の画素間隔が異なる場合がある。 この場合は、係数行列の行列間隔を調整したり、係数行列の空き要素を補間するな どの処理によって、同等な係数行列を求めることが好まし 、。
輝度平滑ィ匕部 13は、上述のように決定した係数行列を、輝度平滑ィ匕の係数行列に 設定する。
このような動作の後、輝度平滑化部 13はステップ S4に動作を移行する。
[0028] [ステップ S3] 輝度平滑化部 13は、入力画像に施された色差平滑化の係数行列を 特定できないため、輝度平滑化の係数行列をデフォルトに設定する。ここでのデフォ ルトは、一般的な入力画像に施される「色差平滑化の標準的な係数行列」に等しくす ることが好ましい。このようなデフォルトの係数行列であっても、第 1実施形態では、安 定的に色ズレ改善効果を得ることができる。
このような動作の後、輝度平滑化部 13はステップ S4に動作を移行する。
[0029] [ステップ S4] 輝度平滑ィ匕部 13は、入力画像から輝度成分を算出または抽出する 。ここでの輝度成分は、輝度情報そのもの、または輝度情報と見なすことができる信 号成分である。
なお、色差成分 (色差平滑化が施された成分)の定義式中の輝度成分に対応する 項を、輝度成分とすることが好ましい。例えば、色差成分が (R—Y)や (B—Y)で定 義される場合は、輝度信号 Yを輝度成分とすることが好ましい。また例えば、色差成 分が (R—G)や (B— G)で定義される場合は、輝度情報と見なすことができる緑色成 分 Gを輝度成分とすることが好ま U、。
[0030] [ステップ S5] 輝度平滑ィ匕部 13は、入力画像力も得た輝度成分に対して、ステップ S2またはステップ S3で設定した輝度平滑ィ匕を施す。
[0031] [ステップ S6] 色成分変換部 14は、「入力画像力も得た色差成分」と「平滑ィ匕後の 輝度成分」とに基づいて、個々の色成分を求める。
[0032] [ステップ S7] 色ズレ取得部 16は、入力画像の付加情報や、入力画像を生成した 撮像装置の情報から、入力画像の色ズレに関する情報 (倍率色収差やレジストレー シヨン誤差の情報など）の取得を試みる。
色ズレ情報の取得に成功した場合、色ズレ取得部 16は、この色ズレ情報を色ズレ 補正部 17に伝達し、ステップ S 9に動作を移行する。 一方、色ズレ情報を得ることができな力つた場合、ステップ S8に動作を移行する。
[0033] [ステップ S8] 色ズレ検出部 15は、ステップ S6で求めた各色成分力も色ズレを検出 する。
ここでは、各色成分ごとに特徴構造 (エッジなど)を抽出し、色成分間における特徴 構造の位置差を色ズレとして検出してもよ!/、。
また、色成分のパターンをブロック単位に変位させながら、 Gなどの基準色成分との パターン差異が最小となる変位ベクトルを探索する方法 (ブロックマッチング）により、 色ズレを検出してもよい。
なお、画像エリア内の複数箇所で色ズレを検出し、これらの色ズレをベクトル補間し たり、統計処理することが好ましい。このような処理により、画素間隔よりも細かな精度 で色ズレを検出することが可能になる。また、色ズレの検出箇所の数を減らすことで、 色ズレ検出の処理時間を短縮することが可能になる。
[0034] [ステップ S9] 色ズレ補正部 17は、ステップ S6で求めた各色成分に対して、色成分 の画素位置の修正や補間処理を実施し、各色成分間の色ズレを軽減する。この画素 位置の修正には、ステップ S7またはステップ S8で得た色ズレ情報が使用される。 なお、ここでの色ズレ補正は、入力画像の輝度成分 (または輝度情報を一番多く含 む色成分)の画素位置を基準にして、その他の成分の位置を修正することが好まし い。
[0035] [ステップ S10] 色差変換部 18は、色ズレ補正済みの色成分に基づいて、色差成 分 (以下「補正後色差成分」 t\、う）を算出する。
[0036] [ステップ S11] 画像出力部 19は、ステップ S10で求めた「補正後色差成分」と、「入 力画像の輝度成分」とを併せて、出力画像とする。この出力画像は、必要に応じて、 所定の表色系に変換されるなどした後、画像処理装置 11から出力される。
上述した一連の処理により、入力画像に対する色ズレ検出や色ズレ補正が完了す る。
[0037] 《第 1実施形態の原理的な説明》
(1)色ズレ構造の変化のしくみについて
まず最初に、色差平滑ィ匕ゃ輝度エッジ強調によって、色ズレ構造が変化するしくみ について説明する。
図 4には、色差平滑化前の色成分 RGの一例を示す。説明を簡明にするため、ここ では色成分 Bをゼロとする。この例では、色成分の位置差から 5画素程度の色ズレを 生じて 、ることが読み取れる。
[0038] この色差平滑化前の RG成分を、例えば下式に従って輝度色差変換することにより
、図 5に示す輝度成分 (ここでは Y)と色差成分 (ここでは Cr)が得られる。
Y=(R+2G + B)/4
Cr=R-Y ---[2]
Cb = B-Y ---[3]
[0039] この色差成分 Crに対して色差平滑ィ匕を行うことにより、図 6に示すように平滑ィ匕され た色差成分く Cr>が得られる。なお、 <>は平滑化を表す記号である。ここで、平 滑ィ匕処理を線形な演算と見なして、上記の式 [2] [3]を変形すると、
<Cr> = <R>— <Y> -[4]
<Cb> = <B>— <Υ> ---[5]
が得られる。
[0040] 以上の説明により、色差平滑化済みの入力画像は、上記の輝度成分 Υと、平滑ィ匕 色差成分く Cr>,く Cb>とから構成されることがわかる。
これらの輝度色差成分を変換して、個々の色成分を求めると、
R' =<Cr>+Y=<R> + (Y-<Y>) ---[6]
B' =<Cb>+Y=<B> + (Y-<Y>) ---[7]
G' =(G + <G>)/2+[(R-<R>) + (B-<B>)]/2 ---[8]
となる。
[0041] ここで、式 [6]〜 [8]の右辺第 2項である（Y— <Y>；), (R-<R>), (B— <B> )は、それぞれ Y, R, Bのエッジ成分である。このことから、色差平滑化された画像か ら求めた色成分 G' B' には、輝度成分やその他の色成分のエッジ成分が混入 していることが分かる。
つまり、画像に対する色差平滑化処理は、各色成分への変換処理を経ることによつ て、『RGBなどの色成分を平滑ィヒして、さらに輝度成分やその他の色成分のエッジ 成分を付加する処理』と等しくなる。
[0042] 図 7は、色差平滑ィ匕済みの入力画像力 求めた色成分 R' G' を示す図である。
この図 7に示す色成分 R' G' は、色差平滑ィ匕によって、別成分のエッジ成分が混 入するため、色成分の構造が複雑に変化していることがわかる。そのため、色差平滑 化後の色成分 G' 間において色ズレを検出することは難しい。
[0043] また、正確な色ズレをレンズ情報などから取得できるケースでは、図 7に示す色成 分！^ G' に対して色ズレ補正を一応実施することが可能である。し力しながら、色 差平滑化後の色成分 G' に対する色ズレ補正は、色差平滑ィ匕によって混入した エッジ成分をずらすことになり、新たな画像構造の色ズレが発生する。そのため、色 差平滑ィ匕後に色ズレ補正を実施することは更に困難になる。
[0044] 一方、輝度エッジ強調を行うと、輝度成分 Y" =Y+ (Y- <Y»となる。この輝度 成分 Y と色差成分 Cr, Cbとに基づいて、各色成分 R G" , B"を求めると、下 式が得られる。
R =R+ (Y- <Y>) - - - [9]
" =B+ (Y- <Y>) - - - [10]
G" =G + (Y- <Y>)
[0045] このように輝度成分に対するエッジ強調は、色成分に対して輝度成分のエッジ成分 を付加する処理と等しい。そのため、輝度エッジ強調後の色成分 R G" B" は、 輝度成分のエッジ混入の分だけ、色ズレを正確に検出することが難しくなる。
[0046] また、輝度エッジ強調後の色成分 R G" " に対する色ズレ補正は、混入した 輝度成分のエッジをずらすことになり、新たな画像構造の色ズレが発生する。そのた め、輝度エッジ強調後に色ズレ補正を実施することは更に困難になる。
[0047] (2)色ズレ構造の再現について
続いて、第 1実施形態における色ズレ構造の再現効果について説明する。 上述したステップ S5では、入力画像の輝度成分に対して平滑ィ匕処理を施す。
例えば、図 8に示す <Y>は、図 6に示した輝度成分 Υに、色差平滑化と実質的に 同程度の平滑ィ匕処理を施したものである。この平滑化輝度成分 <Υ>と、入力画像（ 色差平滑ィ匕済み）の色差成分く Cr> ,く Cb >とから、個々の色成分を求めると、 R成分 =<Cr> + <Y> = <R> ---[12]
B成分 =<Cb> + <Y> = <B> ---[13]
G成分 =<Y>— (く Cr> + <Cb>)Z2=<G> ---[14]
となる。
[0048] 図 9は、この色成分 <R>, <G>を示すものである。図 9に示すように、色成分く R
>, <G>は、その位置差から 5画素程度の色ズレを生じていることが読み取れる。こ れは、図 4に示した本来の色ズレの幅と等しぐ図 7に示す入力画像においてー且失 われた色ズレがほぼ正確に再現されていることを意味する。
このように、入力画像の輝度成分を平滑化することで、色差平滑化や輝度エッジ強 調による色差—輝度間のアンバランスを軽減し、本来の色ズレ構造を再現することが できる。
[0049] 第 1実施形態では、このように色ズレ構造を再現した色成分について、色ズレ検出 を実施する (ステップ S8参照)。したがって、色差平滑ィ匕ゃ輝度エッジ強調の施され た入力画像であっても、色ズレをより正確に検出することが可能になる。
[0050] また、第 1実施形態では、色ズレ構造を再現した色成分に対して、色ズレ補正を実 施する (ステップ S9参照)。したがって、色差平滑ィ匕ゃ輝度エッジ強調の施された入 力画像であっても、色ズレをより正確に補正することが可能になる。
[0051] (3)輪郭構造の再現について
式 [12]〜[14]に示すように、色ズレ構造を再現した色成分は、結果的に平滑化さ れた色成分となる。
図 10には、この色ズレ構造を再現した色成分に対して、色ズレ補正を実施した様 子を示す。この図に示されるように、色成分間の色ズレ自体は良好に補正されるが、 すべての色成分が平滑ィ匕されるため、このままでは鮮鋭感の乏しい画像になってし まつ。
[0052] そこで、上述したステップ S 10では、色ズレ補正直後の色成分から色差成分 (補正 後色差成分)を算出する。この補正後色差成分は、色ズレが適切に補正された上、 入力画像の色差と同程度に色差平滑化された成分である。したがって、補正後色差 成分における平滑ィ匕の悪影響は、入力画像の色差成分と同程度であり、実質的に 無視することができる。
[0053] さらに、上述したステップ S 11では、この補正後色差成分と、入力画像の輝度成分 とを組み合わせて、出力画像を生成する。この輝度成分によって輝度のエッジ情報 力 S補われることにより、出力画像の鮮鋭感を高めることが可能になる。
図 11には、この出力画像の輝度色差成分を色成分に変換してものを示す。この図 に示されるように、色成分間の色ズレは良好に補正され、かつ色成分の空間情報も 良好に補われる。
[0054] (4)輝度平滑ィ匕の設定について
さらに、第 1実施形態では、入力画像に施された色差平滑ィ匕の情報を取得して、輝 度平滑化を色差平滑化と同程度に設定する (ステップ S2参照)。したがって、色ズレ 構造を正確に再現することが可能になる。その結果、色ズレ検出や色ズレ補正にお いて、一段と正確な処理結果を得ることが可能になる。
[0055] (5)輝度平滑ィ匕の副次的な効果について
一般に、入力画像の輝度成分には、圧縮ノイズや撮像ノイズなどの高域ノイズが含 まれる。ステップ S5の輝度平滑ィ匕は、これら高域ノイズを低減ないし除去する副次効 果がある。この副次効果により、色ズレ構造を再現した色成分には、輝度成分の高域 ノイズが殆ど混入しない。その結果、最終的な出力画像の色差成分に混入する高域 ノイズを抑えることが可能になる。
次に、別の実施形態について説明する。
[0056] 《第 2実施形態》
図 12は、第 2実施形態の画像処理装置 11aの構成を示す図である。
画像処理装置 11aの構成上の特徴点は、輝度エッジ抽出部 13a、および色ズレ構 造復元部 14aを備えた点である。その他の構成については第 1実施形態（図 1,図 2) と同じため、ここでの構成説明を省略する。この画像処理装置 11aは、第 1実施形態 と同様に、ハードウェア的に実現したり、コンピュータ上の画像処理プログラムによつ てソフトウェア的に実現することができる。
画像処理装置 11aは、第 1実施形態に示したステップ S4〜S6の処理に代えて、次 の処理を行う。 [0057] (1)輝度エッジ抽出部 13aは、入力画像を処理して、輝度成分のエッジ成分を抽出 する。例えば、 RGB画像の色成分ごとにエッジ成分を抽出する。これら色成分のエツ ジ成分を加算することにより、輝度成分のエッジ成分を求める。
[0058] (2)色ズレ構造復元部 14aは、求めた輝度成分のエッジ成分を、入力画像の色成分 からそれぞれ減算する。この減算するエッジ成分の割合 (係数）については、画質評 価実験やシミュレーションなどによって決定することが好ましい。
上記の式 [6]〜 [11]に示したように、入力画像の色成分には、色差平滑化や輝度 エッジ強調によって、エッジ成分が予め混入している。これら混入エッジ成分を、色ズ レ構造復元部 14aの減算処理によって低減することができる。その結果、本来の色ズ レ構造を適度に復元することが可能になる。
なお、その他の処理については、第 1実施形態と同じために、ここでの動作説明を 省略する。
[0059] 《実施形態の補足事項》
なお、上述した本実施形態で検出または補正する色ズレは、倍率色収差に限定さ れない。本実施形態の色ズレ構造の再現は、レジストレーシヨン誤差その他の多様な 色ずれにも有効である。
[0060] また、本実施形態では、入力画像に施された色差平滑化の情報を取得して、輝度 平滑化を色差平滑化と実質的に同程度に設定している。しかしながら、実施形態は これに限定されるものではない。例えば、入力画像の輝度エッジ強調についても情 報取得することで、入力画像の輝度成分と色差成分のアンバランスを解消するように 、輝度平滑ィ匕を設定することが可能になる。
[0061] なお、上述した実施形態では、コンピュータまたは撮像装置 31にお 、て、色ズレを 処理するケースについて説明した。し力しながら、実施形態はこれに限定されるもの ではない。例えば、インターネット上の画像処理サーバー（画像アルバムサーバーな ど）において、ユーザー力も伝送される入力画像のデータを対象に、上述した色ズレ 検出や色ズレ補正をサービス提供してもよ 、。
[0062] また、上述した実施形態では、色成分として RGBを使用し、輝度色差として YCbCr を使用している。し力しながら、実施形態はこれに限定されるものではない。色成分と しては、撮像素子の出力色信号など色ズレと直接関係する色成分を使用することが 好ましい。また、輝度色差としては、輝度エッジ強調や色差平滑ィ匕を直接に施す成 分を使用することが好ましい。し力しながら、輝度色差として Labその他の任意の輝 度色差を使用しても、ある程度の効果を得ることが可能である。
[0063] なお、本実施形態の輝度成分は、輝度情報そのものでなくてもよ!、。例えば、輝度 情報と見なせる信号成分 (Gや明度など)を使用してもよい。また、色差成分として (R -G) , (B—G)などを使用してもよい。
[0064] また、本実施形態では、入力画像の輝度成分と、色ズレ補正後の色差成分とを組 み合わせることで、出力画像の鮮鋭感を補っている。しかしながら、実施形態はこれ に限定されるものではない。例えば、色ズレ補正後の色成分をエッジ強調することに より、鮮鋭感を高めた出力画像を生成してもよい。また例えば、入力画像のエッジ成 分を用いて、色ズレ補正後の画像にエッジ成分を付カ卩 (加算や変調や波形整形など )することにより、鮮鋭感を補った出力画像を生成してもよい。
[0065] さらに、本実施形態の用途は、撮像装置の色ズレ処理に限らない。例えば、カラー コピー装置、カラースキャナー装置、画像表示装置、または画像再生装置などの機 器を対象とした、色ズレ処理に幅広く応用が可能である。
なお、本発明は、その精神または主要な特徴力 逸脱することなぐ他のいろいろ な形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に 過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって 示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲 の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。
産業上の利用可能性
[0066] 以上説明したように、本発明は、画像の色ズレ検出や色ズレ補正などに利用可能 な技術である。

Claims

請求の範囲
[1] 入力画像を取り込む画像入力部と、
前記入力画像の輝度成分 (輝度情報、または輝度情報と見なすことができる信号 成分）に対して平滑化処理を施す輝度平滑化部と、
前記平滑化後の輝度成分と前記入力画像の色差成分とに基づいて、複数の色成 分を求める色成分変換部と、
前記色成分変換部で求めた複数の前記色成分について色ズレ情報を検出する色 ズレ検出部と
を備えたことを特徴とする画像処理装置。
[2] 請求項 1に記載の画像処理装置において、
前記色成分変換部で求めた複数の前記色成分に対して、前記色ズレ情報に基づ く色ズレ補正を行う色ズレ補正部と
を備えたことを特徴とする画像処理装置。
[3] 入力画像を取り込む画像入力部と、
前記入力画像の輝度成分 (輝度情報、または輝度情報と見なすことができる信号 成分）に対して平滑化処理を施す輝度平滑化部と、
前記平滑化後の輝度成分と前記入力画像の色差成分とに基づいて、複数の色成 分を求める色成分変換部と、
前記入力画像の色ズレ情報を情報取得する色ズレ取得部と、
前記色成分変換部で求めた複数の前記色成分につ!、て、前記色ズレ情報に基づ く色ズレ補正を行う色ズレ補正部と
を備えたことを特徴とする画像処理装置。
[4] 請求項 2または請求項 3に記載の画像処理装置にお 、て、
前記色ズレ補正部で色ズレ補正された補正後画像に対して、前記入力画像のエツ ジ成分を付加することにより、出力画像を得る輪郭再現部
を備えたことを特徴とする画像処理装置。
[5] 請求項 2または請求項 3に記載の画像処理装置にお 、て、
前記色ズレ補正部で色ズレ補正された前記色成分に基づ！/ヽて色差成分 (『補正後 色差成分』と ヽぅ）を求める色差変換部と、
前記補正後色差成分と、前記入力画像の輝度成分とに基づいて出力画像を得る 画像出力部と
を備えたことを特徴とする画像処理装置。
[6] 請求項 1な!、し請求項 5の 、ずれか 1項に記載の画像処理装置にお!/、て、
前記輝度平滑化部が実施する前記平滑化処理は、前記入力画像に実施済みの色 差平滑化と実質的に同程度の平滑化処理に設定される
ことを特徴とする画像処理装置。
[7] 請求項 1な!、し請求項 5の 、ずれか 1項に記載の画像処理装置にお!/、て、
前記画像入力部は、前記入力画像に付加される「色差平滑化の情報」を取得し、 前記輝度平滑化部は、前記色差平滑化の情報に従って、前記入力画像に施され た前記色差平滑化と実質的に同程度に、前記輝度成分の平滑化処理を設定する ことを特徴とする画像処理装置。
[8] コンピュータを、請求項 1に記載の前記画像入力部、前記輝度平滑化部、前記色 成分変換部と、および前記色ズレ検出部として機能させるための画像処理プログラム
[9] コンピュータを、請求項 3に記載の前記画像入力部、前記輝度平滑化部、前記色 成分変換部、前記色ズレ取得部、および前記色ズレ補正部として機能させるための 画像処理プログラム。
[10] 被写体像を撮像して入力画像を作成する撮像部と、
請求項 1な!、し請求項 7の 、ずれか 1項に記載の画像処理装置とを備え、 前記画像処理装置は、前記撮像部で作成された前記入力画像を処理する ことを特徴とする撮像装置。
[11] 入力画像を取り込む画像入力ステップと、
前記入力画像の輝度成分 (輝度情報、または輝度情報と見なすことができる信号 成分）に対して平滑化処理を施す輝度平滑化ステップと、
前記平滑化後の輝度成分と前記入力画像の色差成分とに基づいて、複数の色成 分を求める色成分変換ステップと、 前記色成分変換ステップで求めた複数の前記色成分について色ズレ情報を検出 する色ズレ検出ステップと
を備えたことを特徴とする画像処理方法。
[12] 入力画像を取り込む画像入力ステップと、
前記入力画像の輝度成分 (輝度情報、または輝度情報と見なすことができる信号 成分）に対して平滑化処理を施す輝度平滑化ステップと、
前記平滑化後の輝度成分と前記入力画像の色差成分とに基づいて、複数の色成 分を求める色成分変換ステップと、
前記入力画像の色ズレ情報を情報取得する色ズレ取得ステップと、
前記色成分変換ステップで求めた複数の前記色成分につ!、て、前記色ズレ情報 に基づく色ズレ補正を行う色ズレ補正ステップと
を備えたことを特徴とする画像処理方法。
[13] 入力画像を取り込む画像入力部と、
前記入力画像から輝度成分 (輝度情報、または輝度情報と見なすことができる信号 成分)のエッジ成分を抽出する輝度エッジ抽出部と、
前記入力画像の色成分から、前記輝度成分の前記エッジ成分をそれぞれ減算す ることにより、前記入力画像の色成分に混入しているエッジ成分を低減する色ズレ構 造復元部と、
前記色ズレ構造復元部で求めた複数の前記色成分につ！ヽて、色ズレ検出および
Zまたは色ズレ補正を実施する色ズレ処理部と
を備えたことを特徴とする画像処理装置。
PCT/JP2006/316893 2005-08-31 2006-08-28 画像の色ズレ処理を行う画像処理装置、プログラム、撮像装置、および方法 WO2007026655A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-251821 2005-08-31
JP2005251821 2005-08-31

Publications (1)

Publication Number Publication Date
WO2007026655A1 true WO2007026655A1 (ja) 2007-03-08

Family

ID=37808745

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/316893 WO2007026655A1 (ja) 2005-08-31 2006-08-28 画像の色ズレ処理を行う画像処理装置、プログラム、撮像装置、および方法

Country Status (1)

Country Link
WO (1) WO2007026655A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05244607A (ja) * 1991-08-12 1993-09-21 Olympus Optical Co Ltd 色ズレ軽減装置
JPH089398A (ja) * 1994-06-16 1996-01-12 Matsushita Electric Ind Co Ltd 色ずれ補正回路
WO2005117455A1 (ja) * 2004-05-31 2005-12-08 Nikon Corporation Ｒａｗデ－タから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05244607A (ja) * 1991-08-12 1993-09-21 Olympus Optical Co Ltd 色ズレ軽減装置
JPH089398A (ja) * 1994-06-16 1996-01-12 Matsushita Electric Ind Co Ltd 色ずれ補正回路
WO2005117455A1 (ja) * 2004-05-31 2005-12-08 Nikon Corporation Ｒａｗデ－タから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ

Similar Documents

Publication Publication Date Title
EP1855486B1 (en) Image processor correcting color misregistration, image processing program, image processing method, and electronic camera
EP1761072B1 (en) Image processing device for detecting chromatic difference of magnification from raw data, image processing program, and electronic camera
EP1746846B1 (en) Image processing device having color shift-correcting function, image processing program, and electronic camera
JP4054184B2 (ja) 欠陥画素補正装置
JP4668185B2 (ja) 画像処理方法
WO2007105359A1 (ja) 倍率色収差を画像解析する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
EP1976268A1 (en) Imaging system and image processing program
WO2007007878A1 (ja) 画像処理装置および画像処理方法
JP2005056374A (ja) 映像処理におけるエッジ強調のための装置および方法
US20080089582A1 (en) Image compensation in regions of low image contrast
JP5018052B2 (ja) 画像の色を補正する画像処理装置、および画像処理プログラム
WO2007026655A1 (ja) 画像の色ズレ処理を行う画像処理装置、プログラム、撮像装置、および方法
JP6024363B2 (ja) 画像処理装置
JP4541213B2 (ja) 電子透かし挿入方法及び電子透かし検出方法並びに電子透かし挿入装置及び電子透かし検出装置
KR100688757B1 (ko) 이미지 데이터의 에지 강조 장치 및 방법
JP2006293602A (ja) 画像処理方法及び画像処理装置
JP2005057748A (ja) 色調補正回路及び色調補正方法
EP1914979B1 (en) Image compensation in regions of low image contrast
JPH10200902A (ja) 画像処理装置
JPH11120288A (ja) 画像のずれ検出方法
JP2002218484A (ja) 画像補間装置
JP2011124885A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06783122

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP