JP4626776B2 - Color correction method and color correction apparatus - Google Patents

Color correction method and color correction apparatus Download PDF

Info

Publication number
JP4626776B2
JP4626776B2 JP2007524675A JP2007524675A JP4626776B2 JP 4626776 B2 JP4626776 B2 JP 4626776B2 JP 2007524675 A JP2007524675 A JP 2007524675A JP 2007524675 A JP2007524675 A JP 2007524675A JP 4626776 B2 JP4626776 B2 JP 4626776B2
Authority
JP
Japan
Prior art keywords
spectral distribution
illumination
input image
image
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007524675A
Other languages
Japanese (ja)
Other versions
JPWO2007007786A1 (en
Inventor
正人 塚田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2007007786A1 publication Critical patent/JPWO2007007786A1/en
Application granted granted Critical
Publication of JP4626776B2 publication Critical patent/JP4626776B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6088—Colour correction or control controlled by factors external to the apparatus by viewing conditions, i.e. conditions at picture output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、カラー画像の色補正を行う方法および装置に関し、特に、ホワイトバランス補正を含んだ色補正方法および色補正装置に関する。   The present invention relates to a method and apparatus for performing color correction of a color image, and more particularly to a color correction method and color correction apparatus including white balance correction.

デジタル画像の画質改善を実現するために、画像の色補正方法が提案されている。特に、デジタルカラー画像の色補正においては、ホワイトバランスの調整は重要であり、ホワイトバランスの調整を含む色補正方法として、様々な手法が提案されている。例えば、特開２００１−１４８８６３号公報（特許文献１）には、画像のヒストグラムを利用してあらかじめ算出したホワイトバランスのパラメータを画像中の肌色領域に適用し、好ましい肌色になるかどうかを基準にパラメータを決定する方法が記載されている。なお、好ましい肌色にならない場合については、未処理すなわち色補正を行わないこととなる。特開平１１−２８９５４８号公報（特許文献２）、特開平３−１４８９８９号公報（特許文献３）、特開昭６２−２６５８８５号公報（特許文献４）においても、画像のヒストグラムを利用してホワイトバランスの補正を実現する方法が記載されている。   In order to improve the image quality of digital images, image color correction methods have been proposed. In particular, white balance adjustment is important in color correction of digital color images, and various methods have been proposed as color correction methods including white balance adjustment. For example, in Japanese Patent Laid-Open No. 2001-148863 (Patent Document 1), a white balance parameter calculated in advance using an image histogram is applied to a skin color region in an image to determine whether a preferable skin color is obtained. A method for determining the parameters is described. In addition, when it does not become a preferable skin color, it will not perform unprocessed, ie, color correction. Japanese Patent Application Laid-Open No. 11-289548 (Patent Document 2), Japanese Patent Application Laid-Open No. 3-148989 (Patent Document 3), and Japanese Patent Application Laid-Open No. 62-265858 (Patent Document 4) also use a histogram of an image to make white A method for achieving balance correction is described.

特開２００３−２２４８６７号公報（特許文献５）には、画像のヒストグラムを利用してカラー画像中のグレイの領域のみを抽出し、あるいは肌色の領域のみを抽出し、あるいはグレイの領域と肌色の領域を抽出し、抽出された領域の色情報を用いて光源の色温度を推定し、推定された色温度に基づいて、以下の補正式を用いてカラー画像の画像信号のホワイトバランスを補正する方法が記載されている。   Japanese Patent Laid-Open No. 2003-224867 (Patent Document 5) uses a histogram of an image to extract only a gray area in a color image, or extracts only a skin color area, or a gray area and a skin color. An area is extracted, the color temperature of the light source is estimated using the color information of the extracted area, and the white balance of the image signal of the color image is corrected using the following correction formula based on the estimated color temperature. A method is described.

Ｒ’＝αＲ …（Ａ１）
Ｇ’＝βＧ …（Ａ２）
Ｂ’＝γβ …（Ａ３）R ′ = αR (A1)
G ′ = βG (A2)
B ′ = γβ (A3)

ここで、Ｒ，Ｇ，Ｂは入力画像の画素でのＲＧＢ値を示し、Ｒ’，Ｇ’，Ｂ’は出力画像の画素でのＲＧＢ値を示し、α，β，γは補正に用いる係数である。   Here, R, G, and B indicate RGB values in the pixels of the input image, R ′, G ′, and B ′ indicate RGB values in the pixels of the output image, and α, β, and γ are coefficients used for correction. It is.

同様に特開２００３−３３３６１６号公報（特許文献６）には、画像中の肌色などの有彩色の領域や、本来白色であったであろう領域を、画像のヒストグラム解析によって求め、その領域の色情報を１つあるいは複数組み合わせて光源の色温度を推定し、ホワイトバランス補正を実現する方法が記載されている。   Similarly, in Japanese Patent Application Laid-Open No. 2003-333616 (Patent Document 6), a chromatic area such as a skin color in an image or an area that would have been originally white is obtained by image histogram analysis. A method for realizing white balance correction by estimating the color temperature of a light source by combining one or a plurality of color information is described.

上記の従来技術では、画像中の肌色などの有彩色の領域と、グレイや白の無彩色の領域とに着目して、ホワイトバランスを補正する際に使用するパラメータを決定するために必要となる画像中の注目領域を、画像のヒストグラム解析によって求めている。   In the above-described conventional technology, it is necessary to determine the parameters used when correcting the white balance by paying attention to the chromatic color region such as the skin color in the image and the gray or white achromatic region. The attention area in the image is obtained by analyzing the histogram of the image.

さらに、画像中の注目領域として顔領域を検出することにより画質を補正する手法が提案されている。例えば、特開２００４−３２０２８５号公報（特許文献７）では、デジタルスチルカメラの撮影画像の画質を向上させる手法として、画像中の顔領域の大きさや数に応じて、デジタルカメラのシャッタースピードやＡＦ（Ａｕｔｏ ｆｏｃｕｓ）の動作を制御する方法が記載されるとともに、顔領域の輪郭強調処理や肌色処理について触れられている。しかし、肝心の肌色処理については、具体的な処理方法が開示されていない。   Furthermore, a method for correcting image quality by detecting a face region as a region of interest in an image has been proposed. For example, in Japanese Patent Application Laid-Open No. 2004-320285 (Patent Document 7), as a technique for improving the image quality of a captured image of a digital still camera, the shutter speed and AF of the digital camera are changed according to the size and number of face areas in the image. A method for controlling the operation of (Auto focus) is described, and a face region outline enhancement process and a skin color process are mentioned. However, no specific processing method is disclosed for the essential skin color processing.

特開２００４−１８０１１４号公報（特許文献８）には、カラー画像中の色情報のみをもとに検出した顔領域において、肌色を良く見せるための色補正方法が記載されている。特開２００３−２１６９３６号公報（特許文献９）には、入力画像から人物の顔部品を検出して配置情報を取得し、人物領域とその他の領域との境界を設定し、それぞれの領域毎に適したホワイトバランスおよび彩度の補正を施す手法が記載されている。特開２００３−１８９３２５号公報（特許文献１０）には、顔領域の色情報をホワイトバランス演算に使用しないという方法が記載されている。   Japanese Patent Laying-Open No. 2004-180114 (Patent Document 8) describes a color correction method for making skin color appear well in a face area detected based only on color information in a color image. In Japanese Patent Laid-Open No. 2003-216936 (Patent Document 9), a human face part is detected from an input image to obtain arrangement information, a boundary between a person area and other areas is set, and each area is set. An appropriate white balance and saturation correction technique is described. Japanese Patent Laying-Open No. 2003-189325 (Patent Document 10) describes a method in which color information of a face area is not used for white balance calculation.

特開２００５−２７２７７号公報（特許文献１１）には、画像中の人の顔領域の場所を決定し、決定した顔領域から得られる肌色が、既知の肌色の範囲とほぼ一致するように、画像から得られた肌色を変更するための補正係数を決定し、この補正係数を用いて画像のホワイトバランス調整を行う方法が記載されている。しかし、特開２００５−２７２７７号公報では、肝心の補正方法については、グレイワールド仮説や白色点推定などの方法を用いるとの記載がされているが、具体的な手法については説明されていない。   In Japanese Patent Laid-Open No. 2005-27277 (Patent Document 11), the location of a human face area in an image is determined, and the skin color obtained from the determined face area substantially matches the known skin color range. A method is described in which a correction coefficient for changing the skin color obtained from an image is determined, and white balance adjustment of the image is performed using the correction coefficient. However, Japanese Patent Application Laid-Open No. 2005-27277 describes that the essential correction method uses a method such as the gray world hypothesis or white point estimation, but does not describe a specific method.

なお、特開２００３−３１７０８４号公報（特許文献１２）には、画像中から目を検出する方法が記載されている。また、特許３２６４２７３号公報（特許文献１３）には、ヒストグラムを利用して肌色を判定する方法が記載されている。   Note that Japanese Patent Application Laid-Open No. 2003-317084 (Patent Document 12) describes a method for detecting an eye from an image. Japanese Patent No. 3264273 (Patent Document 13) describes a method of determining skin color using a histogram.

以下、本明細書中に引用した参考文献を列挙する。
日本国：特開２００１−１４８８６３号公報 日本国：特開平１１−２８９５４８号公報 日本国：特開平３−１４８９８９号公報 日本国：特開昭６２−２６５８８５号公報 日本国：特開２００３−２２４８６７号公報 日本国：特開２００３−３３３６１６号公報 日本国：特開２００４−３２０２８５号公報 日本国：特開２００４−１８０１１４号公報 日本国：特開２００３−２１６９３６号公報 日本国：特開２００３−１８９３２５号公報 日本国：特開２００５−２７２７７号公報 日本国：特開２００３−３１７０８４号公報 日本国：特許３２６４２７３号公報 細井利憲、鈴木哲明、佐藤敦，「一般化学習ベクトル量子化による顔検出」，信学技法，社団法人電子情報通信学会，２００３年，Ｖｏｌ．１０２，Ｎｏ．６５１，ｐｐ．４７−５２ 田島譲二著，「画像工学シリーズ１０ カラー画像複製論 カラーマネジメントの基礎」，丸善株式会社，平成８年９月３０日，ｐｐ．３３−３９ 日本色彩学会編，「新編 色彩科学ハンドブック」，第２版，財団法人東京大学出版会，１９９８年６月１０日，ｐｐ．６９−７１ References cited in this specification are listed below.
Japan: JP 2001-148863 A Japan: Japanese Patent Application Laid-Open No. 11-289548 Japan: Japanese Patent Laid-Open No. 3-148989 Japan: JP-A-62-265885 Japan: Japanese Patent Application Laid-Open No. 2003-224867 Japan: JP 2003-333616 A Japan: Japanese Patent Application Laid-Open No. 2004-320285 Japan: JP 2004-180114 A Japan: JP 2003-216936 A Japan: JP 2003-189325 A Japan: JP 2005-27277 A Japan: JP-A-2003-317084 Japan: Japanese Patent No. 3264273 Toshinori Hosoi, Tetsuaki Suzuki, Satoshi Sato, “Face Detection by Generalized Learning Vector Quantization”, IEICE Tech., Institute of Electronics, Information and Communication Engineers, 2003, Vol. 102, no. 651, pp. 47-52 Joji Tajima, “Image Engineering Series 10 Color Image Replication Theory of Color Management”, Maruzen Co., Ltd., September 30, 1996, pp. 33-39 Edited by Japanese Society of Color Science, “New Color Science Handbook”, 2nd edition, University of Tokyo Press, June 10, 1998, pp. 69-71

従来技術におけるホワイトバランス補正では、画像をＲＧＢの三原色で表現したときにＲ成分、Ｇ成分、Ｂ成分のバランスを整えることを目的として、式（Ａ１）〜（Ａ３）にしたがってＲ，Ｇ，Ｂ独立にそれぞれの比率を補正する処理が用いられている。しかし、この場合、補正の自由度に限界があるため、満足なホワイトバランスの補正を実現できないという課題がある。   In the white balance correction in the prior art, R, G, B according to the formulas (A1) to (A3) for the purpose of adjusting the balance of the R component, G component, and B component when the image is expressed by three primary colors of RGB. A process for independently correcting each ratio is used. However, in this case, since there is a limit to the degree of freedom of correction, there is a problem that satisfactory white balance correction cannot be realized.

本発明の目的は、従来のホワイトバランス補正方法における、補正の自由度に限界があるため満足なホワイトバランスの補正を実現できないという課題を克服し、所望の通り作用する色補正方法を提供することにある。   An object of the present invention is to overcome the problem that satisfactory white balance correction cannot be realized due to limitations in the degree of freedom of correction in the conventional white balance correction method, and to provide a color correction method that operates as desired. It is in.

本発明の別の目的は、所望の通り作用する色補正方法を提供することにある。   Another object of the present invention is to provide a color correction method that works as desired.

本発明の第１の目的は、入力画像を補正して入力画像における照明条件とは異なる照明条件での出力画像を生成する色補正方法であって、あらかじめ与えられた入力画像中の特定の対象物の領域の色情報とあらかじめ指定されたその特定の対象物の表面反射率とを用いて、入力画像での照明の分光分布を復元するステップと、復元された入力画像での照明の分光分布と目標照明として指定された照明の分光分布とを用いて、出力画像での照明の分光分布を算出するステップと、入力画像の各画素の色情報と、復元された入力画像での照明の分光分布と、算出された出力画像での照明の分光分布とに基づいて、出力画像の各画素の色情報を算出するステップと、を備える、色補正方法によって達成される。   A first object of the present invention is a color correction method for correcting an input image to generate an output image under an illumination condition different from the illumination condition in the input image, and a specific target in the input image given in advance Reconstructing the spectral distribution of the illumination in the input image using the color information of the region of the object and the surface reflectance of the specific object specified in advance, and the spectral distribution of the illumination in the restored input image And calculating the spectral distribution of the illumination in the output image, the color information of each pixel of the input image, and the spectral of the illumination in the restored input image Calculating the color information of each pixel of the output image based on the distribution and the spectral distribution of illumination in the calculated output image.

本発明の第２の目的は、入力画像を補正して入力画像における照明条件とは異なる照明条件での出力画像を生成する色補正装置であって、あらかじめ与えられた入力画像中の特定の対象物の領域の色情報とあらかじめ指定された特定の対象物の表面反射率とを用いて、入力画像での照明の分光分布を復元する分光分布復元手段と、分光分布復元手段によって復元された入力画像での照明の分光分布と目標照明として指定された照明の分光分布とを用いて、出力画像での照明の分光分布を算出する分光分布計算手段と、入力画像の各画素の色情報と、復元された入力画像での照明の分光分布と、算出された出力画像での照明の分光分布とに基づいて、出力画像の各画素の色情報を算出する出力画像生成手段と、を備える色補正装置によって達成される。   A second object of the present invention is a color correction apparatus that corrects an input image to generate an output image under an illumination condition different from the illumination condition in the input image, and a specific target in the input image given in advance. Spectral distribution restoration means for restoring the spectral distribution of the illumination in the input image using the color information of the object area and the surface reflectance of a specific object specified in advance, and the input restored by the spectral distribution restoration means Spectral distribution calculation means for calculating the spectral distribution of illumination in the output image using the spectral distribution of illumination in the image and the spectral distribution of illumination specified as the target illumination, color information of each pixel of the input image, Color correction comprising: output image generation means for calculating color information of each pixel of the output image based on the spectral distribution of illumination in the restored input image and the spectral distribution of illumination in the calculated output image Achieved by equipment It is.

本発明の範疇には、前述した本発明による各画像識別方法をコンピュータに実施させるためのプログラムや、そのようなプログラムからなるプログラムプロダクト、そのようなプログラムを格納した記録媒体、そのようなプログラムを伝送する伝送媒体も含まれる。   The scope of the present invention includes a program for causing a computer to carry out each image identification method according to the present invention, a program product comprising such a program, a recording medium storing such a program, and such a program. A transmission medium for transmission is also included.

本発明によれば、ホワイトバランス補正を含む色補正に必要な補正パラメータの算出精度が向上する。これにより、色補正の精度が向上するだけでなく、色補正の自由度の限界が緩和され、所望の通りに作用する色補正が実現できる。   According to the present invention, the calculation accuracy of correction parameters necessary for color correction including white balance correction is improved. Thus, not only the accuracy of color correction is improved, but also the limit of the degree of freedom of color correction is relaxed, and color correction that acts as desired can be realized.

本発明の第１の実施形態の色補正方法を示すフローチャートである。It is a flowchart which shows the color correction method of the 1st Embodiment of this invention. 対象物の領域を自動検出し、色情報を求める処理の概略を示す図である。It is a figure which shows the outline of the process which automatically detects the area | region of a target object and calculates | requires color information. 平均的な日本人の顔領域の分光特性（表面反射率）を示すグラフである。It is a graph which shows the spectral characteristic (surface reflectance) of an average Japanese face area. ＣＩＥ昼光の平均および第１、第２主成分ベクトルを示すグラフである。It is a graph which shows the average of CIE daylight, and the 1st, 2nd principal component vector. 物体の表面反射率を集め、それらを主成分分析して得られる基底ベクトルの例を示すグラフである。It is a graph which shows the example of the basis vector obtained by collecting the surface reflectance of an object and analyzing them. 本発明の第２の実施形態の色補正方法を示すフローチャートである。It is a flowchart which shows the color correction method of the 2nd Embodiment of this invention. 本発明による色補正装置の第１の例を示すブロック図である。It is a block diagram which shows the 1st example of the color correction apparatus by this invention. 本発明による色補正装置の第２の例を示すブロック図である。It is a block diagram which shows the 2nd example of the color correction apparatus by this invention. 制御部によって表示される、値ａｄｊを設定するためのＧＵＩの例を示す図である。It is a figure which shows the example of GUI for setting the value adj displayed by the control part. 制御部によって表示される、関数ａｄｊｗ（λ）を設定するためのＧＵＩの例を示す図である。It is a figure which shows the example of GUI for setting the function adjw ((lambda)) displayed by the control part. 本発明による色補正装置の第３の例を示すブロック図である。It is a block diagram which shows the 3rd example of the color correction apparatus by this invention.

符号の説明Explanation of symbols

１ 入力画像
２ 出力画像
３ 対象領域の色情報
４ 分光分布復元部
５ 対象物表面反射率メモリ
６ 表面反射率復元部
７ 分光分布計算部
８ 分光分布メモリ
９ 画像補正部
１０ 制御部
１１ 行列変換画像補正部
２０ スライドバー
２１ 制御点
１００〜１０２ 色補正装置DESCRIPTION OF SYMBOLS 1 Input image 2 Output image 3 Color information of object area | region 4 Spectral distribution restoration part 5 Object surface reflectance memory 6 Surface reflectance restoration part 7 Spectral distribution calculation part 8 Spectral distribution memory 9 Image correction part 10 Control part 11 Matrix conversion image Correction unit 20 Slide bar 21 Control points 100 to 102 Color correction device

第１の実施形態：
図１は、本発明の第１の実施形態での色補正方法の処理手順を示している。ここでは、説明の便宜上、画像の表色系はＲＧＢ表色系であるものとする。すなわち、画像の色は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の組み合わせで表わされるものとし、色情報ＲＧＢと表記するものとする。First embodiment:
FIG. 1 shows a processing procedure of a color correction method according to the first embodiment of the present invention. Here, for convenience of explanation, it is assumed that the color system of the image is the RGB color system. That is, the color of the image is expressed by a combination of R (red), G (green), and B (blue), and is expressed as color information RGB.

色補正を実施するためには、色補正のためのパラメータをより精度よく決定する必要がある。まず、任意に与えられた入力画像から、色を大まかに特定できる対象物の領域をあらかじめなんらかの方法で検出し、色情報を抽出しておく。図２は、対象物の領域を検出し、色情報を求める処理の概略を示している。ここでは、入力画像の中から顔の部分を領域を検出し、抽出された領域から色情報を得ることが示されている。ここで、色を大まかに特定できる対象物としては、色の変動がないかまたは小さいものであって、人間の可視光領域（波長４００ｎｍ〜７００ｎｍ）において分光情報を有するものであるものが望ましい。さらに、色だけでなく、形状や模様などに特徴を有するものであれば、その領域の特定が容易になる。   In order to perform color correction, it is necessary to determine parameters for color correction with higher accuracy. First, from a given input image, a region of an object whose color can be roughly specified is detected in advance by some method, and color information is extracted. FIG. 2 shows an outline of a process for detecting a region of an object and obtaining color information. Here, it is shown that a face area is detected from an input image and color information is obtained from the extracted area. Here, as an object whose color can be roughly specified, an object that has no or small color variation and has spectral information in a human visible light region (wavelength 400 nm to 700 nm) is desirable. Furthermore, if it has a feature not only in color but also in shape and pattern, it becomes easy to specify the region.

このような特徴を有する対象物として、例えば、人間の顔を利用することができる。図３は、平均的な日本人の顔領域の分光特性（表面反射率）を示すグラフである。図３に示すように、人間の顔領域における分光特性は、可視光領域全般にわたって分光的に情報を有する。また、人間の顔領域の色に関しては、個人差はあるものの比較的安定していると言える。   As an object having such characteristics, for example, a human face can be used. FIG. 3 is a graph showing spectral characteristics (surface reflectance) of an average Japanese face region. As shown in FIG. 3, the spectral characteristic in the human face region has information spectrally over the entire visible light region. Moreover, it can be said that the color of the human face region is relatively stable although there are individual differences.

当然であるが、顔領域は、目、鼻、口などの形状特徴を有する。入力画像から顔領域を検出する方法として、特開２００３−３１７０８４号公報に、画像中から目を検出する方法が提案されている。目の位置が検出されれば、顔領域を推定することは容易である。また顔検出方法として、細井利憲、鈴木哲明、佐藤敦，「一般化学習ベクトル量子化による顔検出」，信学技法，社団法人電子情報通信学会，２００３年，Ｖｏｌ．１０２，Ｎｏ．６５１，ｐｐ．４７−５２（非特許文献１）に記載された、一般化学習ベクトル量子化を用いたＩｍａｇｅ−ｂａｓｅｄ型と目の検出を行うＦｅａｔｕｒｅ−ｂａｓｅｄ型とを組み合わせた方法なども利用できる。   Of course, the face area has shape features such as eyes, nose and mouth. As a method for detecting a face area from an input image, Japanese Patent Application Laid-Open No. 2003-317084 proposes a method for detecting eyes from an image. If the eye position is detected, it is easy to estimate the face area. As face detection methods, Toshinori Hosoi, Tetsuaki Suzuki, Satoshi Sato, “Face Detection by Generalized Learning Vector Quantization”, Shingaku Techniques, The Institute of Electronics, Information and Communication Engineers, 2003, Vol. 102, no. 651, pp. 47-52 (Non-patent Document 1), a method combining an image-based type using generalized learning vector quantization and a feature-based type for detecting eyes can also be used.

上記２つの手法において、モノクロ情報を利用して顔検出を行い、さらにその検出結果である顔領域が肌色であるかの判定を追加することによって、顔領域の検出精度を向上させることも可能である。肌色の判定方法については、特許３２６４２７３号公報に記載の画像ヒストグラムを利用した手法を利用することができる。本実施形態で利用できる顔検出方法は、上記の２つの手法に限ったものではなく、別の手法を利用してもよい。   In the above two methods, it is also possible to improve the detection accuracy of the face area by performing face detection using monochrome information and adding a determination as to whether the face area as a result of the detection is a skin color. is there. As a skin color determination method, a method using an image histogram described in Japanese Patent No. 3264273 can be used. The face detection method that can be used in the present embodiment is not limited to the above two methods, and another method may be used.

上記の説明では、任意に与えられた入力画像中の、色を大まかに特定できる対象物を、顔とした場合について述べたが、顔以外のものを対象物とすることも可能である。顔以外の対象物を自動検出するためには、例えば、あらかじめ記憶されている対象物の視覚的特徴情報と、画像データの視覚的特徴情報とを比較することによって対象物を自動検出する方法などを利用することができる。任意に与えられた入力画像中の、色を大まかに特定できる対象物の領域の指定方法は、必ずしも自動的でなくてもよく、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を用いた対話処理で指定してもよい。そして、入力画像中の上記対象物の領域における色情報として、対象物が占める領域内に存在する画素の平均色、中央色（メジアン）、最頻色（モード）などを利用すればよい。   In the above description, a case has been described in which an object whose color can be roughly specified in an arbitrarily given input image is a face, but objects other than a face can also be used as an object. In order to automatically detect an object other than a face, for example, a method of automatically detecting an object by comparing the visual feature information of the object stored in advance with the visual feature information of the image data. Can be used. The method for specifying the region of the object in which the color can be roughly specified in the input image arbitrarily given may not necessarily be automatic, and may be specified by interactive processing using a GUI (Graphical User Interface). Good. Then, as color information in the region of the object in the input image, an average color, a center color (median), a mode color (mode), or the like of pixels existing in the region occupied by the object may be used.

本発明に基づく色補正方法は、入力画像を補正して、入力画像における照明条件とは異なる照明条件での出力画像を生成し、出力するものである。第１の実施形態の色補正方法では、まず、与えられた入力画像とその入力画像中の対象領域から得られた色情報と、その対象領域が一般的に有する色情報とから、図１のステップＳ１において、画像情景中の照明の分光特性を復元する。対象領域としては、上述のようにして検出された、入力画像中の特定の対象物の領域が用いられる。そして、対象領域が一般的に有する色情報としては、後述するように、特定の対象物についてあらかじめ指定されている表面反射率が用いられる。   The color correction method based on this invention correct | amends an input image, produces | generates and outputs the output image on the illumination conditions different from the illumination conditions in an input image. In the color correction method of the first embodiment, first, from the given input image, the color information obtained from the target area in the input image, and the color information that the target area generally has, the color correction method shown in FIG. In step S1, the spectral characteristics of the illumination in the image scene are restored. As the target area, a specific target area in the input image detected as described above is used. As the color information that the target region generally has, the surface reflectance specified in advance for a specific target is used as described later.

入力画像中の対象領域から得られる色情報は、ＸＹＺ表色系の三刺激値ＸＹＺで表わされているとする。入力画像の各画素はＲＧＢ値によって表わされているが、入力画像を表示するためのＲＧＢ各色の蛍光体の色度および白色の色度はあらかじめ指定されており、ＲＧＢ値データと表示機器の発光出力との関係が線形であるものとして説明する。この場合、入力画像のＲＧＢ値と三刺激値ＸＹＺとの関係は、以下の式（１）で表わされる。   It is assumed that the color information obtained from the target region in the input image is represented by tristimulus values XYZ in the XYZ color system. Each pixel of the input image is represented by an RGB value, but the chromaticity and white chromaticity of each of the RGB phosphors for displaying the input image are designated in advance, and the RGB value data and the display device Description will be made assuming that the relationship with the light emission output is linear. In this case, the relationship between the RGB values of the input image and the tristimulus values XYZ is expressed by the following equation (1).

Figure 0004626776
Figure 0004626776

ここで、ＲＸは３×３の変換行列である。変換行列ＲＸは、ＲＧＢの各色の蛍光体の色度と白色の色度が決まれば一意に計算できる。変換行列ＲＸの算出方法として、例えば、田島譲二著，「画像工学シリーズ１０ カラー画像複製論 カラーマネジメントの基礎」，丸善株式会社，平成８年９月３０日，ｐｐ．３３−３９（非特許文献２）に開示された方法を用いることができる。この文献には、入力画像のＲＧＢと三刺激値ＸＹＺとの関係式における変換行列ＲＸの算出方法が記載されている。   Here, RX is a 3 × 3 transformation matrix. The conversion matrix RX can be uniquely calculated if the chromaticity of the phosphor of each color of RGB and the chromaticity of white are determined. As a calculation method of the transformation matrix RX, for example, Joji Tajima, “Image Engineering Series 10 Color Image Replication Theory of Color Management”, Maruzen Co., Ltd., September 30, 1996, pp. The method disclosed in 33-39 (Non-patent Document 2) can be used. This document describes a method for calculating a transformation matrix RX in a relational expression between RGB of an input image and tristimulus values XYZ.

次に、ＸＹＺ表色系に基づく物体の色を示す三刺激値ＸＹＺから、入力画像の情景中の照明の分光特性を復元する。なお、画像情景中の照明とは、その画像中の物体を照射する照明（光源）のことである。画像のＲＧＢ値に対応する三刺激値ＸＹＺは、その物体の表面反射率、その物体を照射する照明の分光分布および人間視覚の等色関数から、以下の式（２）〜（４）で表現される。   Next, the spectral characteristic of the illumination in the scene of the input image is restored from the tristimulus values XYZ indicating the color of the object based on the XYZ color system. The illumination in the image scene refers to illumination (light source) that irradiates an object in the image. The tristimulus values XYZ corresponding to the RGB values of the image are expressed by the following equations (2) to (4) from the surface reflectance of the object, the spectral distribution of illumination that illuminates the object, and the color matching function of human vision. Is done.

Figure 0004626776
Figure 0004626776

ここで、λは波長、Ｉ（λ）は入力画像での照明の分光分布、Ｒ（λ）は物体の表面反射率である。ｘ（λ），ｙ（λ），ｚ（λ）は等色関数であって、既知の関数である。積分は可視光の波長領域にわたって行われる。   Here, λ is the wavelength, I (λ) is the spectral distribution of illumination in the input image, and R (λ) is the surface reflectance of the object. x (λ), y (λ), and z (λ) are color matching functions and are known functions. The integration is performed over the wavelength range of visible light.

既に算出した三刺激値ＸＹＺを式（２）〜（４）の左辺に代入すると、式（２）〜（４）は、未知特性Ｉ（λ）およびＲ（λ）についての観測方程式となる。しかしながら、このままでは、未知特性Ｉ（λ）およびＲ（λ）を式（３）から計算することはできない。   When the already calculated tristimulus values XYZ are substituted into the left side of the equations (2) to (4), the equations (2) to (4) become observation equations for the unknown characteristics I (λ) and R (λ). However, as it is, the unknown characteristics I (λ) and R (λ) cannot be calculated from the equation (3).

ある程度の誤差を含んだ状態であっても、対象物の色を示す表面反射率Ｒ（λ）をあらかじめ限定あるいは決定できるのであれば、Ｒ（λ）は既知の値となり、式（２）〜（４）はＩ（λ）のみの観測方程式となる。例えば、対象物を日本人の顔とした場合には、図３に例示する平均的な肌色を有する日本人の顔領域の表面反射率Ｒ’（λ）を、式（２）〜（４）のＲ（λ）として用いることができる。対象物が顔以外の場合であっても、その平均的または代表的な表面反射率をあらかじめ求めておき、式（２）〜（４）のＲ（λ）に代入すればよい。   If the surface reflectance R (λ) indicating the color of the object can be limited or determined in advance even in a state including a certain amount of error, R (λ) becomes a known value, and the equations (2) to (2) to (4) is an observation equation of only I (λ). For example, when the target is a Japanese face, the surface reflectance R ′ (λ) of the Japanese face region having the average skin color illustrated in FIG. 3 is expressed by the equations (2) to (4). Can be used as R (λ). Even if the object is other than a face, an average or representative surface reflectance thereof may be obtained in advance and substituted for R (λ) in equations (2) to (4).

本来、照明の分光分布Ｉ（λ）は、可視光領域において無限次元の波形で表わされるため、Ｉ（λ）を式（２）〜（４）から解析的に計算することはできない。   Originally, the spectral distribution I (λ) of illumination is represented by an infinite dimensional waveform in the visible light region, so I (λ) cannot be analytically calculated from the equations (2) to (4).

ところで、ＣＩＥ昼光は、ＣＩＥ（国際照明委員会；Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｍｍｉｓｓｉｏｎ ｏｎ Ｉｌｌｕｍｉｎａｔｉｏｎ）が相対分光分布によって規定した測色用の光源であって、平均と２つの主成分との線形和でよく近似されることが知られている。図４は、ＣＩＥ昼光の平均および第１、第２主成分ベクトルを示すグラフである。このことから、照明の分光分布Ｉ（λ）を以下のように表わすことができる。   By the way, CIE daylight is a light source for colorimetry specified by the CIE (International Commission on Illumination) by a relative spectral distribution, and is well approximated by a linear sum of an average and two principal components. It is known. FIG. 4 is a graph showing the average CIE daylight and the first and second principal component vectors. From this, the spectral distribution I (λ) of illumination can be expressed as follows.

Figure 0004626776
Figure 0004626776

式（５）に示すＩｉ（λ）（ｉ＝０〜２）は、図４に示す照明の平均および基底ベクトルである。ａｉ（ｉ＝１〜２）は、各基底ベクトルの重み係数であって、照明の色を表現する特性パラメータとなる。I i (λ) (i = 0 to 2) shown in Equation (5) is the average and basis vectors of the illumination shown in FIG. a i (i = 1 to 2) is a weighting coefficient of each base vector and is a characteristic parameter expressing the color of illumination.

式（５）に示すＩ（λ）を式（２）〜（４）に代入すると、照明の色を表現する未知の特性パラメータａ１およびａ２に関する２元一次連立方程式となり、容易にａ１，ａ２を計算することができる。得られた照明の色を表現する特性パラメータａ１，ａ２を式（５）に代入することによって、画像情景中の照明の分光分布が得られる。以上の手順にて得られた画像情景中の照明の分光分布をＩｏｒｇ（λ）とする。Substituting I (λ) shown in Equation (5) into Equations (2) to (4) results in a binary simultaneous equation relating to unknown characteristic parameters a 1 and a 2 representing the color of illumination, and a 1 , A 2 can be calculated. By substituting the characteristic parameters a 1 and a 2 expressing the color of the obtained illumination into the equation (5), the spectral distribution of the illumination in the image scene is obtained. Let I org (λ) be the spectral distribution of illumination in the image scene obtained by the above procedure.

次に、ステップＳ２において、補正の目標としてあらかじめ設定された目標照明の分光分布Ｉｔａｒｇｅｔ（λ）と、画像情景中の照明として推定された分光分布Ｉｏｒｇ（λ）とから、実際に画像の色を補正する際に用いる照明の分光分布Ｉａｄｊ（λ）を算出する。ここで、補正の目標としてあらかじめ設定する目標照明の分光分布Ｉｔａｒｇｅｔ（λ）として、標準光源Ｄ６５やＤ５５などの分光分布や、経験的に補正結果がよくなることがわかっている照明の分光分布や、ホワイトバランスではなく画像全体の色変更の効果を目的とした照明色を有する分光分布などを用いることができ、さらにはこれら以外の分光分布を用いることもできる。目標照明の分光分布は、利用者によって所望の分光分布として定められることができるものである。Next, in step S2, from the spectral distribution I target (λ) of the target illumination preset as a correction target and the spectral distribution I org (λ) estimated as the illumination in the image scene, A spectral distribution I adj (λ) of illumination used for correcting the color is calculated. Here, as the target illumination spectral distribution I target (λ) set in advance as the correction target, the spectral distribution of the standard light sources D65 and D55, the spectral distribution of illumination whose empirical correction results are known to be better, A spectral distribution having an illumination color for the purpose of changing the color of the entire image instead of white balance can be used, and other spectral distributions can also be used. The spectral distribution of the target illumination can be determined as a desired spectral distribution by the user.

Ｉａｄｊ（λ）には、目標照明の分光分布Ｉｔａｒｇｅｔ（λ）をそのまま用いてもよい。さらに、以下の式（６）に示すように、画像情景中の照明として推定された分光分布Ｉｏｒｇ（λ）と、目標照明の分光分布Ｉｔａｒｇｅｔ（λ）とを混合して、実際に画像の色を補正する際に用いる照明の分光分布Ｉａｄｊ（λ）を算出してもよい。As I adj (λ), the spectral distribution I target (λ) of the target illumination may be used as it is. Further, as shown in the following formula (6), the spectral distribution I org (λ) estimated as the illumination in the image scene and the spectral distribution I target (λ) of the target illumination are mixed to actually produce an image. The spectral distribution I adj (λ) of the illumination used when correcting the color of may be calculated.

Figure 0004626776
Figure 0004626776

式（６）において、ａｄｊは、Ｉｏｒｇ（λ）とＩｔａｒｇｅｔ（λ）の混合量を制御するための実数係数である。さらに、画像情景中の照明として推定された分光分布Ｉｏｒｇ（λ）と、目標照明の分光分布Ｉｔａｒｇｅｔ（λ）との混合量を各波長ごとに制御できるように、In Expression (6), adj is a real number coefficient for controlling the mixing amount of I org (λ) and I target (λ). Furthermore, the amount of mixture of the spectral distribution I org (λ) estimated as the illumination in the image scene and the spectral distribution I target (λ) of the target illumination can be controlled for each wavelength.

Figure 0004626776
Figure 0004626776

としてもよい。ここで、Ｆ（λ）は可視光領域で１．０となる定波形であり、ａｄｊｗ（λ）は、各波長でＩｏｒｇ（λ）とＩｔａｒｇｅｔ（λ）の混合量を制御するための実数値を有する可視光領域における関数である。It is good. Here, F (λ) is a constant waveform that is 1.0 in the visible light region, and adjw (λ) is for controlling the amount of mixing I org (λ) and I target (λ) at each wavelength. It is a function in the visible light region having real values.

次に、ステップＳ３において、入力画像の各画素における物体の表面反射率を求める。式（１）にしたがって、画像の各画素のＲＧＢ値から三刺激値ＸＹＺを計算し、式（２）〜（４）の左辺に代入する。そして、ステップＳ１において計算された画像情景中の照明の分光分布Ｉｏｒｇ（λ）を式（２）〜（４）の右辺に代入すると、式（２）〜（４）は表面反射率Ｒ（λ）に関する観測方程式となる。Next, in step S3, the surface reflectance of the object at each pixel of the input image is obtained. The tristimulus values XYZ are calculated from the RGB values of each pixel of the image according to the equation (1), and are substituted into the left side of the equations (2) to (4). Then, when the spectral distribution I org (λ) of the illumination in the image scene calculated in step S1 is substituted into the right side of the equations (2) to (4), the equations (2) to (4) are expressed by the surface reflectance R ( The observation equation for λ).

物体の仮想表面反射率Ｒ”（λ）も、照明の分光分布と同様に可視光領域において無限次元の波形で表わされるため、これを式（２）〜（４）から解析的に計算することはできない。そこで、物体の仮想表面反射率Ｒ”（λ）について、低次元の基底ベクトルの加重和で表わす有限次元線形モデルを用いて以下のようにモデル化する。   Since the virtual surface reflectance R ″ (λ) of the object is also represented by an infinite dimensional waveform in the visible light region, as in the case of the spectral distribution of illumination, this is analytically calculated from the equations (2) to (4). Therefore, the virtual surface reflectance R ″ (λ) of the object is modeled as follows using a finite-dimensional linear model represented by a weighted sum of low-dimensional basis vectors.

Figure 0004626776
Figure 0004626776

図５は、物体の表面反射率を集め、それらを主成分分析して得られる基底ベクトルの例を示すグラフである。式（８）に示すｒｉ（λ）（ｉ＝０〜３）は、多くの物体の表面反射率を集め、それを主成分分析して得られる基底ベクトルであり、それぞれ平均、第１〜第３主成分ベクトルを表わしており、すべて既知である。ｂｉ（ｉ＝０〜３）は、各基底ベクトルの重み係数であり、物体の色を表現する未知の特性パラメータとなる。FIG. 5 is a graph showing an example of basis vectors obtained by collecting surface reflectances of objects and analyzing them by principal component analysis. R i (λ) (i = 0 to 3) shown in the equation (8) is a basis vector obtained by collecting the surface reflectances of many objects and analyzing them by principal component analysis. Represents the third principal component vector, all known. b i (i = 0 to 3) is a weighting coefficient of each base vector, and is an unknown characteristic parameter expressing the color of the object.

式（８）に示すＲ”（λ）を、表面反射率Ｒ（λ）に関する観測方程式に代入すると、物体の色を表現する未知の特性パラメータｂ１〜ｂ３に関する以下の３元一次連立方程式（９）を得ることができ、ｂ１〜ｂ３を求めることができる。Substituting R ″ (λ) shown in Equation (8) into the observation equation relating to the surface reflectance R (λ), the following ternary linear equation relating to unknown characteristic parameters b 1 to b 3 representing the color of the object: (9) can be obtained, and b 1 to b 3 can be obtained.

Figure 0004626776
Figure 0004626776

ここで、Ｍ（ｘ，ｒｉ）（ｉ＝０〜３）は、∫Ｉｏｒｇ（λ）ｒｉ（λ）Ｘ（λ）ｄλの積分項を表わす。ｙ，ｚについても同様である。画像中の全ての画素に対し、以上の処理を施すことによって、画像情景中全ての物体の表面反射率が求められる。Here, M (x, r i ) (i = 0 to 3) represents an integral term of ∫I org (λ) r i (λ) X (λ) dλ. The same applies to y and z. By performing the above processing on all the pixels in the image, the surface reflectance of all objects in the image scene can be obtained.

次に、ステップＳ４において、入力画像の各画素における補正後の色を算出する。式（２）〜（４）に、ステップＳ２で算出した補正時に用いる照明の分光分布Ｉａｄｊ（λ）を代入することにより、補正後の三刺激値Ｘ’Ｙ’Ｚ’およびステップＳ３で算出した物体の仮想表面反射率Ｒ”（λ）についての式（１０）〜（１２）を得る。Next, in step S4, the corrected color in each pixel of the input image is calculated. By substituting the spectral distribution I adj (λ) of illumination used at the time of correction calculated in step S2 into the equations (2) to (4), the tristimulus value X′Y′Z ′ after correction and the calculation in step S3 Equations (10) to (12) for the virtual surface reflectivity R ″ (λ) of the obtained object are obtained.

Figure 0004626776
Figure 0004626776

式（１）における変換行列ＲＸの逆行列をＲＸ−１とすると、補正後の三刺激値Ｘ’Ｙ’Ｚ’は、以下のようにカラー画像の色情報Ｒ’Ｇ’Ｂ’に変換することができる。When the inverse matrix of the conversion matrix RX in the equation (1) is RX- 1 , the corrected tristimulus value X′Y′Z ′ is converted into color information R′G′B ′ of the color image as follows. be able to.

Figure 0004626776
Figure 0004626776

入力画像中の全画素に対して上記の処理を行うことによって、所望の色に補正された出力画像を得ることができる。   By performing the above processing on all the pixels in the input image, an output image corrected to a desired color can be obtained.

第２の実施形態：
次に、図６を用いて、本発明の第２の実施形態の色補正方法を説明する。第２の実施形態における色補正方法は、第１の実施形態の色補正方法のステップＳ３，Ｓ４で行われる三刺激値ＸＹＺからＸ’Ｙ’Ｚ’への補正処理（変換処理）をステップＳ５に示す行列変換に置き換えることによって、第１の実施形態の色補正方法と同等の補正結果をもたらす方法である。図６において、ステップＳ１，Ｓ２の処理は、第１の実施形態の場合と同様の処理であるので説明を省略し、ステップＳ５について説明する。Second embodiment:
Next, a color correction method according to the second embodiment of the present invention will be described with reference to FIG. In the color correction method in the second embodiment, the tristimulus value XYZ to X′Y′Z ′ correction processing (conversion processing) performed in steps S3 and S4 of the color correction method in the first embodiment is performed in step S5. This is a method that provides a correction result equivalent to the color correction method of the first embodiment by replacing the matrix conversion shown in FIG. In FIG. 6, the processes in steps S1 and S2 are the same as those in the case of the first embodiment, and thus description thereof will be omitted, and step S5 will be described.

ステップＳ２の終了後、ステップＳ５では、まず、物体の仮想表面反射率Ｒ”（λ）について、低次元の基底ベクトルの加重和で表わす有限次元線形モデルを用いてモデル化し、上述の式（８）を得る。   After step S2, the virtual surface reflectance R ″ (λ) of the object is first modeled using a finite-dimensional linear model expressed by a weighted sum of low-dimensional basis vectors, and the above-described equation (8) is obtained. )

式（８）に示すＲ”（λ）を、表面反射率Ｒ（λ）に関する観測方程式に代入すると、物体の色を表現する未知の特性パラメータｂ１〜ｂ３に関する３元一次連立方程式（上述の式（９））を得ることができ、ｂ１〜ｂ３を求めることができる。Substituting R ″ (λ) shown in Equation (8) into the observation equation relating to the surface reflectance R (λ), a ternary linear equation relating to unknown characteristic parameters b 1 to b 3 representing the color of the object (described above) (9)) can be obtained, and b 1 to b 3 can be obtained.

次に、式（２）〜（４）に、ステップＳ２において既に算出してある補正時に用いる照明の分光分布Ｉａｄｊ（λ）を代入することにより、補正後の三刺激値Ｘ’Ｙ’Ｚ’および物体の仮想表面反射率Ｒ”（λ）についての式（１０）〜（１２）を得る。そして、式（１０）〜（１２）に、式（８）に示すＲ”（λ）を代入して、式（１４）を得る。Next, the tristimulus values X′Y′Z after correction are obtained by substituting the spectral distribution I adj (λ) of illumination used at the time of correction that has already been calculated in step S2 into the equations (2) to (4). 'And the equations (10) to (12) for the virtual surface reflectance R ″ (λ) of the object are obtained. Then, R ″ (λ) shown in the equation (8) is obtained from the equations (10) to (12). Substituting to obtain equation (14).

Figure 0004626776
Figure 0004626776

ここで、Ｎ（ｘ，ｒｉ）（ｉ＝０〜３）は、∫Ｉａｄｊ（λ）ｒｉ（λ）Ｘ（λ）ｄλの積分項を表わす。ｙ，ｚについても同様である。さらに、式（１４）に式（９）を代入すると、式（１５）を得る。Here, N (x, r i ) (i = 0 to 3) represents an integral term of ∫I adj (λ) r i (λ) X (λ) dλ. The same applies to y and z. Further, when Expression (9) is substituted into Expression (14), Expression (15) is obtained.

Figure 0004626776
Figure 0004626776

式（１５）は、次の式（１６）のようにまとめることができる。   Equation (15) can be summarized as the following equation (16).

Figure 0004626776
Figure 0004626776

ここで、行列Ａは、以下の式（１７）で表わされる３×３行列であり、行列Ｂは、以下の式（１８）で表わされる３×１行列であって、いずれも定数行列となる。   Here, the matrix A is a 3 × 3 matrix represented by the following equation (17), and the matrix B is a 3 × 1 matrix represented by the following equation (18), both of which are constant matrices. .

Figure 0004626776
Figure 0004626776

Figure 0004626776
Figure 0004626776

ステップＳ５では、入力画像中の全画素に対して式（１６）による色補正処理を施し、さらに、デバイス依存カラーへ変換したものを出力画像として出力する。なお、デバイス依存カラーとは、出力先のデバイスに依存する色空間を意味する。   In step S5, all pixels in the input image are subjected to the color correction processing according to the equation (16), and further converted into device-dependent colors are output as an output image. The device-dependent color means a color space that depends on the output destination device.

以上は、入力画像および出力画像のデバイス依存カラーがＲＧＢである場合について説明したが、デバイス依存カラーがＣＭＹやＣＭＹＫなどのＲＧＢ以外のデバイス依存カラーであったとしても、そのデバイス依存カラーとデバイス非依存カラーの三刺激値ＸＹＺとの対応関係が得られれば、ＲＧＢ以外の画像についても本発明の色補正方法を適用できる。   The above has described the case where the device-dependent color of the input image and the output image is RGB. However, even if the device-dependent color is a device-dependent color other than RGB, such as CMY and CMYK, the device-dependent color and the device non-color If the correspondence relationship with the tristimulus values XYZ of the dependent colors is obtained, the color correction method of the present invention can be applied to images other than RGB.

色補正装置：
次に、本発明に基づく色補正装置について説明する。図７は、本発明による色補正装置の第１の例を示している。図示される色補正装置１００は、上述の第１の実施形態の色補正方法に基づいて入力画像１に対して色補正を実施し、出力画像２を出力する装置である。具体的には、色補正装置１００は、入力画像１を補正して、入力画像１における照明条件とは異なる照明条件での出力画像２を生成し、出力するものである。色補正装置１００には、入力画像１と、入力画像１中の大まかな色が特定できる対象領域の色情報３があらかじめ与えられる。対象領域としては、例えば、入力画像１中の特定の対象物の領域が用いられており、この特定の対象物に関しては、その表面反射率があらかじめ色補正装置１００に与えられている。特定の対象物は、上記のように、人の顔など、その対象の色がある程度限定できるものである。Color correction device:
Next, a color correction apparatus according to the present invention will be described. FIG. 7 shows a first example of a color correction apparatus according to the present invention. The illustrated color correction apparatus 100 is an apparatus that performs color correction on an input image 1 based on the color correction method of the first embodiment described above, and outputs an output image 2. Specifically, the color correction apparatus 100 corrects the input image 1 to generate and output an output image 2 under an illumination condition different from the illumination condition in the input image 1. The color correction apparatus 100 is given in advance the input image 1 and the color information 3 of the target area in which a rough color in the input image 1 can be specified. As the target area, for example, a specific target area in the input image 1 is used, and the surface reflectance of the specific target object is given to the color correction apparatus 100 in advance. As described above, the specific object, such as a human face, can limit the color of the object to some extent.

色補正装置１００は、入力画像１中の特定の対象物の領域の色情報３とあらかじめ指定された特定の対象物の表面反射率とを用いて、入力画像１での照明の分光分布を復元する分光分布復元部４と、対象物の表面反射率があらかじめ格納される対象物表面反射率メモリ５と、入力画像の各画素の色情報と分光分布復元部４によって復元された照明の分光分布とを用いて、各画素における表面反射率を復元する表面反射率復元部６と、分光分布復元部４によって復元された照明の分光分布と目標照明として指定された照明の分光分布とを用いて、出力画像２での照明の分光分布を算出する分光分布計算部７と、目標照明の分光分布があらかじめ格納される分光分布メモリ８と、表面反射率復元部６によって復元された各画素における表面反射率と、分光分布計算部７によって算出された出力画像２での照明の分光分布とを用いて、出力画像２の各画素の色情報を算出する画像補正部９と、を備えている。   The color correction apparatus 100 restores the spectral distribution of illumination in the input image 1 using the color information 3 of the area of the specific object in the input image 1 and the surface reflectance of the specific object specified in advance. A spectral distribution restoring unit 4 that performs the processing, a target surface reflectance memory 5 in which the surface reflectance of the target object is stored in advance, color information of each pixel of the input image, and a spectral distribution of the illumination restored by the spectral distribution restoring unit 4 And the surface reflectance restoring unit 6 that restores the surface reflectance in each pixel, and the illumination spectral distribution restored by the spectral distribution restoring unit 4 and the illumination spectral distribution designated as the target illumination. The spectral distribution calculation unit 7 for calculating the spectral distribution of the illumination in the output image 2, the spectral distribution memory 8 in which the spectral distribution of the target illumination is stored in advance, and the surface in each pixel restored by the surface reflectance restoring unit 6 Reflectivity Comprises using the spectral distribution of illumination in the output image 2 calculated by the spectral distribution calculation unit 7, an image correction unit 9 which calculates the color information of each pixel of the output image 2.

次に、この色補正装置１００の動作を説明する。   Next, the operation of the color correction apparatus 100 will be described.

分光分布復元部４は、入力画像１と対象領域の色情報３とが与えられると、与えられた対象領域の色情報と、対象物表面反射率メモリ５に記憶されている対象領域の典型的あるいは代表的な表面反射率と、照明の分光特性をモデル化した式（５）とを用いて、入力画像の情景中の照明の分光分布を入力画像１での照明の分光分布として復元する。   When the input image 1 and the color information 3 of the target area are given, the spectral distribution restoration unit 4 is provided with the color information of the given target area and the typical target area stored in the target surface reflectance memory 5. Alternatively, the illumination spectral distribution in the scene of the input image is reconstructed as the illumination spectral distribution in the input image 1 using a typical surface reflectance and an expression (5) modeling the spectral characteristics of the illumination.

次に、分光分布計算部７は、補正画像を生成する際に必要となる出力画像での照明の分光分布を計算する。分光分布計算部７は、分光分布復元部４によって復元された入力画像での照明の分光分布と、分光分布メモリ８にあらかじめ記憶されている目標照明の分光分布とを用いて、出力画像での照明の分光分布を式（６），（７）によって計算する。   Next, the spectral distribution calculation unit 7 calculates the spectral distribution of illumination in the output image that is necessary when generating the corrected image. The spectral distribution calculation unit 7 uses the spectral distribution of the illumination in the input image restored by the spectral distribution restoration unit 4 and the spectral distribution of the target illumination stored in the spectral distribution memory 8 in advance in the output image. The spectral distribution of illumination is calculated according to equations (6) and (7).

一方、表面反射率復元部６は、復元された入力画像での照明の分光分布と、入力画像データの画素値とから、画像上の各画素における物体の表面反射率を復元する。分光分布復元部４および表面反射率復元部６における、それぞれの分光特性の復元方法としては、上述の第１の実施形態において説明した手法を用いればよい。   On the other hand, the surface reflectance restoring unit 6 restores the surface reflectance of the object at each pixel on the image from the spectral distribution of illumination in the restored input image and the pixel value of the input image data. As a method for restoring the respective spectral characteristics in the spectral distribution restoration unit 4 and the surface reflectance restoration unit 6, the method described in the first embodiment may be used.

そして、画像補正部９は、画像上の各画素における物体の表面反射率と出力画像での照明の分光分布とを用いて、式（１０）〜（１２）によって三刺激値ＸＹＺを計算する。そして、画像補正部９は、出力画像をデバイス依存カラー（例えばＲＧＢなど）に変換し、出力画像２として出力する。   Then, the image correction unit 9 calculates the tristimulus values XYZ by Expressions (10) to (12) using the surface reflectance of the object in each pixel on the image and the spectral distribution of illumination in the output image. Then, the image correction unit 9 converts the output image into a device-dependent color (for example, RGB) and outputs it as the output image 2.

この色補正装置において、分光分布復元部４、対象物表面反射率メモリ５、表面反射率復元部６、分光分布計算部７、分光分布メモリ８および画像補正部９は、それぞれ個別の装置として設けてもよいし、あるいは、プログラムにしたがって動作するＣＰＵによって実現されるようにしてもよい。その場合、プログラムは、ＣＰＵに接続する記憶装置内に格納される。すなわち、記憶装置を備えたコンピュータを用いて、この色補正装置を構成することができる。   In this color correction apparatus, the spectral distribution restoration unit 4, the object surface reflectance memory 5, the surface reflectance restoration unit 6, the spectral distribution calculation unit 7, the spectral distribution memory 8, and the image correction unit 9 are provided as individual devices. Alternatively, it may be realized by a CPU that operates according to a program. In that case, the program is stored in a storage device connected to the CPU. That is, this color correction apparatus can be configured using a computer provided with a storage device.

図８は、本発明に基づく色補正装置の第２の例を示している。   FIG. 8 shows a second example of the color correction apparatus according to the present invention.

図８に示される色補正装置１０１は、図７に示した色補正装置１００に対して、制御部１０を付加したものである。制御部１０は、値ａｄｊまたは関数ａｄｊｗ（λ）を利用者に指定させるための制御を行うとともに、利用者によって指定されたａｄｊの値またはａｄｊｗ（λ）の関数を、分光分布計算部７に出力する。値ａｄｊまたは関数ａｄｊｗ（λ）は、分光分布計算部７が出力画像の照明の分光分布を計算する際に、入力画像の照明の分光分布と所望の目標照明の分光分布の混合量をコントロールするために使用される値または関数である。   A color correction apparatus 101 shown in FIG. 8 is obtained by adding a control unit 10 to the color correction apparatus 100 shown in FIG. The control unit 10 performs control for causing the user to specify the value adj or the function adjw (λ), and sends the adj value or adjw (λ) function specified by the user to the spectral distribution calculation unit 7. Output. The value adj or the function adjw (λ) controls the amount of mixture of the input image illumination spectral distribution and the desired target illumination spectral distribution when the spectral distribution calculation unit 7 calculates the illumination spectral distribution of the output image. Is a value or function used to

図９は、利用者に対して値ａｄｊの設定を行わせるために、制御部１０が利用者に対して表示するＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の例を示している。利用者は、表示されたスライドバー２０をマウスなどのポインティングデバイスを用いて動かすことによって、ａｄｊの値を調整することができる。   FIG. 9 shows an example of a GUI (Graphical User Interface) displayed by the control unit 10 for the user in order to cause the user to set the value adj. The user can adjust the value of adj by moving the displayed slide bar 20 using a pointing device such as a mouse.

同様に図１０は、利用者に対して関数ａｄｊｗ（λ）の設定を行わせるために、制御部１０が利用者に対して表示するＧＵＩの例を示している。利用者は、表示された制御点２１をマウス操作などを用いて上下に動かすことによって、その制御点２１を通るａｄｊｗ（λ）の波形を調整することができる。制御点２１を通るａｄｊｗ（λ）に関して、制御点以外の波長における関数値は、スプライン補間やラグランジェ補間を用いることにより容易に計算できる。なお、図１０に示した例においては、制御点２１は５点であるが、この制御点の数は任意である。また、制御点２１の追加や削除ができるようにしてあってもよい。   Similarly, FIG. 10 shows an example of a GUI displayed by the control unit 10 for the user in order to cause the user to set the function adjw (λ). The user can adjust the waveform of adjw (λ) passing through the control point 21 by moving the displayed control point 21 up and down using a mouse operation or the like. Regarding adjw (λ) passing through the control point 21, function values at wavelengths other than the control point can be easily calculated by using spline interpolation or Lagrange interpolation. In the example shown in FIG. 10, there are five control points 21, but the number of control points is arbitrary. Further, the control point 21 may be added or deleted.

図９および図１０の例において、ａｄｊおよびａｄｊｗ（λ）は、０〜１．０の範囲で指定できるようになっているが、設定できる範囲は０〜１．０に限定されるものではなく、実数値で指定できるようになっていればよい。制御部１０は、利用者によって調整されたａｄｊまたはａｄｊｗ（λ）を、分光分布計算部７に反映させる。   In the examples of FIGS. 9 and 10, adj and adjw (λ) can be specified in the range of 0 to 1.0, but the settable range is not limited to 0 to 1.0. As long as it can be specified with a real value. The control unit 10 reflects adj or adjw (λ) adjusted by the user in the spectral distribution calculation unit 7.

さらに、制御部１０は、目標照明として利用者の所望の照明の色を、その利用者が指定できる機能を有する。目標照明の色を指定する場合、例えば、相関色温度が用いられるようにしてもよい。ＣＩＥ昼光の相関色温度から、その分光分布を計算することができる。相関色温度から分光分布を計算する方法は、日本色彩学会編，「新編 色彩科学ハンドブック」，第２版，財団法人東京大学出版会，１９９８年６月１０日，ｐｐ．６９−７１（非特許文献３）に記載されている。なお、ＣＩＥ昼光の分光分布の計算途中において、相関色温度から、色度が一旦計算されるので、制御部１０では、目標照明の色を色度で与えるようにしてもよい。さらに、制御部１０は、目標照明の分光分布を各波長におけるパワーを指定したファイルで与えるようにしてもよい。   Further, the control unit 10 has a function that allows the user to specify the color of the user's desired illumination as the target illumination. When specifying the color of the target illumination, for example, a correlated color temperature may be used. Its spectral distribution can be calculated from the correlated color temperature of CIE daylight. The method for calculating the spectral distribution from the correlated color temperature is described in Japanese Color Society, “New Color Science Handbook”, 2nd edition, University of Tokyo Press, June 10, 1998, pp. 69-71 (Non-Patent Document 3). Since the chromaticity is once calculated from the correlated color temperature during the calculation of the spectral distribution of CIE daylight, the control unit 10 may give the target illumination color in chromaticity. Further, the control unit 10 may give the spectral distribution of the target illumination in a file in which the power at each wavelength is specified.

図８に示した色補正装置も、図７に示した色補正装置と同様に、プログラムによって制御されるコンピュータによって構成することができる。   The color correction apparatus shown in FIG. 8 can also be configured by a computer controlled by a program, similarly to the color correction apparatus shown in FIG.

図１１は、本発明に基づく色補正装置の第３の例を示している。図示される色補正装置１０２は、上述の第２の実施形態の色補正方法に基づいて入力画像１に対して色補正を実施し、出力画像２を出力する装置である。色補正装置１０２は、図７に示した色補正装置１００における表面反射率復元部６および画像補正部９の代わりに、各画素における表面反射率をモデル化する際に使用する基底ベクトルと、復元された入力画像１での照明の分光分布と、出力画像での照明の分光分布とから計算される定数行列を用いて、出力画像の各画素の色情報を算出する行列変換画像補正部１１を設けたものである。   FIG. 11 shows a third example of the color correction apparatus according to the present invention. The illustrated color correction apparatus 102 is an apparatus that performs color correction on the input image 1 based on the color correction method of the second embodiment described above, and outputs an output image 2. The color correction device 102 replaces the surface reflectance restoration unit 6 and the image correction unit 9 in the color correction device 100 shown in FIG. 7 with a base vector used when modeling the surface reflectance in each pixel, and the restoration. A matrix conversion image correction unit 11 that calculates color information of each pixel of the output image using a constant matrix calculated from the illumination spectral distribution in the input image 1 and the illumination spectral distribution in the output image. It is provided.

次に、この色補正装置１０２の動作を説明する。   Next, the operation of the color correction apparatus 102 will be described.

分光分布復元部４による入力画像での照明の分光分布の復元、および分光分布計算部７による出力画像での照明の分光分布の計算までは、図７に示した色補正装置１００の場合と同様に行なわれる。次に、行列変換画像補正部１１は、分光分布復元部４によって復元された入力画像での照明の分光分布と分光分布計算部７によって計算された出力画像での照明の分光分布と入力画像１とが与えられると、図６のステップＳ５を実行して、式（１６）を計算する。そして、入力画像１の全画素に対して、式（１６）による色補正処理を施し、デバイス依存カラーに変換して出力画像２を出力する。   The process up to the restoration of the illumination spectral distribution in the input image by the spectral distribution restoration unit 4 and the calculation of the illumination spectral distribution in the output image by the spectral distribution calculation unit 7 are the same as in the case of the color correction apparatus 100 shown in FIG. To be done. Next, the matrix conversion image correction unit 11 includes the illumination spectral distribution in the input image restored by the spectral distribution restoration unit 4, the illumination spectral distribution in the output image calculated by the spectral distribution calculation unit 7, and the input image 1. Is given, step S5 in FIG. 6 is executed to calculate equation (16). Then, the color correction processing according to the equation (16) is performed on all the pixels of the input image 1, converted into device-dependent colors, and the output image 2 is output.

この色補正装置１０２についても、分光分布復元部４、対象物表面反射率メモリ５、分光分布計算部７、分光分布メモリ８および行列変換画像補正部１１は、それぞれ個別の装置として設けてもよいし、あるいは、プログラムにしたがって動作するＣＰＵによって実現されるようにしてもよい。したがって、コンピュータを用いて、この色補正装置を構成することができる。   Also for the color correction device 102, the spectral distribution restoration unit 4, the object surface reflectance memory 5, the spectral distribution calculation unit 7, the spectral distribution memory 8, and the matrix conversion image correction unit 11 may be provided as individual devices. Alternatively, it may be realized by a CPU that operates according to a program. Therefore, this color correction apparatus can be configured using a computer.

さらに、本発明に基づく色補正装置の第４の例として、図８に示した色補正装置１０１の表面反射率復元部６および画像補正部９を、行列変換画像補正部１１に置き換えた色補正装置も容易に実現可能である。この色補正装置もプログラムによって制御されるコンピュータによって構成することができる。   Furthermore, as a fourth example of the color correction apparatus according to the present invention, color correction in which the surface reflectance restoration unit 6 and the image correction unit 9 of the color correction apparatus 101 shown in FIG. The device can also be easily realized. This color correction apparatus can also be configured by a computer controlled by a program.

本発明は、カラー画像の入出力装置においてホワイトバランスを含む色補正を実行する用途に適用できる。また、本発明は、コンピュータシステムで動作するプログラムの形態とすることで、任意のカラー画像に対する色補正ソフトウェアあるいはユーティリティとしても利用可能である。
The present invention can be applied to an application for executing color correction including white balance in a color image input / output device. Further, the present invention can be used as color correction software or a utility for an arbitrary color image by adopting a program that operates in a computer system.

Claims (20)

入力画像を補正して前記入力画像における照明条件とは異なる照明条件での出力画像を生成する色補正方法であって、
入力画像中の特定の対象物の領域の色情報とあらかじめ指定された前記特定の対象物の表面反射率とを用いて、前記入力画像での照明の分光分布を復元するステップと、
復元された前記入力画像での照明の分光分布と目標照明として指定された照明の分光分布とを混合して、前記出力画像での照明の分光分布を算出するステップと、
前記入力画像の各画素の色情報と、復元された前記入力画像での照明の分光分布と、算出された前記出力画像での照明の分光分布とに基づいて、前記出力画像の各画素の色情報を算出するステップと、
を備える、色補正方法。A color correction method for correcting an input image and generating an output image under an illumination condition different from the illumination condition in the input image,
Reconstructing the spectral distribution of illumination in the input image using color information of the area of the specific object in the input image and the surface reflectance of the specific object specified in advance;
Mixing the spectral distribution of illumination in the restored input image and the spectral distribution of illumination designated as target illumination to calculate the spectral distribution of illumination in the output image;
Based on the color information of each pixel of the input image, the spectral distribution of illumination in the restored input image, and the calculated spectral distribution of illumination in the output image, the color of each pixel of the output image Calculating information;
A color correction method comprising: 前記色情報を算出するステップは、
前記入力画像の各画素の色情報と、復元された前記入力画像での照明の分光分布とを用いて、各画素における表面反射率を復元するステップと、
復元された各画素における表面反射率と算出された前記出力画像での照明の分光分布とを用いて、前記出力画像の各画素の色情報を算出するステップと、
を備える、請求項１に記載の方法。The step of calculating the color information includes:
Using the color information of each pixel of the input image and the spectral distribution of illumination in the restored input image to restore the surface reflectance at each pixel;
Calculating color information of each pixel of the output image using the surface reflectance in each restored pixel and the spectral distribution of illumination in the calculated output image;
The method of claim 1, comprising: 前記色情報を算出するステップは、各画素における表面反射率をモデル化する際に使用する基底ベクトルと、復元された前記入力画像での照明の分光分布と、前記出力画像での照明の分光分布とから計算される定数行列を用いて、前記出力画像の各画素の色情報を算出するステップを備える、請求項１に記載の方法。  The step of calculating the color information includes a basis vector used when modeling the surface reflectance in each pixel, a spectral distribution of illumination in the restored input image, and a spectral distribution of illumination in the output image. The method according to claim 1, further comprising: calculating color information of each pixel of the output image using a constant matrix calculated from: 前記分光分布を算出するステップにおいて、復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたって波長によらず一定の割合で混合することによって、前記出力画像での照明の分光分布が算出される、請求項１乃至３のいずれか１項に記載の方法。  In the step of calculating the spectral distribution, by mixing the spectral distribution of the illumination and the spectral distribution of the target illumination in the restored input image at a constant ratio regardless of the wavelength over the visible light region, the output image The method according to claim 1, wherein a spectral distribution of illumination at is calculated. 前記分光分布を算出するステップにおいて、復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたって波長に依存する関数に基づいて混合することによって、前記出力画像での照明の分光分布が算出される、請求項１乃至３のいずれか１項に記載の方法。  In the step of calculating the spectral distribution, the output image is obtained by mixing the spectral distribution of illumination in the restored input image and the spectral distribution of the target illumination based on a wavelength-dependent function over the visible light region. The method according to claim 1, wherein a spectral distribution of illumination at is calculated. 前記一定の割合は、利用者によって設定される、請求項４に記載の方法。  The method of claim 4, wherein the constant percentage is set by a user. 前記波長に依存する関数は、利用者によって設定される、請求項５に記載の方法。  6. The method of claim 5, wherein the wavelength dependent function is set by a user. 入力画像を補正して前記入力画像における照明条件とは異なる照明条件での出力画像を生成する色補正装置であって、
入力画像中の特定の対象物の領域の色情報とあらかじめ指定された前記特定の対象物の表面反射率とを用いて、前記入力画像での照明の分光分布を復元する分光分布復元手段と、
前記分光分布復元手段によって復元された前記入力画像での照明の分光分布と目標照明として指定された照明の分光分布とを混合して、前記出力画像での照明の分光分布を算出する分光分布計算手段と、
前記入力画像の各画素の色情報と、復元された前記入力画像での照明の分光分布と、算出された前記出力画像での照明の分光分布とに基づいて、前記出力画像の各画素の色情報を算出する出力画像生成手段と、
を備える色補正装置。A color correction device that corrects an input image and generates an output image under an illumination condition different from the illumination condition in the input image,
Spectral distribution restoration means for restoring the spectral distribution of illumination in the input image using color information of the area of the specific object in the input image and the surface reflectance of the specific object specified in advance,
Spectral distribution calculation that calculates the spectral distribution of the illumination in the output image by mixing the spectral distribution of the illumination in the input image restored by the spectral distribution restoration means and the spectral distribution of the illumination designated as the target illumination Means,
Based on the color information of each pixel of the input image, the spectral distribution of illumination in the restored input image, and the calculated spectral distribution of illumination in the output image, the color of each pixel of the output image Output image generation means for calculating information;
A color correction apparatus comprising: 前記出力画像生成手段は、
前記入力画像の各画素の色情報と、前記分光分布復元手段によって復元された前記入力画像での照明の分光分布とを用いて、各画素における表面反射率を復元する表面反射率復元手段と、
前記表面反射率復元手段によって復元された各画素における表面反射率と、前記分光分布計算手段によって算出された前記出力画像での照明の分光分布とを用いて、前記出力画像の各画素の色情報を算出する画像補正手段と、
を備える、請求項８に記載の装置。The output image generation means includes
Surface reflectance restoring means for restoring surface reflectance in each pixel using color information of each pixel of the input image and spectral distribution of illumination in the input image restored by the spectral distribution restoring means;
Color information of each pixel of the output image using the surface reflectance in each pixel restored by the surface reflectance restoration unit and the spectral distribution of illumination in the output image calculated by the spectral distribution calculation unit Image correction means for calculating
The apparatus of claim 8, comprising: 前記出力画像生成手段は、各画素における表面反射率をモデル化する際に使用する基底ベクトルと、復元された前記入力画像での照明の分光分布と、前記出力画像での照明の分光分布とから計算される定数行列を用いて、前記出力画像の各画素の色情報を算出する行列変換画像補正手段を備える、請求項８に記載の装置。  The output image generation means includes a basis vector used when modeling the surface reflectance in each pixel, a spectral distribution of illumination in the restored input image, and a spectral distribution of illumination in the output image. The apparatus according to claim 8, further comprising matrix conversion image correction means for calculating color information of each pixel of the output image using a calculated constant matrix. 前記分光分布計算手段は、前記分光分布復元手段によって復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたって波長によらず一定の割合で混合して、前記出力画像での照明の分光分布を算出する、請求項８乃至１０のいずれか１項に記載の装置。  The spectral distribution calculation means mixes the spectral distribution of the illumination in the input image restored by the spectral distribution restoration means and the spectral distribution of the target illumination at a constant ratio regardless of the wavelength over the visible light region, The apparatus according to claim 8, wherein a spectral distribution of illumination in the output image is calculated. 前記分光分布計算手段は、前記分光分布復元手段によって復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたって波長に依存する関数に基づいて混合して、前記出力画像での照明の分光分布を算出する、請求項８乃至１０のいずれか１項に記載の装置。  The spectral distribution calculation means mixes the spectral distribution of illumination in the input image restored by the spectral distribution restoration means and the spectral distribution of the target illumination based on a wavelength-dependent function over the visible light region, The apparatus according to claim 8, wherein a spectral distribution of illumination in the output image is calculated. 前記一定の割合を利用者に設定させ、前記分光分布計算手段に出力する制御部をさらに備える、請求項１１に記載の装置。  The apparatus according to claim 11, further comprising a control unit that causes a user to set the certain ratio and outputs the constant ratio to the spectral distribution calculation unit. 前記波長に依存する関数を利用者に設定させ、前記分光分布計算手段に出力する制御部をさらに備える、請求項１２に記載の装置。  The apparatus according to claim 12, further comprising a control unit that causes a user to set a function depending on the wavelength and outputs the function to the spectral distribution calculation unit. 入力画像を補正して前記入力画像における照明条件とは異なる照明条件での出力画像を生成する処理をコンピュータに実行させる色補正プログラムであって、
前記コンピュータに、
入力画像中の特定の対象物の領域の色情報とあらかじめ指定された前記特定の対象物の表面反射率とを用いて、前記入力画像での照明の分光分布を復元する処理と、
復元された前記入力画像での照明の分光分布と目標照明として指定された照明の分光分布とを混合して、前記出力画像での照明の分光分布を算出する処理と、
前記入力画像の各画素の色情報と、復元された前記入力画像での照明の分光分布と、算出された前記出力画像での照明の分光分布とに基づいて、前記出力画像の各画素の色情報を算出する処理と、
を実行させる色補正プログラム。A color correction program for causing a computer to execute a process of correcting an input image and generating an output image under an illumination condition different from the illumination condition in the input image,
In the computer,
Using the color information of the area of the specific object in the input image and the surface reflectance of the specific object specified in advance, a process of restoring the spectral distribution of illumination in the input image;
A process of calculating the spectral distribution of the illumination in the output image by mixing the spectral distribution of the illumination in the restored input image and the spectral distribution of the illumination designated as the target illumination;
Based on the color information of each pixel of the input image, the spectral distribution of illumination in the restored input image, and the calculated spectral distribution of illumination in the output image, the color of each pixel of the output image Processing to calculate information;
Color correction program that executes 前記色情報を算出する処理は、
前記入力画像の各画素の色情報と、復元された前記入力画像での照明の分光分布とを用いて、各画素における表面反射率を復元する処理と、
復元された各画素における表面反射率と算出された前記出力画像での照明の分光分布とを用いて、前記出力画像の各画素の色情報を算出する処理と、
を含む、請求項１５に記載のプログラム。The process of calculating the color information includes
Using the color information of each pixel of the input image and the spectral distribution of illumination in the restored input image, a process of restoring the surface reflectance at each pixel;
A process of calculating color information of each pixel of the output image using the surface reflectance in each restored pixel and the spectral distribution of illumination in the calculated output image;
The program according to claim 15, comprising: 前記色情報を算出する処理は、各画素における表面反射率をモデル化する際に使用する基底ベクトルと、復元された前記入力画像での照明の分光分布と、前記出力画像での照明の分光分布とから計算される定数行列を用いて、前記出力画像の各画素の色情報を算出する処理を含む、請求項１５に記載のプログラム。  The process of calculating the color information includes a basis vector used when modeling the surface reflectance at each pixel, a spectral distribution of illumination in the restored input image, and a spectral distribution of illumination in the output image. The program of Claim 15 including the process which calculates the color information of each pixel of the said output image using the constant matrix calculated from these. 前記分光分布を算出する処理において、復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたって波長によらず一定の割合で混合することによって、前記出力画像での照明の分光分布が算出される、請求項１５乃至１７のいずれか１項に記載のプログラム。  In the process of calculating the spectral distribution, the output spectral distribution is obtained by mixing the spectral distribution of the illumination and the spectral distribution of the target illumination in the restored input image at a constant ratio regardless of the wavelength over the visible light region. The program according to claim 15, wherein a spectral distribution of illumination at is calculated. 前記分光分布を算出する処理において、復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたって波長に依存する関数に基づいて混合することによって、前記出力画像での照明の分光分布が算出される、請求項１５乃至１７のいずれか１項に記載のプログラム。  In the process of calculating the spectral distribution, the output spectral image is mixed by mixing the spectral distribution of the illumination in the restored input image and the spectral distribution of the target illumination based on a wavelength-dependent function over the visible light region. The program according to claim 15, wherein a spectral distribution of illumination at is calculated. 入力画像を補正して前記入力画像における照明条件とは異なる照明条件での出力画像を生成する処理を実行可能なコンピュータが読み取り可能な記録媒体であって、
前記コンピュータに、
入力画像中の特定の対象物の領域の色情報とあらかじめ指定された前記特定の対象物の表面反射率とを用いて、前記入力画像での照明の分光分布を復元する処理と、
復元された前記入力画像での照明の分光分布と目標照明として指定された照明の分光分布とを混合して、前記出力画像での照明の分光分布を算出する処理と、
前記入力画像の各画素の色情報と、復元された前記入力画像での照明の分光分布と、算出された前記出力画像での照明の分光分布とに基づいて、前記出力画像の各画素の色情報を算出する処理と、
を実行させる色補正プログラムを格納した記録媒体。A computer-readable recording medium capable of executing processing for correcting an input image and generating an output image under an illumination condition different from the illumination condition in the input image,
In the computer,
Using the color information of the area of the specific object in the input image and the surface reflectance of the specific object specified in advance, a process of restoring the spectral distribution of illumination in the input image;
A process of calculating the spectral distribution of the illumination in the output image by mixing the spectral distribution of the illumination in the restored input image and the spectral distribution of the illumination designated as the target illumination;
Based on the color information of each pixel of the input image, the spectral distribution of illumination in the restored input image, and the calculated spectral distribution of illumination in the output image, the color of each pixel of the output image Processing to calculate information;
A recording medium storing a color correction program for executing
JP2007524675A 2005-07-13 2006-07-12 Color correction method and color correction apparatus Active JP4626776B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005204312 2005-07-13
JP2005204312 2005-07-13
PCT/JP2006/313861 WO2007007786A1 (en) 2005-07-13 2006-07-12 Color correction method and color correction device

Publications (2)

Publication Number Publication Date
JPWO2007007786A1 JPWO2007007786A1 (en) 2009-01-29
JP4626776B2 true JP4626776B2 (en) 2011-02-09

Family

ID=37637176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007524675A Active JP4626776B2 (en) 2005-07-13 2006-07-12 Color correction method and color correction apparatus

Country Status (2)

Country Link
JP (1) JP4626776B2 (en)
WO (1) WO2007007786A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4967440B2 (en) * 2006-04-03 2012-07-04 ソニー株式会社 Imaging apparatus and light source estimation apparatus thereof
JP5158100B2 (en) * 2008-02-22 2013-03-06 日本電気株式会社 Color image processing method, apparatus and program
WO2013099644A1 (en) * 2011-12-28 2013-07-04 日本電気株式会社 Spectral image processing method, spectral image processing device and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10229499A (en) * 1997-02-14 1998-08-25 Nec Corp Color transformation method, device therefor, and mechanical readable recording medium recording program
JP2000113174A (en) * 1998-10-09 2000-04-21 Nec Corp Color matching method, color matching device and machine readable recording medium recorded with program
JP2001258047A (en) * 2000-03-10 2001-09-21 Toppan Printing Co Ltd Colorimetric image converting method and colorimetric image converter, and computer-readable recording medium with colorimetric image conversion program recorded thereon
JP2004165932A (en) * 2002-11-12 2004-06-10 Sony Corp Device and method for estimating light source, image pickup device, and image processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10229499A (en) * 1997-02-14 1998-08-25 Nec Corp Color transformation method, device therefor, and mechanical readable recording medium recording program
JP2000113174A (en) * 1998-10-09 2000-04-21 Nec Corp Color matching method, color matching device and machine readable recording medium recorded with program
JP2001258047A (en) * 2000-03-10 2001-09-21 Toppan Printing Co Ltd Colorimetric image converting method and colorimetric image converter, and computer-readable recording medium with colorimetric image conversion program recorded thereon
JP2004165932A (en) * 2002-11-12 2004-06-10 Sony Corp Device and method for estimating light source, image pickup device, and image processing method

Also Published As

Publication number Publication date
WO2007007786A1 (en) 2007-01-18
JPWO2007007786A1 (en) 2009-01-29

Similar Documents

Publication Publication Date Title
JP4288530B2 (en) Color correction method and color correction apparatus
JP5158100B2 (en) Color image processing method, apparatus and program
JP5648483B2 (en) Color image processing method, color image processing apparatus, and color image processing program
US10535125B2 (en) Dynamic global tone mapping with integrated 3D color look-up table
JP6004481B2 (en) Color image processing method, color image processing apparatus, and color image processing program
JP5867390B2 (en) Color image processing method, color image processing apparatus, and color image processing program
JP5533670B2 (en) Color image processing method, color image processing apparatus, and color image processing program
US7454056B2 (en) Color correction device, color correction method, and color correction program
US7822269B2 (en) Projector color correcting method
US9342872B2 (en) Color correction parameter computation method, color correction parameter computation device, and image output system
US9398282B2 (en) Image processing apparatus, control method, and computer-readable medium
JP4001079B2 (en) Monotone processing of color image
JP4626776B2 (en) Color correction method and color correction apparatus
JP5824423B2 (en) Illumination light color estimation device, illumination light color estimation method, and illumination light color estimation program
JP2012028973A (en) Illumination light estimation device, illumination light estimation method, and illumination light estimation program
JP2004045189A (en) Color correction device and color correction method
Xu et al. Visibility of uncorrelated image noise

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101013

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101026

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4626776

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150