JPWO2007007788A1 - 色補正方法および色補正装置 - Google Patents

Abstract

入力画像を補正して入力画像とは異なる照明条件での出力画像を生成する色補正方法は、入力画像から特定の対象物の領域を検出してその領域の色情報を抽出するステップと、抽出された色情報とあらかじめ指定された特定の対象物の表面反射率とを用いて、入力画像での照明の分光分布を復元するステップと、復元された照明の分光分布と指定された目標照明の分光分布とを用いて、出力画像での照明の分光分布を算出するステップと、入力画像の各画素の色情報と、復元された入力画像での照明の分光分布と、算出された出力画像での照明の分光分布とに基づいて、出力画像の各画素の色情報を算出するステップと、を備える。

Description

本発明は、カラー画像の色補正を行う方法および装置に関し、特に、カラー画像中の対象物の領域から得られる色情報に基づいて、そのカラー画像のホワイトバランス補正を行うことを含む色補正方法および色補正装置に関する。

デジタル画像の画質改善を実現するために、画像の色補正方法が提案されている。特に、デジタルカラー画像の色補正においては、ホワイトバランスの調整は重要であり、ホワイトバランスの調整を含む色補正方法として、様々な手法が提案されている。例えば、特開２００１−１４８８６３号公報（特許文献１）には、画像のヒストグラムを利用してあらかじめ算出したホワイトバランスのパラメータを画像中の肌色領域に適用し、好ましい肌色になるかどうかを基準にパラメータを決定する方法が記載されている。なお、好ましい肌色にならない場合については、未処理すなわち色補正を行わないこととなる。特開平１１−２８９５４８号公報（特許文献２）、特開平３−１４８９８９号公報（特許文献３）、特開昭６２−２６５８８５号公報（特許文献４）においても、画像のヒストグラムを利用してホワイトバランスの補正を実現する方法が記載されている。

特開２００３−２２４８６７号公報（特許文献５）には、画像のヒストグラムを利用してカラー画像中のグレイの領域のみを抽出し、あるいは肌色の領域のみを抽出し、あるいはグレイの領域と肌色の領域を抽出し、抽出された領域の色情報を用いて光源の色温度を推定し、推定された色温度に基づいて、以下の補正式を用いてカラー画像の画像信号のホワイトバランスを補正する方法が記載されている。

Ｒ’＝αＲ …（Ａ１）
Ｇ’＝βＧ …（Ａ２）
Ｂ’＝γβ …（Ａ３）

ここで、Ｒ，Ｇ，Ｂは入力画像の画素でのＲＧＢ値を示し、Ｒ’，Ｇ’，Ｂ’は出力画像の画素でのＲＧＢ値を示し、α，β，γは補正に用いる係数である。

同様に特開２００３−３３３６１６号公報（特許文献６）には、画像中の肌色などの有彩色の領域や、本来白色であったであろう領域を、画像のヒストグラム解析によって求め、その領域の色情報を１つあるいは複数組み合わせて光源の色温度を推定し、ホワイトバランス補正を実現する方法が記載されている。

上記の従来技術では、画像中の肌色などの有彩色の領域と、グレイや白の無彩色の領域とに着目して、ホワイトバランスを補正する際に使用するパラメータを決定するために必要となる画像中の注目領域を、画像のヒストグラム解析によって求めている。

さらに、画像中の注目領域として顔領域を検出することにより画質を補正する手法が提案されている。例えば、特開２００４−３２０２８５号公報（特許文献７）では、デジタルスチルカメラの撮影画像の画質を向上させる手法として、画像中の顔領域の大きさや数に応じて、デジタルカメラのシャッタースピードやＡＦ（Ａｕｔｏ ｆｏｃｕｓ）の動作を制御する方法が記載されるとともに、顔領域の輪郭強調処理や肌色処理について触れられている。しかし、肝心の肌色処理については、具体的な処理方法が開示されていない。

特開２００４−１８０１１４号公報（特許文献８）には、カラー画像中の色情報のみをもとに検出した顔領域において、肌色を良く見せるための色補正方法が記載されている。特開２００３−２１６９３６号公報（特許文献９）には、入力画像から人物の顔部品を検出して配置情報を取得し、人物領域とその他の領域との境界を設定し、それぞれの領域毎に適したホワイトバランスおよび彩度の補正を施す手法が記載されている。特開２００３−１８９３２５号公報（特許文献１０）には、顔領域の色情報をホワイトバランス演算に使用しないという方法が記載されている。

特開２００５−２７２７７号公報（特許文献１１）には、画像中の人の顔領域の場所を決定し、決定した顔領域から得られる肌色が、既知の肌色の範囲とほぼ一致するように、画像から得られた肌色を変更するための補正係数を決定し、この補正係数を用いて画像のホワイトバランス調整を行う方法が記載されている。しかし、特開２００５−２７２７７号公報では、肝心の補正方法については、グレイワールド仮説や白色点推定などの方法を用いるとの記載がされているが、具体的な手法については説明されていない。

なお、特開２００３−３１７０８４号公報（特許文献１２）には、画像中から目を検出する方法が記載されている。また、特許３２６４２７３号公報（特許文献１３）には、ヒストグラムを利用して肌色を判定する方法が記載されている。

以下、本明細書中に引用した参考文献を列挙する。
日本国：特開２００１−１４８８６３号公報 日本国：特開平１１−２８９５４８号公報 日本国：特開平３−１４８９８９号公報 日本国：特開昭６２−２６５８８５号公報 日本国：特開２００３−２２４８６７号公報 日本国：特開２００３−３３３６１６号公報 日本国：特開２００４−３２０２８５号公報 日本国：特開２００４−１８０１１４号公報 日本国：特開２００３−２１６９３６号公報 日本国：特開２００３−１８９３２５号公報 日本国：特開２００５−２７２７７号公報 日本国：特開２００３−３１７０８４号公報 日本国：特許３２６４２７３号公報 細井利憲、鈴木哲明、佐藤敦，「一般化学習ベクトル量子化による顔検出」，信学技法，社団法人電子情報通信学会，２００３年，Ｖｏｌ．１０２，Ｎｏ．６５１，ｐｐ．４７−５２ 田島譲二著，「画像工学シリーズ１０ カラー画像複製論 カラーマネジメントの基礎」，丸善株式会社，平成８年９月３０日，ｐｐ．３３−３９ 日本色彩学会編，「新編 色彩科学ハンドブック」，第２版，財団法人東京大学出版会，１９９８年６月１０日，ｐｐ．６９−７１

画質向上を目的として画像のホワイトバランスを補正する際、ホワイトバランス補正のパラメータを決定するために、画像中の注目領域の色情報を把握する必要がある。これを実現するために、従来技術では、画像中の肌色などの有彩色の領域およびグレイや白の無彩色の領域を、ヒストグラム解析によって求める方法を用いている。

しかしながら、ヒストグラム解析による肌色などの有彩色の領域とグレイや白の無彩色の領域の特定方法は、その正確性に問題がある。画像中から肌色の領域を検出する場合、照明色の変動などを考慮し、ある程度広い範囲の肌色領域を許容する必要がある。そのため、肌色に似た色を有する人物以外の物体が画像中に占める領域が大きければ、画像中の実際の人物の顔領域における色情報よりも、その物体の領域から得られる色情報が、人物の肌色として誤検出されてしまい、その結果、所望の色補正を行うことができなくなる。また、ひどい色かぶりとなっている画像から、本来ならば白色あるいはグレイであったであろう領域を、画像データのみを手がかりに検出することは困難である。さらに、画像の撮影時にカメラのダイナミックレンジを超えたことによって明るく白飛びした領域が画像に発生することがあるが、このような白飛びが存在する画像から白色あるいはグレイであったであろう領域を検出するためには、白飛びした領域を排除するための閾値処理をヒストグラム解析時に導入することになる。しかしながら、白飛びした領域を排除するための閾値を自動的に設定することは困難であるため、白飛びが発生している任意の画像に対して自動で良好なホワイトバランス補正を実現することは困難である。

このように、ヒストグラム解析を用いて画像中の注目領域を特定する場合には、ホワイトバランス補正に必要な補正パラメータを算出する際に必要となる画像中の注目領域の色情報を的確に把握することができないという原因により、ホワイトバランス補正が所望の通りに作用しないという課題がある。

さらに、従来技術におけるホワイトバランス補正では、画像をＲＧＢの三原色で表現したときにＲ成分、Ｇ成分、Ｂ成分のバランスを整えることを目的として、式（Ａ１）〜（Ａ３）にしたがってＲ，Ｇ，Ｂ独立にそれぞれの比率を補正する処理が用いられている。しかし、この場合、補正の自由度に限界があるため、満足なホワイトバランスの補正を実現できないという課題がある。

そこで本発明の目的は、上述した各課題を同時に解決し、１枚の入力画像に基づいてこの入力画像に対して自動的に効果的な色補正を実現する色補正方法を提供することにある。

本発明の別の目的は、１枚の入力画像に基づいてこの入力画像に対して自動的に効果的な色補正を実現する色補正装置を提供することにある。

すなわち本発明は、画像のヒストグラム解析によって画像中の注目領域の色情報を取得しホワイトバランスを補正する方法における上述した課題を克服し、ホワイトバランス補正を含む色補正の精度向上を実現するとともに、従来のホワイトバランス補正方法における、補正の自由度に限界があるため満足なホワイトバランスの補正を実現できないという課題を克服し、所望の通り作用する色補正方法および色補正装置を提供する。

本発明の第１の目的は、入力画像を補正して入力画像における照明条件とは異なる照明条件での出力画像を生成する色補正方法であって、入力画像から特定の対象物の領域を検出してその領域の色情報を抽出するステップと、抽出された特定の対象物の領域の色情報とあらかじめ指定された特定の対象物の表面反射率とを用いて、入力画像での照明の分光分布を復元するステップと、復元された入力画像での照明の分光分布と目標照明として指定された照明の分光分布とを用いて、出力画像での照明の分光分布を算出するステップと、入力画像の各画素の色情報と、復元された入力画像での照明の分光分布と、算出された出力画像での照明の分光分布とに基づいて、出力画像の各画素の色情報を算出するステップと、を備える、色補正方法によって達成される。

本発明の第２の目的は、入力画像を補正して入力画像における照明条件とは異なる照明条件での出力画像を生成する色補正装置であって、入力画像から特定の対象物の領域を検出してその領域の色情報を抽出する対象領域色情報抽出手段と、対象領域色情報抽出手段によって抽出された特定の対象物の領域の色情報とあらかじめ指定された特定の対象物の表面反射率とを用いて、入力画像での照明の分光分布を復元する分光分布復元手段と、分光分布復元手段によって復元された入力画像での照明の分光分布と目標照明として指定された照明の分光分布とを用いて、出力画像での照明の分光分布を算出する分光分布計算手段と、入力画像の各画素の色情報と、復元された入力画像での照明の分光分布と、算出された出力画像での照明の分光分布とに基づいて、出力画像の各画素の色情報を算出する出力画像生成手段と、を備える色補正装置によって達成される。

本発明の範疇には、前述した本発明による各画像識別方法をコンピュータに実施させるためのプログラムや、そのようなプログラムからなるプログラムプロダクト、そのようなプログラムを格納した記録媒体、そのようなプログラムを伝送する伝送媒体も含まれる。

本発明によれば、ホワイトバランス補正を含む色補正に必要な補正パラメータの算出精度が向上する。これにより、色補正の精度が向上するだけでなく、色補正の自由度の限界が緩和され、所望の通りに作用する色補正が実現できる。

本発明の第１の実施形態の色補正方法を示すフローチャートである。 平均的な日本人の顔領域の分光特性（表面反射率）を示すグラフである。 対象物の領域を自動検出し、色情報を求める処理の概略を示す図である。 ＣＩＥ昼光の平均および第１、第２主成分ベクトルを示すグラフである。 物体の表面反射率を集め、それらを主成分分析して得られる基底ベクトルの例を示すグラフである。 本発明の第２の実施形態の色補正方法を示すフローチャートである。 本発明による色補正装置の第１の例を示すブロック図である。 本発明による色補正装置の第２の例を示すブロック図である。 制御部によって表示される、値ａｄｊを設定するためのＧＵＩの例を示す図である。 制御部によって表示される、関数ａｄｊｗ（λ）を設定するためのＧＵＩの例を示す図である。 本発明による色補正装置の第３の例を示すブロック図である。

符号の説明

１ 入力画像
２ 出力画像
３ 対象領域検出部
４ 対象領域色情報抽出部
５ 分光分布復元部
６ 対象物表面反射率メモリ
７ 表面反射率復元部
８ 分光分布計算部
９ 分光分布メモリ
１０ 画像補正部
１１ 制御部
１２ 行列変換画像補正部
２０ スライドバー
２１ 制御点
１００〜１０２ 色補正装置

図１は、本発明の第１の実施形態での色補正方法の処理手順を示している。ここでは、説明の便宜上、画像の表色系はＲＧＢ表色系であるものとする。すなわち、画像の色は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の組み合わせで表わされるものとし、色情報ＲＧＢと表記するものとする。

本実施形態の色補正方法は、入力画像が与えられたときに、その入力画像から特定領域を自動的に抽出し、その抽出された特定領域の色情報と指定された目標照明とに基づいて入力画像を補正して、入力画像における照明条件とは異なる照明条件での出力画像を生成し、出力するものである。

色補正の補正精度を高めるためには、色補正のためのパラメータをより精度よく決定する必要がある。本実施形態の方法では、まず、ステップＳ１において、任意に与えられた入力画像から、色を大まかに特定できる対象物の領域を自動検出する。ここで、色を大まかに特定できる対象物としては、色の変動がないかまたは小さいものであって、人間の可視光領域（波長４００ｎｍ〜７００ｎｍ）において分光情報を有するものであるものが望ましい。さらに、色だけでなく、形状や模様などに特徴を有するものが望ましい。以下の説明において、対象物の領域として検出された領域のことを、単に対象領域と呼ぶことがある。

このような特徴を有する対象物として、例えば、人間の顔を利用することができる。図２は、平均的な日本人の顔領域の分光特性（表面反射率）を示すグラフである。図２に示すように、人間の顔領域における分光特性は、可視光領域全般にわたって分光的に情報を有する。また、人間の顔領域の色に関しては、個人差はあるものの比較的安定していると言える。

当然であるが、顔領域は、目、鼻、口などの形状特徴を有する。入力画像から顔領域を検出する方法として、特開２００３−３１７０８４号公報に、画像中から目を検出する方法が提案されている。目の位置が検出されれば、顔領域を推定することは容易である。また顔検出方法として、細井利憲、鈴木哲明、佐藤敦，「一般化学習ベクトル量子化による顔検出」，信学技法，社団法人電子情報通信学会，２００３年，Ｖｏｌ．１０２，Ｎｏ．６５１，ｐｐ．４７−５２（非特許文献１）に記載された、一般化学習ベクトル量子化を用いたＩｍａｇｅ−ｂａｓｅｄ型と目の検出を行うＦｅａｔｕｒｅ−ｂａｓｅｄ型とを組み合わせた方法なども利用できる。

上記２つの手法において、モノクロ情報を利用して顔検出を行い、さらにその検出結果である顔領域が肌色であるかの判定を追加することによって、顔領域の検出精度を向上させることも可能である。肌色の判定方法については、特許３２６４２７３号公報に記載の画像ヒストグラムを利用した手法を利用することができる。本実施形態で利用できる顔検出方法は、上記の２つの手法に限ったものではなく、別の手法を利用してもよい。

上記の説明では、任意に与えられた入力画像から自動検出する対象物を、顔とした場合について述べたが、顔以外のものを対象物とすることも可能である。顔以外の対象物を自動検出するためには、例えば、あらかじめ記憶されている対象物の視覚的特徴情報と、画像データの視覚的特徴情報とを比較することによって対象物を自動検出する方法などを利用することができる。

次に、ステップＳ２において、入力画像から自動検出された対象物の領域の色情報を求める。図３は、入力画像中の対象物の領域を自動検出し、色情報を求める処理の概略を示している。ここでは、入力画像の中から顔の部分を領域を抽出し、抽出された領域から色情報を得ることが示されている。対象物の領域の色情報として、対象物が占める領域内に存在する画素の平均色、中央色（メジアン）、最頻色（モード）などを利用することができる。

ステップＳ２では、対象物の領域の色情報ＲＧＢを取得し、取得したＲＧＢに基づいて、ＸＹＺ表色系での三刺激値ＸＹＺを求める。入力画像の各画素はＲＧＢ値によって表わされているが、入力画像を表示するためのＲＧＢ各色の蛍光体の色度および白色の色度はあらかじめ指定されており、ＲＧＢ値データと表示機器の発光出力との関係が線形であるものとして説明する。この場合、入力画像のＲＧＢ値と三刺激値ＸＹＺとの関係は、以下の式（１）で表わされる。

ここで、ＲＸは３×３の変換行列である。変換行列ＲＸは、ＲＧＢの各色の蛍光体の色度と白色の色度が決まれば一意に計算できる。変換行列ＲＸの算出方法として、例えば、田島譲二著，「画像工学シリーズ１０ カラー画像複製論 カラーマネジメントの基礎」，丸善株式会社，平成８年９月３０日，ｐｐ．３３−３９（非特許文献２）に開示された方法を用いることができる。この文献には、入力画像のＲＧＢと三刺激値ＸＹＺとの関係式における変換行列ＲＸの算出方法が記載されている。

次に、ステップＳ３において、入力画像中の対象領域の色情報、すなわちステップＳ２で算出した三刺激値ＸＹＺと、その対象領域が一般的に有する色情報とから、画像情景中の照明の分光特性を復元する。対象領域が一般的に有する色情報としては、後述するように、特定の対象物についてあらかじめ指定されている表面反射率が用いられる。また、画像情景中の照明とは、その画像中の物体を照射する照明（光源）である。ＸＹＺ表色系に基づく物体の色を示す三刺激値ＸＹＺは、その物体の表面反射率、その物体を照射する照明の分光分布および人間視覚の等色関数から、以下の式（２）〜（４）で表現される。

ここで、λは波長、Ｉ（λ）は入力画像での照明の分光分布、Ｒ（λ）は物体の表面反射率である。ｘ（λ），ｙ（λ），ｚ（λ）は等色関数であって、既知の関数である。積分は可視光の波長領域にわたって行われる。

ステップＳ２において既に算出してある三刺激値ＸＹＺを式（２）〜（４）の左辺に代入すると、式（２）〜（４）は、未知特性Ｉ（λ）およびＲ（λ）についての観測方程式となる。しかしながら、このままでは、未知特性Ｉ（λ）およびＲ（λ）を式（３）から計算することはできない。

ある程度の誤差を含んだ状態であっても、対象物の色を示す表面反射率Ｒ（λ）をあらかじめ限定あるいは決定できるのであれば、Ｒ（λ）は既知の値となり、式（２）〜（４）はＩ（λ）のみの観測方程式となる。例えば、対象物を日本人の顔とした場合には、図２に例示する平均的な肌色を有する日本人の顔領域の表面反射率Ｒ’（λ）を、式（２）〜（４）のＲ（λ）として用いることができる。対象物が顔以外の場合であっても、その平均的または代表的な表面反射率をあらかじめ求めておき、式（２）〜（４）のＲ（λ）に代入すればよい。

本来、照明の分光分布Ｉ（λ）は、可視光領域において無限次元の波形で表わされるため、Ｉ（λ）を式（２）〜（４）から解析的に計算することはできない。

ところで、ＣＩＥ昼光は、ＣＩＥ（国際照明委員会；Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｍｍｉｓｓｉｏｎ ｏｎ Ｉｌｌｕｍｉｎａｔｉｏｎ）が相対分光分布によって規定した測色用の光源であって、平均と２つの主成分との線形和でよく近似されることが知られている。図４は、ＣＩＥ昼光の平均および第１、第２主成分ベクトルを示すグラフである。このことから、照明の分光分布Ｉ（λ）を以下のように表わすことができる。

式（５）に示すＩ_ｉ（λ）（ｉ＝０〜２）は、図４に示す照明の平均および基底ベクトルである。ａ_ｉ（ｉ＝１〜２）は、各基底ベクトルの重み係数であって、照明の色を表現する特性パラメータとなる。

式（５）に示すＩ（λ）を式（２）〜（４）に代入すると、照明の色を表現する未知の特性パラメータａ_１およびａ_２に関する２元一次連立方程式となり、容易にａ_１，ａ_２を計算することができる。得られた照明の色を表現する特性パラメータａ_１，ａ_２を式（５）に代入することによって、画像情景中の照明の分光分布が得られる。以上の手順にて得られた画像情景中の照明の分光分布をＩ_ｏｒｇ（λ）とする。

次に、ステップＳ４において、補正の目標としてあらかじめ設定された目標照明の分光分布Ｉ_{ｔａｒｇｅｔ}（λ）と、画像情景中の照明として推定された分光分布Ｉ_ｏｒｇ（λ）とから、実際に画像の色を補正する際に用いる照明の分光分布Ｉ_ａｄｊ（λ）を算出する。ここで、補正の目標としてあらかじめ設定する目標照明の分光分布Ｉ_{ｔａｒｇｅｔ}（λ）として、標準光源Ｄ６５やＤ５５などの分光分布や、経験的に補正結果がよくなることがわかっている照明の分光分布や、ホワイトバランスではなく画像全体の色変更の効果を目的とした照明色を有する分光分布などを用いることができ、さらにはこれら以外の分光分布を用いることもできる。目標照明の分光分布は、利用者によって所望の分光分布として定められることができるものである

Ｉ_ａｄｊ（λ）には、目標照明の分光分布Ｉ_{ｔａｒｇｅｔ}（λ）をそのまま用いてもよい。さらに、以下の式（６）に示すように、画像情景中の照明として推定された分光分布Ｉ_ｏｒｇ（λ）と、目標照明の分光分布Ｉ_{ｔａｒｇｅｔ}（λ）とを混合して、実際に画像の色を補正する際に用いる照明の分光分布Ｉ_ａｄｊ（λ）を算出してもよい。

式（６）において、ａｄｊは、Ｉ_ｏｒｇ（λ）とＩ_{ｔａｒｇｅｔ}（λ）の混合量を制御するための実数係数である。さらに、画像情景中の照明として推定された分光分布Ｉ_ｏｒｇ（λ）と、目標照明の分光分布Ｉ_{ｔａｒｇｅｔ}（λ）との混合量を各波長ごとに制御できるように、

としてもよい。ここで、Ｆ（λ）は可視光領域で１．０となる定波形であり、ａｄｊｗ（λ）は、各波長でＩ_ｏｒｇ（λ）とＩ_{ｔａｒｇｅｔ}（λ）の混合量を制御するための実数値を有する可視光領域における関数である。

次に、ステップＳ５において、入力画像の各画素における物体の表面反射率を求める。式（１）にしたがって、画像の各画素のＲＧＢ値から三刺激値ＸＹＺを計算し、式（２）〜（４）の左辺に代入する。そして、ステップＳ３において計算された画像情景中の照明の分光分布Ｉ_ｏｒｇ（λ）を式（２）〜（４）の右辺に代入すると、式（２）〜（４）は表面反射率Ｒ（λ）に関する観測方程式となる。

物体の仮想表面反射率Ｒ”（λ）も、照明の分光分布と同様に可視光領域において無限次元の波形で表わされるため、これを式（２）〜（４）から解析的に計算することはできない。そこで、物体の仮想表面反射率Ｒ”（λ）について、低次元の基底ベクトルの加重和で表わす有限次元線形モデルを用いて以下のようにモデル化する。

図５は、物体の表面反射率を集め、それらを主成分分析して得られる基底ベクトルの例を示すグラフである。式（８）に示すｒ_ｉ（λ）（ｉ＝０〜３）は、多くの物体の表面反射率を集め、それを主成分分析して得られる基底ベクトルであり、それぞれ平均、第１〜第３主成分ベクトルを表わしており、すべて既知である。ｂ_ｉ（ｉ＝０〜３）は、各基底ベクトルの重み係数であり、物体の色を表現する未知の特性パラメータとなる。

式（８）に示すＲ”（λ）を、表面反射率Ｒ（λ）に関する観測方程式に代入すると、物体の色を表現する未知の特性パラメータｂ_１〜ｂ_３に関する以下の３元一次連立方程式（９）を得ることができ、ｂ_１〜ｂ_３を求めることができる。

ここで、Ｍ（ｘ，ｒ_ｉ）（ｉ＝０〜３）は、∫Ｉ_ｏｒｇ（λ）ｒ_ｉ（λ）Ｘ（λ）ｄλの積分項を表わす。ｙ，ｚについても同様である。画像中の全ての画素に対し、以上の処理を施すことによって、画像情景中全ての物体の表面反射率が求められる。

次に、ステップＳ６において、入力画像の各画素における補正後の色を算出する。式（２）〜（４）に、ステップＳ４において既に算出した補正時に用いる照明の分光分布Ｉ_ａｄｊ（λ）を代入することにより、補正後の三刺激値Ｘ’Ｙ’Ｚ’およびステップＳ５において既に算出した物体の仮想表面反射率Ｒ”（λ）についての式（１０）〜（１２）を得る。

式（１）における変換行列ＲＸの逆行列をＲＸ^−１とすると、補正後の三刺激値Ｘ’Ｙ’Ｚ’は、以下のようにカラー画像の色情報Ｒ’Ｇ’Ｂ’に変換することができる。

入力画像中の全画素に対して上記の処理を行うことによって、所望の色に補正された出力画像を得ることができる。

第２の実施形態：
次に、図６を用いて、本発明の第２の実施形態の色補正方法を説明する。第２の実施形態における色補正方法は、第１の実施形態の色補正方法のステップＳ５，Ｓ６で行われる三刺激値ＸＹＺからＸ’Ｙ’Ｚ’への補正処理（変換処理）をステップＳ７に示す行列変換に置き換えることによって、第１の実施形態の色補正方法と同等の補正結果をもたらす方法である。図６において、ステップＳ１〜Ｓ４の処理は、第１の実施形態の場合と同様の処理であるので説明を省略し、ステップＳ７について説明する。

ステップＳ４の終了後、ステップＳ７では、まず、物体の仮想表面反射率Ｒ”（λ）について、低次元の基底ベクトルの加重和で表わす有限次元線形モデルを用いてモデル化し、上述の式（８）を得る。

式（８）に示すＲ”（λ）を、表面反射率Ｒ（λ）に関する観測方程式に代入すると、物体の色を表現する未知の特性パラメータｂ_１〜ｂ_３に関する３元一次連立方程式（上述の式（９））を得ることができ、ｂ_１〜ｂ_３を求めることができる。

次に、式（２）〜（４）に、ステップＳ４において既に算出してある補正時に用いる照明の分光分布Ｉ_ａｄｊ（λ）を代入することにより、補正後の三刺激値Ｘ’Ｙ’Ｚ’および物体の仮想表面反射率Ｒ”（λ）についての式（１０）〜（１２）を得る。そして、式（１０）〜（１２）に、式（８）に示すＲ”（λ）を代入して、式（１４）を得る。

ここで、Ｎ（ｘ，ｒ_ｉ）（ｉ＝０〜３）は、∫Ｉ_ａｄｊ（λ）ｒ_ｉ（λ）Ｘ（λ）ｄλの積分項を表わす。ｙ，ｚについても同様である。さらに、式（１４）に式（９）を代入すると、式（１５）を得る。

式（１５）は、次の式（１６）のようにまとめることができる。

ここで、行列Ａは、以下の式（１７）で表わされる３×３行列であり、行列Ｂは、以下の式（１８）で表わされる３×１行列であって、いずれも定数行列となる。

ステップＳ７では、入力画像中の全画素に対して式（１６）による色補正処理を施し、さらに、デバイス依存カラーへ変換したものを出力画像として出力する。なお、デバイス依存カラーとは、出力先のデバイスに依存する色空間を意味する。

以上は、入力画像および出力画像のデバイス依存カラーがＲＧＢである場合について説明したが、デバイス依存カラーがＣＭＹやＣＭＹＫなどのＲＧＢ以外のデバイス依存カラーであったとしても、そのデバイス依存カラーとデバイス非依存カラーの三刺激値ＸＹＺとの対応関係が得られれば、ＲＧＢ以外の画像についても本発明の色補正方法を適用できる。

色補正装置：
次に、本発明に基づく色補正装置について説明する。図７は、本発明による色補正装置の第１の例を示している。図示される色補正装置１００は、上述の第１の実施形態の色補正方法に基づいて入力画像１に対して色補正を実施し、出力画像２を出力する装置である。具体的には、色補正装置１００は、入力画像１を補正して、入力画像１における照明条件とは異なる照明条件での出力画像２を生成し、出力するものである。

色補正装置１００は、入力画像１から特定の対象物の領域を検出する対象領域検出部３と、検出された領域の色情報を抽出する対象領域色情報抽出部４と、抽出された色情報とあらかじめ指定された特定の対象物の表面反射率とを用いて、入力画像１での照明の分光分布を復元する分光分布復元部５と、対象物表面反射率メモリ６と、入力画像の各画素の色情報と分光分布復元部５によって復元された照明の分光分布とを用いて、各画素における表面反射率を復元する表面反射率復元部７と、分光分布復元部５によって復元された照明の分光分布と目標照明として指定された照明の分光分布とを用いて、出力画像２での照明の分光分布を算出する分光分布計算部８と、目標照明の分光分布があらかじめ格納される分光分布メモリ９と、表面反射率復元部７によって復元された各画素における表面反射率と、分光分布計算部８によって算出された出力画像２での照明の分光分布とを用いて、出力画像２の各画素の色情報を算出する画像補正部１０と、を備えている。ここで、入力画像１中の特定の対象物としては、上記のように、人の顔など、その対象の色がある程度限定できるものが用いられる。この特定の対象物に関しては、その表面反射率があらかじめ色補正装置１００に与えられており、与えられた表面反射率は、対象物表面反射率メモリ６内に格納されている。

次に、この色補正装置１００の動作を説明する。

対象領域検出部３は、入力画像１が与えられると、その入力画像１を解析し、あらかじめ想定された特定の対象物を検出し、画像中におけるその対象物の領域を示す情報を出力する。検出方法については、既に述べた手法を用いればよい。なお、入力画像１から目的とする対象物が検出されない場合には、この色補正装置１００は、入力画像１を出力画像２としてそのまま出力する。

次に、対象領域色情報抽出部４は、対象領域検出部３によって検出された対象領域における色情報を、上述した方法にしたがって抽出する。

分光分布復元部５は、対象領域色情報抽出部４によって得られた対象領域の色情報と、対象物表面反射率メモリ６に記憶されている対象領域の典型的あるいは代表的な表面反射率と、照明の分光特性をモデル化する基底ベクトルとを用いて、入力画像の情景中の照明の分光分布を入力画像１での照明の分光分布として復元する。

次に、分光分布計算部８は、補正画像を生成する際に必要となる出力画像での照明の分光分布を計算する。分光分布計算部８は、分光分布復元部５によって復元された入力画像の照明の分光分布と、分光分布メモリ９にあらかじめ記憶されている目標照明の分光分布とを用いて、出力画像での照明の分光分布を式（６），（７）によって計算する。

一方、表面反射率復元部７は、復元された入力画像での照明の分光分布と、入力画像データの画素値とから、画像上の各画素における物体の表面反射率を復元する。分光分布復元部５および表面反射率復元部７における、それぞれの分光特性の復元方法としては、上述の第１の実施形態において説明した手法を用いればよい。

そして、画像補正部１０は、画像上の各画素における物体の表面反射率と出力画像での照明の分光分布とを用いて、式（１０）〜（１２）によって三刺激値ＸＹＺを計算する。そして、画像補正部１０は、出力画像をデバイス依存カラー（例えばＲＧＢなど）に変換し、出力画像２として出力する。

この色補正装置において、対象領域検出部３、対象領域色情報抽出部４、分光分布復元部５、対象物表面反射率メモリ６、表面反射率復元部７、分光分布計算部８、分光分布メモリ９および画像補正部１０は、それぞれ個別の装置として設けてもよいし、あるいは、プログラムにしたがって動作するＣＰＵによって実現されるようにしてもよい。その場合、プログラムは、ＣＰＵに接続する記憶装置内に格納される。すなわち、記憶装置を備えたコンピュータを用いて、この色補正装置を構成することができる。

図８は、本発明に基づく色補正装置の第２の例を示している。

図８に示される色補正装置１０１は、図７に示した色補正装置１００に対して、制御部１１を付加したものである。制御部１１は、値ａｄｊまたは関数ａｄｊｗ（λ）を利用者に指定させるための制御を行うとともに、利用者によって指定されたａｄｊの値またはａｄｊｗ（λ）の関数を、分光分布計算部８に出力する。値ａｄｊまたは関数ａｄｊｗ（λ）は、分光分布計算部８が出力画像の照明の分光分布を計算する際に、入力画像の照明の分光分布と所望の目標照明の分光分布の混合量をコントロールするために使用される値または関数である。

図９は、利用者に対して値ａｄｊの設定を行わせるために、制御部１０が利用者に対して表示するＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の例を示している。利用者は、表示されたスライドバー２０をマウスなどのポインティングデバイスを用いて動かすことによって、ａｄｊの値を調整することができる。

同様に図１０は、利用者に対して関数ａｄｊｗ（λ）の設定を行わせるために、制御部１１が利用者に対して表示するＧＵＩの例を示している。利用者は、表示された制御点２１をマウス操作などを用いて上下に動かすことによって、その制御点２１を通るａｄｊｗ（λ）の波形を調整することができる。制御点２１を通るａｄｊｗ（λ）に関して、制御点以外の波長における関数値は、スプライン補間やラグランジェ補間を用いることにより容易に計算できる。なお、図１０に示した例においては、制御点２１は５点であるが、この制御点の数は任意である。また、制御点２１の追加や削除ができるようにしてあってもよい。

図９および図１０の例において、ａｄｊおよびａｄｊｗ（λ）は、０〜１．０の範囲で指定できるようになっているが、設定できる範囲は０〜１．０に限定されるものではなく、実数値で指定できるようになっていればよい。制御部１１は、利用者によって調整されたａｄｊまたはａｄｊｗ（λ）を、分光分布計算部８に反映させる。

さらに、制御部１１は、目標照明として利用者の所望の照明の色を、その利用者が指定できる機能を有する。目標照明の色を指定する場合、例えば、相関色温度が用いられるようにしてもよい。ＣＩＥ昼光の相関色温度から、その分光分布を計算することができる。相関色温度から分光分布を計算する方法は、日本色彩学会編，「新編 色彩科学ハンドブック」，第２版，財団法人東京大学出版会，１９９８年６月１０日，ｐｐ．６９−７１（非特許文献３）に記載されている。なお、ＣＩＥ昼光の分光分布の計算途中において、相関色温度から、色度が一旦計算されるので、制御部１１では、目標照明の色を色度で与えるようにしてもよい。さらに、制御部１１は、目標照明の分光分布を各波長におけるパワーを指定したファイルで与えるようにしてもよい。

図８に示した色補正装置も、図７に示した色補正装置と同様に、プログラムによって制御されるコンピュータによって構成することができる。

図１１は、本発明に基づく色補正装置の第３の例を示している。図示される色補正装置１０２は、上述の第２の実施形態の色補正方法に基づいて入力画像１に対して色補正を実施し、出力画像２を出力する装置である。色補正装置１０２は、図７に示した色補正装置１００における表面反射率復元部７および画像補正部１０の代わりに、各画素における表面反射率をモデル化する際に使用する基底ベクトルと、復元された入力画像１での照明の分光分布と、出力画像での照明の分光分布とから計算される定数行列を用いて、出力画像の各画素の色情報を算出する行列変換画像補正部１２を設けたものである。

次に、この色補正装置１０２の動作を説明する。

分光分布復元部５による入力画像での照明の分光分布の復元、および分光分布計算部８による出力画像での照明の分光分布の計算までは、図７に示した色補正装置１００の場合と同様に行なわれる。次に、行列変換画像補正部１２は、分光分布復元部５によって復元された入力画像での照明の分光分布と分光分布計算部８によって計算された出力画像での照明の分光分布と入力画像１とが与えられると、図６のステップＳ５を実行して、式（１６）を計算する。そして、入力画像１の全画素に対して、式（１６）による色補正処理を施し、デバイス依存カラーに変換して出力画像２を出力する。

この色補正装置１０２についても、対象領域検出部３、対象領域色情報抽出部４、分光分布復元部５、対象物表面反射率メモリ６、分光分布計算部８、分光分布メモリ９および行列変換画像補正部１２は、それぞれ個別の装置として設けてもよいし、あるいは、プログラムにしたがって動作するＣＰＵによって実現されるようにしてもよい。したがって、コンピュータを用いて、この色補正装置を構成することができる。

さらに、本発明に基づく色補正装置の第４の例として、図８に示した色補正装置１０１の表面反射率復元部７および画像補正部１０を、行列変換画像補正部１２に置き換えた色補正装置も容易に実現可能である。この色補正装置もプログラムによって制御されるコンピュータによって構成することができる。

本発明は、カラー画像の入出力装置においてホワイトバランスを含む色補正を実行する用途に適用できる。また、本発明は、コンピュータシステムで動作するプログラムの形態とすることで、任意のカラー画像に対する色補正ソフトウェアあるいはユーティリティとしても利用可能である。

Claims (20)

1. 入力画像を補正して前記入力画像における照明条件とは異なる照明条件での出力画像を生成する色補正方法であって、
   前記入力画像から特定の対象物の領域を検出して該領域の色情報を抽出するステップと、
   抽出された前記特定の対象物の領域の色情報とあらかじめ指定された前記特定の対象物の表面反射率とを用いて、前記入力画像での照明の分光分布を復元するステップと、
   復元された前記入力画像での照明の分光分布と目標照明として指定された照明の分光分布とを用いて、前記出力画像での照明の分光分布を算出するステップと、
   前記入力画像の各画素の色情報と、復元された前記入力画像での照明の分光分布と、算出された前記出力画像での照明の分光分布とに基づいて、前記出力画像の各画素の色情報を算出するステップと、
   を備える、色補正方法。
2. 前記色情報を算出するステップは、
   前記入力画像の各画素の色情報と、復元された前記入力画像での照明の分光分布とを用いて、各画素における表面反射率を復元するステップと、
   復元された各画素における表面反射率と算出された前記出力画像での照明の分光分布とを用いて、前記出力画像の各画素の色情報を算出するステップと、
   を備える、請求項１に記載の方法。
3. 前記色情報を算出するステップは、各画素における表面反射率をモデル化する際に使用する基底ベクトルと、復元された前記入力画像での照明の分光分布と、前記出力画像での照明の分光分布とから計算される定数行列を用いて、前記出力画像の各画素の色情報を算出するステップとを備える、請求項１に記載の方法。
4. 前記分光分布を算出するステップにおいて、復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたって波長によらず一定の割合で混合することによって、前記出力画像での照明の分光分布が算出される、請求項１乃至３のいずれか１項に記載の方法。
5. 前記分光分布を算出するステップにおいて、復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたって波長に依存する関数に基づいて混合することによって、前記出力画像での照明の分光分布が算出される、請求項１乃至３のいずれか１項に記載の方法。
6. 前記一定の割合は、利用者によって設定される、請求項４に記載の方法。
7. 前記波長に依存する関数は、利用者によって設定される、請求項５に記載の方法。
8. 入力画像を補正して前記入力画像における照明条件とは異なる照明条件での出力画像を生成する色補正装置であって、
   前記入力画像から特定の対象物の領域を検出して該領域の色情報を抽出する対象領域色情報抽出手段と、
   前記対象領域色情報抽出手段によって抽出された前記特定の対象物の領域の色情報とあらかじめ指定された前記特定の対象物の表面反射率とを用いて、前記入力画像での照明の分光分布を復元する分光分布復元手段と、
   前記分光分布復元手段によって復元された前記入力画像での照明の分光分布と目標照明として指定された照明の分光分布とを用いて、前記出力画像での照明の分光分布を算出する分光分布計算手段と、
   前記入力画像の各画素の色情報と、復元された前記入力画像での照明の分光分布と、算出された前記出力画像での照明の分光分布とに基づいて、前記出力画像の各画素の色情報を算出する出力画像生成手段と、
   を備える色補正装置。
9. 前記出力画像生成手段は、
   前記入力画像の各画素の色情報と、前記分光分布復元手段によって復元された前記入力画像の照明での分光分布とを用いて、各画素における表面反射率を復元する表面反射率復元手段と、
   前記表面反射率復元手段によって復元された各画素における表面反射率と、前記分光分布計算手段によって算出された前記出力画像での照明の分光分布とを用いて、前記出力画像の各画素の色情報を算出する画像補正手段と、
   を備える、請求項８に記載の色補正装置。
10. 前記出力画像生成手段は、各画素における表面反射率をモデル化する際に使用する基底ベクトルと、復元された前記入力画像での照明の分光分布と、前記出力画像での照明の分光分布とから計算される定数行列を用いて、前記出力画像の各画素の色情報を算出する行列変換画像補正手段を備える、請求項８に記載の装置。
11. 前記分光分布計算手段は、前記分光分布復元手段によって復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたって波長によらず一定の割合で混合して、前記出力画像での照明の分光分布を算出する、請求項８乃至１０のいずれか１項に記載の装置。
12. 前記分光分布計算手段は、前記分光分布復元手段によって復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたって波長に依存する関数に基づいて混合して、前記出力画像での照明の分光分布を算出する、請求項８乃至１０のいずれか１項に記載の装置。
13. 前記一定の割合を利用者に設定させ、前記分光分布計算手段に出力する制御部をさらに備える、請求項１１に記載の装置。
14. 前記波長に依存する関数を利用者に設定させ、前記分光分布計算手段に出力する制御部をさらに備える、請求項１２に記載の装置。
15. 入力画像を補正して前記入力画像における照明条件とは異なる照明条件での出力画像を生成する処理をコンピュータに実行させる色補正プログラムであって、
    前記コンピュータに、
    前記入力画像から特定の対象物の領域を検出して該領域の色情報を抽出する処理と、
    抽出された前記特定の対象物の領域の色情報とあらかじめ指定された前記特定の対象物の表面反射率とを用いて、前記入力画像での照明の分光分布を復元する処理と、
    復元された前記入力画像の照明での分光分布と目標照明として指定された照明の分光分布とを用いて、前記出力画像での照明の分光分布を算出する処理と、
    前記入力画像の各画素の色情報と、復元された前記入力画像での照明の分光分布と、算出された前記出力画像での照明の分光分布とに基づいて、前記出力画像の各画素の色情報を算出する処理と、
    を実行させるための色補正プログラム。
16. 前記色情報を算出する処理は、
    前記入力画像の各画素の色情報と、復元された前記入力画像での照明の分光分布とを用いて、各画素における表面反射率を復元する処理と、
    復元された各画素における表面反射率と算出された前記出力画像での照明の分光分布とを用いて、出力画像の各画素の色情報を算出する処理と、
    を含む、請求項１５に記載のプログラム。
17. 前記色情報を算出する処理は、各画素における表面反射率をモデル化する際に使用する基底ベクトルと、復元された前記入力画像での照明の分光分布と、前記出力画像での照明の分光分布とから計算される定数行列を用いて、前記出力画像の各画素の色情報を算出する処理を含む、請求項１５に記載のプログラム。
18. 前記分光分布を算出する処理において、復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたって波長によらず一定の割合で混合することによって、前記出力画像での照明の分光分布が算出される、請求項１５乃至１７のいずれか１項に記載のプログラム。
19. 前記分光分布を算出する処理において、復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたって波長に依存する関数に基づいて混合することによって、前記出力画像での照明の分光分布が算出される、請求項１５乃至１７のいずれか１項に記載のプログラム。
20. 入力画像を補正して前記入力画像における照明条件とは異なる照明条件での出力画像を生成する処理を実行可能なコンピュータが読み取り可能な記録媒体であって、
    前記コンピュータに、
    前記入力画像から特定の対象物の領域を検出して該領域の色情報を抽出する処理と、
    抽出された前記特定の対象物の領域の色情報とあらかじめ指定された前記特定の対象物の表面反射率とを用いて、前記入力画像での照明の分光分布を復元する処理と、
    復元された前記入力画像の照明での分光分布と目標照明として指定された照明の分光分布とを用いて、前記出力画像での照明の分光分布を算出する処理と、
    前記入力画像の各画素の色情報と、復元された前記入力画像での照明の分光分布と、算出された前記出力画像での照明の分光分布とに基づいて、前記出力画像の各画素の色情報を算出する処理と、
    を実行させる色補正プログラムを格納した記録媒体。
    

Images