JP5158100B2 - カラー画像処理方法、装置およびプログラム - Google Patents

Description

［関連出願の記載］
本発明は、日本国特許出願：特願２００８−０４１６０５号（２００８年２月２２日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、カラー画像の画像処理に関し、特に、実際にカラー画像機器で撮影されたカラー画像中の物体の色補正や該物体の所望の色再現を実現し、質感を向上させるカラー画像処理方法、カラー画像処理装置、及びカラー画像処理プログラムに関する。

カラー画像装置によって撮影されたカラー画像を高画質化する手法として、カラー画像中の特定対象物（肌色、草木の緑、青空など）の色を、その対象物の記憶色に近づけることで好ましい色を再現する手法が提案されている。

例えば特許文献１においては、画像中の対象領域から代表色を抽出し、その代表色をあらかじめ設定された補正の中心色と比較してＲＧＢ補正パラメータを決定し、各画素の補正は中心色との距離に応じてこの補正パラメータの適用強度をコントロールして補正する。具体的には、カラー画像の各画素の色情報であるＲＧＢ値から色相、彩度、明度に変換し、その色と補正の中心色との色空間における距離を計算し、その距離に応じて補正強度を調整することで、対象物の色を重点的に補正する手法が提案されている。

この手法では、ＲＧＢ色空間で補正パラメータの加減算に基づく色補正が行われる。例えば、顔の肌色の場合、ＲＧＢの補正量は、画素毎に補正の中心色との距離に応じて計算される。顔領域を全体的に明るくする場合には、顔領域のほぼ全領域の各画素のＲＧＢ値に対して、補正の中心色との上記距離に応じた補正パラメータが加減算される。

なお、特許文献３には、分光色の画像データを色補正する際に、分光色を元の次元よりも低次元の色空間に変換し、低次元色空間内で色補正を行い、低次元から適切な次元の分光色を生成する色補正装置、方法が開示されている。また、特許文献４には、元色空間の基準白色である元基準白色の色温度から元基準白色の分光分布特性を復元し、目的色空間の基準白色である目的基準白色の色温度から目的基準白色の分光分布特性を復元し、元色空間における任意の色の表面反射率を任意の色の三刺激値と、元基準白色の光分布特性と、人間の等色関数とを利用して復元し、復元された表面反射率と、復元された目的基準白色の分光分布特性と、人間の等色関数とを目的色空間における色である三刺激値を求める構成が開示されている。特許文献５には、特定対象物の体表色を抽出し、抽出された代表色に最適な色補正パラメータを設定することによって様々な照明環境下で撮影された自然画像における重要被写体に対して自動的に色補正を施すことが可能とした構成が開示されている（特許文献３、４、５の発明は、後述される本発明とは全く相違した構成とされる）。

特許第３２６４２７３号公報（段落００３６−００４５） 特開２００３−３１７０８４号公報（段落００１９−００２１） 特開２００４−４５１８９号公報 特開平１０−２２９４９９号公報 特開２００１−９２９５６号公報 細井ら，「一般化学習ベクトル量子化による顔検出」，信学技法，社団法人電子情報通信学会，２００３年，Ｖｏｌ．１０２，Ｎｏ．６５１，ｐ．４７−５２ 田島譲二著，「画像工学シリーズ１０ カラー画像複製論 カラーマネジメントの基礎」，丸善株式会社，平成８年９月３０日，ｐ．３３−３９

以上の特許文献１−５、及び非特許文献１、２の開示事項は、本書に引用をもって繰り込み記載されているものとする。以下に本発明による関連技術の分析を与える。

特許文献１のように、カラー画像データのＲＧＢや色相、彩度、明度といった、色の３属性を用いたカラー画像処理手法では、本来の物体の質感を低下させてしまう場合がある、という問題がある。

その理由は、画像中のある対象物の色を明るく補正する際、通常もともと高い画素値を持っている色成分（例えば赤）は飽和し、それ以外の色成分（緑、青）については補正パラメータが加減算される現象が起こる。対象物の領域全体に、この処理が行われると、対象物の領域における色情報又は画素値の分散が小さくなり、対象物の領域における見かけの質感が低下してしまう。

したがって、カラー画像中の対象物の領域の質感の低下を抑制するカラー画像処理が必要となっている。

本発明の目的は、カラー画像機器で撮影されたカラー画像中の所定の対象物について該対象物の所望の色再現を実現し、質感を維持するか向上させるカラー画像処理方法、カラー画像処理装置、カラー画像処理システム及びカラー画像処理プログラムを提供することである。

本願で開示される発明は前記課題を解決するため概略以下の構成とされる。

本発明に係るカラー画像処理方法においては、入力画像中の特定対象物の色情報から照明の分光分布を復元し、
前記特定対象物の色情報と前記照明の分光分布とから、前記特定対象物の領域における表面反射率を復元し、
前記表面反射率を補正し、補正された表面反射率と前記照明の分光分布と、を用いて、入力画像中の特定対象物の色を計算して出力画像を生成する。

本発明のカラー画像処理方法は、入力画像を補正して出力画像を生成するカラー画像処理方法であって、
入力画像中の特定対象物の領域における色情報と予め指定された前記特定対象物の代表表面反射率を用いて照明の分光分布を復元するステップと、
前記色情報と前記照明の分光分布とから前記特定対象物の領域における表面反射率を復元するステップと、
予め指定された前記特定対象物の所定個数（３個以上）の参照表面反射率を利用して前記表面反射率を補正するステップと、
前記照明の分光分布と前記補正された表面反射率とから前記特定対象物の領域における色を算出するステップとを含む。

さらに、本発明のカラー画像処理方法は、入力画像を補正して出力画像を生成するカラー画像処理方法であって、
入力画像中の特定対象物の領域における色情報と予め指定された前記特定対象物の代表表面反射率を用いて照明の分光分布を復元するステップと、
予め指定された前記特定対象物の３個以上の参照表面反射率を利用して入力画像中の対象物における表面反射率を補正する行列を計算するステップと、
入力画像中の対象物における色情報を補正する線形計算に基づく補正式を求め対象物における色情報を補正するステップと、を含む。

さらに、本発明のカラー画像処理方法においては、入力画像から特定対象物の領域を検出して色情報を抽出する。

さらに、本発明のカラー画像処理方法においては、補正後の対象物における色情報が、画像出力装置の色域外であった場合に、画像出力装置の色域内の色に補正する。

本発明の他の側面によれば、入力画像を補正して出力画像を生成するカラー画像処理装置であって、
予め指定された特定対象物の代表表面反射率を記憶する対象物の代表表面反射率保存メモリと、
入力画像中の前記特定対象物の領域における色情報と前記特定対象物の代表表面反射率を用いて照明の分光分布を復元する照明の分光分布復元手段と、
前記色情報と前記照明の分光分布とから前記特定対象物の領域における表面反射率を復元する対象物領域の表面反射率復元手段と、
予め指定された特定対象物の３個以上の参照表面反射率を記憶する対象物の参照表面反射率保存メモリと、
前記予め指定された特定対象物の３個以上の参照表面反射率を利用して前記表面反射率を補正する対象物領域の表面反射率補正手段と、
前記照明の分光分布と前記補正された表面反射率とから前記特定対象物の領域における色を算出する対象物領域の再現色算出手段と、を含む。

また、本発明のカラー画像処理装置においては、入力画像を補正して出力画像を生成するカラー画像処理装置であって、
予め指定された特定対象物の代表表面反射率を記憶する対象物の代表表面反射率保存メモリと、
入力画像中の前記特定対象物の領域における色情報と前記特定対象物の代表表面反射率を用いて照明の分光分布を復元する照明の分光分布復元手段と、
予め指定された特定対象物の３個以上の参照表面反射率を記憶する対象物の参照表面反射率保存メモリと、
前記予め指定された特定対象物の３個以上の参照表面反射率を利用して入力画像中の対象物における表面反射率を補正する行列を計算する対象物領域の表面反射率補正マトリックス算出手段と、
入力画像中の対象物における色情報を補正する線形計算に基づく補正式を求め対象物における色情報を補正する対象物領域の再現色補正手段とを含む。

さらに、本発明のカラー画像処理装置においては、入力画像から特定対象物の領域を検出して色情報を抽出する対象物領域検出手段をさらに含む。

さらに、本発明のカラー画像処理装置においては、
出力画像装置の色情報を記憶する出力画像装置の色情報保存メモリと補正後の対象物における色情報が、前記画像出力装置の色域外であった場合に、前記画像出力装置の色域内の色に補正する出力画像装置向け色補正手段を含む。

また、本発明のカラー画像処理プログラムは、入力画像を補正して出力画像を生成するカラー画像処理プログラムであって、
入力画像中の特定対象物の領域における色情報と予め指定された前記特定対象物の代表表面反射率を用いて照明の分光分布を復元し、前記色情報と前記照明の分光分布とから前記特定対象物の領域における表面反射率を復元し、予め指定された前記特定対象物の３個以上の参照表面反射率を利用して前記表面反射率を補正し、前記照明の分光分布と前記補正された表面反射率とから前記特定対象物の領域における色を算出する、処理をコンピュータに実行させるプログラムよりなる。

また、本発明のカラー画像処理プログラムにおいては、入力画像を補正して出力画像を生成するカラー画像処理プログラムであって、入力画像中の特定対象物の領域における色情報と予め指定された前記特定対象物の代表表面反射率を用いて照明の分光分布を復元し、予め指定された前記特定対象物の３個以上の参照表面反射率を利用して入力画像中の対象物における表面反射率を補正する行列を計算し、入力画像中の対象物における色情報を補正する線形計算に基づく補正式を求め対象物における色情報を補正する処理をコンピュータに実行させるプログラムよりなる。

さらに、本発明のカラー画像処理プログラムにおいては、入力画像から特定対象物の領域を検出して色情報を抽出する処理をコンピュータに実行させるプログラムを含む。

さらに、本発明においては、補正後の対象物における色情報が、画像出力装置の色域外であった場合に、画像出力装置の色域内の色に補正するコンピュータに実行させるプログラムを含む。

本発明によれば、カラー画像機器で撮影されたカラー画像中の所定の対象物について該対象物の所望の色再現を実現し、質感を維持するか向上させることができる。

本発明のカラー画像処理方法の第１の実施例の手順を説明するフローチャートである。 入力画像中の対象物の領域を自動検出し、色情報を求める処理を説明する図である。 対象物の領域を自動検出し、色情報を求める処理の概略を説明する図である。 ＣＩＥ昼光の平均および第１、第２主成分ベクトルを示すグラフである。 物体の表面反射率を集め、それらを主成分分析して得られる基底ベクトルの例を示すグラフである。 対象物の領域における色に関する特性パラメータｂｉ（ｉ＝１〜３）の空間での補正を示した図である。 本発明のカラー画像処理方法の第２の実施例の手順を説明するフローチャートである。 本発明のカラー画像処理装置の第１の実施例の構成を示す図である。 本発明のカラー画像処理装置の第２の実施例の構成を示す図である。 本発明のカラー画像処理装置の第３の実施例の構成を示す図である。

符号の説明

１ 入力画像
２ 出力画像
３ 対象物領域検出手段
４ 照明の分光分布復元手段
５ 対象物の代表表面反射率保存メモリ
６ 対象物領域の表面反射率復元手段
７ 対象物領域の表面反射率補正手段
８ 対象物の参照表面反射率保存メモリ
９ 対象物領域の再現色算出手段
１０ 対象物領域の表面反射率補正マトリックス算出手段
１１ 対象物領域の再現色補正手段
１２ 出力画像装置向け色補正手段
１３ 出力画像装置の色情報保存メモリ
１００、１０１、１０２ カラー画像処理装置

本発明の実施の形態について説明する。本発明においては、特定対象物の色を補正する際、画像データを構成するＲＧＢや色の三属性で補正せずに、当該特定対象物の色を表現する表面反射率の分布を、あらかじめ設定されている対象物の参照の表面反射率の分布に近づけるような補正を行って再現色を算出することで、色補正後の再現色の分散の低下を低減可能としている。

本発明によれば、カラー画像データのＲＧＢや色相、彩度、明度といった色の３属性を用いたカラー画像処理では本来の物体の質感が低下するという課題を解決し、カラー画像機器で撮影されたカラー画像中の特定対象物について質感を落とすことなく対象物の所望の色再現を実現することができる。以下実施例に即して説明する。

図１は、本発明の一実施例のカラー画像処理方法を説明するためのフローチャートである。なお、ここでの説明の便宜上、画像の表色系は、ＲＧＢ表色系であるものとする。すなわち、画像の色は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の組み合わせで表されるものとし、色情報ＲＧＢと表記するものとする。なお、本発明において、ＲＧＢ以外の表色系にも適用可能であることは勿論である。

任意に与えられたカラー画像中の特定対象物の質感を向上させるため、カラー画像中の対象物の各画素における再現色の再計算を行う。

ここで、特定対象物としては、個体が異なる、すなわち、個体差があったとしても、大まかな色情報、テクスチャが普遍であるため、カラー画像から得られる特徴から想定する対象物であると特定できるのであれば特に限定されるものではない。

まず、入力画像中から特定の対象物を自動で検出する（ステップＳ１）。

入力されたカラー画像中から特定対象物を、色情報、テクスチャなどを用いて検出する。以下では、特定対象物を人間の顔とした場合について説明する。特定対象物を人間の顔とした場合には、目、鼻、口などの形状特徴を利用して顔領域を検出する。

顔領域の検出手法として、例えば、非特許文献２に掲載された顔検出方法が利用できる。この手法は、一般化学習ベクトル量子化を用いた、Ｉｍａｇｅ−ｂａｓｅｄ型と目の検出を行うＦｅａｔｕｒｅ−ｂａｓｅｄ型とを組み合わせた顔検出方法である。

また、入力画像から顔領域を検出する方法として、特許文献２に記載された、画像中から目を検出する方法を用いることができる。つまり、入力画像中から、目の位置が検出されれば、顔領域を推定することは容易である。

ここで、上記２つの手法はモノクロ情報を利用して顔検出を行うのが一般的であるが、さらにその検出結果である顔領域が肌色であるかの判定を追加することによって、顔領域の検出精度を向上させることも可能である。

肌色の判定方法については、特許文献１に記載の画像ヒストグラムを利用した手法を利用することができる。顔検出方法は、上記の２つの手法に限ったものではなく、別の手法を利用しても良い。

上記の説明では、任意に与えられた入力画像から自動検出する対象物を、顔とした場合について述べたが、顔以外のものにも対応可能である。なお、顔以外の対象物を自動検出するためには、例えば、あらかじめ登録されている対象物の視覚的特徴情報と、画像データの視覚的特徴情報とを比較することによって対象物を自動検出する方法などを利用することができる。

次に、入力画像中の対象物における色情報から、入力画像を撮影した際の照明の色情報を復元する（ステップＳ２）。

ここでは、カラー画像中の対象物の色情報、対象物が有する表面反射特性を利用して、入力画像を撮影した際に用いたであろう照明の色情報、すなわち、照明の分光分布特性を復元する。

まず、入力画像から自動検出された対象物の領域の色情報を求める。

図２は、入力画像中の対象物の領域を自動検出し、色情報を求める処理の概略を説明するための図である。なお、対象物の領域の色情報として、
対象物が占める領域内に存在する画素の平均色、中央色（メジアン）、最頻色（モード）など、いずれか一つの色を対象物の領域の色情報として利用することができる。

ステップＳ２では、対象物の領域の色情報ＲＧＢを取得し、取得した色情報ＲＧＢに基づいて、ＸＹＺ表色系の三刺激値ＸＹＺを求める。

以下では、入力画像のＲＧＢに関して、このＲＧＢのＲＧＢ蛍光体の色度および白色の色度はあらかじめ指定されており、ＲＧＢデータと表示機器の発光強度の関係が線形であるものとして説明する。

この場合、入力画像のＲＧＢと三刺激値ＸＹＺとの関係は、以下の式（１）で表される。

・・・（１）

ここで、ＲＸは３×３変換行列である。

この変換行列ＲＸは、ＲＧＢの蛍光体の色度と白色の色度が決まれば一意に計算できる。

変換行列ＲＸの算出方法として、例えば、非特許文献２に記載されている手法などが利用できる。また、現在使用しているカラー画像表示装置が、ｓＲＧＢディスプレイであれば国際電気標準会議ＩＥＣが規定する変換行列を用いればよい。式（１）に対して、さらにブラックのXYZ値をオフセット項として追加してもよい。

式（１）で得られた画像中の対象領域の三刺激値ＸＹＺと対象物が有する表面反射率とから、入力画像を撮影した際の照明の色情報である、分光分布を復元するための観測方程式を生成する。

なお、入力画像を撮影した際の照明とは、入力画像中の対象物を照射する照明（光源）のことである。

ＸＹＺ表色系に基づく対象物の色を示す三刺激値ＸＹＺは、対象物の表面反射率、その対象物を照射する照明の分光分布および人間視覚の等色関数から、以下の式（２）で表現される。

・・・（２）

ここで、λは波長、Ｉ（λ）は照明の分光分布、Ｒ（λ）は対象物の表面反射率である。ｘ（λ）、ｙ（λ）、ｚ（λ）は等色関数で既知の関数である。積分は可視光の波長領域で行われる。

いま、式（１）で計算された三刺激値ＸＹＺを式（２）の左辺に代入すると、式（２）は、未知である照明の分光分布Ｉ（λ）およびＲ（λ）の観測方程式となる。

しかし、現状では、波長に関する連続関数であるＩ（λ）およびＲ（λ）を、式（２）から計算することはできない。

ここで、ある程度の誤差を含んだ状態であっても、対象物の色を示す表面反射率Ｒ（λ）をあらかじめ限定あるいは決定できるのであれば、Ｒ（λ）は、既知の値として扱うことができ、式（２）は、Ｉ（λ）のみの観測方程式となる。

例えば、対象物を日本人の顔とした場合には、図３に例示する平均的な肌色を有する日本人の顔領域の表面反射率を、式（２）のＲ（λ）として用いることができる。

対象物が顔以外の場合であっても、その対象物を複数測定して得た表面反射率の平均または代表的な色を持つとして選択された対象物の表面反射率をあらかじめ求めておき、式（２）のＲ（λ）に代入すればよい。

照明の分光分布Ｉ（λ）の観測方程式である式（２）から、Ｉ（λ）から、本来、照明の分光分布Ｉ（λ）は、可視光領域において無限次元の波形で表されるため、Ｉ（λ）を式（２）から解析的に計算することは出来ない。

なお、ＣＩＥ昼光は、ＣＩＥ（国際照明委員会）が相対分光分布によって規定した測色用の光源であって、平均と２つの主成分の線形和でよく近似されることが知られている。

図４は、ＣＩＥ昼光の平均および第１、第２主成分ベクトルを示すグラフである。

このことから、照明の分光分布Ｉ（λ）を以下のように表すことができる。

・・・（３）

式（３）におけるＩ_ｉ（λ）（ｉ＝０〜２）は、図４に示す照明の平均および基底ベクトルである。

ａ_ｉ（ｉ＝１〜２）は、各基底ベクトルの重み係数で、照明の色を表現する特性パラメータとなる。

式（３）のＩ（λ）を式（２）に代入すると、照明の色を表現する未知の特性パラメータａ_１およびａ_２に関する２元一次連立方程式となり、容易にａ_１，ａ_２を計算することが出来る。

得られた照明の色を表現する特性パラメータａ_１，ａ_２を、式（３）に代入することによって、照明の分光分布Ｉ（λ）が得られる。

以上の手順にて得られた照明の分光分布、入力画像を撮影した際の照明の分光分布Ｉ（λ）とする。

つぎに、入力画像中の特定対象物における各画素について、特定対象物の表面反射率を復元する（ステップＳ３）。

特定対象物の領域の任意の画素におけるＲＧＢ値から、式（１）に従って、三刺激値ＸＹＺを計算し、式（２）の左辺に代入する。

そして、ステップＳ２で計算された入力画像を撮影した際の照明の分光分布Ｉｏｒｇ（λ）を、式（２）の右辺に代入すると、式（２）は、特定対象物の領域のある画素における表面反射率Ｒ（λ）に関する観測方程式となる。

ここで、特定対象物の表面反射率についても、照明の分光分布と同様に可視光領域において無限次元の波形で表されるため、これを観測方程式（２）から解析的に計算することは出来ない。

そこで、特定対象物の表面反射率についても低次元の基底ベクトルの加重和で表す有限次元線形モデルを用いてモデル化する。

・・・（４）

ここで、ｒ_ｉ（λ）（ｉ＝０〜３）は、多くの物体の表面反射率を集め、それを主成分分析して得られる基底ベクトルであり、それぞれ平均、第一主成分ベクトル〜第三主成分ベクトルを表しており、すべて既知である。

ｂ_ｉ（ｉ＝１〜３）は、各基底ベクトルの重み係数で、物体の色を表現する未知の特性パラメータとなる。

図５は、物体の表面反射率を主成分分析して得られた基底ベクトルの例である。なお、特定対象物の表面反射率を多数集めて、それらを主成分分析して得られる基底ベクトルを用いても良い。

今、特定対象物の表面反射率が、式（４）のように表わせられるとすれば、未知の特性パラメータｂ_１〜ｂ_３は、式（４）を観測方程式式（２）に代入することにより得られる３元一次連立方程式である式（５）によって求められる。

・・・（５）

ここで、Ｍ（ｘ，ｒ_ｉ）（ｉ＝０〜３）は、∫Ｉ（λ）ｒ_ｉ（λ）ｘ（λ）ｄλの積分項を表わす。ｙ、ｚについても同様である。

式（５）で得られた物体の色を表現する特性パラメータｂ_ｉ（ｉ＝１〜３）を、式（４）に代入することで、対象物の領域における任意の画素における表面反射率が求められる。

次に、対象物の参照表面反射率を利用して、入力画像中の対象物における各画素の表面反射率を補正する（ステップＳ４）。

ステップＳ３で算出した入力画像中の対象物における各画素の表面反射率を、その対象物の望ましい色が再現できるように設定された参照表面反射率を基に補正する。

ここで、対象物の参照表面反射率とは、その対象物を標準照明下で撮影して得たカラー画像において、その対象物が良好で、かつ、好ましい色（明度、彩度、色相）になるような表面反射率のことである。

この参照表面反射率は、人間の主観に依存するため一意に定義できるものではないが、主観評価実験を実施することであらかじめ求めておくことができる。例えば、画像処理ツールを用いて画像中の対象物の色を様々に変化させてその画質を評価し、その中で最も好ましいと判断されたときの画像について、上述のステップＳ２およびステップＳ３を適用することで、対象物の領域における各画素の参照表面反射率を求めることができる。

ここで、参照表面反射率として、その対象物の領域から３つ以上をあらかじめ選択しておくものとする。例えば、対象物の領域内に存在する平均色、中央色（メジアン）、最頻色（モード）に相当する画素の色について、その表面反射率を対象物の参照表面反射率をＲｒｅｆ（ｉ，λ）（ｉ＝１〜ｎ， ｎ≧３）としてもよい。

また、対象物の領域内の最も明るい色、最も暗い色、最も彩度の高い色、最も彩度の低い色や、対象物の領域内の色分布を解析し、色相の両端に位置する色などについても、その対象物の参照表面反射率Ｒｒｅｆ（ｉ，λ） （ｉ＝１〜ｎ， ｎ≧３）としてもよい。

さらに、入力画像中の対象物において形状的な特徴が利用できる場合には、その領域における色に対する表面反射率を、その対象物の参照表面反射率をＲｒｅｆ（ｉ，λ） （ｉ＝１〜ｎ， ｎ≧３）としてもよい。例えば、対象物が顔の場合、頬、目尻、額などが特徴領域として与えられる。

これらの特徴領域におけるある程度の範囲内に存在する画素の平均色を求め、その平均色に対する表面反射率を算出し、その対象物の参照表面反射率Ｒｒｅｆ（ｉ，λ） （ｉ＝１〜ｎ， ｎ≧３）としてもよい。

以上の手法で、その対象物の領域から３つ以上の参照表面反射率を得る。

入力画像中の対象物における各画素の表面反射率を、対象物の色を良好に再現するための参照表面反射率であるＲｒｅｆ（ｉ，λ） （ｉ＝１〜ｎ， ｎ≧３）を元に補正する。

ここで、対象物の領域における表面反射率に対する補正の結果として、一つの表面反射率に補正されることによって対象物の領域内の再現色の分散が小さくならないようにする。

対象物の領域内の色の分散が小さくなってしまうと、質感の低下を引き起こしてしまう場合があるからである。

本実施例においては、対象物の領域における各画素に対して算出された表面反射率を構成する特性パラメータｂ_ｉ（ｉ＝１〜３）を補正することにより、画像中の対象物の色を補正する。

特性パラメータｂ_ｉ（ｉ＝１〜３）に対する補正式の一例を如何に示す。

・・・（６）

ここで、特性パラメータｂ_ｉ’（ｉ＝１〜３）は、補正後の特性パラメータである。

３ｘ３行列が補正行列であり、その要素ｍ_ｉｊ（ｉ，ｊ＝１〜３）は以下のようにして算出する。

上述のあらかじめ得られている対象物に対する３個以上の参照表面反射率Ｒｒｅｆ（ｉ，λ） （ｉ＝１〜ｎ， ｎ≧３）のそれぞれに対して、入力画像中の対象物の領域において同じ性質を有する色を求め、それらの色について表面反射率を求める。

つまり、１個目の参照表面反射率Ｒｒｅｆ（１，λ）が、上述の最も好ましいと判断された画像中における対象領域の平均色に対する表面反射率であった場合には、入力画像中の対象物の領域における平均色に対する表面反射率Ｒ（１，λ）を求める。

ここで、Ｒｒｅｆ（１，λ）の特性パラメータをｂ_ｒ１，ｉ（ｉ＝１〜３）、Ｒ（１，λ）の特性パラメータをｂ_１，ｉ（ｉ＝１〜３）とする。

今、入力画像中の対象物の領域における平均色を、好ましいと判断されたときの画像中の対象物の領域における中心色に補正する。Ｒｒｅｆ（１，λ）の特性パラメータであるｂ_ｒ１，ｉ（ｉ＝１〜３）を、式（６）の左辺の特性パラメータｂ_ｉ’（ｉ＝１〜３）に、Ｒ（１，λ）の特性パラメータをｂ_１，ｉ（ｉ＝１〜３）を、式（６）の右辺の特性パラメータｂ_ｉ（ｉ＝１〜３）に代入する。

すると、式（６）は、未知である要素ｍ_ｉｊ（ｉ，ｊ＝１〜３）に関する連立方程式となる。

対象物における３個以上の色について同様にすれば、方程式と未知数との数の関係から、未知である要素ｍ_ｉｊ（ｉ，ｊ＝１〜３）を解くことができ、式（６）の補正行列が得られる。

図６は、対象物の領域における３個の色について、特性パラメータｂ_ｉ（ｉ＝１〜３）の空間で、上記の補正の関係を示したものである。

図６からもわかるように、入力画像中の特定対象物の領域における特性パラメータの分布が、望ましい色再現をもたらす参照表面反射率における特性パラメータの分布に維持されることで色の分散の変化（偏りや低下）を抑えることができ、補正後の色の質感が損なわれることがない。

また、逆に、入力画像中の特定対象物の領域における特性パラメータの分布が大きく分散している場合には、参照表面反射率における特性パラメータの分布の分散に調整されることで、色の分散が大きすぎることによる質感の低下も改善できる。

入力画像中の対象物における各画素の表面反射率を構成する特性パラメータｂ_ｉ（ｉ＝１〜３）に、式（６）の補正行列を適用して、補正後の特性パラメータを算出し、式（４）に代入することで、入力画像中の対象物における各画素の補正後の表面反射率を得ることが出来る。

次に、入力画像中の対象物における各画素の補正後の表面反射率と、入力画像を撮影した際の照明の分光分布Ｉ（λ）を用いて、入力画像中の対象物における各画素の補正後の色を算出する（ステップＳ５）。

入力画像中の対象物における各画素の補正後の色の算出は、式（２）を利用して三刺激値Ｘ’Ｙ’Ｚ’を計算し、さらに、式（１）の行列ＲＸの逆行列である行列ＸＲを計算することで、補正後のＲ’Ｇ’Ｂ’が得られる。

・・・（７）

上記した方法にしたがって、入力画像中の対象物の領域の色を補正した画像を出力画像として出力する。

以上は、入力画像および出力画像のデバイス依存カラーがＲＧＢである場合について説明したが、ＣＭＹやＣＭＹＫなどのＲＧＢ以外のデバイス依存カラーであったとしても、そのデバイス依存カラーとデバイス非依存カラーの三刺激値ＸＹＺとの対応関係が得られれば、ＲＧＢ以外の画像についても本発明の色補正方法を適用できる。なお、デバイス依存カラーとは、出力先のデバイスに依存する色空間を意味する。

次に、本発明の第２の実施例のカラー画像処理方法について説明する。図７は、本発明による第２の実施例のカラー画像処理方法を説明するためのフローチャートである。第２実施例は、第１の実施例のステップＳ３、ステップＳ４、ステップＳ５で行われる入力画像中の対象物における各画素の表面反射率を復元し、復元された表面反射率を補正し、補正後の再現色を算出する処理を、線形計算に基づく補正式に置き換えることによって、第１の実施例と同等の補正結果を得ることを可能としている。

図７におけるステップＳ１からステップＳ２の処理は、図１のステップＳ１、Ｓ２と同様であるため説明を省略し、ステップＳ６とステップＳ７について説明する。

まず、ステップＳ６では、ステップＳ４の式（６）における、３行３列の要素ｍｉｊ（ｉ，ｊ＝１〜３）で構成される対象物の領域における表面反射率を補正する行列を、ステップＳ３で述べた対象物の領域における表面反射率の算出方法を用いて計算する。

ステップＳ７では、ステップＳ５で行われる補正後の再現色の計算結果と同じ結果を与える線形変換に基づく計算式を構築する。

今、ステップＳ２において、入力画像を撮影した際の照明の分光分布Ｉ（λ）が、また、ステップＳ３において、入力画像中の対象物の領域におけるある画素の表面反射率Ｒ（λ）が復元されているものとする。

すなわち、物体の色を表す特性パラメータｂ_ｉ（ｉ＝１〜３）が得られている。

そして、上記ステップＳ６において、表面反射率を補正する３ｘ３行列の補正行列が得らており、補正後の対象物の表面反射率Ｒ’（λ）の特性パラメータｂ_ｉ’（ｉ＝１〜３）は式（６）で算出される。

次に、補正後の表面反射率Ｒ’（λ）は、特性パラメータｂ_ｉ’（ｉ＝１〜３）を式（４）に代入することで計算され、次式（８）のように表される。

・・・（８）

補正後の対象物の色の三刺激値Ｘ’Ｙ’Ｚ’は、次式（９）のように表される。

・・・（９）

式（９）の右辺に、式（８）を代入し、線形変換の形式で表すと次式（１０）のようになる。

・・・（１０）

ここで、Ｍ（ｘ，ｒ_ｉ）（ｉ＝０〜３）は、∫Ｉ（λ）ｒ_ｉ（λ）ｘ（λ）ｄλの積分項を表わす。ｙ、ｚについても同様である。

式（１０）は、式（５）および式（６）から以下の式（１１）のように表現される。

・・・（１１）

式（１１）は、次式（１２）のように纏めることができる。

・・・（１２）

ここで、行列Ａは、以下の式（１３）で表される３×３行列であり、行列Ｂは、以下の式（１４）で表される３×１行列であって、いずれも定数行列となる。

・・・（１３）

・・・（１４）

色情報を補正する式である式（１２）が得られれば、入力画像中の対象物の領域における全ての画素について三刺激値ＸＹＺを算出し、式（１２）を用いて、補正後の三刺激値Ｘ’Ｙ’Ｚ’を計算する。

そして、式（７）を用いて補正後のＲ’Ｇ’Ｂ’が得られる。

次に、本発明の一実施例の色補正装置について説明する。図８は、本発明の第１の実施例の構成を示す図である。

カラー画像処理装置１００は、入力画像１に対して色補正を施し出力画像２を出力する装置である。カラー画像処理装置１００は、対象物領域検出手段３と、照明の分光分布復元手段４と、対象物の代表表面反射率保存メモリ５と、対象物領域の表面反射率復元手段６と、対象物領域の表面反射率補正手段７と、対象物の参照表面反射率保存メモリ８と、対象物領域の再現色算出手段９とを備える。

対象物領域検出手段３は、入力画像１が与えられると、入力画像１を解析し、予め想定された特定対象物を検出し、画像中における対象物の領域を示す情報を出力する。ここで、入力画像１から検出する対象物は、上記のように、人の顔などのようにその対象物の色と形状特徴がある程度限定できるものである。検出方法については、上記した手法に従えばよい。なお、入力画像１から目的とする対象物が検出されない場合には、入力画像１を出力画像２として出力する。

照明の分光分布復元手段４は、対象物領域検出手段３によって検出された対象領域における色情報と、対象物の代表表面反射率保存メモリ５に保存されている対象物の代表的な表面反射率を用い、上記の方法に従って入力画像中の照明の分光分布を復元する。照明の分光分布復元手段４では、前述した図１のステップＳ２に相当する処理が実行される。

対象物領域の表面反射率復元手段６は、復元された照明の分光分布と入力画像の画素値とから、対象物の領域における各画素の表面反射率を上記の方法に従って復元する。対象物領域の表面反射率復元手段６では、前述した図１のステップＳ３に相当する処理が実行される。

対象物領域の表面反射率補正手段７は、対象物の参照表面反射率保存メモリ８に記憶されている３個以上の対象物の参照表面反射率を用いて、復元された対象物の領域における各画素の表面反射率を上記の方法に従って補正する。対象物領域の表面反射率補正手段７では、前述した図１のステップＳ４に相当する処理が実行される。

対象物領域の再現色手段９は、補正された対象物の領域における各画素の表面反射率と、復元された照明の分光分布を用いて三刺激値ＸＹＺを計算し、さらに出力画像をデバイス依存カラー（例えばＲＧＢなど）に変換して、出力画像として出力する。対象物領域の再現色手段９は、前述した図１のステップＳ５に相当する処理が実行される。

なお、カラー画像処理装置は、コンピュータで実現可能であり、カラー画像処理装置を構成する各構成要素、すなわち、対象物領域検出手段３と、照明の分光分布復元手段４と、対象物の代表表面反射率保存メモリ５と、対象物領域の表面反射率復元手段６と、対象物領域の表面反射率補正手段７と、対象物の参照表面反射率保存メモリ８と、対象物領域の再現色算出手段９は、コンピュータの処理装置（ＣＰＵ）に上述した機能を実現させるためのプログラムとして実現可能である。カラー画像処理装置を構成する各構成要素がコンピュータで実現可能であること、およびプログラムとして実現可能であることは、第１の実施の形態に限らず、その他の実施の形態でも同様である。

図９は、本発明によるカラー画像処理装置の第２の実施例の構成を示すブロック図である。本実施例のカラー画像処理装置１０１は、入力画像１に対して色補正を施し、出力画像２を出力する装置である。図９を参照すると、カラー画像処理装置１０１は、対象物領域検出手段３と、照明の分光分布復元手段４と、対象物の代表表面反射率保存メモリ５と、対象物領域の表面反射率補正マトリックス算出手段１０と、対象物の参照表面反射率保存メモリ８と、対象物領域の再現色補正手段１１とを備える。対象物領域検出手段３と、照明の分光分布復元手段４は、図８の対象物領域検出手段３と、照明の分光分布復元手段４と同一である。

対象物領域の表面反射率補正マトリックス算出手段１０では、前述した図７のステップＳ６に相当する処理が実行される。

すなわち、式（６）における３行３列の要素ｍ_ｉｊ（ｉ，ｊ＝１〜３）で構成される対象物の領域における表面反射率の補正行列を算出する。

対象物領域の再現色補正手段１１では、図７のステップＳ７に相当する処理が実行される。すなわち、式（１１）で表される対象物の色を補正する補正式を作成し、対象物の領域の画素について式（１１）による色補正を実施し、出力画像を生成し出力する。

図１０は、本発明によるカラー画像処理装置の第３の実施の形態を示すブロック図である。図１０を参照すると、本発明の第３の実施例において、カラー画像処理装置１０２は、入力画像１に対して色補正を施し、出力画像２を出力する装置である。

カラー画像処理装置１０２は、対象物領域検出手段３と、照明の分光分布復元手段４と、対象物の代表表面反射率保存メモリ５と、対象物領域の表面反射率補正マトリックス算出手段１０と、対象物の参照表面反射率保存メモリ８と、対象物領域の再現色補正手段１１と、出力画像装置向け色補正手段１２と、出力画像装置の色情報保存メモリ１３を備える。

対象物領域の再現色補正手段１１は、補正された対象物の領域における各画素の表面反射率と、復元された照明の分光分布を用いて、三刺激値ＸＹＺで表現される対象物領域の再現色を計算する。

出力画像装置向け色補正手段１２は、出力画像装置の色情報保存メモリ１３に記憶されている出力画像装置の色情報を用いて、算出された対象物領域の再現色が、その出力画像装置の色域内の色であるかどうかを判定し、色域外の色の場合には、その色を出力画像装置の色域内の色に補正して出力画像として出力する。

本発明は、カラー画像入出力装置における色補正を実現する機能に適用できる。また、本発明は、コンピュータシステムで動作するプログラムの形態とすることで、任意のカラー画像に対する色補正ソフトウェアあるいはユーティリティとしても適用可能である。

なお、本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

Claims (27)

1. 入力画像中の特定対象物の色情報と、前記入力画像を撮影した際の照明の分光分布の復元情報と、から、前記特定対象物の領域における表面反射率を復元し、
   前記特定対象物の参照表面反射率を用いて前記表面反射率を補正することで、前記入力画像中の前記特定対象物に色補正を施し出力画像を生成する、ことを特徴とするカラー画像処理方法。
2. 入力画像を補正して出力画像を生成するカラー画像処理方法であって、
   前記入力画像中の特定対象物の領域における色情報と、予め指定された前記特定対象物の代表表面反射率と、を用いて、照明の分光分布を復元するステップと、
   前記色情報と前記照明の分光分布とに基づき、前記特定対象物の領域における表面反射率を復元するステップと、
   予め指定された前記特定対象物の所定個数の参照表面反射率を用いて、前記表面反射率を補正するステップと、
   前記照明の分光分布と前記補正された表面反射率とから、前記特定対象物の領域における色を算出するステップと、
   を含む、ことを特徴とするカラー画像処理方法。
3. 前記表面反射率を補正するステップにおいて、
   前記特定対象物の領域における表面反射率を表現する特性パラメータの分布を、前記参照表面反射率を表現する特性パラメータの分布に近づけるように、前記表面反射率を補正する、ことを特徴とする請求項２記載のカラー画像処理方法。
4. 前記表面反射率を補正するステップにおいて、
   予め指定された前記特定対象物の参照表面反射率は３個以上である、ことを特徴とする請求項２又は３に記載のカラー画像処理方法。
5. 入力画像を補正して出力画像を生成するカラー画像処理方法であって、
   前記入力画像中の特定対象物の領域における色情報と、予め指定された前記特定対象物の代表表面反射率と、を用いて、照明の分光分布を復元するステップと、
   予め指定された前記特定対象物の参照表面反射率を利用して、前記入力画像中の対象物における表面反射率を補正する行列を計算するステップと、
   前記入力画像中の対象物における色情報を補正する線形計算に基づく補正式を求め対象物における色情報を補正するステップと、
   を含む、ことを特徴とするカラー画像処理方法。
6. 前記表面反射率を補正する行列を計算するステップにおいて、
   前記特定対象物の領域における表面反射率を表現する特性パラメータの分布を、前記参照表面反射率を表現する特性パラメータの分布に近づける補正を行う、ことを特徴とする請求項５に記載のカラー画像処理方法。
7. 前記表面反射率を補正する行列を計算するステップにおいて、
   予め指定された前記特定対象物の参照表面反射率は３個以上であることを特徴とする請求項５又は６に記載のカラー画像処理方法。
8. 前記入力画像から特定対象物の領域を検出して色情報を抽出するステップをさらに含むことを特徴とする請求項１乃至７のうちのいずれか１項に記載のカラー画像処理方法。
9. 補正後の対象物における色情報が、画像出力装置の色域外であった場合に、前記画像出力装置の色域内の色に補正するステップをさらに含むことを特徴とする請求項１乃至８のうちのいずれか１項に記載のカラー画像処理方法。
10. 入力画像中の特定対象物の色情報と、前記入力画像を撮影した際の照明の分光分布の復元情報と、から、前記特定対象物の領域における表面反射率を復元する手段と、
    前記特定対象物の参照表面反射率を用いて前記表面反射率を補正し、前記入力画像中の前記特定対象物に色補正を施し出力画像を生成する手段と、
    を備えたことを特徴とするカラー画像処理装置。
11. 入力画像を補正して出力画像を生成するカラー画像処理装置であって、
    予め指定された特定対象物の代表表面反射率を記憶する、対象物の代表表面反射率保存メモリと、
    前記入力画像中の前記特定対象物の領域における色情報と、前記特定対象物の代表表面反射率とを用いて照明の分光分布を復元する、照明の分光分布復元手段と、
    前記色情報と、前記照明の分光分布とから、前記特定対象物の領域における表面反射率を復元する対象物領域の表面反射率復元手段と、
    予め指定された特定対象物の参照表面反射率を記憶する、対象物の参照表面反射率保存メモリと、
    前記予め指定された特定対象物の参照表面反射率を用いて、前記表面反射率を補正する、対象物領域の表面反射率補正手段と、
    前記照明の分光分布と、前記補正された表面反射率とから、前記特定対象物の領域における色を算出する対象物領域の再現色算出手段と、
    を含む、ことを特徴とするカラー画像処理装置。
12. 前記対象物領域の表面反射率補正手段において、
    前記表面反射率を表現する特性パラメータの分布を、前記参照表面反射率を表現する特性パラメータの分布に近づけるように前記表面反射率を補正する、ことを特徴とする請求項１１に記載のカラー画像処理装置。
13. 前記対象物の参照表面反射率保存メモリに記憶される、前記予め指定された特定対象物の参照表面反射率が３個以上である、ことを特徴とする請求項１１又は１２に記載のカラー画像処理装置。
14. 入力画像を補正して出力画像を生成するカラー画像処理装置であって、
    予め指定された特定対象物の代表表面反射率を記憶する対象物の代表表面反射率保存メモリと、
    前記入力画像中の前記特定対象物の領域における色情報と、前記特定対象物の代表表面反射率と、を用いて、照明の分光分布を復元する照明の分光分布復元手段と、
    予め指定された特定対象物の参照表面反射率を記憶する対象物の参照表面反射率保存メモリと、
    前記予め指定された特定対象物の参照表面反射率を利用して、前記入力画像中の対象物における表面反射率を補正する行列を計算する、対象物領域の表面反射率補正マトリックス算出手段と、
    前記入力画像中の対象物における色情報を補正する線形計算に基づく補正式を求め対象物における色情報を補正する対象物領域の再現色補正手段と、
    を含む、ことを特徴とするカラー画像処理装置。
15. 前記表面反射率補正マトリックス算出手段において、
    前記表面反射率を補正する行列は、前記特定対象物の領域における表面反射率を表現する特性パラメータの分布を、前記参照表面反射率を表現する特性パラメータの分布に近づける補正を実現する、ことを特徴とする請求項１４に記載のカラー画像処理装置。
16. 前記対象物の参照表面反射率保存メモリに記憶される前記予め指定された特定対象物の参照表面反射率が３個以上である、ことを特徴とする請求項１４又は１５に記載のカラー画像処理装置。
17. 前記入力画像から特定対象物の領域を検出して色情報を抽出する対象物領域検出手段をさらに含む、ことを特徴とする請求項１０乃至１６のうちのいずれか１項に記載のカラー画像処理装置。
18. 出力画像装置の色情報を記憶する出力画像装置の色情報保存メモリと、
    補正後の対象物における色情報が、前記画像出力装置の色域外であった場合に、前記画像出力装置の色域内の色に補正する出力画像装置向け色補正手段と、をさらに含む、ことを特徴とする請求項１０乃至１７のうちのいずれか１項に記載のカラー画像処理装置。
19. 入力画像中の特定対象物の色情報と、前記入力画像を撮影した際の照明の分光分布の復元情報と、から、前記特定対象物の領域における表面反射率を復元する処理と、
    前記特定対象物の参照表面反射率を用いて前記表面反射率を補正し、前記入力画像中の前記特定対象物に色補正を施し出力画像を生成する処理と、
    をコンピュータに実行させるプログラム。
20. 入力画像を補正して出力画像を生成する処理を実行するコンピュータに、
    入力画像中の特定対象物の領域における色情報と予め指定された前記特定対象物の代表表面反射率を用いて照明の分光分布を復元する処理と、
    前記色情報と前記照明の分光分布とから前記特定対象物の領域における表面反射率を復元する処理と、
    予め指定された前記特定対象物の参照表面反射率を利用して前記表面反射率を補正する処理と、
    前記照明の分光分布と前記補正された表面反射率とから前記特定対象物の領域における色を算出する処理と、
    を実行させるプログラム。
21. 前記表面反射率を補正する際、前記表面反射率を表現する特性パラメータの分布を、前記参照表面反射率を表現する特性パラメータの分布に近づけるように前記表面反射率を補正する処理を、前記コンピュータに実行させる、ことを特徴とする請求項２０記載のプログラム。
22. 前記予め指定された前記特定対象物の参照表面反射率が３個以上である、請求項２０又は２１記載のプログラム。
23. 入力画像を補正して出力画像を生成するコンピュータに、
    前記入力画像中の特定対象物の領域における色情報と予め指定された前記特定対象物の代表表面反射率を用いて照明の分光分布を復元する処理と、
    予め指定された前記特定対象物の参照表面反射率を利用して、前記入力画像中の特定対象物における表面反射率を補正する行列を計算する処理と、
    入力画像中の対象物における色情報を補正する線形計算に基づく補正式を求め対象物における色情報を補正する処理と
    を実行させるプログラム。
24. 前記表面反射率を補正する行列は、前記特定対象物の領域における表面反射率を表現する特性パラメータの分布を、前記参照表面反射率を表現する特性パラメータの分布に近づける補正を実現する、ことを特徴とする請求項２３記載のプログラム。
25. 前記予め指定された前記特定対象物の参照表面反射率が3個以上である、ことを特徴とする請求項２３又は２４記載のプログラム。
26. 前記入力画像から特定対象物の領域を検出して色情報を抽出する処理を、前記コンピュータに実行させる、ことを特徴とする請求項１９乃至２５のいずれか１項に記載のプログラム。
27. 補正後の対象物における色情報が、画像出力装置の色域外であった場合に、画像出力装置の色域内の色に補正する、ことを特徴とする請求項１９乃至２６のうちのいずれか１項に記載のプログラム。

Images