JP5533670B2 - カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム - Google Patents

Description

本発明は、カラー画像の画像処理に関し、特に、実際にカラー画像機器で撮影されたカラー画像中の物体の所望の色再現を実現し、質感を向上させるカラー画像処理方法、カラー画像処理装置、及びカラー画像処理プログラムに関する。

カラー画像装置によって撮影されたカラー画像を高画質化する手法として、カラー画像中の特定対象物（肌色、草木の緑、青空など）の色を、その対象物の記憶色に近づけることで好ましい色を再現する手法が提案されている。

例えば特許文献１には、カラー画像の色補正に関する技術が開示されている。特許文献１においては、画像中の対象物領域から代表色を抽出し、その代表色をあらかじめ設定された補正の中心色と比較してＲＧＢ補正パラメータを決定し、各画素の補正は中心色との距離に応じてこの補正パラメータの適用強度をコントロールして補正する。具体的には、カラー画像の各画素の色情報であるＲＧＢ値から色相、彩度、明度に変換し、その色と補正の中心色との色空間における距離を計算し、その距離に応じて補正強度を調整することで、対象物の色を重点的に補正する手法が提案されている。

この手法では、ＲＧＢ色空間で補正パラメータの加減算に基づく色補正が行われる。例えば、顔の肌色の場合、ＲＧＢの補正量は、画素毎に補正の中心色との距離に応じて計算される。顔領域を全体的に明るくする場合には、顔領域のほぼ全領域の各画素のＲＧＢ値に対して、補正の中心色との上記距離に応じた補正パラメータが加減算される。また、特許文献２には、入力画像中の顔領域の検出に関する技術が開示されている。

特許文献３には、分光色の画像データを色補正する際に、分光色を元の次元よりも低次元の色空間に変換し、低次元色空間内で色補正を行い、低次元から適切な次元の分光色を生成する色補正装置、方法が開示されている。

また、特許文献４には、基準白色が異なる表色系間で、色の見え方を一致させながら元色空間を目的色空間の色へ変換させる技術が開示されている。具体的には、元色空間の基準白色である元基準白色の色温度から元基準白色の分光分布特性を復元し、目的色空間の基準白色である目的基準白色の色温度から目的基準白色の分光分布特性を復元する。そして、任意の色の三刺激値と、元基準白色の光分布特性と、人間の等色関数とを利用して、元色空間における任意の色の表面反射率を復元する。さらに、復元された表面反射率と、復元された目的基準白色の分光分布特性と、人間の等色関数とに基づいて、目的色空間における色である三刺激値を求める。

特許文献５には、さまざまな照明環境下で撮影された自然画像における重要被写体に対し、自動的に良好な白補正を施す技術が開示されている。具体的には、特定対象物の体表色を抽出し、抽出された代表色に最適な色補正パラメータを設定する。これによって様々な照明環境下で撮影された自然画像における重要被写体に対して自動的に色補正を施すことが可能する。なお、特許文献３、４、５の発明は、後述される本発明とは全く相違した構成となっている。

特許文献６では、顔画像のレンダリングに人間の皮膚反射のモデル化法を提案している。この方法では、顔を３Ｄスキャナでスキャンして３次元形状を得る。そして、異なる視点から異なる照明方向で照らした複数の顔画像を取得する。表面スキャンデータと画像データを用いて、全反射率と法線マップを推定する。そして、光ファイバスペクトロメータを用いて表面下反射率をスキャンし、透光性マップを求める。全反射率を、表面下散乱と（鏡面）表面反射率の２つの成分に分離する。

特許文献７では、画像を構成する画素の画素値を、３次元物体における表面反射による表面反射光成分と、拡散反射による拡散反射光成分に分離し、表面反射光成分または拡散反射光成分のうち少なくとも一方を変更する画像処理装置を提案している。本手法では、３次元形状の復元をすることなく、Klinkerらによる反射モデルを表面反射光成分と拡散反射光成分を分離し、Phong illuminationモデル、Lambertian Reflectionモデルなどを利用して各成分を変更する。

特許第３２６４２７３号公報（段落００３６−００４５） 特開２００３−３１７０８４号公報（段落００１９−００２１） 特開２００４−４５１８９号公報 特開平１０−２２９４９９号公報 特開２００１−９２９５６号公報 特開２００６−２７７７４８号公報 特開２００１−０５２１４４号公報

細井 利憲、鈴木 哲明、佐藤 敦著，「一般化学習ベクトル量子化による顔検出」，ＦＩＴ２００２，Ｉ−３０（Ｓｅｐ．２００２）． 田島譲二著、「画像工学シリーズ１０ カラー画像複製論 カラーマネジメントの基礎」、丸善株式会社、平成８年９月３０日、ｐ．３３−３９

以上の特許文献１、２、及び非特許文献１、２の開示事項は、本書に引用をもって繰り込み記載されているものとする。以下に本発明による関連技術の分析を与える。

特許文献１のように、カラー画像中の対象物領域に対して、ＲＧＢや色相、彩度、明度といった、色の３属性を用いたカラー画像処理手法では、本来の物体の質感を低下させてしまう場合がある、という問題がある。

その理由は、特許文献１では、画像中のある対象物領域の色を全体的に扱いながら、明るくする、彩度を高める、色相を変化させるなどの色補正を実施する。この場合、画像中のある対象物の色を明るく補正する際、通常もともと高い画素値を持っている色成分（例えば赤）については飽和し、それ以外の色成分（緑、青）については補正パラメータが加減算される現象が起こる。対象物の領域全体に、この処理が行われると、対象物の領域における色情報又は画素値の分散が小さくなり、対象物の領域における見かけの質感が低下してしまう。

特許文献６では、顔画像のレンダリング向けに人間の皮膚反射モデルを提案しているが、特別な測定装置である光ファイバスペクトロメータを必要とする。このため、一般的なカラー画像処理に対する色補正への適用は困難である。

特許文献７では、２次元画像中の（３次元）物体の色を変更する方法を提案している。しかし、画像中の物体の３次元情報の復元は行われず、Klinkerらの反射モデル、Phong illuminationモデル、Lambertian Reflectionモデルといった照明や反射に関するモデルを応用し、色変更方法を実現している。この方法では、プラスティック、塗料、紙、焼き物など想定する反射モデルがよく一致する場合には効果的手法であるが、人間の肌などの複雑な反射特性を有する物体については、アーティファクトが出てしまうなどの問題がある。また、本手法では、入力画像中の対象物を望ましい画質に補正するための方法は示されていない。

上記の通り、従来法では、カラー画像中の対象物の色をより所望の色にすることで高画質化を実現している。これでは質感が低下するという問題があった。したがって、入力画像のみを利用したより容易な手法で、かつ、カラー画像中の対象物の領域の質感の低下を抑制するカラー画像処理が必要となっている。

本発明の目的は、カラー画像中の対象物における表面反射成分（ハイライト成分）に着目し、この表面反射成分の量を所望の量に調整することで、カラー画像中の対象物の質感を向上させるカラー画像の高画質化を実現するカラー画像処理方法、カラー画像処理装置及びカラー画像処理プログラムを提供することである。

本発明に係るカラー画像処理方法の一態様は、入力画像に基づいて対象物領域を検出し、前記対象物領域の色情報と３次元情報とを取得し、前記色情報と前記３次元情報とに基づいて、前記対象物領域の表面反射成分とボディー反射成分とを復元し、前記表面反射成分を補正し、前記ボディー反射成分と補正した表面反射成分とを用いて、前記対象物領域の再現色を算出し、出力画像を生成する。

また、本発明に係るカラー画像処理装置の一態様は、入力画像に基づいて対象物領域を検出し、前記対象物領域の色情報と３次元情報とを取得する画像情報取得部と、前記色情報と前記３次元情報とに基づいて、前記対象物領域の表面反射成分とボディー反射成分とを復元する反射情報復元部と、前記表面反射成分を補正する表面反射成分補正部と、前記ボディー反射成分と補正後の表面反射成分とを用いて、前記対象物領域の再現色を算出し、出力画像を生成する再現色算出部と、を備える。

さらに、本発明に係るカラー画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体の一態様は、プログラムがコンピュータに、入力画像に基づいて対象物領域を検出し、前記対象物領域の色情報と３次元情報とを取得する画像情報取得手順と、前記色情報と前記３次元情報とに基づいて、前記対象物領域の表面反射成分とボディー反射成分とを復元する反射情報復元手順と、前記表面反射成分を補正する表面反射成分補正手順と、前記ボディー反射成分と補正後の表面反射成分とを用いて、前記対象物領域の再現色を算出し、出力画像を生成する再現色算出手順と、を実行させる。

本発明によれば、カラー画像機器で撮影されたカラー画像中の所定の対象物について該対象物の所望の色再現を実現し、質感を維持する、もしくは、向上させることができる。

本発明の実施形態の一態様におけるカラー画像処理方法の処理の流れを示す模式図である。 本発明の実施形態に係るカラー画像処理装置の構成例を示すブロック図である。 本発明のカラー画像処理方法の実施形態１の手順を説明するフローチャートである。 入力画像中の対象物の領域を自動検出する処理を説明する図である。 実施形態１のカラー画像処理装置の構成例を表したブロック図である。 実施形態２のカラー画像処理装置の構成例を表したブロック図である。 入力画像中の特定対象物領域の表面反射成分を調整するユーザー対話手段の一例（表面反射成分の量を少なくする場合）を示した図である。 入力画像中の特定対象物領域の表面反射成分を調整するユーザー対話手段の一例（表面反射成分の量を多くする場合）を示した図である。

以下、本発明の実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において同一の構成または機能を有する構成要素および相当部分には、同一の符号を付し、その説明は省略する。

本発明の実施の形態の一態様について説明する。本発明においては、入力画像中の特定対象物の質感を向上させる際、まず、入力画像から特定対象物の３次元形状（３次元情報ともいう）と撮影時の照明の幾何条件（幾何情報ともいう）とを復元する。次に、復元された３次元形状からその特定対象物上に発生している表面反射成分（ハイライト）とボディー反射成分とを算出する。そして、算出された当該特定対象物の表面反射成分の量を所望の量に補正し、補正された表面反射成分と、ボディー反射成分とを用いて特定対象物の再現色を算出する。これにより、特定対象物の補正後の見かけの質感を自然に近い見えで、かつ、より好ましい質感で表現する。

図１に本発明の実施形態におけるカラー画像処理方法の処理の流れを示す。
Ｉ．まず、入力画像および入力画像に関する情報を取得する（画像情報取得処理）。具体的には、カラー画像処理装置へ入力画像が入力され、入力画像から特定対象物が特定される。特定対象物が特定されることによって、表面反射成分を補正する領域（対象物領域）が検出される。また、特定対象物の３次元形状と色情報（対象物領域の色）が取得される。
ＩＩ．次に、特定対象物の反射情報を復元する（反射情報復元処理）。具体的には、特定対象物の３次元形状に基づいて、照明の幾何条件が復元される。続いて、色情報、３次元形状及び照明の幾何条件を用いて、表面反射成分とボディー反射成分とが復元される。このとき、入力画像の各画素の画素値から表面反射成分が除かれ、ボディー反射成分と分離される。
ＩＩＩ．表面反射成分を補正する（表面反射成分補正処理）。表面反射成分の平均値、参照表面反射成分を用いて、表面反射成分を補正する。
ＩＶ．ボディー反射成分と、補正した表面反射成分（補正表面反射成分）とを用いて、特定対象物の再現色を算出する（再現色算出処理）。

本明細書内では、特定対象物から検出した対象物領域は複数の画素から構成されていることを前提とする。また、各画素は色情報を有し、色情報を画素値ということもある。色情報には、少なくとも陰影情報、表面反射成分、ボディー反射成分を含み、その他の色情報が含まれていることを前提とする。
また、以降の説明では、特定対象物と対象物領域とは特に区別しない。
ボディー反射成分は、対象物領域の色情報から表面反射成分（てかり）を取り除いた色情報である。
参照表面反射成分は、予め特定対象物に応じて設定された表面反射成分である。

また、図２に本発明の実施形態に係るカラー画像処理装置の構成例を示す。カラー画像処理装置１００は、画像情報取得部１１０、反射情報復元部１２０、表面反射成分補正部１３０、及び、再現色算出部１４０を備える。
画像情報取得部１１０は、入力画像を外部から入力し、入力画像に基づいて、特定対象物を特定し、特定対象物の対象物領域を検出する。また、画像情報取得部１１０は、対象物領域の色情報と３次元形状とを取得する。
反射情報復元部１２０は、色情報と３次元形状とに基づいて、対象物領域の表面反射成分とボディー反射成分とを復元する。具体的には、反射情報復元部１２０は、３次元情報を用いて照明の幾何情報（照明の放射照度）を復元し、色情報、３次元形状及び照明の幾何情報を用いて表面反射成分とボディー反射成分とを復元する。
詳細は後述する。

表面反射成分補正部１３０は、復元した表面反射成分を補正する。例えば、表面反射成分の面積を変更したり、表面反射成分の形状を変更するなどによって表面反射成分の量を変更する。補正方法としては、対象物領域の表面反射成分の平均値を算出し、算出した平均値を用いて補正する。例えば、平均値を予め設定した任意の値と比較することによって補正する。例えば、任意の値として、参照表面反射成分を用いて表面反射成分を補正してもよい。さらに、ユーザーから補正値を受け付け、受け付けた補正値を用いて補正してもよい。
再現色算出部１４０は、ボディー反射成分と補正した表面反射成分とを用いて、対象物領域の再現色を算出し、算出した再現色を用いて出力画像を生成する。

上述したように、カラー画像処理装置１００は、特定対象物の３次元情報を利用して、精度よく復元した表面反射成分を補正することができる。具体的には、まず、画像情報取得部１１０が特定対象物の３次元情報を取得する。次に、反射情報復元部１２０が、取得された特定対象物の３次元情報を用いて、その表面反射成分とボディー反射成分を精度よく復元する。そして、表面反射成分補正部１３０が、精度よく復元した表面反射成分を補正する。
反射情報復元部１２０は、画像から得られる色情報と、復元された照明の幾何情報を用いることで、特定対象物の表面反射成分とボディー反射成分を精度よく復元することができる。これにより、不自然なアーティファクトの発生を抑制することが可能となる。これに対して、３次元情報を利用しない場合、表面反射成分とボディー反射成分を精度よく復元することが困難である。したがって、３次元情報を利用しないで復元された表面反射成分とボディー反射成分を補正して生成された出力画像には、不自然なアーティファクトが発生しやすくなる。
以下実施形態に即して説明する。

（実施形態１）
まず、本発明のカラー画像処理方法の一態様について、図面を用いて処理の流れを説明する。ここでは、図２に示したカラー画像処理装置１００の構成例を用いて説明する。
図３は、本発明の実施形態１のカラー画像処理方法を説明するためのフローチャートである。なお、ここでの説明の便宜上、画像の表色系は、ＲＧＢ表色系であるものとする。すなわち、画像の色は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の組み合わせで表されるものとし、色情報ＲＧＢと表記するものとする。なお、本発明において、ＲＧＢ以外の表色系にも適用可能であることは勿論である。

任意に与えられたカラー画像中の特定対象物の質感を向上させるため、カラー画像中の対象物領域の各画素における再現色の再計算を行う。

ここで、特定対象物としては、個体が異なる、すなわち、個体差があったとしても、大まかな色情報、テクスチャが普遍であるため、カラー画像から得られる特徴から想定する対象物であると特定できるのであれば特に限定されるものではない。

まず、画像情報取得部１１０は、入力画像中から特定対象物を自動で検出する（ステップＳ１）。このとき、画像情報取得部１１０は、検出した特定対象物における対象物領域の色情報を取得する。
図４に示したように、入力されたカラー画像中から特定対象物を、色情報、テクスチャなどを用いて検出する。以下では、特定対象物を人間の顔とした場合について説明する。特定対象物を人間の顔とした場合には、目、鼻、口などの形状特徴を利用して顔領域を検出する。

顔領域の検出手法として、例えば、非特許文献２に掲載された顔検出方法が利用できる。この手法は、一般化学習ベクトル量子化を用いた、Ｉｍａｇｅ−ｂａｓｅｄ型と目の検出を行うＦｅａｔｕｒｅ−ｂａｓｅｄ型とを組み合わせた顔検出方法である。
また、入力画像から顔領域を検出する方法として、特許文献２に記載された、画像中から目を検出する方法を用いることができる。つまり、入力画像中から、目の位置が検出されれば、顔領域を推定することは容易である。

ここで、上記２つの手法はモノクロ情報を利用して顔検出を行うのが一般的であるが、さらにその検出結果である顔領域が肌色であるかの判定を追加することによって、顔領域の検出精度を向上させることも可能である。

肌色の判定方法については、特許文献１に記載の画像ヒストグラムを利用した手法を利用することができる。顔検出方法は、上記の２つの手法に限ったものではなく、別の手法を利用しても良い。

上記の説明では、任意に与えられた入力画像から自動検出する対象物を、顔とした場合について述べたが、顔以外のものにも対応可能である。なお、顔以外の対象物を自動検出するためには、例えば、あらかじめ登録されている対象物領域の視覚的特徴情報と、画像データの視覚的特徴情報とを比較することによって対象物を自動検出する方法などを利用することができる。

次に、画像情報取得部１１０は、画像中の特定対象物の３次元形状を復元する（ステップＳ２）。いま、特定対象物は人間の顔として説明しており、この場合、以下の文献（以降、非特許文献３という）の手法が利用できる。この手法では、予め人間の顔形状について平均的な３Ｄ情報を有する顔モデルを用いて、２Ｄ画像中の顔の３次元形状を推定する。

非特許文献３：石山 塁著、「一般３Ｄ顔モデルを用いた姿勢変換による非正面顔画像の照合」、電子情報通信学会、２００７年総合大会、Ｄ−１２−０８５、２００７年、ｐ．２０１．
上記は、特定対象物として人間の顔に特化した場合の３Ｄ形状復元方法であるが、個体差があっても大体普遍的な形状を有する特定対象物であれば、非特許文献３をその特定対象物に拡張することで、入力画像からおおよその３次元形状を復元できる。

入力画像中の特定対象物の見かけの色は、情景中の照明とその対象物との幾何条件が影響を与える。すなわち、照明と対象物領域の幾何条件が変化するとその対象物領域の見かけの色も変化する。

そこで、次に入力画像中の特定対象物に対する照明の幾何条件を復元する（ステップＳ３）。本発明では、実際の見かけの色を表現するために簡単な物理反射モデルを適用する。以下の三つの文献に物理モデルに関する技術が記載されている（以降各文献を、非特許文献４、５、６という）。

非特許文献４：R. Basri and D. Jacobs, "Lambertian Reflectance and Linear Subspaces",Proc. IEEE Intl. Conf. Computer Vision 01, pp.383-389, 2001.
非特許文献５：R. Ramamoorthi and P. Hanrahan, "An efficient representation for irradiance environment maps",［online］, Proc. ACM SIGGRAPH 01, pp. 497-500, 2001,［平成21年1月26日検索］、インターネット＜URL: http://www1.cs.columbia.edu/~ravir/papers/envmap/envmap.pdf＞
非特許文献６：Ravi Ramamoorthi and Pat Hanrahan: "On the relationship between radiance and irradiance: determining the illumination from images of a convex Lambertian object", J. Opt. Soc. Am. A/Vol. 18, No. 10/October 2001.

いま、ランバーシャン面上の観測値（放射照度irradiance）から、照明条件を推定することを考える。上記の通り、キャストシャドーや近接照明の影響を無視できるとした仮定の下、照明は、凸物体の表面上では、非負の関数として表される。非特許文献４および５では、球面調和関数を用いてこの関数を表現している。

球面調和Ｙ_ｌｍ（ｌ≧０、−ｌ≦ｍ≦１）は、直線あるいは円に対するフーリエ基底と、球面上で相似形となる。９個の球面調和（ｌ≦２）は、デカルト座標（ｘ、ｙ、ｚ）の定数（ｌ＝０）あるいは一次式（ｌ＝１）あるいは２次多項式（ｌ＝２）となり、以下のように表される。

以上により、式（１３）で表わされる特定対象物の各画素における放射照度Ｅが得られる。すなわち、入力画像中の特定対象物に対する照明の幾何条件を復元できたことを意味する。ここでは、放射照度Ｅを幾何条件とみなす。

次に、反射情報復元部１２０は、入力画像中の特定対象物における表面反射成分とボディー反射成分とを復元（計算）する（ステップＳ４）。
一般に対象物領域の反射率は入射光と放射光の幾何条件に依存する。一般に、この反射特性は双方向反射率分布関数ＢＲＤＦ（Bidirectional Reflectance Distribution Function）として表現される。ＢＲＤＦでは、表面反射成分（Secular component）とボディー反射成分（Body reflection component）の２つの成分から構成される場合が多い。図１の（ａ）画像情報取得処理と（ｂ）反射情報復元処理とに、入力画像中の対象物領域を、表面反射成分とボディー反射成分に分離した状態を示している。

特定対象物が人などの生物の場合、表面反射成分とボディー反射成分は次のようになる。
表面反射成分は、皮膚の表面で反射する成分である。
ボディー成分は、一旦、皮膚内部に入射し、その内部で拡散された光が、再度皮膚を通じて発散する光の成分である。

いま、特定対象物の表面反射特性がランバーシャン（Lambertian）、すなわち完全拡散であると仮定することで、ステップＳ４で示したように球面調和によって、特定対象物の各画素における放射照度を算出した。完全拡散を仮定していることから、この放射照度Ｅを特定対象物の拡散反射成分（あるいはボディー反射成分）ＤＲ（Diffuse Reflection）と見做すことができる。なお、ここでは、放射照度Ｅはカラーチャネル（たとえば、Ｒ、Ｇ、Ｂなど）毎に算出されているものとし、Ｅｉと表現する。ｉは各カラーチャネルを表す。拡散反射成分（あるいはボディー反射成分）も同様にＤＲｉと表現する。

Ei = DRi （１７）

いま、拡散反射成分（あるいはボディー反射成分）は、特定対象物がランバーシャンであると仮定して計算されているが、実際には拡散反射成分（あるいはボディー反射成分）ではなく表面反射成分を含んでいる。つまり、入力画像の各カラーチャネルの画素値は、拡散反射成分（あるいはボディー反射成分）と表面反射成分を含んだそのカラーチャネルにおける見かけの明るさを表していると言える。拡散反射成分（あるいはボディー反射成分）は、対象物領域において最小二乗法などにより算出されており、必ずしも放射照度が画素値と一致するわけではない。ここで生じる差異が、表面反射成分であるとすることができる。したがって、特定対象物の領域におけるある画素の各カラーチャネルの表面反射成分ＳＰｉは、以下の式で計算する。

SPi = Ii - Driのとき Ii-DRi > 0
= 0のとき 上記以外 （１８）
ここで、Ｉｉは、入力画像の特定対象物領域におけるある画素の画素値を現しており、ｉはカラーチャネル（たとえば、Ｒ、Ｇ、Ｂなど）を表している。

入力画像の特定対象物領域におけるある画素のボディー反射成分ＢＲｉは、画像の画素値Ｉｉから表面反射成分ＳＰｉを引いたものとして得られる。
BRi = Ii - Spi = Min(Ii, DRi) （１９）
ここで、Ｍｉｎ（ｘ，ｙ）は、ｘとｙの最小値を出力する関数である。
以上により、入力画像中の特定対象物の３次元情報を用いることで、表面反射成分ならびにボディー反射成分はより精度よく算出される。

次に、表面反射成分を補正する（ステップＳ５）。
カラー画像中の特定対象物領域において発生する表面反射成分が得られたならば、この表面反射成分の量（面積や強度）をコントロールすることで、特定対象物の質感を向上させる。すなわち、入力カラー画像中の特定対象物における表面反射成分の面積や強度の大小など、表面反射成分の量を制御、調整することで所望の表面反射成分を生成する。

そして、式（２０）で得た補正係数αｉを入力画像中の対象物領域における表面反射成分ＳＰｉに乗算することで、所望の表面反射成分の量（強度）に補正する。
SPi'= αｉ×SPi （２１）

表面反射成分の量（面積）に関する補正は、強度と同様に、あらかじめ設定された対象物領域の所望の表面反射成分の量（面積）を用いて、入力画像の特定対象物の表面反射成分の量（面積）を調整する。ここで、面積は特定対象領域の画素数に対する表面反射成分の画素数の割合でも良い。
面積を減らす場合には、式（２１）のαｉを調整し、入力画像の特定対象物の領域における表面反射成分の画素数、すなわち面積が、対象物領域の所望の表面反射成分の量（面積）に近づくようにαｉの値を調整する。具体的には、表面反射成分の強度を抑え、画素値ＳＰｉがある閾値より小さい値になった場合、ゼロにすればよい。
一方、面積を増やす場合には、式（１８）により、もともと表面反射成分でなかった画素は表面反射成分とならないので対策が必要である。面積を増やす場合には、たとえば、式（２１）のαｉを調整しつつ、もともと表面反射成分でなかった画素で、かつ、もともと表面反射成分であった画素に隣接する画素をランダムに選択し、その画素の画素値ＳＰｉに正の実数を加える。所望の面積になるまで、式（２１）のαｉを調整しながら、もともと表面反射成分であった画素に隣接する画素をランダムに選択し、その画素の画素値に正の実数を加える作業を続ける。

次に、補正後の表面反射成分とボディー反射成分とを用いて、入力画像中の対象物における各画素の補正後の色を算出する（ステップＳ６）。
ボディー反射成分ＢＲｉにステップＳ５で得た補正後の表面反射成分ＳＰｉ'を加算することで、色補正後の画素値Ｉｉ'を計算する。
Ii'= Bri+ Spi' （２２）

入力画像中の対象物領域の色を補正した画像を出力画像として出力する。
以上は、入力画像および出力画像のデバイス依存カラーがＲＧＢである場合について説明したが、ＣＭＹやＣＭＹＫなどのＲＧＢ以外のデバイス依存カラーであったとしても、そのデバイス依存カラーとデバイス非依存カラーの三刺激値ＸＹＺとの対応関係が得られれば、ＲＧＢ以外の画像についても本発明の色補正方法を適用できる。なお、デバイス依存カラーとは、出力先のデバイスに依存する色空間を意味する。

次に、本発明の実施形態１のカラー画像処理方法を適用したカラー画像処理装置（色補正装置）について説明する。図５は、本発明の実施形態１のカラー画像処理装置の構成例を示す図である。
カラー画像処理装置１０１は、入力画像１における対象物領域の表面反射成分を補正して出力画像２を出力する装置である。カラー画像処理装置１０１は、対象物領域検出部３と、３次元情報復元部（対象物領域の３次元情報復元部）４と、反射情報復元部（対象物領域の表面反射成分とボディー反射成分復元部）５と、表面反射成分補正部６と、参照表面反射成分保存メモリ７と、再現色算出部（対象物領域の再現色算出部）８とを備える。

対象物領域検出部３は、入力画像１が与えられると、入力画像１を解析し、予め想定された特定対象物を検出し、検出した特定対象物における対象物領域を示す情報を出力する。対象物領域を示す情報には、対象物領域の色情報も含まれる。
ここで、入力画像１から検出する対象物は、上記のように、人の顔などのようにその対象物領域の色と形状特徴がある程度限定できるものである。検出方法については、上記した手法に従えばよい。なお、入力画像１から目的とする対象物が検出されない場合には、入力画像１を出力画像２として出力する。

３次元情報復元部４は、対象物領域検出部３によって検出された対象物領域の３次元形状を復元する。３次元情報復元部４では、図３のステップＳ２に相当する処理が実行される。

反射情報復元部５では、図３のステップＳ３にしたがって、対象物領域の３次元形状（すなわち法線ベクトル）を利用して、対象物領域における放射照度Ｅを復元（算出）する。対象物領域の３次元形状は、３次元情報復元部４によって算出される。
そして、図３のステップＳ４で述べた処理方法により、対象物領域における表面反射成分とボディー反射成分を復元（算出）する。

表面反射成分補正部６は、算出された対象物領域における表面反射成分を、参照表面反射成分を用いて、所望の量に補正する。参照表面反射成分は、対象物領域の好ましい画質をもたらす表面反射成分であり、予め対象物領域に応じて設定されている。表面反射成分補正部６は、前述した図３のステップＳ５に相当する処理が実行される。表面反射成分補正部６によって、複雑な反射特性を有する物体、例えば人間の肌など色を精度よく再現することが可能である。また、アーティファクトが出ることを回避することができる。
参照表面反射成分保存メモリ７は、参照表面反射成分を記憶する。

再現色算出部８は、補正された表面反射成分と、ボディー反射成分とを用いて、対象物領域における各画素の補正後の色を算出し、出力画像として出力する。補正された表面反射成分は、表面反射成分補正部６で補正された成分であり、対象物領域における各画素の好ましい表面反射成分を示す。ボディー反射成分は、反射情報復元部５で算出された成分である。再現色算出部８は、図３のステップＳ６に相当する処理が実行される。

このように、カラー画像処理装置１０１は、人間の顔の望ましい画質を実現する方法として、不快な正反射成分（表面反射成分、すなわちテカリ）を調整し、画質を改善するという方法を提供する。具体的には、表面反射成分補正部６が表面反射成分の補正を行い、再現色算出部８が補正された表面反射成分を用いて出力画像を生成する。すなわち、カラー画像処理装置１０１は、表面反射成分補正部６と再現色算出部８とによって、対象物を望ましい画質に補正することができる。これに対して、関連技術として、２色性反射モデルを有するプラスティックなどの人工物の色を、赤から青に変更する方法が提供されている。このような人工物の場合、色を補正することで画質が改善されて望ましい画質にすることは困難である。

また、実施形態１のカラー画像処理装置１０１と、図２に示したカラー画像処理装置１００とは次のように関係づけることができる。
画像情報取得部１１０は、対象物領域検出部３と、３次元情報復元部４とによって構成される。
反射情報復元部１２０は、反射情報復元部５に対応する。
表面反射成分補正部１３０は、表面反射成分補正部６と参照表面反射成分保存メモリ７によって構成される。
再現色算出部１４０は、再現色算出部８に対応する。
なお、図２または図５に示したカラー画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。

さらに、カラー画像処理装置１０１は、コンピュータで実現可能であり、カラー画像処理装置を構成する各構成要素、すなわち、対象物領域検出部３と、３次元情報復元部４と、反射情報復元部５と、表面反射成分補正部６と、参照表面反射成分保存メモリ７と、再現色算出部８とは、コンピュータの中央処理装置（ＣＰＵ）に上述した機能を実現させるためのプログラムとして実現可能である。カラー画像処理装置を構成する各構成要素がコンピュータで実現可能であること、およびプログラムとして実現可能であることは、実施形態１に限らず、その他の実施形態でも同様である。

（実施形態２）
次に、本発明の実施形態２のカラー画像処理装置について説明する。図６は、本発明の実施形態２のカラー画像処理装置の構成例を示す図である。
カラー画像処理装置１０２は、入力画像１における対象物領域の表面反射成分を補正して出力画像２を出力する装置である。カラー画像処理装置１０２は、対象物領域検出部３と、３次元情報復元部４と、反射情報復元部５と、表面反射成分補正部６と、ユーザー対話部９と、再現色算出部８とを備える。

カラー画像処理装置１０２は、カラー画像処理装置１０１の参照表面反射成分保存メモリ７をユーザー対話部９に置き換えたものである。したがって、ユーザー対話部９についてのみ説明する。

ユーザー対話部９は、入力画像中の特定対象物の領域における表面反射成分の量を、ユーザーが調整するための対話手段を提供する。図７Ａ，７Ｂは、ユーザー対話手段の一例を示した図である。反射情報復元部５において、算出された入力画像中の特定対象物領域の表面反射成分の量を対話的に調整できるグラフィカルユーザーインターフェース（ＧＵＩ）を提供する。本ＧＵＩのスライダーバーは、例えば、式（２１）のαの値を調整するものとして利用できる。図７Ａは、表面反射成分を弱くした例を示しており、図７Ｂは強調した例を示している。ユーザー対話部９は、入力画像中の表面反射成分の調整結果がリアルタイムに反映された補正画像が表示されるものとする。

ユーザー対話部９は、ユーザーから入力される表面反射成分の量（補正値）を受け付け、表面反射成分補正部６へ通知する。補正値は、表面反射成分の総量を指定する値であってもよいし、現在の表面反射成分から変化させる量を示す値であってもよい。
表面反射成分補正部６は、通知された表面反射成分の量を用いて、各画素の表面反射成分を補正する。
これにより、ユーザーの希望する出力画像を生成することができる。

また、図６では、参照表面反射成分保存メモリ７をユーザー対話部９に置き換えた構成例を説明したが、両方の構成要素を備える場合であってもよい。
例えば、参照表面反射成分保存メモリ７を用いて表面反射成分を補正した画像をユーザーへ表示する。ユーザーは、補正された画像について、さらに表面反射成分の変更を希望する場合、補正値を入力することが可能になる。これにより、ユーザーの希望する出力画像を生成することができる。また、利用する用途に応じてユーザーが表面反射成分を変更することが可能になる。

（その他の実施形態）
上記各実施形態のカラー画像処理方法及び装置は、コンピュータを用いて実現することができる。カラー画像処理方法及び装置の各処理は、ソフトウェア、ハードウェア、ファームフェアのいずれか二つ以上の組み合わせで実現することもできる。
例えば、図２に示すカラー画像処理装置１００を、プログラムを用いて実現する場合、プログラム（プログラムの命令群）は、少なくとも次の手順をコンピュータに実行させる。プログラムは、コンピュータのメモリにロードされ、ＣＰＵの制御のもとで各命令が実行される。

（ａ）入力画像を入力し、入力画像に基づいて対象物領域を検出し、対象物領域の色情報と３次元情報とを取得する画像情報取得手順。この手順は、図２の画像情報取得部１１０に対応する。（ｂ）色情報と３次元情報とに基づいて、対象物領域の表面反射成分とボディー反射成分とを復元する反射情報復元手順。この手順は、図２の反射情報復元部１２０に対応する。（ｃ）表面反射成分を補正する表面反射成分補正手順。この手順は、図２の表面反射成分補正部１３０に対応する。（ｄ）ボディー反射成分と補正後の表面反射成分とを用いて、対象物領域の再現色を算出し、出力画像を生成する再現色算出手順。この手順は、図２の再現色算出部１４０に対応する。

また、表面反射成分補正手順は、具体的には対象物領域の表面反射成分の平均値を算出し、算出した平均値を用いて補正する色情報を用いて照明の分光分布を復元してもよい。また、対象物領域に予め設定された参照表面反射成分情報を用いて表面反射成分の平均値を補正してもよい。

さらに、表面反射成分補正手順は、ユーザーから前記表面反射成分の補正値を受け付けるユーザー対話手順を、さらに備え、受け付けた補正値を用いて前記表面反射成分の平均値を補正してもよい。
プログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の通信媒体を介して伝送することにより提供することも可能である。また、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、バッテリバックアップ付きＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等が含まれる。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等が含まれる。

以上説明したように、本発明に係る実施形態の一態様によれば、カラー画像機器で撮影されたカラー画像中の特定の対象物について、該特定対象物における表面反射成分の量をコントロールすることにより質感を向上させることができる。

本発明の実施形態の一態様によれば、従来法である色補正方法による物体の質感が低下するという課題を解決し、カラー画像機器で撮影されたカラー画像中の特定対象物の表面反射成分をコントロールすることで、対象物領域の所望の質感を実現することができる。また、本発明によれば、光ファイバスペクトロメータなどの測定装置を必要としないため、入力画像のみを利用したより容易な手法が実現できる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２００９年１月２９日に出願された日本出願特願２００９−０１７９４０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、カラー画像入出力装置の高画質化を実現する機能に適用できる。また、本発明は、コンピュータシステムで動作するプログラムの形態とすることで、任意のカラー画像に対する画像補正ソフトウェアあるいはユーティリティとしても適用可能である。

１ 入力画像
２ 出力画像
３ 対象物領域検出部
４ ３次元情報復元部
５ 反射情報復元部
６ 表面反射成分補正部
７ 参照表面反射成分保存メモリ
８ 再現色算出部
１００、１０１、１０２ カラー画像処理装置
１１０ 画像情報取得部
１２０ 反射情報復元部
１３０ 表面反射成分補正部
１４０ 再現色算出部

Claims (9)

1. 入力画像に基づいて対象物領域を検出し、
   前記対象物領域の色情報と３次元情報とを取得し、
   前記３次元情報に基づいて、照明の幾何情報を復元し、
   前記色情報、前記３次元情報、及び前記照明の幾何情報に基づいて、前記対象物領域の表面反射成分とボディー反射成分とを復元し、
   前記対象物領域の表面反射成分の平均値を算出し、算出した平均値を用いて前記表面反射成分を補正し、
   前記ボディー反射成分と補正した表面反射成分とを用いて、前記対象物領域の再現色を算出し、出力画像を生成するカラー画像処理方法。
2. 前記表面反射成分の補正は、前記対象物領域に予め設定された参照表面反射成分を用いて前記表面反射成分の平均値を補正することを特徴とする請求項１記載のカラー画像処理方法。
3. 前記表面反射成分の補正は、ユーザーから前記表面反射成分の補正値を受け付け、受け付けた補正値を用いて前記表面反射成分の平均値を補正することを特徴とする請求項１または２記載のカラー画像処理方法。
4. 入力画像に基づいて対象物領域を検出し、前記対象物領域の色情報と３次元情報とを取得する画像情報取得手段と、
   前記３次元情報に基づいて、照明の幾何情報を復元し、前記色情報、前記３次元情報、及び前記照明の幾何情報に基づいて、前記対象物領域の表面反射成分とボディー反射成分とを復元する反射情報復元手段と、
   前記対象物領域の表面反射成分の平均値を算出し、算出した平均値を用いて前記表面反射成分を補正する表面反射成分補正手段と、
   前記ボディー反射成分と補正後の表面反射成分とを用いて、前記対象物領域の再現色を算出し、出力画像を生成する再現色算出手段と、を備えるカラー画像処理装置。
5. 前記対象物領域に予め設定された参照表面反射成分を保存する参照表面反射成分保存メモリを、さらに備え、
   前記表面反射成分補正手段は、前記参照表面反射成分を用いて前記表面反射成分の平均値を補正することを特徴とする請求項４記載のカラー画像処理装置。
6. ユーザーから前記表面反射成分の補正値を受け付けるユーザー対話手段を、さらに備え、
   前記表面反射成分補正手段は、受け付けた補正値を用いて前記表面反射成分の平均値を補正することを特徴とする請求項４または５記載のカラー画像処理装置。
7. コンピュータに、
   入力画像に基づいて対象物領域を検出し、前記対象物領域の色情報と３次元情報とを取得する画像情報取得手順と、
   前記３次元情報に基づいて、照明の幾何情報を復元し、前記色情報、前記３次元情報、及び前記照明の幾何情報に基づいて、前記対象物領域の表面反射成分とボディー反射成分とを復元する反射情報復元手順と、
   前記対象物領域の表面反射成分の平均値を算出し、算出した平均値を用いて前記表面反射成分を補正する表面反射成分補正手順と、
   前記ボディー反射成分と補正後の表面反射成分とを用いて、前記対象物領域の再現色を算出し、出力画像を生成する再現色算出手順と、を実行させるカラー画像処理プログラム。
8. 前記表面反射成分補正手順は、前記対象物領域に予め設定された参照表面反射成分を用いて前記表面反射成分の平均値を補正することを特徴とする請求項７記載のカラー画像処理プログラム。
9. ユーザーから前記表面反射成分の補正値を受け付けるユーザー対話手順を、さらに備え、
   前記表面反射成分補正手順は、受け付けた補正値を用いて前記表面反射成分の平均値を補正することを特徴とする請求項７または８記載のカラー画像処理プログラム。

Images