WO2010087162A1 - カラー画像処理方法、カラー画像処理装置および記録媒体 - Google Patents

Abstract

　カラー画像機器で撮影されたカラー画像中の特定の対象物について、該特定対象物領域の所望の色再現を実現し、質感を向上させるカラー画像処理方法及び装置を提供する。カラー画像処理装置（１００）は、入力画像に基づいて対象物領域を検出し、対象物領域の色情報と３次元情報とを取得する画像情報取得部（１１０）と、色情報と３次元情報とに基づいて、対象物領域の表面反射成分及びボディー反射成分を復元する反射情報復元部（１２０）と、前記色情報から表面反射成分とボディー反射成分とを除去してアルベドを算出するアルベド計算部（１３０）と、色情報とアルベドを用いて表面反射率を復元し、表面反射率を用いてアルベドを補正した補正アルベドを算出するアルベド補正処理部（１４０）と、補正アルベドへボディー反射成分と表面反射成分とを付加して対象物領域の再現色を算出し、出力画像を生成する再現色算出部（１５０）と、を備える。

Description

カラー画像処理方法、カラー画像処理装置および記録媒体

　本発明は、カラー画像の画像処理に関し、特に、実際にカラー画像機器で撮影されたカラー画像中の物体の色補正や該物体の所望の色再現を実現し、質感を向上させるカラー画像処理方法、カラー画像処理装置、及びカラー画像処理プログラムに関する。

　カラー画像装置によって撮影されたカラー画像を高画質化する手法として、カラー画像中の特定対象物（肌色、草木の緑、青空など）の色を、その対象物の記憶色に近づけることで好ましい色を再現する手法が提案されている。

　例えば特許文献１には、カラー画像の色補正に関する技術が開示されている。特許文献１においては、画像中の対象物領域から代表色を抽出し、その代表色をあらかじめ設定された補正の中心色と比較してＲＧＢ補正パラメータを決定し、各画素の補正は中心色との距離に応じてこの補正パラメータの適用強度をコントロールして補正する。具体的には、カラー画像の各画素の色情報であるＲＧＢ値から色相、彩度、明度に変換し、その色と補正の中心色との色空間における距離を計算し、その距離に応じて補正強度を調整することで、対象物の色を重点的に補正する手法が提案されている。

　この手法では、ＲＧＢ色空間で補正パラメータの加減算に基づく色補正が行われる。例えば、顔の肌色の場合、ＲＧＢの補正量は、画素毎に補正の中心色との距離に応じて計算される。顔領域を全体的に明るくする場合には、顔領域のほぼ全領域の各画素のＲＧＢ値に対して、補正の中心色との上記距離に応じた補正パラメータが加減算される。また、特許文献２には、入力画像中の顔領域の検出に関する技術が開示されている。

　特許文献３には、分光色の画像データを色補正する際に、分光色を元の次元よりも低次元の色空間に変換し、低次元色空間内で色補正を行い、低次元から適切な次元の分光色を生成する色補正装置、方法が開示されている。

　また、特許文献４には、基準白色が異なる表色系間で、色の見え方を一致させながら元色空間を目的色空間の色へ変換させる技術が開示されている。具体的には、元色空間の基準白色である元基準白色の色温度から元基準白色の分光分布特性を復元し、目的色空間の基準白色である目的基準白色の色温度から目的基準白色の分光分布特性を復元する。そして、任意の色の三刺激値と、元基準白色の光分布特性と、人間の等色関数とを利用して、元色空間における任意の色の表面反射率を復元する。さらに、復元された表面反射率と、復元された目的基準白色の分光分布特性と、人間の等色関数とに基づいて、目的色空間における色である三刺激値を求める。

　特許文献５には、さまざまな照明環境下で撮影された自然画像における重要被写体に対し、自動的に良好な白補正を施す技術が開示されている。具体的には、特定対象物の体表色を抽出し、抽出された代表色に最適な色補正パラメータを設定する。これによって様々な照明環境下で撮影された自然画像における重要被写体に対して自動的に色補正を施すことが可能する。なお、特許文献３、４、５の発明は、後述される本発明とは全く相違した構成となっている。

　特許文献６では、顔画像のレンダリングに人間の皮膚反射のモデル化法を提案している。この方法では、顔を３Ｄスキャナでスキャンして３次元形状を得る。そして、異なる視点から異なる照明方向で照らした複数の顔画像を取得する。表面スキャンデータと画像データを用いて、全反射率と法線マップを推定する。そして、光ファイバスペクトロメータを用いて表面下反射率をスキャンし、透光性マップを求める。全反射率を、表面下散乱と（鏡面）表面反射率の２つの成分に分離する。

特許第３２６４２７３号公報（段落００３６－００４５） 特開２００３－３１７０８４号公報（段落００１９－００２１） 特開２００４－４５１８９号公報 特開平１０－２２９４９９号公報 特開２００１－９２９５６号公報 特開２００６－２７７７４８号公報

細井　利憲、鈴木　哲明、佐藤　敦著，「一般化学習ベクトル量子化による顔検出」，ＦＩＴ２００２，Ｉ－３０（Ｓｅｐ．２００２）． 田島譲二著、「画像工学シリーズ１０　カラー画像複製論　カラーマネジメントの基礎」、丸善株式会社、平成８年９月３０日、ｐ．３３－３９

　以上の特許文献１、２、及び非特許文献１、２の開示事項は、本書に引用をもって繰り込み記載されているものとする。以下に本発明による関連技術の分析を与える。

　特許文献１のように、カラー画像データのＲＧＢや色相、彩度、明度といった、色の３属性を用いたカラー画像処理手法では、本来の物体の質感を低下させてしまう場合がある、という問題がある。

　その理由は、画像中のある対象物の色を明るく補正する際、通常もともと高い画素値を持っている色成分（例えば赤）については飽和し、それ以外の色成分（緑、青）については補正パラメータが加減算される現象が起こる。対象物の領域全体に、この処理が行われると、対象物の領域における色情報又は画素値の分散が小さくなり、対象物の領域における見かけの質感が低下してしまう。

　特許文献６では、顔画像のレンダリング向けに人間の皮膚反射モデルを提案しているが、特別な測定装置である光ファイバスペクトロメータを必要とする。このため、一般的なカラー画像処理に対する色補正への適用は困難である。

　したがって、入力画像のみを利用したより容易な手法で、かつ、カラー画像中の対象物の領域の質感の低下を抑制するカラー画像処理が必要となっている。

　本発明の目的は、カラー画像機器で撮影されたカラー画像中の所定の対象物について該対象物の所望の色再現を実現し、質感を向上させるカラー画像処理方法、カラー画像処理装置及びカラー画像処理プログラムを提供することである。

　本発明に係るカラー画像処理方法の一態様は、入力画像に基づいて対象物領域を検出し、前記対象物領域の色情報と３次元情報とを取得し、前記色情報と前記３次元情報とに基づいて、前記対象物領域の表面反射成分及びボディー反射成分を復元し、前記色情報から表面反射成分とボディー反射成分とを除去してアルベドを算出し、前記色情報と前記アルベドを用いて表面反射率を復元し、前記表面反射率を用いて前記アルベドを補正した補正アルベドを算出し、前記補正アルベドへ前記ボディー反射成分と前記表面反射成分とを付加して前記対象物領域の再現色を算出し、出力画像を生成する。

　また、本発明に係るカラー画像処理装置の一態様は、入力画像に基づいて対象物領域を検出し、前記対象物領域の色情報と３次元情報とを取得する画像情報取得部と、前記色情報と前記３次元情報とに基づいて、前記対象物領域の表面反射成分及びボディー反射成分を復元する反射情報復元部と、前記色情報から表面反射成分とボディー反射成分とを除去したアルベドを算出するアルベド計算部と、前記色情報と前記アルベドを用いて表面反射率を復元し、前記表面反射率を用いて前記アルベドを補正した補正アルベドを算出するアルベド補正処理部と、前記補正アルベドへ前記ボディー反射成分と前記表面反射成分とを付加して前記対象物領域の再現色を算出し、出力画像を生成する再現色算出部と、を備える。

　さらに、本発明に係るカラー画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体の一態様は、プログラムがコンピュータに、入力画像に基づいて対象物領域を検出し、前記対象物領域の色情報と３次元情報とを取得する画像情報取得手順と、前記色情報と前記３次元情報とに基づいて、前記対象物領域の表面反射成分及びボディー反射成分を復元する反射情報復元手順と、前記色情報から表面反射成分とボディー反射成分とを除去してアルベドを算出するアルベド計算手順と、前記色情報と前記アルベドを用いて表面反射率を復元し、前記表面反射率を用いて前記アルベドを補正した補正アルベドを算出するアルベド補正処理手順と、前記補正アルベドへ前記ボディー反射成分と前記表面反射成分とを付加して前記対象物領域の再現色を算出し、出力画像を生成する再現色算出手順と、を実行させる。

　本発明によれば、カラー画像機器で撮影されたカラー画像中の所定の対象物について該対象物の所望の色再現を実現し、質感を向上させることができる。

本発明の実施形態の一態様におけるカラー画像処理方法の処理の流れを示す模式図である。 本発明の実施形態に係るカラー画像処理装置の構成例を示すブロック図である。 本発明の実施形態１のカラー画像処理方法の手順例を説明するフローチャートである。 入力画像中の対象物領域を自動検出し、色情報を求める処理を説明する図である。 平均的な肌色を有する日本人の顔領域の表面反射率の一例を表すグラフである。 ＣＩＥ昼光の平均および第１、第２主成分ベクトルを示すグラフである。 物体の表面反射率を集め、それらを主成分分析して得られる基底ベクトルの例を示すグラフである。 対象物領域における色に関する特性パラメータｂｉ（ｉ＝１～３）の空間での補正を示した図である。 本発明の実施形態１のカラー画像処理装置の構成例を示すブロック図である。 本発明の実施形態２のカラー画像処理方法の手順例を説明するフローチャートである。 本発明の実施形態２のカラー画像処理装置の構成例を示すブロック図である。

　以下、本発明の実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において同一の構成または機能を有する構成要素および相当部分には、同一の符号を付し、その説明は省略する。

　本発明の実施形態の一態様について説明する。本発明においては、入力画像中の特定対象物の色を補正する際、まず、入力画像から復元された特定対象物の３次元形状（３次元情報ともいう）と撮影時の照明の幾何条件（幾何情報ともいう）とを用いて、その特定対象物上に発生している表面反射成分（ハイライト）と陰影を含んだ完全散乱成分とを算出する。次に、当該特定対象物の色情報から、表面反射成分と陰影を含んだ完全散乱成分（以下、ボディー反射成分）との影響を除去した色情報（アルベド）を用いて、該特定対象物を表現する表面反射率を精度良く復元し、あらかじめ設定されている対象物のより好ましい参照の表面反射率に近づけるような補正を行う。そして、補正された表面反射率と表面反射成分とボディー反射成分を用いて特定対象物の再現色を算出する。これにより、特定対象物の色補正後の再現色を自然に近い見えで、かつ、より好ましい色で表現する。

　図１に本発明の実施形態におけるカラー画像処理方法の処理の流れを示す。
　Ｉ．まず、カラー画像処理装置へ入力画像および入力画像に関する情報を取得する（画像情報取得処理）。具体的には、入力画像が入力され、入力画像から特定対象物が特定される。特定対象物が特定されることによって、アルベドを補正する領域（対象物領域）が検出される。また、特定対象物の３次元形状と色情報（対象物領域の色）が取得される。
　ＩＩ．次に、特定対象物の反射情報を復元する（反射情報復元処理）。具体的には、３次元形状に基づいて、照明の幾何条件が復元される。続いて、色情報、３次元形状及び照明の幾何条件を用いて、表面反射成分、及びボディー反射成分が復元される。このとき、入力画像の各画素の画素値から表面反射成分が除かれ、アルベドとボディー反射成分の積で表わされる成分が分離される。ここで、ボディー反射成分は陰影情報を含む成分である。
　ＩＩＩ．特定対象物のアルベドを計算する（アルベド計算処理）。具体的には、表面反射成分が除かれた画素値を、ボディー反射成分で割ることでアルベドを算出する。
　ＩＶ．アルベドを補正する（アルベド補正処理）。具体的には、特定対象物の色情報とアルベドとを用いて表面反射率を算出する。そして、算出した表面反射率を参照表面反射率に近づける。これにより、アルベドを補正する。
　Ｖ．補正されたアルベドへ表面反射成分とボディー反射成分とを付加し、特定対象物の再現色を算出する（再現色算出処理）。

　本明細書内では、特定対象物から検出した対象物領域は複数の画素から構成されていることを前提とする。また、各画素は色情報を有し、色情報を画素値ということもある。色情報には、少なくとも表面反射成分、ボディー反射成分を含み、その他の色情報が含まれていることを前提とする。
　また、以降の説明では、特定対象物と対象物領域とは特に区別しない。
　アルベドは、特定対象物の色情報から表面反射成分とボディー反射成分とを除いた色情報である。すなわち、特定対象物の画像情報（入力画像から取得した色情報）から、表面反射成分（てかり）とボディー反射成分（影）を取り除いた色情報である。したがって、特定対象物そのものの色情報ともいえる。
　対象物領域の色情報は、アルベドとボディー反射成分の積に、表面反射成分を付加したものとして表わされる。ボディー反射成分には陰影情報が含まれている。
　参照表面反射率は、予め特定対象物に応じて設定された表面反射率である。参照表面反射率については後述する。

　また、図２に本発明の実施形態に係るカラー画像処理装置の構成例を示す。カラー画像処理装置１００は、画像情報取得部１１０、反射情報復元部１２０、アルベド計算部１３０、アルベド補正処理部１４０、及び、再現色算出部１５０を備える。
　画像情報取得部１１０は、入力画像を外部から入力し、入力画像に基づいて、特定対象物を特定し、特定対象物の対象物領域を検出する。また、画像情報取得部１１０は、対象物領域の色情報と３次元形状とを取得する。

　反射情報復元部１２０は、色情報と３次元形状とに基づいて、対象物領域の陰影情報、表面反射成分及びボディー反射成分を復元する。具体的には、反射情報復元部１２０は、３次元情報を用いて照明の幾何情報（照明の放射照度）を復元し、３次元形状と照明の幾何情報とを用いて表面反射成分及びボディー反射成分を復元する。詳細は後述する。
　アルベド計算部１３０は、色情報から表面反射成分を引き、さらにボディー反射成分で割ることでアルベドを算出する。

　アルベド補正処理部１４０は、色情報とアルベドを用いて表面反射率を復元し、表面反射率を用いてアルベドを補正した補正アルベドを算出する。ここでは、アルベド補正処理部１４０は、分光分布復元部１４１とアルベド補正部１４２とを含む構成を示している。分光分布復元部１４１は、対象物領域の色情報を用いて照明の分光分布を復元する。アルベド補正部１４２は、復元した照明の分光分布とアルベドとを用いて、対象物領域の表面反射率を復元する。そして、復元した表面反射率に基づいてアルベドを補正して補正アルベドを算出する。
　再現色算出部１５０は、補正アルベドへ表面反射成分とボディー反射成分とを付加して対象物領域の再現色を算出し、算出した再現色を用いて出力画像を生成する。
　以下実施形態に即して説明する。

（実施形態１）
　まず、本発明の実施形態１のカラー画像処理方法について、図面を用いて処理の流れを説明する。ここでは、図２に示したカラー画像処理装置１００の構成例を用いて説明する。
　図３は、本発明の実施形態１のカラー画像処理方法を説明するためのフローチャートである。なお、ここでの説明の便宜上、画像の表色系は、ＲＧＢ表色系であるものとする。すなわち、画像の色は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の組み合わせで表されるものとし、色情報ＲＧＢと表記するものとする。なお、本発明において、ＲＧＢ以外の表色系にも適用可能であることは勿論である。

　任意に与えられたカラー画像中の特定対象物の質感を向上させるため、カラー画像中の対象物領域の各画素における再現色の再計算を行う。

　ここで、特定対象物としては、個体が異なる、すなわち、個体差があったとしても、大まかな色情報、テクスチャが普遍であるため、カラー画像から得られる特徴から想定する対象物であると特定できるのであれば特に限定されるものではない。

　まず、画像情報取得部１１０は、入力画像中から特定対象物を自動で検出する（ステップＳ１）。このとき、画像情報取得部１１０は、検出した特定対象物における対象物領域の色情報を取得する。
　図４に示したように、入力されたカラー画像中から特定対象物を、色情報、テクスチャなどを用いて検出する。以下では、特定対象物を人間の顔とした場合について説明する。特定対象物を人間の顔とした場合には、目、鼻、口などの形状特徴を利用して顔領域を検出する。

　顔領域の検出手法として、例えば、非特許文献２に掲載された顔検出方法が利用できる。この手法は、一般化学習ベクトル量子化を用いた、Ｉｍａｇｅ－ｂａｓｅｄ型と目の検出を行うＦｅａｔｕｒｅ－ｂａｓｅｄ型とを組み合わせた顔検出方法である。
　また、入力画像から顔領域を検出する方法として、特許文献２に記載された、画像中から目を検出する方法を用いることができる。つまり、入力画像中から、目の位置が検出されれば、顔領域を推定することは容易である。

　ここで、上記２つの手法はモノクロ情報を利用して顔検出を行うのが一般的であるが、さらにその検出結果である顔領域が肌色であるかの判定を追加することによって、顔領域の検出精度を向上させることも可能である。

　肌色の判定方法については、特許文献１に記載の画像ヒストグラムを利用した手法を利用することができる。顔検出方法は、上記の２つの手法に限ったものではなく、別の手法を利用しても良い。

　上記の説明では、任意に与えられた入力画像から自動検出する対象物を、顔とした場合について述べたが、顔以外のものにも対応可能である。なお、顔以外の対象物を自動検出するためには、例えば、あらかじめ登録されている対象物領域の視覚的特徴情報と、画像データの視覚的特徴情報とを比較することによって対象物を自動検出する方法などを利用することができる。

　次に、分光分布復元部１４１は、入力画像中の特定対象物における色情報（対象物領域の色）から、入力画像を撮影した際の照明の色情報（照明の分光分布）を復元する（ステップＳ２）。
　ここでは、カラー画像中の対象物領域の色情報、対象物が有する表面反射特性を利用して、入力画像を撮影した際に用いたであろう照明の色情報、すなわち、照明の分光分布特性を復元する。具体的には、対象物領域の色情報ＲＧＢを取得し、取得した色情報ＲＧＢに基づいて、ＸＹＺ表色系の三刺激値ＸＹＺを求める。そして、入力画像中の対象物領域の三刺激値ＸＹＺと対象物が有する表面反射率とから、分光分布を復元する。

　ここで、画像情報取得部１１０が入力画像から自動検出された特定対象物について、対象物領域の色情報を求める処理について具体的に説明する。
　図４は、入力画像中の対象物領域を自動検出し、色情報を求める処理の概略を説明する図である。なお、対象物領域の色情報として、対象物が占める領域内に存在する画素の平均色、中央色（メジアン）、最頻色（モード）など、いずれか一つの色を対象物領域の色情報として利用することができる。

　ここでは、対象物領域の色情報ＲＧＢを取得し、取得した色情報ＲＧＢに基づいて、ＸＹＺ表色系の三刺激値ＸＹＺを求める。
　以下では、入力画像の色情報ＲＧＢに関して、このＲＧＢのＲＧＢ蛍光体の色度および白色の色度はあらかじめ指定されており、ＲＧＢデータと表示機器の発光強度の関係が線形であるものとして説明する。
　この場合、入力画像のＲＧＢと三刺激値ＸＹＺとの関係は、以下の式（１）で表される。

　ここで、ＲＸは３×３変換行列である。
　この変換行列ＲＸは、ＲＧＢの蛍光体の色度と白色の色度が決まれば一意に計算できる。

　変換行列ＲＸの算出方法として、例えば、非特許文献２に記載されている手法などが利用できる。また、現在使用しているカラー画像表示装置が、ｓＲＧＢ（Standard RGB）ディスプレイであれば国際電気標準会議（ＩＥＣ）が規定する変換行列を用いればよい。式（１）に対して、さらにブラックのＸＹＺ値をオフセット項として追加してもよい。

　次に、分光分布復元部１４１は、照明の分光分布を算出する。照明の分光分布は、入力画像を撮影した際の照明の色情報である。なお、入力画像を撮影した際の照明とは、入力画像中の対象物を照射する照明（光源）のことである。

　はじめに、式（１）で得られた画像中の対象物領域の三刺激値ＸＹＺと対象物が有する表面反射率とから、分光分布を復元するための観測方程式を生成する。
　ＸＹＺ表色系に基づく対象物領域の色を示す三刺激値ＸＹＺは、対象物領域の表面反射率、その対象物を照射する照明の分光分布および人間視覚の等色関数から、以下の式（２）で表現される。

　ここで、λは波長、Ｉ（λ）は照明の分光分布、Ｒ（λ）は対象物領域の表面反射率である。ｘ（λ）、ｙ（λ）、ｚ（λ）は等色関数で既知の関数である。積分は可視光の波長領域で行われる。
　いま、式（１）で計算された三刺激値ＸＹＺを式（２）の左辺に代入すると、式（２）は、未知である照明の分光分布Ｉ（λ）およびＲ（λ）の観測方程式となる。
　しかし、現状では、波長に関する連続関数であるＩ（λ）およびＲ（λ）を、式（２）から計算することはできない。

　ここで、ある程度の誤差を含んだ状態であっても、対象物領域の色を示す表面反射率Ｒ（λ）をあらかじめ限定あるいは決定できると仮定すると、Ｒ（λ）は、既知の値として扱うことができる。したがって、式（２）は、Ｉ（λ）のみの観測方程式となる。
　例えば、対象物を日本人の顔とした場合には、図５に例示する平均的な肌色を有する日本人の顔領域の表面反射率を、式（２）のＲ（λ）として用いることができる。図５は、平均的な肌色を有する日本人の顔領域の表面反射率を示すグラフである。横軸は波長（ｎｍ）、縦軸は、表面反射率（％）を表す。

　対象物が顔以外の場合であっても、その対象物を複数測定して得た表面反射率の平均または代表的な色を持つとして選択された対象物領域の表面反射率をあらかじめ求めておき、式（２）のＲ（λ）に代入すればよい。対象物領域の表面反射率は予め取得し、カラー画像処理装置１００内（例えば、アルベド補正処理部１４０内）に保存しておく。
　照明の分光分布Ｉ（λ）の観測方程式である式（２）から、このままでは、Ｉ（λ）を解析的に計算することは出来ない。これは、本来、照明の分光分布Ｉ（λ）は、可視光領域において無限次元の波形で表されるためである。しかし、Ｉ（λ）が少ないパラメータで表現できれば、この問題は解決される。

　ＣＩＥ昼光は、ＣＩＥ（国際照明委員会）が相対分光分布によって規定した測色用の光源であって、平均と２つの主成分の線形和でよく近似されることが知られている。
　図６は、ＣＩＥ昼光の平均および第１、第２主成分ベクトルを示すグラフである。横軸は波長（ｎｍ）、縦軸は照明や光源の各波長における分光分布スペクトルパワーを表している。
　このことから、照明の分光分布Ｉ（λ）を以下のように表すことができる。

　式（３）におけるＩ_ｉ（λ）（ｉ＝０～２）は、図６に示す照明の平均および基底ベクトルである。
　ａ_ｉ（ｉ＝１～２）は、各基底ベクトルの重み係数で、照明の色を表現する特性パラメータとなる。

　式（３）のＩ（λ）を式（２）に代入すると、照明の色を表現する未知の特性パラメータａ_１およびａ_２に関する２元一次連立方程式となり、容易にａ_１，ａ_２を計算することが出来る。
　得られた照明の色を表現する特性パラメータａ_１，ａ_２を、式（３）に代入することによって、照明の分光分布Ｉ（λ）が得られる。
　以上の手順にて得られた照明の分光分布を、入力画像を撮影した際の照明の分光分布Ｉ（λ）とする。

　次に、画像情報取得部１１０は、画像中の特定対象物の３次元形状を復元する（ステップＳ３）。いま、特定対象物は人間の顔として説明しており、この場合、以下の文献（以降、非特許文献３という）の手法が利用できる。この手法では、予め人間の顔形状について平均的な３Ｄ情報を有する顔モデルを用いて、２Ｄ画像中の顔の３次元形状を推定する。

　非特許文献３：石山　塁著、「一般３Ｄ顔モデルを用いた姿勢変換による非正面顔画像の照合」、電子情報通信学会、２００７年総合大会、Ｄ－１２－０８５、２００７年、ｐ．２０１．
　上記は、特定対象物として人間の顔に特化した場合の３Ｄ形状復元方法であるが、個体差があっても大体普遍的な形状を有する特定対象物であれば、非特許文献３をその特定対象物に拡張することで、入力画像からおおよその３次元形状を復元できる。

　入力画像中の特定対象物の見かけの色は、情景中の照明とその対象物との幾何条件が影響を与える。すなわち、照明と対象物の幾何条件が変化するとその対象物の見かけの色も変化する。

　そこで、次に入力画像中の特定対象物に対する照明の幾何条件を復元する（ステップＳ４）。本発明では、実際の見かけの色を表現するために簡単な物理反射モデルを適用する。以下の三つの文献に物理モデルに関する技術が記載されている（以降各文献を、非特許文献４、５、６という）。

非特許文献４：R. Basri and D. Jacobs，"Lambertian Reflectance and Linear Subspaces"，Proc. IEEE Intl. Conf. Computer Vision 01，pp.383-389，2001．
非特許文献５：R. Ramamoorthi and P. Hanrahan，"An efficient representation for irradiance environment maps" ，［online］，Proc. ACM SIGGRAPH 01，pp. 497-500，2001，［平成21年1月26日検索］、インターネット＜URL: http://www1.cs.columbia.edu/~ravir/papers/envmap/envmap.pdf＞
非特許文献６：Ravi Ramamoorthi and Pat Hanrahan: "On the relationship between radiance and irradiance: determining the illumination from images of a convex Lambertian object" ，J. Opt. Soc. Am. A/Vol. 18， No. 10/October 2001．

　いま、ランバーシャン面上の観測値（放射照度irradiance）から、照明条件を推定することを考える。上記の通り、キャストシャドーや近接照明の影響を無視できるとした仮定の下、照明は、凸物体の表面上では、非負の関数である。非特許文献４および５では、球面調和関数を用いてこの関数を表現している。

　球面調和Ｙ_ｌｍ（ｌ≧０、－ｌ≦ｍ≦１）は、直線あるいは円に対するフーリエ基底と、球面上で相似形となる。９個の球面調和（ｌ≦２）は、デカルト座標（ｘ、ｙ、ｚ）の定数（ｌ＝０）あるいは一次式（ｌ＝１）あるいは２次多項式（ｌ＝２）となり、以下のように表される。

　

　

　

　以上により、式（１６）で表わされる特定対象物の各画素における放射照度Ｅが得られる。すなわち、入力画像中の特定対象物に対する照明の幾何条件を復元できたことを意味する。ここでは、放射照度Ｅを幾何条件とみなす。

　次に、反射情報復元部１２０は、入力画像中の特定対象物における表面反射成分及びボディー反射成分を復元（計算）する（ステップＳ５）。
　一般に対象物の反射率は入射光と放射光の幾何条件に依存する。一般に、この反射特性は双方向反射率分布関数ＢＲＤＦ（Bidirectional Reflectance Distribution Function）として表現される。ＢＲＤＦでは、表面反射成分（Secular component）とボディー反射成分（Body reflection component）の２つの成分から構成される場合が多い。

　特定対象物が人などの生物の場合、表面反射成分とボディー反射成分は次のようになる。
　表面反射成分は、皮膚の表面で反射する成分である。
　ボディー成分は、一旦、皮膚内部に入射し、その内部で拡散された光が、再度皮膚を通じて発散する光の成分である。

　いま、特定対象物の表面反射特性がランバーシャン（Lambertian）、すなわち完全拡散であると仮定することで、ステップＳ４で示したように球面調和によって、特定対象物の各画素における放射照度を算出した。完全拡散を仮定していることから、この放射照度Ｅを特定対象物の拡散反射成分（あるいはボディー反射成分）ＤＲ（Diffuse Reflection）と見做すことができる。なお、ここでは、放射照度Ｅはカラーチャネル（たとえば、Ｒ、Ｇ、Ｂなど）毎に算出されているものとし、Ｅｉと表現する。ｉは各カラーチャネルを表す。拡散反射成分（ボディー反射成分）も同様にＤＲｉと表現する。

Ei = DRi　　　　　　（２０）

　いま、拡散反射成分（ボディー反射成分）は、特定対象物がランバーシャンであると仮定して計算されているが、実際には拡散反射成分（ボディー反射成分）ではなく表面反射成分を含んでいる。つまり、入力画像の各カラーチャネルの画素値は、拡散反射成分（ボディー反射成分）と表面反射成分を含んだそのカラーチャネルにおける見かけの明るさを表していると言える。拡散反射成分（ボディー反射成分）は、対象物領域において最小二乗法などにより算出されており、必ずしも放射照度が画素値と一致するわけではない。ここで生じる差異が、表面反射成分であるとすることができる。したがって、特定対象物の領域におけるある画素の各カラーチャネルの表面反射成分ＳＰｉは、以下の式で計算する。

SPi = Ii - Driのとき　　Ii-DRi > 0
　　= 0のとき　　　　　上記以外　　　　　（２１）
ここで、Ｉｉは、入力画像の特定対象物領域におけるある画素の画素値を現しており、ｉはカラーチャネル（たとえば、Ｒ、Ｇ、Ｂなど）を表している。

　入力画像の特定対象物領域におけるある画素のボディー反射成分ＢＲｉは、画像の画素値Ｉｉから表面反射成分ＳＰｉを引いたものとして得られる。
BRi = Ii - Spi = Min(Ii, DRi)　　　　　　（２２）
ここで、Ｍｉｎ（ｘ，ｙ）は、ｘとｙの最小値を出力する関数である。

　そして、拡散反射成分（ボディー反射成分）ＤＲｉのルミナンス（輝度）が対象物領域の陰影情報（Ｓｈａｄｉｎｇ）である。陰影情報は入力画像の特定対象物の領域におけるある画素の拡散反射成分（ボディー反射成分）ＤＲｉの輝度を表しており、式（１）で計算できる。式（１）で計算される三刺激値Ｙ（三刺激値のうちのＹ成分）を、対象物の３次元形状と照明の幾何から生じる陰影情報とすれば、アルベドは、色情報から陰影情報を取り除いた色情報であると定義してもよい。

　次に、アルベド計算部１３０は、入力画像中の特定対象物領域におけるある画素のアルベドを計算する（ステップＳ６）。具体的には、アルベド計算部１３０は、入力画像中の特定対象物領域におけるある画素の各カラーチャネルのアルベドＡＤｉを以下の式にしたがって算出する。
ADi = BRi / Y　　　　　（２３）

　つぎに、アルベド補正処理部１４０は、入力画像中の特定対象物における各画素のアルベドと照明の分光分布から、表面反射率Ｒ（λ）を復元する（ステップＳ７）。
　いま、入力画像は、ＲＧＢ表色系の画像であるものとして説明する。
　特定対象物の領域におけるアルベドＡＤｉで表される各画素のＲＧＢ値から、式（１）に従って、三刺激値ＸＹＺを計算し、式（２）の左辺に代入する。

　そして、ステップＳ２で計算された入力画像を撮影した際の照明の分光分布Ｉｏｒｇ（λ）を、式（２）の右辺に代入すると、式（２）は、特定対象物の領域のある画素における表面反射率Ｒ（λ）に関する観測方程式となる。
　ここで、特定対象物の表面反射率についても、照明の分光分布と同様に可視光領域において無限次元の波形で表されるため、これを観測方程式（２）から解析的に計算することは出来ない。
　そこで、特定対象物の表面反射率についても低次元の基底ベクトルの加重和で表す有限次元線形モデルを用いてモデル化する。

　ここで、ｒ_ｉ（λ）（ｉ＝０～３）は、多くの物体の表面反射率を集め、それを主成分分析して得られる基底ベクトルであり、それぞれ平均、第一主成分ベクトル～第三主成分ベクトルを表しており、すべて既知である。
　ｂ_ｉ（ｉ＝１～３）は、各基底ベクトルの重み係数で、物体の色を表現する未知の特性パラメータとなる。

　図７は、物体の表面反射率を主成分分析して得られた基底ベクトルの例である。横軸は波長（nm）、縦軸は照明や光源の各波長における分光分布スペクトルパワーを表している。
　なお、特定対象物の表面反射率を多数集めて、それらを主成分分析して得られる基底ベクトルを用いても良い。

　いま、特定対象物の表面反射率が、式（２４）ように表わせられるとすれば、未知の特性パラメータｂ_１～ｂ_３は、式（２４）を観測方程式、式（２）に代入することにより得られる３元一次連立方程式である式（５）によって求められる。

　ここで、Ｍ（ｘ，ｒ_ｉ）（ｉ＝０～３）は、∫Ｉ（λ）ｒ_ｉ（λ）ｘ（λ）ｄλの積分項を表わす。ｙ、ｚについても同様である。
　式（２５）で得られた物体の色を表現する特性パラメータｂ_ｉ（ｉ＝１～３）を、式（２４）に代入することで、対象物の領域における任意の画素における表面反射率が求められる。

　次に、対象物領域の参照表面反射率を利用して、入力画像中の対象物における各画素の再現表面反射率を算出し補正後のアルベドを計算する（ステップＳ８）。
　ステップＳ７で算出した入力画像中の対象物における各画素の表面反射率を、その対象物領域の望ましい色が再現できるように設定された参照表面反射率を基に補正する。

　ここで、対象物領域の参照表面反射率とは、その対象物領域の望ましい色が再現できるように設定された表面反射率である。より具体的には、その対象物を標準照明下で撮影して得たカラー画像において、その対象物が良好で、かつ、好ましい色（明度、彩度、色相）になるような表面反射率のことである。
　この参照表面反射率は、人間の主観に依存するため一意に定義できるものではないが、主観評価実験を実施することであらかじめ求めておくことができる。例えば、画像処理ツールを用いて画像中の対象物領域の色を様々に変化させてその画質を評価する。そして、評価した中で最も好ましいと判断されたときの画像について、上述のステップＳ２およびステップＳ３を適用する。これにより、対象物領域における各画素の参照表面反射率を求めることができる。

　ここで、参照表面反射率として、その対象物領域から３つ以上の色をあらかじめ選択しておき、その選択された色の平均色、中央色（メジアン）、最頻色（モード）に相当する画素の色について、その表面反射率を対象物領域の参照表面反射率をＲｒｅｆ（λ）としてもよい。

　また、対象物領域内の最も明るい色、最も暗い色、最も彩度の高い色、最も彩度の低い色や、対象物領域内の色分布を解析し、色相の両端に位置する色などについても、その対象物領域の参照表面反射率Ｒｒｅｆ（λ）としてもよい。
　さらに、入力画像中の対象物において形状的な特徴が利用できる場合には、その領域における色に対する表面反射率を、その対象物領域の参照表面反射率をＲｒｅｆ（λ）としてもよい。例えば、対象物が顔の場合、頬、目尻、額などが特徴領域として与えられる。

　これらの特徴領域におけるある程度の範囲内に存在する画素の平均色を求め、その平均色に対する表面反射率を算出し、その対象物領域の参照表面反射率Ｒｒｅｆ（λ）としてもよい。
　以上の手法で、その対象物領域の参照表面反射率をあらかじめ得ておくことができる。

　入力画像中の特定対象物における各画素の表面反射率Ｒ（λ）を、参照表面反射率であるＲｒｅｆ（λ）を利用して補正することによって、再現表面反射率Ｒｍｄ（λ）を算出する。すなわち、対象物領域の色を良好に再現するための参照表面反射率であるＲｒｅｆ（λ）を利用して、好ましい色を再現する再現表面反射率Ｒｍｄ（λ）を算出する
　再現表面反射率Ｒｍｄ（λ）の計算方法の一例を以下に示す。
　Rmd(λ)=α・R(λ)+(1-α)・Rref(λ)　　　　　　（２６）
ここで、αは、ゼロ以上１．０以下（０≦α≦１．０）の実数である。

　また、以下の補正方法も利用可能である。
　まず、入力画像中の特定対象物における色の平均色、中央色（メジアン）、もしくは最頻色（モード）に相当する画素の色について、その表面反射率を求め、これをＲａｖｇ（λ）とする。参照表面反射率については、上述のＲｒｅｆ（λ）を用いる。

　いま、波長λに関する関数Ｆ（λ）を以下のように定義する。
　F(λ)= Rref(λ)/ Ravg(λ)　　　　　　　　　　　（２７）
　そして、入力画像中の特定対象物における各画素の表面反射率Ｒ（λ）を、以下のように補正して、好ましい色を再現する再現表面反射率Ｒｍｄ（λ）を算出する。
　Rmd(λ)=α・F(λ)・R(λ)+(1-α)・R(λ)　　　　　　（２８）
ここで、αは、ゼロ以上１．０以下（０≦α≦１．０）の実数である。

　さらに、対象物領域における表面反射率に対する補正の結果として、一つの表面反射率に補正されることによって対象物領域内の再現色の分散が小さくならないように工夫することもできる。
　対象物領域内の色の分散が小さくなってしまうと、質感の低下を引き起こしてしまう場合があるからである。

　本実施形態においては、特定対象物の領域における各画素に対してアルベドから算出された表面反射率を構成する特性パラメータｂ_ｉ（ｉ＝１～３）を補正することにより、画像中の対象物領域の色を補正する。
　特性パラメータｂ_ｉ（ｉ＝１～３）に対する補正式の一例を以下に示す。

　ここで、特性パラメータｂ_ｉ'（ｉ＝１～３）は、補正後の特性パラメータである。
　３×３行列が補正行列であり、その要素ｍ_ｉｊ（ｉ，ｊ＝１～３）は以下のようにして算出する。

　上述のように特定対象物に対する３個以上の参照表面反射率Ｒｒｅｆ（ｉ，λ）　（ｉ＝０～ｎ，ｎ≧３）を予め用意しておく。たとえば、特定対象物の領域における色の平均色、中央色（メジアン）、最頻色（モード）や、対象物領域内の最も明るい色、最も暗い色、最も彩度の高い色、最も彩度の低い色や、対象物領域内の色分布を解析し、色相の両端に位置する色、または、入力画像中の対象物において形状的な特徴が利用できる場合には、その領域における色などに相当する参照表面反射率である。
　それぞれに対して、入力画像中の対象物領域において同じ性質を有する色を求め、それらの色について表面反射率を求める。

　つまり、１個目の参照表面反射率Ｒｒｅｆ（１，λ）が、上述の最も好ましいと判断された画像中における対象物領域の平均色に対する表面反射率であった場合には、入力画像中の対象物領域における平均色に対する表面反射率Ｒ（１，λ）を求める。

　ここで、Ｒｒｅｆ（１，λ）の特性パラメータをｂ_ｒ１，ｉ（ｉ＝１～３）、Ｒ（１，λ）の特性パラメータをｂ_１，ｉ（ｉ＝１～３）とする。
　入力画像中の対象物領域における平均色を、好ましいと判断されたときの画像中の対象物領域における中心色に補正する。Ｒｒｅｆ（１，λ）の特性パラメータであるｂ_ｒ１，ｉ（ｉ＝１～３）を、式（２９）の左辺の特性パラメータｂ_ｉ'（ｉ＝１～３）に、Ｒ（１，λ）の特性パラメータをｂ_１，ｉ（ｉ＝１～３）を、式（２９）の右辺の特性パラメータｂ_ｉ（ｉ＝１～３）に代入する。
　すると、式（２９）は、未知である要素ｍ_ｉｊ（ｉ，ｊ＝１～３）に関する連立方程式となる。
　対象物における３個以上の色について同様にすれば、方程式と未知数との数の関係から、未知である要素ｍ_ｉｊ（ｉ，ｊ＝１～３）を解くことができ、式（２９）の補正行列が得られる。

　図８は、対象物領域における３個の色について、特性パラメータｂ_ｉ（ｉ＝１～３）の空間で、上記の補正の関係を示したものである。
　図８からもわかるように、入力画像中の特定対象物の領域における特性パラメータの分布が、望ましい色再現をもたらす参照表面反射率における特性パラメータの分布に維持されることで色の分散の変化（偏りや低下）を抑えることができ、補正後の色の質感が損なわれることがない。

　また、逆に、入力画像中の特定対象物の領域における特性パラメータの分布が大きく分散している場合には、参照表面反射率における特性パラメータの分布の分散に調整されることで、色の分散が大きすぎることによる質感の低下も改善できる。
　入力画像中の対象物における各画素の表面反射率を構成する特性パラメータｂ_ｉ（ｉ＝１～３）に、式（２９）の補正行列を適用して、補正後の特性パラメータを算出し、式（２４）に代入することで、入力画像中の対象物における各画素の補正後の再現表面反射率を得ることが出来る。

　そして、入力画像中の対象物における各画素の補正後の色の算出は、照明の分光分布と再現表面反射率を式（２）の右辺に代入して、三刺激値Ｘ'Ｙ'Ｚ'を計算する。補正後のアルベドＡＤｉ'（ｉはカラーチャネルを表す）を計算する。ＲＧＢの場合には以下のようにして計算する。

　ここで、ＸＲは、式（１）の行列ＲＸの逆行列であり、既知の値である。

　次に、補正後のアルベドと陰影情報（拡散反射成分の輝度）と表面反射成分とを用いて、入力画像中の対象物における各画素の補正後の色を算出する（ステップＳ９）。
　補正後のアルベドＡＤｉ'に拡散反射成分の輝度を乗算し、ボディー反射成分ＢＲｉ'を計算する。
　BRi'= ADi'× Y　　　　　　（３１）
ここで、Ｙは拡散反射成分ＤＲｉの輝度、すなわち、式（１）で求められる三刺激値のＹ成分である。そして、ボディー反射成分ＢＲｉに表面反射成分ＳＰｉを加算することで、色補正後の画素値Ｉｉ'が得られる。
　Ii'= Bri'+ Spi　　　　　　（３２）
上記した方法にしたがって、入力画像中の対象物領域の色を補正した画像を出力画像として出力する。

　以上は、入力画像および出力画像のデバイス依存カラーがＲＧＢである場合について説明したが、ＣＭＹやＣＭＹＫなどのＲＧＢ以外のデバイス依存カラーであったとしても、そのデバイス依存カラーとデバイス非依存カラーの三刺激値ＸＹＺとの対応関係が得られれば、ＲＧＢ以外の画像についても本発明の色補正方法を適用できる。なお、デバイス依存カラーとは、出力先のデバイスに依存する色空間を意味する。

　なお、図３において、ステップＳ２の照明の分光分布（照明の色情報）の復元する処理は、ステップＳ７より前の段階で処理されていればよく、必ずしも図３の処理の順番で処理されなくてもよい。

　次に、本発明の実施形態１のカラー画像処理方法を適用したカラー画像処理装置（色補正装置）について説明する。図９は、本発明の実施形態１のカラー画像処理装置の構成例を示す図である。
　カラー画像処理装置１０１は、入力画像１に対して色補正を施し出力画像２を出力する装置である。カラー画像処理装置１０１は、対象物領域検出部３と、分光分布復元部（照明の分光分布復元部）４と、代表表面反射率保存メモリ（対象物領域の代表表面反射率保存メモリ）５と、３次元情報復元部（対象物領域の３次元情報復元部）６と、反射情報復元部（対象物領域の表面反射成分とボディー反射成分復元部）７と、アルベド計算部（対象物領域のアルベド計算部）８と、表面反射率復元部（対象物領域の表面反射率復元部）９と、補正アルベド算出部（表面反射率補正によるアルベド補正部）１０と、参照表面反射率保存メモリ（対象物領域の参照表面反射率保存メモリ）１１と、再現色算出部（対象物領域の再現色算出部）１２と、を備える。

　対象物領域検出部３は、入力画像１が与えられると、入力画像１を解析し、予め想定された特定対象物を検出し、検出した特定対象物における対象物領域を示す情報を出力する。対象物領域を示す情報には、対象物領域の色情報も含まれる。具体的には、対象物領域検出部３は、対象物領域の色情報を、ステップＳ２の前半で説明した対象物領域の色情報を取得する手順によって求める。
　ここで、入力画像１から検出する対象物は、上記のように、人の顔などのようにその対象物領域の色と形状特徴がある程度限定できるものである。検出方法については、上記した手法に従えばよい。なお、入力画像１から目的とする対象物が検出されない場合には、入力画像１を出力画像２として出力する。

　分光分布復元部４は、対象物領域における色情報と、対象物領域の代表的な表面反射率とを用い、入力画像中の照明の分光分布を復元する。対象物領域は、対象物領域検出部３によって検出される。具体的には、分光分布復元部４は、対象物領域における照明の分光分布（照明の色情報）を、対象物領域から、図３のステップＳ２の後半で説明した分光分布を復元する手順によって求める。また、対象物領域の代表表面反射率保存メモリ５から対象物領域の代表的な表面反射率を読み出す。そして、分光分布復元部４は、対象物領域における色情報と対象物領域の代表的な表面反射率とを用いて、照明の分光分布を、ステップＳ２に記載した処理に従って復元する。すなわち、分光分布復元部４では、前述した図３のステップＳ２に相当する処理が実行される。

　対象物領域の代表表面反射率保存メモリ５は、対象物領域の代表的な表面反射率（対象物領域の代表表面反射率）を保存する。対象物領域の代表表面反射率は、予め設定された値を用いる。

　３次元情報復元部６は、対象物領域検出部３によって検出された対象物領域の３次元形状を復元する。３次元情報復元部６では、上述のステップＳ３に相当する処理が実行される。

　反射情報復元部７は、まず、対象物領域の３次元形状（すなわち、法線ベクトル）を利用して、対象物における放射照度Ｅ（照明の幾何条件）を復元する。そして、色情報、３次元形状及び放射照度Ｅを用いて、表面反射成分及びボディー反射成分を復元する。
　３次元形状は、３次元情報復元部６によって算出される。対象物領域の３次元形状は、図３のステップＳ４に記載したように、法線ベクトルである。反射情報復元部７では、放射照度の計算として、上述のステップＳ４で述べた処理が実行される。
　また、反射情報復元部７は、上述のステップＳ５で述べた処理方法に従って、対象物領域における表面反射成分及びボディー反射成分を復元（算出）する。

　アルベド計算部８は、反射情報復元部７で得られたボディー反射成分ＤＲｉの輝度、すなわち陰影情報を取り除いた色情報であるアルベドを算出する。計算は上述のステップＳ６で述べた処理手順に従う。

　表面反射率復元部９は、復元された照明の分光分布と対象物領域のアルベドとから、対象物領域における各画素の表面反射率を上記の方法に従って復元する。表面反射率復元部９では、前述した図３のステップＳ７に相当する処理が実行される。

　補正アルベド算出部１０は、参照表面反射率保存メモリ１１に記憶されている対象物領域の参照表面反射率を用いて、復元された対象物領域における各画素の表面反射率を上記の方法に従って補正し、再現表面反射率を計算する。そして、照明の分光分布と再現表面反射率とから補正後のアルベド（補正アルベド）を算出する。補正アルベド算出部１０では、前述した図３のステップＳ８に相当する処理が実行される。

　参照表面反射率保存メモリ１１は、対象物領域の参照表面反射率を記憶する。参照表面反射率保存メモリ１１は、３以上の対象物領域の参照表面反射率を記憶することが好ましい。複数の参照表面反射率を用いることにより、特定対象物そのものの色情報により近づけることができる。

　再現色算出部１２は、補正された対象物領域における各画素のアルベドと、拡散反射成分（ボディー反射成分）の輝度すなわち陰影情報と、表面反射成分とを用いて、入力画像中の対象物における各画素の補正後の色を算出し出力画像として出力する。再現色算出部１２では、前述した図３のステップＳ９に相当する処理が実行される。

　また、実施形態１のカラー画像処理装置１０１と、図２に示したカラー画像処理装置１００とは次のように関係づけることができる。
　画像情報取得部１１０は、対象物領域検出部３と、３次元情報復元部６とによって構成される。
　反射情報復元部１２０は、反射情報復元部７に対応する。
　アルベド計算部１３０は、アルベド計算部８に対応する。
　アルベド補正処理部１４０において、分光分布復元部１４１は、分光分布復元部４と対象物領域の代表表面反射率保存メモリ５とによって構成される。また、アルベド補正部１４２は、表面反射率復元部９、補正アルベド算出部１０、及び参照表面反射率保存メモリ１１によって構成される。
　再現色算出部１５０は、再現色算出部１２に対応する。
　なお、図２または図９に示したカラー画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。

　さらに、カラー画像処理装置１０１は、コンピュータで実現可能であり、カラー画像処理装置を構成する各構成要素、すなわち、対象物領域検出部３と、分光分布復元部４と、対象物領域の代表表面反射率保存メモリ５と、３次元情報復元部６と、反射情報復元部７と、アルベド計算部８と、表面反射率復元部９と、補正アルベド算出部１０と、参照表面反射率保存メモリ１１と、再現色算出部１２は、コンピュータの中央処理装置（ＣＰＵ）に上述した機能を実現させるためのプログラムとして実現可能である。
　カラー画像処理装置を構成する各構成要素がコンピュータで実現可能であること、およびプログラムとして実現可能であることは、実施形態１に限らず、その他の実施形態でも同様である。

（実施形態２）
　次に、実施形態２のカラー画像処理方法について説明する。図１０は、本発明による実施形態２のカラー画像処理方法を示すフローチャートである。実施形態２のカラー画像処理方法は、実施形態１のカラー画像処理方法のステップＳ７、ステップＳ８（図３）で行われる２つの処理を一つにまとめた処理を実施する。具体的には、入力画像中の対象物における各画素の表面反射率を復元する処理（ステップＳ７）と、復元された表面反射率を補正して、補正後のアルベドを計算する処理（ステップＳ８）とを、線形計算に基づく補正式に置き換える。これによって、実施形態１のカラー画像処理方法と同等の補正結果をもたらすカラー画像処理方法である。
　図１０におけるステップＳ１からステップＳ６とステップＳ９の処理は、実施形態１における処理と同様であるため説明を省略し、ステップＳ１０について、図２に示す構成例を用いて説明する。

　まず、ステップＳ１０では、アルベド補正処理部１４０は、ステップＳ８の式（２９）における３行３列の要素ｍ_ｉｊ（ｉ，ｊ＝１～３）で構成される対象物領域における表面反射率を補正する行列を、ステップＳ７で述べた対象物領域における表面反射率の算出方法を用いて計算する。具体的には、ステップＳ１０では、ステップＳ９で行われる補正後の再現色の計算結果と同じ結果を与える線形変換に基づく計算式を構築する。

　いま、ステップＳ２において、分光分布復元部１４１が、入力画像を撮影した際の照明の分光分布Ｉ（λ）を復元しているものとする。また、アルベド補正部１４２は、図３のステップＳ７と同様の処理によって、入力画像中の対象物領域におけるある画素の表面反射率Ｒ（λ）を復元する。すなわち、物体の色を表す特性パラメータｂ_ｉ（ｉ＝１～３）が得られている状態である。そして、アルベド補正部１４２は、図３のステップＳ８と同様の処理によって、表面反射率を補正する３×３行列の補正行列を得る。
　その結果、補正後の対象物領域の表面反射率Ｒ'（λ）の特性パラメータｂ_ｉ'（ｉ＝１～３）は式（２９）で算出される。次に、補正後の表面反射率Ｒ'（λ）は、特性パラメータｂ_ｉ'（ｉ＝１～３）を式（２４）に代入することで計算される。補正後の表面反射率Ｒ'（λ）は、式（３３）のようになる。

　補正後の対象物領域の色の三刺激値Ｘ'Ｙ'Ｚ'は、以下のように表される。

式（３４）の右辺に、式（３３）を代入し、線形変換の形式で表すと以下のようになる。

　ここで、Ｍ（ｘ，ｒ_ｉ）（ｉ＝０～３）は、∫Ｉ（λ）ｒ_ｉ（λ）ｘ（λ）ｄλの積分項を表わす。ｙ、ｚについても同様である。式（３４）は、式（２５）および式（２９）から以下のように表現される。

　式（３６）は、次に式（３７）のように纏めることができる。

　ここで、行列Ａは、以下の式（３８）で表される３×３行列であり、行列Ｂは、以下の式（３９）で表される３×１行列であって、いずれも定数行列となる。

　色情報を補正する式である式（３７）が得られれば、入力画像中の対象物領域における全ての画素について三刺激値ＸＹＺを算出し、式（３７）を用いて補正後の三刺激値Ｘ'Ｙ'Ｚ'を計算する。そして、式（３０）を用いることで、補正後のＲ'Ｇ'Ｂ'、すなわち補正後のアルベドが線形変換を利用して得られる。
　このように、一つの線形計算に基づく補正式に置き換えることによって、処理時間の高速化を図ることができる。

　図１１は、本発明によるカラー画像処理装置の実施形態２の構成を示すブロック図である。本実施形態のカラー画像処理装置１０２は、入力画像１に対して色補正を施し、出力画像２を出力する装置である。カラー画像処理装置１０２は、対象物領域検出部３と、分光分布復元部４と、対象物領域の代表表面反射率保存メモリ５と、３次元情報復元部６と、反射情報復元部７と、アルベド計算部８と、アルベド補正部１３と、参照表面反射率保存メモリ１１と、再現色算出部１２とを備える。

　カラー画像処理装置１０２は、カラー画像処理装置１０１の表面反射率復元部９と、補正アルベド算出部１０をアルベド補正部１３に置き換えたものである。したがって、アルベド補正部１３についてのみ説明する。

　アルベド補正部１３では、前述した図１０のステップＳ１０に相当する処理が実行される。すなわち、アルベド補正部１３は、式（３７）で表される対象物領域の色を補正する補正式を作成する。そして、アルベド補正部１３は、対象物領域の画素について式（３７）による色補正によって補正後のアルベドを算出する。
　具体的には、アルベド補正部１３は、補正式の作成において、照明の分光分布とアルベドとを用いて、対象物領域の表面反射率を復元し、表面反射率を用いて、アルベドを補正する補正式を作成する。また、アルベド補正部１３は、参照表面反射率を用いて表面反射率を補正して再現表面反射率を算出し、再現表面反射率を用いて補正式を作成する。参照表面反射率は、参照表面反射率保存メモリ１１に記憶されている。

（その他の実施形態）
　上記各実施形態のカラー画像処理方法及び装置は、コンピュータを用いて実現することができる。カラー画像処理方法及び装置の各処理は、ソフトウェア、ハードウェア、ファームフェアのいずれか二つ以上の組み合わせで実現することもできる。
　例えば、図２に示すカラー画像処理装置１００を、プログラムを用いて実現する場合、プログラム（プログラムの命令群）は、少なくとも次の手順をコンピュータに実行させる。プログラムは、コンピュータのメモリにロードされ、ＣＰＵの制御のもとで各命令が実行される。

　（ａ）入力画像を入力し、入力画像に基づいて対象物領域を検出し、前記対象物領域の色情報と３次元形状とを取得する画像情報取得手順。この手順は、図２の画像情報取得部１１０に対応する。（ｂ）色情報と３次元形状とに基づいて、対象物領域の表面反射成分及びボディー反射成分を復元する反射情報復元手順。この手順は、図２の反射情報復元部１２０に対応する。（ｃ）色情報から表面反射成分とボディー反射成分とを差し引いたアルベドを算出するアルベド計算手順。この手順は、図２のアルベド計算部１３０に対応する。（ｄ）色情報とアルベドを用いて表面反射率を復元し、表面反射率を用いてアルベドを補正した補正アルベドを算出するアルベド補正処理手順。この手順は、図２のアルベド補正処理部１４０に対応する。（ｅ）補正アルベドへ陰影情報と表面反射成分とを付加して対象物領域の再現色を算出し、算出した際現職を用いて出力画像を生成する再現色算出手順。この手順は、図２の再現色算出部１５０に対応する。

　また、アルベド補正処理手順は、具体的には次の手順によって実現してもよい。
　（ｆ）色情報を用いて照明の分光分布を復元する分光分布復元手順。（ｇ）照明の分光分布と前記アルベドとを用いて、対象物領域の表面反射率を復元し、復元した表面反射率に基づいてアルベドを補正して補正アルベドを算出するアルベド補正手順。

　アルベド補正手順は、より具体的には、予め参照表面反射率保存メモリに保存した対象物領域に対応する参照表面反射率を用いて表面反射率を補正して再現表面反射率を算出し、前記再現表面反射率を用いて前記アルベドを補正する。
　さらに、参照表面反射率保存メモリは、３以上の参照表面反射率を保存することが好ましい。この場合、アルベド補正手順は、３以上の参照表面反射率を用いて、前記表面反射率を補正する。

　分光分布復元手順は、より具体的には、色情報に加え、予め設定された対象物領域に対応する代表表面反射率を用いて復元する。

　さらに、アルベド補正手順は、例えば、実施形態２で説明したように、アルベドを補正する補正式を作成し、補正式を用いた行列変換によって補正アルベドを算出してもよい。
　なお、上述した各手順は、プログラムで実現する手順の一例を示したものであり、これらに限られることはない。また、複数の手順のうちの一部をハードウェアやファームウェアによって実現することも可能である。
　プログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の通信媒体を介して伝送することにより提供することも可能である。また、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、バッテリバックアップ付きＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等が含まれる。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等が含まれる。

　以上説明したように、本発明に係る実施形態の一態様によれば、カラー画像機器で撮影されたカラー画像中の特定の対象物について、該特定対象物領域の所望の色再現を実現し、質感を劣化させることを防止し、質感を維持もしくは向上させることができる。

　また、本発明の実施形態の一態様によれば、カラー画像データのＲＧＢや色相、彩度、明度といった色の３属性を用いたカラー画像処理では本来の物体の質感が低下するという課題を解決し、カラー画像機器で撮影されたカラー画像中の特定対象物について質感を落とすことなく対象物領域の所望の色再現を実現することができる。また、本発明によれば、光ファイバスペクトロメータなどの測定装置を必要としないため、入力画像のみを利用したより容易な手法が実現できる。

　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

　この出願は、２００９年１月２７日に出願された日本出願特願２００９－０１５１２０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　本発明は、カラー画像入出力装置における色補正を実現する機能に適用できる。また、本発明は、コンピュータシステムで動作するプログラムの形態とすることで、任意のカラー画像に対する色補正ソフトウェアあるいはユーティリティとしても適用可能である。

１　入力画像
２　出力画像
３　対象物領域検出部
４　分光分布復元部
５　対象物領域の代表表面反射率保存メモリ
６　３次元情報復元部
７　反射情報復元部
８　アルベド計算部
９　表面反射率復元部
１０　補正アルベド算出部
１１　参照表面反射率保存メモリ
１２　再現色算出部
１３、１４２　アルベド補正部
１００、１０１、１０２　カラー画像処理装置
１１０　画像情報取得部
１２０　反射情報復元部
１３０　アルベド計算部
１４０　アルベド補正処理部
１４１　分光分布復元部
１５０　再現色算出部

Claims (19)

1. 　入力画像に基づいて対象物領域を検出し、
   　前記対象物領域の色情報と３次元情報とを取得し、
   　前記色情報と前記３次元情報とに基づいて、前記対象物領域の表面反射成分及びボディー反射成分を復元し、
   　前記色情報から表面反射成分とボディー反射成分とを除去してアルベドを算出し、
   　前記色情報と前記アルベドを用いて表面反射率を復元し、
   　前記表面反射率を用いて前記アルベドを補正した補正アルベドを算出し、
   　前記補正アルベドへ前記ボディー反射成分と前記表面反射成分とを付加して前記対象物領域の再現色を算出し、出力画像を生成するカラー画像処理方法。
2. 　前記表面反射率の復元は、前記色情報を用いて照明の分光分布を復元し、前記照明の分光分布と前記アルベドとを用いて、前記対象物領域の表面反射率を復元することを特徴とする請求項１記載のカラー画像処理方法。
3. 　前記補正アルベドの算出は、予め前記対象物領域に応じて設定され、参照表面反射率保存メモリに保存した参照表面反射率を用いて前記表面反射率を補正して再現表面反射率を算出し、前記再現表面反射率を用いてアルベドを補正することを特徴とする請求項２記載のカラー画像処理方法。
4. 　前記参照表面反射率保存メモリは、３以上の参照表面反射率を保存し、
   　前記補正アルベドの算出は、前記３以上の参照表面反射率を用いて、前記表面反射率を補正することを特徴とする請求項３記載のカラー画像処理方法。
5. 　前記照明の分光分布の復元は、前記色情報に加え、予め前記対象物領域に応じて設定された代表表面反射率を用いて復元することを特徴とする請求項２乃至４のいずれか一項に記載のカラー画像処理方法。
6. 　前記補正アルベドの算出は、前記アルベドを補正する補正式を作成し、前記補正式を用いた行列変換によって補正アルベドを算出することを特徴とする請求項１乃至５のいずれか一項に記載のカラー画像処理方法。
7. 　入力画像に基づいて対象物領域を検出し、前記対象物領域の色情報と３次元情報とを取得する画像情報取得手段と、
   　前記色情報と前記３次元情報とに基づいて、前記対象物領域の表面反射成分及びボディー反射成分を復元する反射情報復元手段と、
   　前記色情報から表面反射成分とボディー反射成分とを除去したアルベドを算出するアルベド計算手段と、
   　前記色情報と前記アルベドを用いて表面反射率を復元し、前記表面反射率を用いて前記アルベドを補正した補正アルベドを算出するアルベド補正処理手段と、
   　前記補正アルベドへ前記ボディー反射成分と前記表面反射成分とを付加して前記対象物領域の再現色を算出し、出力画像を生成する再現色算出手段と、を備えるカラー画像処理装置。
8. 　前記アルベド補正処理手段は、
   　前記色情報を用いて照明の分光分布を復元する分光分布復元手段と、
   　前記照明の分光分布と前記アルベドとを用いて、前記対象物領域の表面反射率を復元する表面反射率復元手段と、
   　前記表面反射率を用いて前記アルベドを補正して補正アルベドを算出する補正アルベド算出手段と、を有することを特徴とする請求項７記載のカラー画像処理装置。
9. 　前記アルベド補正処理手段は、
   　予め前記対象物領域に応じて設定された参照表面反射率を保存する参照表面反射率保存メモリを、さらに備え、
   　前記補正アルベド算出手段は、前記参照表面反射率を用いて前記表面反射率を補正して再現表面反射率を算出し、前記再現表面反射率を用いてアルベドを補正することを特徴とする請求項８記載のカラー画像処理装置。
10. 　前記参照表面反射率保存メモリは、３以上の参照表面反射率を保存し、
    　前記補正アルベド算出手段は、前記３以上の参照表面反射率を用いて、前記表面反射率を補正することを特徴とする請求項９記載のカラー画像処理装置。
11. 　前記アルベド補正処理手段は、
    　前記色情報を用いて照明の分光分布を復元する分光分布復元手段と、
    　前記照明の分光分布と前記アルベドとを用いて、対象物領域の表面反射率を復元し、前記表面反射率を用いて、前記アルベドを補正する補正式を作成し、前記補正式を用いた行列変換によって補正アルベドを算出するアルベド補正手段と、を有することを特徴とする請求項７記載のカラー画像処理装置。
12. 　前記アルベド補正処理手段は、
    　前記対象物領域の参照表面反射率を保存する参照表面反射率保存メモリを、さらに備え、
    　前記アルベド補正手段は、前記参照表面反射率を用いて前記表面反射率を補正して再現表面反射率を算出し、再現表面反射率を用いて前記補正式を作成することを特徴とする請求項１１記載のカラー画像処理装置。
13. 　前記分光分布復元手段は、
    　前記対象物領域の代表表面反射率を保存する代表表面反射率保存メモリを備え、
    　前記色情報に加え、前記対象物領域の代表表面反射率を用いて前記照明の分光分布を復元することを特徴とする請求項８乃至１２のいずれか一項に記載のカラー画像処理装置。
14. 　コンピュータに、
    　入力画像に基づいて対象物領域を検出し、前記対象物領域の色情報と３次元情報とを取得する画像情報取得手順と、
    　前記色情報と前記３次元情報とに基づいて、前記対象物領域の表面反射成分及びボディー反射成分を復元する反射情報復元手順と、
    　前記色情報から表面反射成分とボディー反射成分とを除去してアルベドを算出するアルベド計算手順と、
    　前記色情報と前記アルベドを用いて表面反射率を復元し、前記表面反射率を用いて前記アルベドを補正した補正アルベドを算出するアルベド補正処理手順と、
    　前記補正アルベドへ前記ボディー反射成分と前記表面反射成分とを付加して前記対象物領域の再現色を算出し、出力画像を生成する再現色算出手順と、を実行させるカラー画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
15. 　アルベド補正処理手順は、
    　前記色情報を用いて照明の分光分布を復元する分光分布復元手順と、
    　前記照明の分光分布と前記アルベドとを用いて、前記対象物領域の表面反射率を復元し、前記表面反射率を用いてアルベドを補正して補正アルベドを算出するアルベド補正手順と、を備えることを特徴とする請求項１４記載のカラー画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
16. 　前記アルベド補正手順は、予め前記対象物領域に応じて設定され、参照表面反射率保存メモリに保存した参照表面反射率を用いて前記表面反射率を補正して再現表面反射率を算出し、前記再現表面反射率を用いて前記アルベドを補正することを特徴とする請求項１５記載のカラー画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
17. 　前記参照表面反射率保存メモリは、３以上の参照表面反射率を保存し、
    　前記アルベド補正手順は、前記３以上の参照表面反射率を用いて、前記表面反射率を補正することを特徴とする請求項１６記載のカラー画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
18. 　前記分光分布復元手順は、前記色情報に加え、予め前記対象物領域に応じて設定された代表表面反射率を用いて復元することを特徴とする請求項１５乃至１７のいずれか一項に記載のカラー画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
19. 　前記アルベド補正手順は、前記アルベドを補正する補正式を作成し、前記補正式を用いた行列変換によって補正アルベドを算出することを特徴とする請求項１４乃至１８のいずれか一項に記載のカラー画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images